Causal Inference in Field Experiments - College 8

      College 8 Rubin’s model

     Voorbeeld: gevangenis vs. taakstraf

Liliano Helder is tegen taakstraf. Als ze geconfronteerd wordt die minder terugval laat zien na taakstraf zegt ze: ‘Ik geloof niet in deze studies. Het is niet vergelijkbaar. Iemand die taakstraf heeft gekregen heeft geen gevangenisstraf gekregen en iemand die gevangenisstraf heeft gekregen heeft geen taakstraf gekregen. Dat kan je niet vergelijken.’

 

     Causaliteit: een counterfactual model

  • Counterfactual:

      •    = twee dingen die niet tegelijk aanwezig kunnen zijn
      •    Als iets is veroorzaakt door iets anders: dit is gebeurd omdat die oorzaak aanwezig was. Als die oorzaak er niet was, zou dit niet gebeurd zijn (of minder)
      •    Bij een causaal statement: je maakt een vergelijking tussen een factueel statement (wat gebeurd is) en een counterfactueel statement (wat gebeurd zou zijn)
  • Een individueel causaal effect:
      •    Een verschil: wat er gebeurd is vs. wat er anders gebeurd zou zijn
      •    = di = Yi(taakstraf) – Yi(gevangenis)
        •   i = individu
        •   Uitkomst als je een taakstraf kreeg – uitkomst als je gevangenis kreeg
      •    Probleem: je kan niet allebei krijgen. Je krijgt er 1 en weet niet wat er gebeurt als je de ander krijgt.
      •    Om een individueel causaal effect te weten heb je 2 observaties nodig, maar je hebt er maar 1. De counterfactual uitkomst weet je niet. Je kan er wel over speculeren, maar dat is maar een speculatie
        •   = fundamental problem of causal inference
        •   à je kan het zien als missende data

     Counterfactuals in echte experimenten

  •  

 

 
 

 

Je kan het nooit individuele causale effecten weten, maar je kan wel dingen zeggen over gemiddelde causale effecten:

o   In het algemeen werkt het niet omdat je alsnog de helft van de data mist

o   Maar wel in een true experiment:

§  Minstens 2 experimentele behandelingen

§  Random toewijzing van personen van treatments

  • Waarom werkt een true experiment wel: (terug naar voorbeeld)

      •    Door random assignment is het geobserveerde gemiddelde van community en prison (Y) niet gebiased.
  • Alleen onder assumpties:
      •    SUTVA: Stable Unit-Treatment Value Assumption
        •   Het effect van Als X1 gebeurt moet een persoon dit doen, als X2 gebeurt moet een persoon dat doen
        •   De behandeling moet echt unitair zijn: geen ‘verborgen versie’ van de behandeling (bijv. verschillen in pillen)
        •   Het effect van behandeling t moet onafhankelijk zijn van behandelingen die andere krijgen (om bijv. jaloezie te voorkomen à dan zijn er andere effecten die niet door de behandeling komen)
        •   Commentaar:
          • SUTVA is restrictief
          • SUTVA helpt nadenken over hoe dingen beter gemaakt kunnen worden
      •    Ignorability
        •   = over hoe personen toegewezen zijn aan condities
          • Als je effecten wilt schatten moet je over counterfactuals hypoteseren
          • Daarvoor moet je erg expliciet zijn over de toewijzing
          • Bijv. random toewijzing (true experiment), toewijzing van bestaande groepen (quasi-experimenten), zelf toewijzing of geen toewijzing (observationele studie)
        •   Ignorability:
          • Toewijzing mechanisme kan genegeerd worden als de toewijzing volledig onafhankelijk is van de uitkomsten: iemands behandeling weten zegt niks over zijn/haar mogelijke uitkomsten (niet de eigenlijk uitkomsten)
          • Mogelijke uitkomsten eigenlijke uitkomsten. Het mag wel afhankelijk zijn van de eigenlijke uitkomsten.
          • In een experiment kan je het vaak negeren, maar bij een quasi-experiment niet en bij een observationele studie helemaal niet.

     Observationele uitkomsten

  • Observationele studie:

      •    = ‘dirty’ studie
      •    Toewijzing is niet onder controle van onderzoeker
      •    In het algemeen is het toewijzing mechanisme is niet negeerbaar. Daar moet je dus goed over nadenken en expliciet over zijn.
  • Algemene strategie: maak groepen zo vergelijkbaar mogelijk op bekende en relevante covariaten (confounders)
      •    De observationele studie met gedesigned worden
      •    Hoe kan je voor confounders aanpassen:
        •   Propensity scores: op basis van de mogelijke covariaten voorspellen of iemand bij X komt (behandelgroep) met een logistische regressie. Je kan een voorspelde X (^x) berekenen voor elke persoon
        •   Statistische controle: regressie waarin y voorspeld wordt door x en confounders c. Je controleert dan voor al de overlap tussen x en c. Als je meerdere groepen hebt: eerst ANOVA en daarna ANCOVA met covariaten.
        •   Bij veel confounders is propensity score handiger omdat je anders een hele grote formule hebt in de regressie, wat ervoor zorgt dat het erg instabiel wordt met weinig df error dus veel error. Propensity score vat alle confounders samen in 1 confounding score.
  • Mogelijke oplossing voor dat de aselecte toewijzing invloed heeft op de uitkomsten:
      •    Maak een schatting (of vraag aan andere experts) van de voordelen van bepaalde groepen. Gebruik die schattingen als covariate in ANCOVA
      •    Het counterfactuele hieraan is: gewijzigde groepsgemiddelde: gewijzigd in het geschatte gemiddelde dat je zou krijgen als beide groepen gelijke gemiddelden hadden op de covariate
  • Limitaties van statistische controle:
      •    Wordt hypothetischer als groepen meer verschillen op confounders
      •    Je weet nooit of je gecontroleerd hebt voor alle confounders
      •    De correctheid van statistische aanpassing is sterk afhankelijk van veronderstelde (maar niet bewijsbare) causale organisering van variabelen
      •    Bizarre resultaten zijn mogelijk
      •    Het kan ‘mindless’ worden. Het klinkt goed als je controleert voor iets en het dan weg is, maar dat is niet altijd zo. Het is ook mogelijk dat als je ergens voor controleert maar het kan ook je effect verstoren.

     Noncompliance

  • = Het kan zijn dat iemand een behandeling afwijst. Het kan zijn dat de afwijzers anders zijn dan degene die het toestaan.
  • 4 mogelijke compliance groepen:
      •   
        Het kan goed zijn dat alle groepen qua karakteristieken veel van elkaar verschillen
      •    Always-takers nemen alleen interventie aan, never-takers nemen alleen controle aan
      •    Actual membership = als mensen mogen kiezen waar ze in komen na toewijzing
        •   Tussen haakjes wat ze toegewezen hebben gekregen
  • Drie mogelijke benaderingen die tot bias leiden:
      •    As-treated analysis: we vergelijken mensen met de behandeling die ze uiteindelijk hebben gekregen (de bovenstaande optelsom)
        •   Geen probleem bij Compliers (I) en Compliers (C) vergelijken en Defiers (C) en Defiers (I) vergelijken
        •   Wel probleem omdat je de always-takers en never-takers met elkaar vergelijkt. Je hebt geen idee wie ze zijn, hoeveel het er zijn en wat hun gemiddelde is à geen randomisatie, biased schatting
      •    Per-protocol analysis: alleen mensen vergelijken die complied met de toewijzing
        •   Je vergelijkt Compliers (I) + Always-takers (I) met Compliers (C) + Never-takers (C)
        •   à geen randomisatie, omdat je weer always-takers met never-takers vergelijkt
      •    As-intended: vergelijk mensen op basis van de behandeling die was toegewezen:
        •   Je vergelijkt Compliers (I) + Always-takers (I) + Never-takers (I) + Defiers (I) met Compliers (C) + Never-takers (C) + Always-takers (C) + Defiers (C)
        •   à gebiased omdat je het effect van de interventie meet, maar sommigen hebben niet de interventie gehad
        •   Maar positief: het is wel realistisch, want in het echte leven zijn er ook mensen die de behandeling afwijzen.
  • Oplossing: Complier-Average Causal Effect (CACE)
      •    Het causale effect alleen bij de compliers meten
        •   Ondanks dat je niet weet wie de compliers zijn
        •   = een pure, ongebiasede schatting
      •    Met een as-intended analyse: vergelijk de groep met de bedoelde interventie vs. de groep met bedoelde controle, los van of ze dat hebben gekregen
      •    Stappen:
        1.        Assumptie: er zijn geen defiers (pD = 0)
        2.        Mensen zijn random toegewezen, dus beide groepen hebben dezelfde proportie van alle groepen:
        3.        Kijk naar 2 proporties die je wel kan observeren:
          • P1 = de mensen die de ene groep toegewezen heeft gekregen, maar aan de andere groep deelneemt
          • P2 = de mensen die een groep toegewezen hebben gekregen en ook aan die groep deelnemen
          • à P2 - P1 = proportie compliers
      •    Assumpties over de gemiddeldes van de groepen (ook al weet je de exacte getallen niet):
        •   à

 

 

 

 

§ 

 

 
 

 

Het gemiddelde van de bedoelde controlegroep en de bedoelde behandelgroep kunnen berekend worden: (B = Nevertakers)

§ 

 

 
 

 

Nu kan de as-intended treatment effect berekend worden:

§ 

 

 
 

 

Dus een ongebiasede schatting van de CACE is:

 

Access: 
Public
Check more of this topic?
Work for WorldSupporter

Image

JoHo can really use your help!  Check out the various student jobs here that match your studies, improve your competencies, strengthen your CV and contribute to a more tolerant world

Working for JoHo as a student in Leyden

Parttime werken voor JoHo

Check how to use summaries on WorldSupporter.org


Online access to all summaries, study notes en practice exams

Using and finding summaries, study notes en practice exams on JoHo WorldSupporter

There are several ways to navigate the large amount of summaries, study notes en practice exams on JoHo WorldSupporter.

  1. Starting Pages: for some fields of study and some university curricula editors have created (start) magazines where customised selections of summaries are put together to smoothen navigation. When you have found a magazine of your likings, add that page to your favorites so you can easily go to that starting point directly from your profile during future visits. Below you will find some start magazines per field of study
  2. Use the menu above every page to go to one of the main starting pages
  3. Tags & Taxonomy: gives you insight in the amount of summaries that are tagged by authors on specific subjects. This type of navigation can help find summaries that you could have missed when just using the search tools. Tags are organised per field of study and per study institution. Note: not all content is tagged thoroughly, so when this approach doesn't give the results you were looking for, please check the search tool as back up
  4. Follow authors or (study) organizations: by following individual users, authors and your study organizations you are likely to discover more relevant study materials.
  5. Search tool : 'quick & dirty'- not very elegant but the fastest way to find a specific summary of a book or study assistance with a specific course or subject. The search tool is also available at the bottom of most pages

Do you want to share your summaries with JoHo WorldSupporter and its visitors?

Quicklinks to fields of study (main tags and taxonomy terms)

Field of study

Comments, Compliments & Kudos:

Thanks!

Hey Vivian! Heel chill dat je de college 8 heb samen gevat! Je hebt alles ook heel duidelijk uitgelegd dus dat is fijn! Ik had alleen nog wel een vraagje - Wat is het verschil tussen een true experiment en een normale? 

Add new contribution

CAPTCHA
This question is for testing whether or not you are a human visitor and to prevent automated spam submissions.
Image CAPTCHA
Enter the characters shown in the image.
Promotions
special isis de wereld in

Waag jij binnenkort de sprong naar het buitenland? Verzeker jezelf van een goede ervaring met de JoHo Special ISIS verzekering