Causal Inference in Field Experiments - College 8

      College 8 Rubin’s model

     Voorbeeld: gevangenis vs. taakstraf

Liliano Helder is tegen taakstraf. Als ze geconfronteerd wordt die minder terugval laat zien na taakstraf zegt ze: ‘Ik geloof niet in deze studies. Het is niet vergelijkbaar. Iemand die taakstraf heeft gekregen heeft geen gevangenisstraf gekregen en iemand die gevangenisstraf heeft gekregen heeft geen taakstraf gekregen. Dat kan je niet vergelijken.’

     Causaliteit: een counterfactual model

• Counterfactual:
  • •    = twee dingen die niet tegelijk aanwezig kunnen zijn
    •    Als iets is veroorzaakt door iets anders: dit is gebeurd omdat die oorzaak aanwezig was. Als die oorzaak er niet was, zou dit niet gebeurd zijn (of minder)
    •    Bij een causaal statement: je maakt een vergelijking tussen een factueel statement (wat gebeurd is) en een counterfactueel statement (wat gebeurd zou zijn)
• Een individueel causaal effect:
  • •    Een verschil: wat er gebeurd is vs. wat er anders gebeurd zou zijn
    •    = d_i = Y_i(taakstraf) – Y_{i(gevangenis)}
      
      •   i = individu
      •   Uitkomst als je een taakstraf kreeg – uitkomst als je gevangenis kreeg
    •    Probleem: je kan niet allebei krijgen. Je krijgt er 1 en weet niet wat er gebeurt als je de ander krijgt.
    •    Om een individueel causaal effect te weten heb je 2 observaties nodig, maar je hebt er maar 1. De counterfactual uitkomst weet je niet. Je kan er wel over speculeren, maar dat is maar een speculatie
      
      •   = fundamental problem of causal inference
      •   à je kan het zien als missende data

     Counterfactuals in echte experimenten

Je kan het nooit individuele causale effecten weten, maar je kan wel dingen zeggen over gemiddelde causale effecten:

o   In het algemeen werkt het niet omdat je alsnog de helft van de data mist

o   Maar wel in een true experiment:

§  Minstens 2 experimentele behandelingen

§  Random toewijzing van personen van treatments

• Waarom werkt een true experiment wel: (terug naar voorbeeld)
  • •    Door random assignment is het geobserveerde gemiddelde van community en prison (Y) niet gebiased.
• Alleen onder assumpties:
  • •    SUTVA: Stable Unit-Treatment Value Assumption
      
      •   Het effect van Als X1 gebeurt moet een persoon dit doen, als X2 gebeurt moet een persoon dat doen
      •   De behandeling moet echt unitair zijn: geen ‘verborgen versie’ van de behandeling (bijv. verschillen in pillen)
      •   Het effect van behandeling t moet onafhankelijk zijn van behandelingen die andere krijgen (om bijv. jaloezie te voorkomen à dan zijn er andere effecten die niet door de behandeling komen)
      •   Commentaar:
        
        • SUTVA is restrictief
        • SUTVA helpt nadenken over hoe dingen beter gemaakt kunnen worden
    •    Ignorability
      
      •   = over hoe personen toegewezen zijn aan condities
        
        • Als je effecten wilt schatten moet je over counterfactuals hypoteseren
        • Daarvoor moet je erg expliciet zijn over de toewijzing
        • Bijv. random toewijzing (true experiment), toewijzing van bestaande groepen (quasi-experimenten), zelf toewijzing of geen toewijzing (observationele studie)
      •   Ignorability:
        
        • Toewijzing mechanisme kan genegeerd worden als de toewijzing volledig onafhankelijk is van de uitkomsten: iemands behandeling weten zegt niks over zijn/haar mogelijke uitkomsten (niet de eigenlijk uitkomsten)
        • Mogelijke uitkomsten ≠ eigenlijke uitkomsten. Het mag wel afhankelijk zijn van de eigenlijke uitkomsten.
        • In een experiment kan je het vaak negeren, maar bij een quasi-experiment niet en bij een observationele studie helemaal niet.

     Observationele uitkomsten

• Observationele studie:
  • •    = ‘dirty’ studie
    •    Toewijzing is niet onder controle van onderzoeker
    •    In het algemeen is het toewijzing mechanisme is niet negeerbaar. Daar moet je dus goed over nadenken en expliciet over zijn.
• Algemene strategie: maak groepen zo vergelijkbaar mogelijk op bekende en relevante covariaten (confounders)
  • •    De observationele studie met gedesigned worden
    •    Hoe kan je voor confounders aanpassen:
      
      •   Propensity scores: op basis van de mogelijke covariaten voorspellen of iemand bij X komt (behandelgroep) met een logistische regressie. Je kan een voorspelde X (^x) berekenen voor elke persoon
      •   Statistische controle: regressie waarin y voorspeld wordt door x en confounders c. Je controleert dan voor al de overlap tussen x en c. Als je meerdere groepen hebt: eerst ANOVA en daarna ANCOVA met covariaten.
      •   Bij veel confounders is propensity score handiger omdat je anders een hele grote formule hebt in de regressie, wat ervoor zorgt dat het erg instabiel wordt met weinig df error dus veel error. Propensity score vat alle confounders samen in 1 confounding score.
• Mogelijke oplossing voor dat de aselecte toewijzing invloed heeft op de uitkomsten:
  • •    Maak een schatting (of vraag aan andere experts) van de voordelen van bepaalde groepen. Gebruik die schattingen als covariate in ANCOVA
    •    Het counterfactuele hieraan is: gewijzigde groepsgemiddelde: gewijzigd in het geschatte gemiddelde dat je zou krijgen als beide groepen gelijke gemiddelden hadden op de covariate
• Limitaties van statistische controle:
  • •    Wordt hypothetischer als groepen meer verschillen op confounders
    •    Je weet nooit of je gecontroleerd hebt voor alle confounders
    •    De correctheid van statistische aanpassing is sterk afhankelijk van veronderstelde (maar niet bewijsbare) causale organisering van variabelen
    •    Bizarre resultaten zijn mogelijk
    •    Het kan ‘mindless’ worden. Het klinkt goed als je controleert voor iets en het dan weg is, maar dat is niet altijd zo. Het is ook mogelijk dat als je ergens voor controleert maar het kan ook je effect verstoren.

     Noncompliance

• = Het kan zijn dat iemand een behandeling afwijst. Het kan zijn dat de afwijzers anders zijn dan degene die het toestaan.
• 4 mogelijke compliance groepen:
  • •   
      Het kan goed zijn dat alle groepen qua karakteristieken veel van elkaar verschillen
    •    Always-takers nemen alleen interventie aan, never-takers nemen alleen controle aan
    •    Actual membership = als mensen mogen kiezen waar ze in komen na toewijzing
      
      •   Tussen haakjes wat ze toegewezen hebben gekregen
• Drie mogelijke benaderingen die tot bias leiden:
  • •    As-treated analysis: we vergelijken mensen met de behandeling die ze uiteindelijk hebben gekregen (de bovenstaande optelsom)
      
      •   Geen probleem bij Compliers (I) en Compliers (C) vergelijken en Defiers (C) en Defiers (I) vergelijken
      •   Wel probleem omdat je de always-takers en never-takers met elkaar vergelijkt. Je hebt geen idee wie ze zijn, hoeveel het er zijn en wat hun gemiddelde is à geen randomisatie, biased schatting
    •    Per-protocol analysis: alleen mensen vergelijken die complied met de toewijzing
      
      •   Je vergelijkt Compliers (I) + Always-takers (I) met Compliers (C) + Never-takers (C)
      •   à geen randomisatie, omdat je weer always-takers met never-takers vergelijkt
    •    As-intended: vergelijk mensen op basis van de behandeling die was toegewezen:
      
      •   Je vergelijkt Compliers (I) + Always-takers (I) + Never-takers (I) + Defiers (I) met Compliers (C) + Never-takers (C) + Always-takers (C) + Defiers (C)
      •   à gebiased omdat je het effect van de interventie meet, maar sommigen hebben niet de interventie gehad
      •   Maar positief: het is wel realistisch, want in het echte leven zijn er ook mensen die de behandeling afwijzen.
• Oplossing: Complier-Average Causal Effect (CACE)
  • •    Het causale effect alleen bij de compliers meten
      
      •   Ondanks dat je niet weet wie de compliers zijn
      •   = een pure, ongebiasede schatting
    •    Met een as-intended analyse: vergelijk de groep met de bedoelde interventie vs. de groep met bedoelde controle, los van of ze dat hebben gekregen
    •    Stappen:
      1.        Assumptie: er zijn geen defiers (p_D = 0)
      2.        Mensen zijn random toegewezen, dus beide groepen hebben dezelfde proportie van alle groepen:
      3.        Kijk naar 2 proporties die je wel kan observeren:
         
         • P1 = de mensen die de ene groep toegewezen heeft gekregen, maar aan de andere groep deelneemt
         • P2 = de mensen die een groep toegewezen hebben gekregen en ook aan die groep deelnemen
         • à P2 - P1 = proportie compliers
    •    Assumpties over de gemiddeldes van de groepen (ook al weet je de exacte getallen niet):
      
      •   à

§ 

Het gemiddelde van de bedoelde controlegroep en de bedoelde behandelgroep kunnen berekend worden: (B = Nevertakers)

§ 

Nu kan de as-intended treatment effect berekend worden:

§ 

Dus een ongebiasede schatting van de CACE is: