Causal Inference in Field Experiments - College 2 - Nederlandse aantekeningen college

College 2

1.      Quasi-experimentele designs

• Geen controlegroep
• Geen gerandomiseerde toewijzing (NR): een al bestaande groep
• Vereisten voor causale inferenties in quasi-experimentele designs
  • •    Oorzaak gaat vooraf aan gevolg
    •    Covariantie van de oorzaak met het effect

2.      Designs zonder controlegroepen:

• Alleen een post-test: X-------O1
  • •    X = behandeling
    •    O1 = outcome 1
    •    Je kan de uitkomst met niks vergelijken: geen pretest en geen controlegroep
    •    Vaak niet een nuttig design
    •    Kan nuttig zijn als je informatie uit de geschiedenis hebt over de populatie
• Verbeteringen: meerdere posttesten: X-------------O1a, O1b, … O1n
  • •    De verschillende uitkomsten kunnen meer indicatie geven voor een bepaalde oorzaak
    •    Je weet het effect, maar je weet geen oorzaak. Die beredeneer je terug
    •    Kans op pattern matching is ook groter à grotere kans op type 1 fout
• Een-groep design met pretest en posttest: O1-------X-------O2
  • •    Één groep: Within-subject design
    •    Er kunnen meer oorzaken zijn van het verschil tussen O1 en O2:
      
      •   Maturatie
      •   History
      •   Testing (überhaupt het testen van X)
      •   Attrition
• Verbeteringen:
  • •    Dubbele pre-test: O1------O2------X------O3
      
      •   Je kan dan bijv. maturatie tussen O1 en O2 meten en het verschil tussen O2 en O3 met het effect van maturatie eraf trekken
    •    Non-equivalent outcomes: O1a, O1b-------X-------O2a, O2b
      
      •   Je meet de verwachte uitkomst (a): effect van behandeling + bedreiging
      •   Je meet ook de non-equivalente uitkomst (b): alleen het effect van bedreiging
    •    Design with removed treatment: O1-X-O2--------O3-x-O4
    •    Repeated-treatment design: O1-X-O2-x-O3-O4

3.      Designs met controlegroep en zonder pre-test:

• Non-equivalente controlegroep: NR  X----O1

  NR          O2

o   NR = Non-random

o   MAAR: verschillen tussen groepen (omdat ze niet random zijn) voor de behandeling? = selectie effecten

o   DUS: pretest?

o   MAAR: pretest kan voor testing effecten zorgen

o   MAAR: als beide groepen evenveel veranderen door testing effecten is er geen probleem

o   Differential testing effect: als het testing effect voor beide groepen niet gelijk is

§  Oplossingen voor differential testing effecten: parallele pre- & posttest, IRT, Solomon Four Group Design

• Posttest-Only met een proxy Pre-test: NR  Oa1-----X-----Ob2

     NR  Oa1------------Ob2

o   De proxy-pretest (a) is een test die gerelateerd is aan de uitkomst metingen (b)

o   Geeft een indicatie van selectie en attritie bias

o   Een echte pretest geeft betere resultaten dan een Proxy pretest

• Posttest-Only met Matching of Stratificati van units:
  • •    Matching: het groeperen van units met gelijke scores op een matching variabele die gerelateerd is met de uitkomst. Je doet dit aan de hand van paren verdelen over wel-behandeling en niet-behandeling groep
    •    Stratificatie: vergelijkbare units creëren op een matching variabele, maar los van de wel-behandeling en niet-behandeling groep
    •    Manieren voor Matching:
      
      •   Exacte matching: voor elke persoon in de controlegroep zoek je iemand in de behandeling groep met gelijke score. Maar is niet altijd het geval dat er iemand is met precies dezelfde score
      •   Caliper: een bepaalde afstand tussen de scores is toegestaan. Probleem als er een verschillend aantal mensen in elke groep zitten
      •   Multiple controls per treatment unit: je zoekt mensen bij elkaar die gelijke scores hebben, maar het maakt niet uit of diegene in de behandeling of controlegroep zit
      •   (full) optimal matching: de verschillen in scores door matching meenemen door een ANCOVA
    •    Principes voor betere matching:
      
      •   Genoeg overlap op matching variabelen
      •   Stabiele en betrouwbare variabelen
    •    Matching op meerdere variabelen: multivariatie matching, maar die moeten allemaal op je analyse komen à limitaties
    •    Vat alle matching variabelen samen: = propensity score: de kans voor elke unit om in de behandelgroep te zitten, gebaseerd op de matching variabelen (= een kansvariabele)
• Posttest-Only design met interne controles: je behandelgroep vergelijken met een groep van interne controles: interne controles zijn mensen die in dezelfde situatie/institutie/school zitten maar door bepaalde redenen niet mee kunnen doen met de behandeling (bijv. te laat met inschrijven)
• Posttest-Only design met meerdere NE-controle groepen: meerdere controlegroepen niet random toegewezen. Al bestaande groepen
  • •    NE = Non-equivalent
    •    Als de verschillen tussen de controlegroepen net zo groot is als het verschil tussen de behandeling is er mogelijk geen effect
• Posttest-Only design met een voorspelde interactie: als het interactie-effect was zoals je voorspeld had kan dat erop wijzen dat er een daadwerkelijk effect is
• Met andere groepen vergelijken dan met een controlegroep:
  • •    Regression extrapolation contrasts: met een bepaald regressiemodel wordt de pretest wordt met een aantal externe factoren. Dan kijk je of dit regressiemodel ook de posttest goed voorspeld. Zo niet à er kan iets anders aan de gang zijn
• Case-control design:
  • •    Unieke uitkomsten of gevaarlijke behandelingen
    •    Uitkomsten zijn pas na een lange periode zichtbaar (vaak in epidemiologisch onderzoek)
    •    Vooral dichotome uitkomsten (dood/levend)
      
      •   Groepen met de units MET de uitkomst: cases
      •   Groepen met units ZONDER de uitkomst: controls
    •    Vergelijk casussen en controles op retrospectieve data over hypothetische oorzaken
    •    Door achteruit te redeneren maak je een hypothese op over een causale relatie
    •    Methodologische problemen:
      
      •   Niet heel duidelijk soms of iemand een case is
    •    Het is soms moeilijk om control units te krijgen die goed vergelijkbaar zijn. Oplossing:
      
      •   Random sampling
      •   Matching Controls: controls zoeken die gelijk zijn op kenmerken die gerelateerd zijn aan de uitkomsten (bijv. zelfde ziekenhuis)
      •   Meerdere controlegroepen gebruiken
    •    Soms ook lastig vast te stellen of iemand een bepaalde behandeling heeft gehad
    •    Tabel 4.3 geeft een lijst voor bedreigingen voor causale validiteit

4.      Quasi-experimentele Designs met Controlegroepen en Pretests

• Untreated control group design with dependent pretest and posttest samples:

NR  O1----X-----O2

NR  O1-----------O2

o   Dependent = pre-test en posttest is bij dezelfde personen (within-subject)

o   Er kan selectiebias zijn, maar de pretest laat dit al zien

o   NECGD = Non-Equivalent Comparison Group Design

o   Als er geen verschil op pretest is betekent dat NIET dat er geen selectie bias is: het kan zijn dat er wel een verschil is tussen de groepen, maar dat die niet werd gemeten tijdens de pretest. Dit verschil kan wel zorgen voor een ander effect

o   Als er een selectiebias is: selectiebias kan samenvallen met andere bedreigingen:

§  Selectie-maturatie: de ene groep heeft meer maturatie dan de andere

§  Selectie-instrumentatie: een van de groepen kan niet echt meer verbeteren

§  Selectie-history: bij een van de groepen gebeurt iets

§  Selectie-regressie: beide groepen neigen naar het gemiddelde van hun groep

o   Niet elke bedreiging is even plausibel: zie voor de patronen van uitkomsten in het boek

• Verbeteringen:
  •    Pretesten op verschillende momenten: NR  O1----O2----X----O3

NR  O1----O2----------O3

§  Kijken wat het verschil is tussen O2 en O3 bij beide groepen en naar dat verschil kijken.

§  Je gaat ervanuit dat de maturatie die tussen O1 en O2 gemeten is doorloopt zodat je daarvoor kan controleren, maar de mate van maturatie kan verschillen bij de twee groepen

§  Design is lastig in de praktijk

o   Switch replicaties: NR  O1-----X----O2----------O3

      NR  O1----------O2-----X----O3

§  Maar er kunnen verschillende maturatie of history effecten zijn tussen O1-O2 en O2-O3. à de behandeling op de verschillende tijden is geen exacte replicatie

o   Reversed-treatment controlegroep: NR  O1---X⁺---O2

        NR  O1----X^------O2

§  1 groep met positieve behandeling (X+), 1 groep met tegenovergestelde behandeling (X-)

§  Sommige negatieve behandelingen kunnen schadelijk of onethisch zijn

o   Probeer bedreigingen voor de validiteit direct te meten

§  Kost veel moeite. Er zijn zoveel dingen waarin groepen kunnen verschillen

• Matching with Cohort Control Units
  •    Cohort = successive/opeenvolgende groep
  •    Handig:
    
    •   Als een van de cohorten een behandeling krijgt en de latere cohorten niet
    •   Als de cohorten niet veel van elkaar verschillen
    •   Als de organisaties toestemmen dat iedereen in een bepaald cohort ook echt de behandeling krijgt
  •    Sibling controles: NR (oudere siblings) O1--------

    NR (jongere sibling) ----X----O2

o   Problemen:

§  Oudere sibling is vaak de eerstgeborene: die verschillen vaak op meerdere aspecten met de jongeren. Oplossing: voeg geboortevolgorde toe

§  History effecten: bij de een gebeurt iets wat niet in de periode van de ander is gebeurd. Oplossing: breek de cohorten in groepen van 1,2,3 of meer jaar verwijderd van siblings

• Verbeteringen:
  •    Pretests toevoegen: NR  O1---O2-------------

         NR  ------------------O3----X----O4

§  De ene pretests gebeuren eerder dan de anderen à nog steeds verschillende history effecten

o   Variant: current institutional cycle design: NR  X-------O1

     NR                        O2----X-----O3

    NR                                                                    O4

§  Doel: dat O1-O3 overeenkomen en O2-O4 overeenkomen

§  Door grote span over tijd à minder history effecten

o   Nonequivalente afhankelijke variabele toevoegen: verschillende vaardigheden vergelijken: vaardigheden die wel in de behandeling zitten en die niet in de behandeling zitten. Geen behandeling à beide vaardigheden gaan even goed vooruit. Wel behandeling en behandeling werkt à vaardigheid in behandeling gaat meer vooruit

5.      Combinaties van design elementen:

• Tabel 5.2: designelementen die designs sterker maken. Georganiseerd op:
  • •    Toewijzing van units
    •    Metingen van uitkomsten en dreigingen
    •    Keuze van controlegroepen
    •    Gebruik van behandelingen