Causal Inference in Field Experiments - College 5

College 5: Gerandomiseerde experimenten

Theorie achter randomisatie

Klassiek experiment:
- - Regel van de enkele variabele
    - Experiment: waarvan je het effect wilt weten moet je variëren. Kan vanalles zijn
    - Meten: meet de afhankelijke variabele (het effect) in alle condities
    - Ceteris paribus: houd de rest constant
  - Maar ‘de rest’ is heel veel…
Gerandomiseerd experiment:
- - Theorie van random assignment (RA)
    - Random toewijzing maakt behandelgroepen gelijk op verwachte (!) waarden van alle (!) mogelijke pretests (= ‘de rest’)
    - De behandeling is dus het enige systematische verschil tussen condities
    - Daarom geeft random toewijzing een unbiased schatting van het gemiddelde behandeleffect
    - Random toewijzing vermindert geloofwaardigheid van alternatieve verklaringen voor een behandeleffect

Randomisatie methodes

Toewijzing aan condities is compleet probabilistisch. Iedereen heeft dezelfde kansen van toewijzing aan de groepen (die hoeven niet per se even groot te zijn).
Random toewijzing van units aan condities ≠ random sampling (RS) van units van een populatie:
- - Random toewijzing = subsamples die gelijk zijn aan elkaar
  - Random sampling = sample gelijk aan populatie
Random toewijzing gaat selectie bias tegen, niet maturatie of history etc.:
- - Het beschermt tegen de voornaamste effecten van deze dreigingen (door ze constant te houden over behandelingen), maar
  - Het beschermt niet tegen dreiging x behandeling interacties (bijv. selectieve attrition)
Gelijke sample sizes? à gebalanceerd design geeft de beste algemene power voor het design, maar ongebalanceerd design kan meer power geven voor specifieke vergelijkingen
Sample sizes forceren: random methodes kunnen leiden tot ongeplande sample sizes. Dat kan gehanteerd worden.
Vergelijkbare subsamples?
- - Verschillende pretest gemiddelden: random toewijzing zorgt ervoor dat verwachte waarden voor alle mogelijke verstorende variabelen gelijk zijn, niet dat geobserveerde variabelen gelijk zijn. Groepsverschillen zijn nog steeds mogelijk. Strategieën daartegen:
    - Preventie: matching of stratifying (k = aantal groepen)
      - Matching: paren/groepen maken (n=k) van vergelijkbare proefpersonen. Dan random toewijzing binnen elk paar/groep
      - Stratifying: de onderzoeksgroep in strata verdelen (n > k). Dan random toewijzing binnen elk stratum
      - Limitaties:
           Geldt alleen voor de gekozen variabelen. ‘De rest’ is nog steeds te veel
           Onbruikbaar als de gekozen variabelen ongerelateerd zijn aan de uitkomst
           Complexer in quasi-experimenten
           Meest bruikbaar vóór de randomisatie
    - Correctie achteraf: randomisatie overdoen of ANCOVA (k = aantal groepen)
      - Randomisatie overdoen: random samples doen van overgerepresenteerde groep(en). à lagere N à minder power
      - Statistische controle (ANCOVA): corrigeer voor mogelijke invloedvariabelen met verschillende pretest gemiddelden
      - Limitaties:
           Preventie is beter
           Elke variabele waarvoor gecontroleerd wordt kost 1 of meer error df
           Hangt sterk af van hoe sterk de ANCOVA-assumpties zijn (lineairiteit, parallelliteit)
Units en hogere orde units
- - Individuen komen vaak in ‘aggregaten’ (schoolklassen, districten, organisaties, patiënten van dezelfde clinicus).
  - Individuele units binnen een aggregaat zijn mogelijk niet onafhankelijk door gedeelde invloeden van het aggregaat naast de behandeling
    - à ANOVA negeert dit à doe MultiLevel Analysis (MLA)
  - Randomisatie van aggregaten: vaak een probleem met power. Oplossingen:
    - Meer aggregaten à geven meer extra power dan extra units binnen aggregaten
    - Randomiseer aggregaten binnen homogene blokken of strata
Designs met random toewijzing:
- - Basic design: behandel v.s. controle groep R X O

R O

Twee behandelingen: A en B (met of zonder controlegroep)

Met of zonder pretest: handig voor attrition na randomisatie of tijdens behandeling

Randomisatie voor of na pretest: na = matching

Factorieel design: factor A (A1 vs. A2) gekruist met factor B (B1 vs. B2) geeft een 2x2 design

Voordelen:

- - - - Meer power
      - Effecten van behandelcombinaties (voornaamste effecten A & B)
      - Interactie-effecten (A modereert effect van B)
  - Nested designs: behandeling geven binnen bestaande groepen
  - P. 269 tabel 8.2: condities geleidend met random toewijzing
  - P. 276: niet prettige condities voor random toewijzing

Praktische problemen

Ethische en legale aspecten:
- - Codes, informed consent, commissies (CEP)
  - Redenen om niet een behandeling aan een persoon te geven:
    - Als schadelijke of lange termijneffecten nog onbekend zijn
    - Bij schaarse bronnen
  - Alternatieve oplossingen: varieer de dosis van de behandeling zodat iedereen iets krijgt
  - Het experiment afbreken voor ethische redenen, zoals negatieve bijwerkingen of grote verschillen in effectiviteit, is vaak in medisch onderzoek
Behandel implementatie:
- - Problemen:
    - Menselijke redenen waarom random toewijzing niet lukt
    - Niet de hele interventie krijgen
    - Iets anders krijgen dan de behandeling
    - Behandeling ook in de controlegroep
  - Aspecten van behandel implementatie:
    - Bezorging (handleidingen, protocollen, training)
    - Recept (communicatie)
    - Behandelovereenkomst
  - Mensen in de controlegroep zoeken soms zelf behandeling: check wat ze tussen pretest en posttest doen
Efficacy vs. effectiveness: in welke mate behandeling werkt bij:
- - Optimale condities: efficacy
  - Realistische condities: effectiveness
Data analyse dat implementatie data bevat
- - Intent-to-treat analysis: alsof iedereen de toegewezen behandeling kreeg
  - Niet iedereen kreeg de hele behandeling
  - QED (= geen random toewijzing aan verschillende categorieën): analyse van het effect van de behandeling afmaken, moet gemeten worden
  - Instrumentele variabele analyse (later)?
Attrition na random assignment
- - Definitie van attritie:
    - Het verlies van response data van participanten door het skippen van items of het stoppen van participeren in de studie
    - Consequenties: minder power, systematische bias als de attrition correleert met de behandeling
  - Voorkomen van attritie: veel werk, zie p. 327 tabel 10.1
  - Data-analyse met attritie: zie p. 335, tabel 10.2
    Gerandomiseerde experimenten
  - Theorie achter randomisatie
  - Klassiek experiment:
    - - Regel van de enkele variabele
        Experiment: waarvan je het effect wilt weten moet je variëren. Kan vanalles zijn
        Meten: meet de afhankelijke variabele (het effect) in alle condities
        Ceteris paribus: houd de rest constant
      - Maar ‘de rest’ is heel veel…
  - Gerandomiseerd experiment:
    - - Theorie van random assignment (RA)
        Random toewijzing maakt behandelgroepen gelijk op verwachte (!) waarden van alle (!) mogelijke pretests (= ‘de rest’)
        De behandeling is dus het enige systematische verschil tussen condities
        Daarom geeft random toewijzing een unbiased schatting van het gemiddelde behandeleffect
        Random toewijzing vermindert geloofwaardigheid van alternatieve verklaringen voor een behandeleffect

Randomisatie methodes

Toewijzing aan condities is compleet probabilistisch. Iedereen heeft dezelfde kansen van toewijzing aan de groepen (die hoeven niet per se even groot te zijn).
Random toewijzing van units aan condities ≠ random sampling (RS) van units van een populatie:
- - Random toewijzing = subsamples die gelijk zijn aan elkaar
  - Random sampling = sample gelijk aan populatie
Random toewijzing gaat selectie bias tegen, niet maturatie of history etc.:
- - Het beschermt tegen de voornaamste effecten van deze dreigingen (door ze constant te houden over behandelingen), maar
  - Het beschermt niet tegen dreiging x behandeling interacties (bijv. selectieve attrition)
Gelijke sample sizes? à gebalanceerd design geeft de beste algemene power voor het design, maar ongebalanceerd design kan meer power geven voor specifieke vergelijkingen
Sample sizes forceren: random methodes kunnen leiden tot ongeplande sample sizes. Dat kan gehanteerd worden.
Vergelijkbare subsamples?
- - Verschillende pretest gemiddelden: random toewijzing zorgt ervoor dat verwachte waarden voor alle mogelijke verstorende variabelen gelijk zijn, niet dat geobserveerde variabelen gelijk zijn. Groepsverschillen zijn nog steeds mogelijk. Strategieën daartegen:
    - Preventie: matching of stratifying (k = aantal groepen)
      - Matching: paren/groepen maken (n=k) van vergelijkbare proefpersonen. Dan random toewijzing binnen elk paar/groep
      - Stratifying: de onderzoeksgroep in strata verdelen (n > k). Dan random toewijzing binnen elk stratum
      - Limitaties:
           Geldt alleen voor de gekozen variabelen. ‘De rest’ is nog steeds te veel
           Onbruikbaar als de gekozen variabelen ongerelateerd zijn aan de uitkomst
           Complexer in quasi-experimenten
           Meest bruikbaar vóór de randomisatie
    - Correctie achteraf: randomisatie overdoen of ANCOVA (k = aantal groepen)
      - Randomisatie overdoen: random samples doen van overgerepresenteerde groep(en). à lagere N à minder power
      - Statistische controle (ANCOVA): corrigeer voor mogelijke invloedvariabelen met verschillende pretest gemiddelden
      - Limitaties:
           Preventie is beter
           Elke variabele waarvoor gecontroleerd wordt kost 1 of meer error df
           Hangt sterk af van hoe sterk de ANCOVA-assumpties zijn (lineairiteit, parallelliteit)
Units en hogere orde units
- - Individuen komen vaak in ‘aggregaten’ (schoolklassen, districten, organisaties, patiënten van dezelfde clinicus).
  - Individuele units binnen een aggregaat zijn mogelijk niet onafhankelijk door gedeelde invloeden van het aggregaat naast de behandeling
    - à ANOVA negeert dit à doe MultiLevel Analysis (MLA)
  - Randomisatie van aggregaten: vaak een probleem met power. Oplossingen:
    - Meer aggregaten à geven meer extra power dan extra units binnen aggregaten
    - Randomiseer aggregaten binnen homogene blokken of strata
Designs met random toewijzing:
- - Basic design: behandel v.s. controle groep R X O
R            O
o   Twee behandelingen: A en B (met of zonder controlegroep)
o   Met of zonder pretest: handig voor attrition na randomisatie of tijdens behandeling
o   Randomisatie voor of na pretest: na = matching
o   Factorieel design: factor A (A1 vs. A2) gekruist met factor B (B1 vs. B2) geeft een 2x2 design
§ Voordelen:
- - - - Meer power
      - Effecten van behandelcombinaties (voornaamste effecten A & B)
      - Interactie-effecten (A modereert effect van B)
  - Nested designs: behandeling geven binnen bestaande groepen
  - P. 269 tabel 8.2: condities geleidend met random toewijzing
  - P. 276: niet prettige condities voor random toewijzing

Praktische problemen

Ethische en legale aspecten:
- - Codes, informed consent, commissies (CEP)
  - Redenen om niet een behandeling aan een persoon te geven:
    - Als schadelijke of lange termijneffecten nog onbekend zijn
    - Bij schaarse bronnen
  - Alternatieve oplossingen: varieer de dosis van de behandeling zodat iedereen iets krijgt
  - Het experiment afbreken voor ethische redenen, zoals negatieve bijwerkingen of grote verschillen in effectiviteit, is vaak in medisch onderzoek
Behandel implementatie:
- - Problemen:
    - Menselijke redenen waarom random toewijzing niet lukt
    - Niet de hele interventie krijgen
    - Iets anders krijgen dan de behandeling
    - Behandeling ook in de controlegroep
  - Aspecten van behandel implementatie:
    - Bezorging (handleidingen, protocollen, training)
    - Recept (communicatie)
    - Behandelovereenkomst
  - Mensen in de controlegroep zoeken soms zelf behandeling: check wat ze tussen pretest en posttest doen
Efficacy vs. effectiveness: in welke mate behandeling werkt bij:
- - Optimale condities: efficacy
  - Realistische condities: effectiveness
Data analyse dat implementatie data bevat
- - Intent-to-treat analysis: alsof iedereen de toegewezen behandeling kreeg
  - Niet iedereen kreeg de hele behandeling
  - QED (= geen random toewijzing aan verschillende categorieën): analyse van het effect van de behandeling afmaken, moet gemeten worden
  - Instrumentele variabele analyse (later)?
Attrition na random assignment
- - Definitie van attritie:
    - Het verlies van response data van participanten door het skippen van items of het stoppen van participeren in de studie
    - Consequenties: minder power, systematische bias als de attrition correleert met de behandeling
  - Voorkomen van attritie: veel werk, zie p. 327 tabel 10.1
  - Data-analyse met attritie: zie p. 335, tabel 10.2

Access:

Public

Verzekeren bij een faire en solidaire zorgverzekeraar?

Join: WorldSupporter!

Join with a free account for more service, or become a member for full access to exclusives and extra support of WorldSupporter >>

Check: concept of JoHo WorldSupporter

Concept of JoHo WorldSupporter

JoHo WorldSupporter mission and vision:

JoHo wants to enable people and organizations to develop and work better together, and thereby contribute to a tolerant and sustainable world. Through physical and online platforms, it supports personal development and promote international cooperation is encouraged.

JoHo concept:

As a JoHo donor, member or insured, you provide support to the JoHo objectives. JoHo then supports you with tools, coaching and benefits in the areas of personal development and international activities.
JoHo's core services include: study support, competence development, coaching and insurance mediation when departure abroad.