Causal Inference in Field Experiments - College 3

College 3

     Het inschatten van behandelingseffecten in Quasi-Experimenteel Design: interne validiteit vergrote

  1.        Bij categorische variabelen: Maak blokken om te corrigeren voor bias (in ANOVA)

      •    Maak blokken voor Geslacht, Leeftijd, etc.: vergelijk Behandeling en Controlegroepen binnen blokken en kijk naar EMM: (Estimated Marginal Means): de gemiddelden per blok geslacht-leeftijd in plaats van het totale gemiddelde. Er is gecorrigeerd voor covariaten
      •    Vooral nodig voor ongebalanceerde designs (MVDA, week 2)
      •    Ook de reductie van error van Type II error
  2.        Bij continue uitkomst variabelen: voeg predictoren toe aan de behandeling dummy
      •    Regressieanalyse maken
      •    bbehandeling geeft behandeleffect terwijl andere predictoren constant worden gehouden
      •    Ook reductie van error
  3.        Gebruik pretest om voor de bias te corrigeren
      •    Gain scores: posttest min pretest à als uitkomst variabele gebruiken
      •    OF repeated measures: 2 of meer metingen
        •   Kijk naar de interactie van een contrast (within-subject) met een conditie (between-subject)
      •    OF gebruik 2 of meer uitkomsten:
        •   Onafhankelijke variabele: behandeling of niet
  4.        Covariate aanpassingen gebruiken
      •    Covariate = achtergrondvariabelen die effect van interventie kunnen beïnvloeden
      •    Pretest gebruiken als covariate
      •    Check of de slopes (hellingen) homogeen zijn of dat er interactie is
      •    Je kan meer covariates toevoegen, maar hoe meer je er toevoegt hoe minder degrees of freedom je over hebt voor de error, dus een grotere kans op error.
      • DFE = n-p-1 à hoe meer p (predictors=covariates) hoe minder DF

Propensity scores

  1.        Bereken propensity score

      •    Voor elke unit/respondent de kans om in de treatmentgroep te komen
      •    Vastgesteld door logische regressie
      •    Je gebruikt alle achtergrondvariabelen als predictoren in regressie en de kans om in een behandeling groep te zitten is je propensity score
      •    Propensity scores vervangen de set van covariates: maakt het mogelijk om op meerdere variabelen tegelijk te matchen (dus het nadeel van minder DFE omzeilen)
      •    Technieken:
        •   Logistische regressie: covariates als predictoren en of je in de behandelgroep zit als uitkomst variabelen
  2.        Je gebruikt de propensity score om bias te verminderen
      •    Je verwijdert uitschieters
      •    De anderen match je op propensity score
        •   Pairwise matching: voor elke respondent in de behandeling match je op basis van de propensity score met iemand van de controlegroep
          • De verschillen tussen propensity scores van een stratum/koppel kunnen best veel verschillen (in tegenstelling tot stratifying)
        •   (Full) Optimal matching
        •   Stratifying: je maakt 5 lagen van respondenten met gelijke propensity score: van een groep/laag met lage propensity scores tot de hoogste, allemaal even groot ongeveer. Binnen een groep zijn de propensity scores gelijk maar tussen groepen verschillend.
  • Problemen voor propensities:

      •    Groot sample
      •    Niet genoeg overlap: sommige strata bevatten alleen units van dezelfde groep (behandeling of controle)
      •    Missende covariates komen ook vaak voor
      •    Geobserveerde vs. verborgen bias: het corrigeert alleen voor geobserveerde/gemeten
      •    Niet alle covariaten kunnen gemeten worden
  • In gerandomiseerde experimenten: kans om aan behandeling toe te worden gewezen: 0.50. Niet altijd in niet-gerandomiseerde experimenten
  • Sensitiviteit analyse: om te kijken hoe de kans wordt beïnvloed waardoor het geen 0.50 meer is:
      •    Je gaat uit van verschillende afwijkingen van 0.50
      •    Om te kijken of je resultaten sensitief zijn voor de afwijkingen van 0.50
        •   Om erachter te komen hoe sensitief het experiment is, gegeven de achtergrondinformatie, hoe erg de effecten beïnvloed worden door factoren die niet door het experiment bedoeld worden
      •    Kies hoeveel de kans kan afwijken van 0.50
      •    Laat niet zien of er bias is, maar wel als er een bias is hoeveel die de resultaten beïnvloed worden
  • Selection bias modeling:
      •    Propensity scores corrigeren niet voor verborgen bias
      •    Sensitiviteit analyse laat niet zien of er een verborgen bias is
      •    Oplossing: selectie bias model: is 1 model
        •   Equatie over het selectieproces (of je in behandelgroep of controlegroep komt)
        •   Equatie over de uitkomstvariabele
      •    Verschil met propensity score:
      •    Voordeel: het is 1 model
      •    Correlatie voor selectie equatie en uitkomst equatie
      •    De assumptie voor normaliteit is nodig. Dat hoeft niet bij de propensity score
      •    Als de selectie equatie veel van 0 afwijkt kunnen de resultaten gebiased zijn
  • Latent Variable Structural Equation Modeling: SEM (in andere statistiek cursus)
Check page access:
Public
Work for WorldSupporter

Image

JoHo can really use your help!  Check out the various student jobs here that match your studies, improve your competencies, strengthen your CV and contribute to a more tolerant world

Working for JoHo as a student in Leyden

Parttime werken voor JoHo

How to use and find summaries?


Online access to all summaries, study notes en practice exams

Using and finding summaries, study notes en practice exams on JoHo WorldSupporter

There are several ways to navigate the large amount of summaries, study notes en practice exams on JoHo WorldSupporter.

  1. Starting Pages: for some fields of study and some university curricula editors have created (start) magazines where customised selections of summaries are put together to smoothen navigation. When you have found a magazine of your likings, add that page to your favorites so you can easily go to that starting point directly from your profile during future visits. Below you will find some start magazines per field of study
  2. Follow authors or (study) organizations: by following individual users, authors and your study organizations you are likely to discover more relevant study materials.
  3. Search tool: quick & dirty - not very elegant but the fastest way to find a specific summary of a book or study assistance with a specific course or subject. The search tool is available at the bottom of most pages or on the Search & Find page
  4. Tags & Taxonomy: gives you insight in the amount of summaries that are tagged by authors on specific subjects. This type of navigation can help find summaries that you could have missed when just using the search tools. Tags are organised per field of study and per study institution. Note: not all content is tagged thoroughly, so when this approach doesn't give the results you were looking for, please check the search tool as back up

Do you want to share your summaries with JoHo WorldSupporter and its visitors?

Quicklinks to fields of study (main tags and taxonomy terms)

Field of study

Quick links to WorldSupporter content for universities in the Netherlands

Follow the author: VivianDeGraaff
Check more of topic:
Comments, Compliments & Kudos:

Add new contribution

CAPTCHA
This question is for testing whether or not you are a human visitor and to prevent automated spam submissions.
Image CAPTCHA
Enter the characters shown in the image.