Hoe zien quasi-experimentele designs er uit? - Chapter 13

Wat is de functie van manipulatie?

Vaak kunnen we variabelen niet op zo’n manier manipuleren dat we een uitspraak kunnen doen over causaliteit. Sekse kunnen we bijvoorbeeld niet manipuleren. Ook kunnen we vanwege ethische redenen vaak geen onderzoek doen waarbij bepaalde variabelen gemanipuleerd worden. Wanneer het niet mogelijk of wenselijk is om onafhankelijke variabelen te manipuleren, wordt er gekozen voor een quasi-experimenteel design. De onafhankelijke variabele die niet gemanipuleerd wordt, wordt de quasi-onafhankelijke variabele (‘quasi-independent variable’) genoemd.

De interne validiteit van experimentele designs is hoog. Experimentele designs kunnen namelijk goed laten zien dat onafhankelijke variabelen veranderingen veroorzaken in de afhankelijke variabele. Experimentele designs kunnen namelijk goed aantonen dat het effect op de afhankelijke variabele niet komt door iets anders dan de onafhankelijke variabele, omdat de onderzoeker controle heeft over externe variabelen. Quasi-experimentele designs hebben een lagere interne validiteit dan experimentele designs, omdat deelnemers niet willekeurig toegewezen kunnen worden aan verschillende condities. Toch kunnen quasi-experimentele designs veel (indirect) bewijs leveren voor oorzaak-gevolgrelaties. Hoe goed een quasi-experimenteel design is, hangt af van de mate waarin het design controle heeft over externe factoren. Er wordt onderscheid gemaakt tussen meerdere soorten quasi-experimentele designs. Deze worden hieronder beschreven.

One-group pretest-posttest design

Zoals de naam al doet vermoeden, wordt er in een one-group pretest-posttest design gebruik gemaakt van een voormeting en een nameting. In formuletaal ziet dit er als volgt uit: O1 -> X -> O2. Hierbij is O1 de voormeting, X is de manipulatie van de onafhankelijke variabele, en O2 is de nameting. Dit design is niet erg goed, omdat de interne validiteit ervan laag is. De factoren die de interne validiteit bedreigen worden namelijk niet geëlimineerd. Er kan tussen de voor- en nameting bijvoorbeeld een belangrijke gebeurtenis hebben plaatsgevonden (‘historic effect’). Ook kan het zo zijn dat de resultaten van de proefpersonen worden beïnvloed doordat zij hebben meegedaan aan de voormeting (‘testing effect’).

De interne validiteit van een one-group pretest-posttest design kan bedreigd worden door regressie naar het gemiddelde (‘regression to the mean’). Dit is de neiging van extreme scores om in een distributie richting het gemiddelde te verplaatsen bij herhaaldelijke meting. Er ontstaan dan meetfouten die de ware scores van de proefpersonen maskeren. Hoe meer metingen er plaatsvinden, hoe groter de kans op meetfouten die zorgen voor een (onterechte) stijging of daling van de scores. Eigenlijk wordt een one-group pretest-posttest design een ‘pre-experimental design’ genoemd, in plaats van een quasi-experimenteel design. De reden hiervan is dat er bij een one-group pretest-posttest design geen sprake is van experimentele controle en interne validiteit. In andere woorden: het design voldoet niet aan de basisvoorwaarden van een experimenteel (of quasi-experimenteel) onderzoek, en wordt daarom vaak anders benoemd.

Nonequivalent control group design

Om een sterker onderzoek dan een one-group pretest-posttest design te ontwerpen, kan de onderzoeker controlegroepen toevoegen. Het is echter niet mogelijk om gebruik te maken van een echte controlegroep, omdat proefpersonen niet willekeurig aan de groepen kunnen worden toegewezen. Wel kan een ongelijke controlegroep (‘nonequivalent control group’) gebruikt worden. Bij een ‘nonequivalent control group design’ gaat de onderzoeker op zoek naar één of meer groepen deelnemers die lijken op de groep waarop de quasi-onafhankelijke variabele wordt uitgeprobeerd. Een non-equivalent control group design kan twee vormen aannemen:

• ‘Nonequivalent groups posttest-only design’: hierbij is er alleen sprake van een nameting. De quasi-experimentele groep krijgt eerst een manipulatie (X) en daarna een nameting (O). De ongelijke controlegroep krijgt alleen een nameting (O). Systematisch weergegeven ziet het nonequivalent groups posttest-only design er als volgt uit:
  Quasi-experimentele groep: X --> O
  Nonequivalent control group: – --> O

Als blijkt dat de groepen van elkaar verschillen op de nameting, dan weten we niet of dit komt door het programma (X) of niet. Het kan ook zo zijn dat de groepen vóór het programma al van elkaar verschilden. Wanneer dat zo is, spreken we ook wel van een selectiebias. Dit design is erg zwak, omdat niet duidelijk is waar de verschillen in de nameting door worden veroorzaakt. De interne validiteit is erg laag. Het wordt dus niet aangeraden om gebruik te maken van het Nonequivalent groups posttest-only design’.

• ‘Nonequivalent groups pretest-posttest design’: dit design is bijna hetzelfde als het Nonequivalent groups posttest-only design’, maar er wordt er bij zowel de quasi-experimentele groep als de controlegroep een voormeting aan toegevoegd. In schemavorm zit dit design er zo uit:
  Quasi-experimentele groep: O1 --> X --> O
  Nonequivalent control group: O1 --> – --> O2

Met dit design kunnen we zien of de groepen al van elkaar verschilden voordat het onderzoek van start ging. Toch zijn er ook bij dit design problemen met de interne validiteit. Het kan bijvoorbeeld zijn dat de ene groep aan een situatie wordt blootgesteld waar de andere groep niet aan wordt blootgesteld (‘local history effect’/’selection-by-history interaction’).

Time series designs

Bij een ‘time series design’ wordt de afhankelijke variabele op verschillende momenten voor- en na de toepassing van de quasi-experimentele variabele gemeten. Er zijn dus meerdere voormetingen en meerdere nametingen. Er zijn vijf vormen van dit design:

• ‘Simple interrupted time series design’: bij dit design zijn er meerdere voor- en nametingen. Het Simple interrupted time series design heeft de volgende vorm:
  O1 -> O2 -> O3 -> O4 -> X -> O5 -> O6 -> O7 -> O8.
  De metingen worden als het ware onderbroken door de toevoeging van de quasi-experimentele variabele (X). Als X echt effectief is, dan zou er in dit voorbeeld een verschil tussen O4 en O5 moeten zijn. Maar ook bij dit design wordt de interne validiteit bedreigd. Deze dreiging wordt ‘contemporary history’ genoemd: we kunnen niet uitsluiten dat de geobserveerde effecten niet door een andere gebeurtenis komen die tegelijkertijd voorkwam met de toevoeging van de quasi-experimentele variabele.

• ‘Interrupted time series with a reversal’: ook bij dit design zijn er voormetingen voor en nametingen na de toevoeging van de quasi-experimentele variabele. De quasi-experimentele variabele wordt na de nameting echter weer verwijderd. Na deze verwijdering worden er nog meer nametingen uitgevoerd. Dit design heeft de volgende vorm:
  O1 -> O2 -> O3 -> O4 -> X -> O5 -> O6 -> O7 -> O8 -> –X -> O9 -> O10 -> O11 -> O12.
  Als de scores na de verwijdering van de quasi-experimentele variabele weer terugkeren naar de scores op de voormetingen, dan kunnen we stellen dat quasi-experimentele variabele waarschijnlijk wel effect heeft gehad.

• ‘Interrupted time series design with multiple replications’: dit design lijkt op het interrupted times series with a reversal design. Bij dit design wordt de quasi-experimentele variabele echter eerst gebruikt, daarna verwijderd en daarna weer opnieuw gebruikt en tenslotte weer verwijderd. Systematisch weergegeven ziet het interrupted time series design with multiple replications er als volgt uit: O1 -> O2 -> O3 -> X -> O4 -> O5 -> O6 -> -X -> O7 -> O8 -> O9 -> X -> O10 -> O11 -> O12 -> -X -> O13 -> O14 -> O15.
  Dit design heeft drie nadelen: (1) soms is het helemaal niet mogelijk om de quasi-experimentele variabele te verwijderen, (2) de effecten van de quasi-experimentele variabele kunnen blijven bestaan, al wordt deze variabele verwijderd en (3) het verwijderen van de quasi-experimentele variabele kan veranderingen veroorzaken die niet per definitie hoeven te komen door de effecten van de variabele.

• ‘Control group interrupted time series design’: in dit geval wordt bij de quasi-experimentele groep een aantal voormetingen uitgevoerd, vervolgens de quasi-experimentele variabele geïntroduceerd en tot slot worden er nametingen uitgevoerd. Hetzelfde wordt gedaan bij een ongelijke controlegroep. Deze ongelijke controlegroep lijkt zo veel mogelijk op de quasi-experimentele groep. Voor de quasi-experimentele groep geldt: O1 -> O2 -> O3 -> O4 -> X -> O5 -> O6 -> O7 -> O8. Voor de controlegroep geldt: O1 -> O2 -> O3 -> O4 -> – -> O5 -> O6 -> O7 -> O8.
  Dit design sluit historische effecten uit. Beide groepen ervaren namelijk dezelfde situationele factoren. Wanneer de ene groep anders scoort op de nametingen, dan moet dit dus wel komen door de quasi-experimentele variabele. Het kan dan vanzelfsprekend niet liggen aan historische effecten.

• ‘Comparative time series design’: dit design wordt ook wel ‘comparative trend analysis’ genoemd. Er worden hierbij twee of meer variabelen op volgorde bestudeerd. De onderzoeker probeert hierbij vooral te begrijpen hoe veranderingen in de ene variabele, gerelateerd zijn aan veranderingen in de andere variabele.

Als blijkt dat de ene variabele samengaat met veranderingen in de andere variabele, dan geeft dit indirect bewijs voor causaliteit. Zoals altijd het geval is met quasi-experimentele designs, geeft het comparative time series design geen zekerheid over causaliteit. Als duidelijk is dat veranderingen in de ene variabele gerelateerd zijn aan veranderingen in de andere variabele, kan dit echter wel voor inzicht zorgen wat causaliteit betreft.

Wat zijn longitudinale onderzoeken?

Bij longitudinale onderzoeken is de quasi-experimentele variabele de tijd zelf. Er is dus geen sprake van een ingreep of een manipulatie van de onafhankelijke variabele. Er worden gewoon verschillende metingen door de tijd heen uitgevoerd, om te kijken of deze dezelfde scores opleveren. Longitudinale onderzoeken worden vaak door ontwikkelingspsychologen gebruikt om leeftijdsgerelateerde veranderingen te onderzoeken. Hierbij wordt vooral gekeken naar veranderingen in hoe mensen denken, hoe zij zich voelen en zich gedragen. Longitudinaal onderzoek is erg informatief, maar heeft drie nadelen: (1) onderzoekers vinden het lastig om mensen te vinden die steeds opnieuw getest willen worden, (2) veel deelnemers blijken uit te vallen, bijvoorbeeld door sterfte of verhuizing en (3) het kost veel tijd, geld en inspanning om mensen jarenlang te testen.

Een andere mogelijkheid is het uitvoeren van een cross-sectioneel design. Hierbij worden groepen mensen van verschillende leeftijden op hetzelfde moment getest. Het nadeel van een cross-sectioneel design is echter dat leeftijdsgerelateerde veranderingen niet onderscheiden kunnen worden van generatie-effecten (‘generational effects’). Mensen van verschillende leeftijd verschillen niet alleen in hun leeftijd, maar ook in de leefomstandigheden. Een ander voordeel van longitudinale onderzoeken boven cross-sectionele onderzoeken, is dat kleine veranderingen door de tijd heen ontdekt kunnen worden door middel van een longitudinaal design, terwijl dit niet lukt met een cross-sectioneel design. Het is wel belangrijk om alternatieve verklaringen uit te sluiten, wanneer bepaalde veranderingen vastgesteld zijn door middel van een longitudinaal onderzoek.

Programma-evaluatie

Quasi-experimentele designs worden vaak gebruikt bij programma-evaluatie (‘program evaluation’). Het gaat hierbij om gedragsgerelateerde onderzoeksmethoden die interventies (ook wel manipulaties of programma’s genoemd) analyseren, die bedoeld zijn om gedrag te beïnvloeden. Interventies die gedrag beïnvloeden, kunnen vaak niet gemanipuleerd worden. Daarom wordt er vaak gebruik gemaakt van een quasi-experimenteel design. Het primaire doel van een programma-evaluatie is het geven van informatie aan de mensen die over de programma’s gaan. In sommige gevallen is het echter wel mogelijk om een echt experiment uit te voeren. Dit kan in zulke gevallen door sommige mensen toe te wijzen aan het ene programma en andere mensen toe te wijzen aan het andere programma. Mensen die de taak hebben om de programma’s te evalueren hebben zelf vaak geen controle over welke programma’s ze moeten analyseren.

Quasi-experimentele designs evalueren

Vroeger vonden wetenschappers quasi-experimentele designs niet betrouwbaar, omdat ze minder zekere resultaten geven dan experimentele designs. Bij experimenten is het namelijk mogelijk om mensen willekeurig toe te wijzen aan groepen die staan voor verschillende manipulaties van de onafhankelijke variabele. Dit zorgt ervoor dat de interne validiteit stijgt. Daardoor kunnen we met zekerheid zeggen dat de onafhankelijke variabele een verschil in de afhankelijke variabele heeft veroorzaakt. Het blijft echter wel belangrijk om quasi-experimentele onderzoeken uit te voeren. Als we dit niet zouden doen, konden we nooit onderzoek doen naar variabelen die we niet kunnen manipuleren. Let er hierbij wel op dat quasi-experimentele onderzoeken de interne validiteit veel minder goed waarborgen dan experimentele onderzoeken. Er kan niet met zekerheid een uitspraak worden gedaan over de causaliteit. Om van causaliteit te kunnen spreken, moet aan drie voorwaarden voldaan worden: (1) de variabele waarvan gedacht wordt dat deze effect heeft, moet voorafgaan aan het effect, (2) oorzaak en gevolg moeten covariëren en (3) alle alternatieve verklaringen van de resultaten moeten worden uitgesloten door mensen willekeurig aan condities toe te wijzen of door experimentele controle. Quasi-experimentele onderzoeken voldoen wel aan de eerste twee voorwaarden, maar niet aan de laatste. Ze hebben maar weinig controle over externe variabelen die de oorzaak zouden kunnen zijn van veranderingen in de afhankelijke variabele.

Quasi-experimentele designs verbeteren

Omdat quasi-experimentele designs nooit perfect bewijs leveren voor het bestaan van een oorzaak-gevolgrelatie, is het belangrijk om aan ‘critical multiplism’ te doen. Dit houdt in dat we moeten proberen om op zoveel mogelijk verschillende manieren bewijs te vinden voor een relevante hypothese. Wanneer we dat doen, ontstaan er steeds meer onderzoeksresultaten die het bestaan van een specifieke oorzaak-gevolgrelatie ondersteunen. De optelsom van al het bewijs zorgt voor meer overtuiging en meer zekerheid van een causale relatie tussen de twee betreffende variabelen.

Quasi-experimentele designs worden vaak gebruikt bij programma-evaluatie (‘program evaluation’). Het gaat hierbij om gedragsgerelateerde onderzoeksmethoden die interventies (ook wel manipulaties of programma’s genoemd) analyseren, die bedoeld zijn om gedrag te beïnvloeden. Interventies die gedrag beïnvloeden, kunnen vaak niet gemanipuleerd worden. Daarom wordt er vaak gebruik gemaakt van een quasi-experimenteel design. Het primaire doel van een programma-evaluatie is het geven van informatie aan de mensen die over de programma’s gaan. In sommige gevallen is het echter wel mogelijk om een echt experiment uit te voeren. Dit kan in zulke gevallen door sommige mensen toe te wijzen aan het ene programma en andere mensen toe te wijzen aan het andere programma. Mensen die de taak hebben om de programma’s te evalueren hebben zelf vaak geen controle over welke programma’s ze moeten analyseren.