Hoe is een experimenteel design opgebouwd? - Chapter 10

Welke niveaus zijn er in experimentele designs?

Experimentele designs waarbij er slechts één onafhankelijke variabele wordt gemanipuleerd heten eenweg-designs (‘one way designs’). De meest simpele vorm van een eenweg design is het tweegroep experimentele design (‘two-group experimental design’). Hierbij bestaan er slechts twee niveaus van de onafhankelijke variabele. In andere woorden; er zijn maar twee condities. Voor een experiment hebben we minimaal twee condities nodig, omdat we anders geen vergelijking kunnen maken tussen de respons van deelnemers in de verschillende condities. Alleen dan kunnen we bepalen in hoeverre de verschillen in niveaus van de onafhankelijke variabele hebben geleid tot verschillen in het gedrag van proefpersonen. Meestal maken wetenschappers gebruik van meer dan twee niveaus.

Eenweg designs

Er zijn drie soorten eenweg-designs: (1) gerandomiseerd groepsdesign, (2) gematchte subjectendesign en (3) herhaalde metingendesign.

1. Gerandomiseerd groepsdesign (‘randomized groups design’): in dit geval worden deelnemers willekeurig toegewezen aan twee of meer condities.

2. Gematchte subjectendesign (‘matched-subjects design’): hierbij worden deelnemers eerst in zogenaamde blokken gematcht. De gematchte paren worden ingedeeld op basis van een variabele waarvan de onderzoeker gelooft dat deze relevant is. Vervolgens worden alle deelnemers in elk blok willekeurig toegewezen aan één van de experimentele condities of de controleconditie.

3. Herhaalde metingendesign (‘repeated measures design’/’within-subjects design’): bij dit design wordt een deelnemer toegewezen aan alle experimentele condities.

Wat is het verschil tussen pretest en posttest metingen?

Alle bovenstaande eenweg-designs vallen onder de categorie ‘posttest-only design’. Bij een posttest-only design wordt de afhankelijke variabele alleen na de experimentele manipulatie gemeten. Soms komt het echter voor dat de afhankelijke variabele twee keer wordt gemeten: één keer voor en één keer na manipulatie van de onafhankelijke variabele. In dit geval spreken we ook wel van een ‘pretest-posttest design’. Elk van de hierboven drie besproken designs kan worden omgezet in een pretest-posttest design, door er een voormeting aan toe te voegen.

Een pretest-posttest design heeft drie voordelen ten opzichte van een posttest-only design:

• Door de voortest kan de onderzoeker vaststellen of de proefpersonen al van elkaar verschilden op de afhankelijke variabele, voordat het onderzoek begon. Hij of zij kan hierdoor zien of de proefpersonen eerlijk verdeeld zijn over de condities.

• Daarnaast kan de onderzoeker voor elke deelnemer vaststellen voor hoeveel verandering de onafhankelijke variabele heeft gezorgd, omdat de situatie voor en na de experimentele manipulatie kan worden vergeleken. Door de voormeting kan er dus een baseline worden opgesteld. Bij posttest-only designs kan er echter ook een baseline worde opgesteld, door middel van het gebruik van een controleconditie.

• Tot slot hebben pretest-posttest designs meer power. Ze kunnen de effecten van de onafhankelijke variabelen op de afhankelijke variabele dus beter detecteren dan het posttest-only design dit kan. Dat komt doordat de variabiliteit van de scores al in de voormeting verwijderd kan worden. Dit verkleint de error variantie. Hoe kleiner de error variantie, hoe groter de power.

Een nadeel van pretest-posttest metingen is dat het gebruik van een voortest voor ‘pretest sensitization’ kan zorgen. Het gebruik van een voortest kan ervoor zorgen dat mensen anders op de onafhankelijke variabele gaan reageren. Ze worden als het ware ontvankelijker of gevoeliger voor de afhankelijke variabele. Zelfs wanneer er geen sprake is van sensitisatie, kan de voortest de repsonsen beïnvloeden. De proefpersonen krijgen namelijk een ‘hint’ over het doel van het onderzoek of de verwachtingen van de onderzoeker. Hier kan vervolgens de bias van demand characteristics optreden; proefpersonen gaan zich gedragen naar de verwachtingen van de onderzoeker.

Pretest-posttest designs zijn handig, maar niet noodzakelijk. Een posttest-only design geeft ook voldoende informatie over de veranderingen in respons na de manipulatie van de onafhankelijke variabelen.

Hoe zien factoriele designs eruit?

De verwachting van mensen kan invloed hebben op hun reacties. Denk hierbij bijvoorbeeld aan het placebo-effect.

Een ander voorbeeld is dat mensen de verwachting hebben dat dure producten een betere kwaliteit hebben. Als we dit willen onderzoeken, hebben we te maken met twee factoren: (1) de prijs van het product en (2) of mensen een verwachting hebben met betrekking tot de effectiviteit van het product. Om deze hypothese te toetsen kunnen we geen eenwegdesign gebruiken, omdat we twee onafhankelijke variabelen hebben, namelijk (1) prijs en (2) verwachting. Een design waarbij twee of meer onafhankelijke variabelen worden gemanipuleerd wordt een factorieel design (‘factorial design’) genoemd.

De onafhankelijke variabelen in een factorieel design worden factoren genoemd. Er kunnen in dit onderzoek bijvoorbeeld twee niveaus van de factor prijs gemaakt worden (korting en de volle prijs) en twee niveaus van de factor verwachting (lage en hoge verwachting). In totaal zijn er dan dus vier condities (twee per factor).

Een eenweg-design heeft altijd maar één onafhankelijke variabele, een tweeweg (factorieel) design heeft twee onafhankelijke variabelen, een drieweg (factorieel) design heeft drie onafhankelijke variabelen, enzovoort. Hieronder wordt nog een aantal voorbeelden besproken:

• Als gesproken wordt van een 2x2 factorieel design, dan betekent dit dat er sprake is van twee factoren met twee niveaus per variabele. In totaal zijn er dan dus vier condities.

• Een 3x3 factorieel design heeft twee onafhankelijke variabelen, maar elke variabele heeft drie niveaus.

• Een 2x4 factorieel design heeft ook twee onafhankelijke variabelen. De ene heeft hier twee niveaus, en de andere vier.

• Een 2x2x3x3 factorieel design heeft vier factoren, twee hebben twee niveaus en twee hebben drie niveaus. Er zijn in totaal 2x2x3x3= 36 condities.

Op welke manier worden proefpersonen toegewezen aan condities?

Net zoals bij eenweg-designs kunnen factoriele designs ook een aantal vormen aannemen:

• ‘Randomized groups factorial design’ (ook wel ‘completely randomized factorial design’ genoemd): deelnemers worden hierbij willekeurig verdeeld over de verschillende condities.

• ‘Matched factorial design’: hierbij worden deelnemers eerst gematcht in blokken. Elk blok bevat net zo veel deelnemers als dat er condities zijn. In een 3x2 factorieel design zijn er zes experimentele condities. Daarom zullen de blokken hier uit zes proefpersonen bestaan. Net als bij de eenweg-designs, bestaat een match (blok) uit proefpersonen die overeenkomen op een variabele die volgens de onderzoeker invloed heeft op de afhankelijke variabele. Als de blokken zijn ingedeeld, worden de proefpersonen binnen elk blok random verdeeld over de condities. Het doel van het matched factorial design is om de proefpersonen zo eerlijk en precies mogelijk over de condities te verdelen.

• ‘Repeated measures factorial design’: in dit geval neemt elke deelnemer deel aan alle condities. Bij kleine factoriële designs (zoals een 2x2 design) kan hiervan gebruikgemaakt worden, omdat er dan niet zo veel condities zijn. Bij grote factoriële designs is het echter niet handig om gebruik te maken van het repeated measuresdesign. Bij een 2x2x2x4 design zou elke proefpersoon bijvoorbeeld deel moeten nemen aan 32 condities! In zo’n geval zouden volgorde-effecten een groot probleem kunnen worden.

• ‘Mixed factorial design’: omdat factoriele designs uit meer dan één factor bestaan, is het mogelijk om kenmerken van een gerandomiseerd groepsdesign en herhaalde metingen te combineren. Een design waarbij één of meer tussen-proefpersoon variabelen worden gecombineerd met één of meer binnen-proefpersoon variabelen, wordt een ‘mixed factorial design’, ‘between-within design’ of een ‘split-plot factorial design’ genoemd.

Hoe worden hoofdeffecten en interacties bepaald?

Het grote voordeel van factoriele designs is dat ze ons niet alleen informatie geven over de afzonderlijke effecten van elke onafhankelijke variabele, maar ook over de gecombineerde effecten van alle onafhankelijke variabelen samen. Dit laatste is niet mogelijk met een eenweg-design. Met een eenweg-design kunnen we de totale variantie in de respons van deelnemers opsplitsen in systematische variantie en error variantie. Met een factorieel design kunnen we echter ook onderzoeken of de spreiding (variantie) in de scores komt door (1) de effecten van alleen de onafhankelijke variabele, (2) de gecombineerde effecten van de onafhankelijke variabelen of (3) door error variantie. Factoriële desings geven ons dus een completer beeld van de invloed van meerdere variabelen, die onderling samenwerken op het gedrag van de proefpersonen.

Hoofdeffecten

Het effect van een afzonderlijke factor wordt in een factorieel design een hoofdeffect (‘main effect’) genoemd. Een hoofdeffect laat zien wat de invloed van één factor is. Hierbij worden de effecten van de andere factoren dus buiten beschouwing gelaten. Een factorieel design heeft evenveel hoofdeffecten als dat er factoren zijn. Elke factor heeft immers één hoofdeffect. In een 3x2x2x2 design zijn er dus vier hoofdeffecten. 

Interactie

Naast de hoofdeffecten van beide onafhankelijke variabelen is het ook mogelijk om het interactie-effect tussen de variabelen te berekenen. Een interactie is aanwezig wanneer het effect van de ene variabele verschilt op de verscheidene niveaus van de andere onafhankelijke variabele(n).

Een factor kan een ander effect hebben op het ene niveau van een onafhankelijke variabele dan op een ander niveau van die onafhankelijke variabele. Als dit het geval is, dan zeggen we dat de variabelen interactie hebben. Stel dat we een factorieel design met twee factoren (A en B) hebben. Als het effect van A anders is bij een bepaald niveau van B, dan spreken we van een interactie. Als A hetzelfde effect heeft op de scores van deelnemers, ongeacht het niveau van factor B, dan kan er niet gesproken worden van een interactie.

Wat zijn 'hogere orde-designs'?

Tot nu toe is vooral gesproken over factoriële designs met maar twee factoren. Het kan echter ook zo zijn dat het onderzoek uit meer dan twee factoren bestaat. Maar hoe meer factoren er zijn, hoe complexer het onderzoek wordt en hoe moeilijker de resultaten te interpreteren zijn. Een tweeweg factorieel design met twee factoren geeft drie vormen van informatie: (1) het hoofdeffect van A (zonder B), (2) het hoofdeffect van B (zonder A) en (3) de interactie tussen A en B.

Als we kiezen voor een drieweg factorieel design met drie factoren (A, B en C), dan kunnen we de hoofdeffecten voor A, B en C berekenen. Daarnaast kunnen we ook nog eens drie soorten interacties berekenen. Het gaat dan om de interactie tussen A en B (zonder C), de interactie tussen A en C (zonder B) en de interactie tussen B en C (zonder A).Tot slot geeft een drieweg factorieel design informatie over het gecombineerde effect van alle drie de factoren samen: A, B en C.

In de praktijk maken onderzoekers maar zelden gebruik van meer dan drie factoren. Wanneer je meer dan drie factoren gebruikt, ontstaan er zo veel conclusies dat de onderzoeksresultaten erg onoverzichtelijk en dus moeilijk te interpreteren worden. Het is dus moeilijk om bruikbare conclusies uit het onderzoek te trekken, wanneer er te veel factoren zijn.

Hoe kunnen variabelen gecombineerd worden?

Het is al langer bekend dat gedrag het gevolg is van zowel situationele factoren als persoonlijkheidskenmerken. Om gedrag te begrijpen moet er dus naar beide factoren gekeken worden. Persoonlijkheidskenmerken worden ook wel subjectvariabelen genoemd. Voorbeelden zijn leeftijd, sekse, intelligentie, persoonlijkheid en attituden. Persoonlijkheidsfactoren hebben dus een specifiek effect op gedrag in combinatie met situationele factoren. Niet iedereen reageert immers op dezelfde manier op een situatie. Soms ontwerpen onderzoekers experimenten om de gecombineerde effecten van situationele factoren en subjectvariabelen te onderzoeken. Omgevingsfactoren worden in zo’n geval gemanipuleerd door de onderzoeker en de subjectvariabelen worden gemeten, en niet gemanipuleerd. Er is niet echt een specifieke naam voor zo’n onderzoek, maar de auteur van het boek noemt het een ‘expericorr factorial design’ of ‘mixed design’. De naam ‘expericorr’ is een combinatie van experiment en correlatie. Volgens de auteur heeft een dergelijk design namelijk kenmerken van een experimenteel onderzoek, maar ook van een correlationeel onderzoek. De experimentele kant zit hem erin dat de situationele factoren gemanipuleerd worden. Het correlationele deel komt doordat de relatie tussen de situationele factoren en de subjectvariabelen gemeten wordt.

Een expericorr factorieel design wordt gebruikt om drie redenen:

• Als eerst willen onderzoekers met zo’n design de algemeenheid van het effect van de onafhankelijke variabele analyseren. Proefpersonen met verschillende persoonlijkheden kunnen verschillend reageren op dezelfde situatie. Vandaar dat de manipulatie van bepaalde onafhankelijke variabelen alleen effect heeft op proefpersonen met bepaalde kenmerken. 
  Met een expericorr factorieel design kunnen onderzoekers uitzoeken of de effecten van een onafhankelijke variabele voorkomen bij alle deelnemers of bij alleen deelnemers met bepaalde persoonlijkheidskenmerken.

• Daarnaast gebruiken onderzoekers een expericorr factorieel design, wanneer ze willen weten hoe bepaalde persoonlijkheidskenmerken leiden tot bepaald gedrag in verschillende situaties. Analyseren hoe mensen met een specifiek kenmerk reageren op condities, zegt niet per se iets over de manipulatie van de onafhankelijke variabele, maar wel iets over de persoonskenmerken (subjectvariabelen) van de proefpersonen. Het geeft dus geen informatie over de onafhankelijke variabele, maar wel over de persoonskenmerken van de deelnemer.

• Door deelnemers op te splitsen in groepen op basis van een subjectvariabele kunnen onderzoekers ervoor zorgen dat deelnemers binnen de condities meer op elkaar lijken. De conditie wordt dan dus homogener. Dit zorgt ervoor dat de error variantie afneemt. Zoals eerder behandeld, stijgt de power wanneer de error variantie afneemt. Dat is hier ook het geval. Het onderzoek wordt gevoeliger voor het vaststellen van de effecten van de manipulatie van de onafhankelijke variabele.

Groepen maken

Wanneer onderzoekers gebruik maken van een expericorr factorieel design, ontwerpen ze vaak groepen waar proefpersonen met dezelfde subjectvariabele (bijvoorbeeld sekse) aan toegewezen worden. Vervolgens worden de proefpersonen binnen de groepen willekeurig verdeeld over de niveaus van de onafhankelijke variabele. Soms zijn wetenschappers geïnteresseerd in subjectvariabelen die een mediërende rol kunnen spelen.

In dat geval kunnen ze gebruikmaken van de ‘median-split procedure’ en de ‘extreme groups-procedure’.

• ‘Median-split procedure’: in dit geval stelt de onderzoeker de mediaan van de scores in een dataset vast. Zoals eerder uitgelegd, is de mediaan de middelste score van de dataset. Dit is de score die precies op het 50^e percentiel valt. Het gaat bij deze verdeling om de scores op de subjectvariabele waarin de onderzoeker geïnteresseerd is. De onderzoeker zal de scores van de deelnemers onder de mediaan als laag bestempelen en de scores erboven als hoog bestempelen. Een variant op de median-split procedure is het opsplitsen van de dataset in drie of meer groepen, in plaats van twee (zoals bij de ‘normale’ median-split procedure).

• ‘Extreme groups-procedure’: hierbij wordt deelnemers niet in twee groepen (‘hoog’ of ‘laag’) verdeeld op basis van de mediaan, maar doet de onderzoeker een voormeting bij zo veel mogelijk deelnemers. Vervolgens selecteert de onderzoeker deelnemers die extreem hoog of extreem laag scoren op de subjectvariabele waarin de onderzoeker in is geïnteresseerd.

Kritiek

Er is veel kritiek op zowel de extreme groups-procedure als de median-split procedure. Daarom worden beide procedures nog maar weinig gebruikt. Het belangrijkste kritiekpunt is dat de proefpersonen bij beide procedures in twee groepen verdeeld worden. Er wordt dus helemaal niet gekeken naar de spreiding in de scores. Er wordt dus als het ware waardevolle informatie weggegooid.

Ook blijkt uit onderzoek dat het opsplitsen van mensen in twee groepen kan leiden tot foutieve onderzoeksresultaten (bias).

Het is van belang dat onderzoekers op een voorzichtige manier uitspraken doen op basis van een expericorr factorieel design. De factoren kunnen worden gemanipuleerd. Daarom kunnen we wel zeggen dat de factoren bepaalde uitkomsten op de afhankelijke variabele hebben veroorzaakt. Het is in dat geval normaal om over causaliteit te spreken. Omdat we subjectvariabelen niet goed kunnen manipuleren, mogen we niet zeggen dat subjectvariabelen bepaalde uitkomsten hebben veroorzaakt.

Als er een interactie bestaat tussen een factor en een subjectvariabele, dan kunnen we zeggen dat beide groepen anders hebben gereageerd op de factor. We kunnen echter niet zeggen dat lid zijn van de ene groep (bijvoorbeeld man of vrouw zijn) ervoor heeft gezorgd dat deelnemers anders reageren op de niveaus van de factor. We kunnen alleen zeggen dat de subjectvariabele een moderatorvariabele is. Een moderatorvariabele beïnvloedt hoe mensen op de onafhankelijke variabele reageren.

Experimentele designs waarbij er slechts één onafhankelijke variabele wordt gemanipuleerd heten eenweg-designs (‘one way designs’). De meest simpele vorm van een eenweg design is het tweegroep experimentele design (‘two-group experimental design’). Hierbij bestaan er slechts twee niveaus van de onafhankelijke variabele. In andere woorden; er zijn maar twee condities. Voor een experiment hebben we minimaal twee condities nodig, omdat we anders geen vergelijking kunnen maken tussen de responsen van deelnemers in de verschillende condities. Alleen dan kunnen we bepalen in hoeverre de verschillen in niveaus van de onafhankelijke variabele hebben geleid tot verschillen in het gedrag van proefpersonen. Meestal maken wetenschappers gebruik van meer dan twee niveaus.