Hoe ziet experimenteel onderzoek er uit? - Chapter 9

Welke voorwaarden zijn er voor experimenteel onderzoek?

Beschrijvend en correlationeel onderzoek zijn belangrijk, maar hebben een gebrek. Ze geven geen informatie over oorzaken van gedrag, gedachten en emoties. Wanneer onderzoekers geïnteresseerd zijn in het blootleggen van oorzaak-gevolgrelaties, dus naar causaliteit, dan voeren ze experimenten uit. Een goed ontworpen experiment voldoet aan drie voorwaarden: (1) de onderzoeker moet minstens één van de onafhankelijke variabelen manipuleren om te zien wat voor effect dit heeft op het gedrag van de deelnemer. Daarnaast (2) moet de onderzoeker de deelnemers op gelijke wijze toewijzen aan verschillende experimentele condities. Tenslotte (3) moet de onderzoeker controle hebben over externe variabelen die het gedrag van de deelnemers zouden kunnen beïnvloeden.

Hoe kan de onafhankelijke variabele gemanipuleerd worden?

In een experiment manipuleert een onderzoeker één of meer onafhankelijke variabelen (x-variabelen) om te zien hoe dit effect heeft op de afhankelijke variabele (de y-variabele). Een onafhankelijke variabele heeft meerdere niveaus (‘levels’). Dit zijn de verschillende waarden van de onafhankelijke variabele. Niveaus worden ook wel condities genoemd. Soms zijn condities het gevolg van kwantitatieve verschillen. Dat betekent dat de onafhankelijke variabele per conditie verschilt in hoeveelheid of mate waarin de proefpersoon beïnvloed wordt. In andere gevallen verschillen de condities kwalitatief. Dat houdt in dat deelnemers in verschillende condities bijvoorbeeld andere instructies krijgen.

Er zijn meerdere soorten manipulaties van de onafhankelijke variabele mogelijk:

1. Omgevingsmanipulaties (‘environmental manipulations’): in dit geval wordt de fysieke of sociale omgeving van de deelnemer gemanipuleerd. In sociale, ontwikkelings- en persoonlijkheidspsychologie worden soms handlangers (‘conferates’) van de onderzoeker gebruikt. Zij doen zich voor als proefpersonen terwijl zij dat niet zijn. Hierbij wordt de invloed van de aanwezigheid van de handlangers op de andere proefpersonen gemeten. Ook dit is een vorm van omgevingsmanipulatie.

2. Instructiemanipulaties (‘instructional manipulations’): in dit geval worden de instructies en/of de informatie die de proefpersonen krijgen gemanipuleerd. Instructiemanipulaties zijn ontworpen om te kunnen zien hoe bepaalde informatie of bepaalde opmerkingen de gedachten, emoties of het gedrag van mensen kunnen veranderen.

3. Invasieve manipulaties (‘invasive manipulations’): in dit geval worden veranderingen aangebracht in het lichaam van de deelnemer. Dit kan bijvoorbeeld door mensen middeltjes te laten innemen om te zien hoe dit hun emoties of gedrag beïnvloedt.

Experimentele groepen en controlegroepen

In sommige onderzoeken wordt een conditie toegevoegd waarbij de onafhankelijke variabele helemaal niet wordt gemanipuleerd. Deelnemers die wel een bepaalde mate van de onafhankelijke variabele krijgen, zitten in een experimentele groep. Deelnemers die niets van de onafhankelijke variabele krijgen, zitten in de controlegroep. Onderzoekers moeten zelf de keuze maken of ze wel of niet een controlegroep willen inzetten. Vaak wordt voor een controlegroep gekozen om het basisniveau (‘baseline’) van een gedraging vast te stellen. Het basisniveau van een gedraging is de mate van die gedraging wanneer de onafhankelijke variabele helemaal niet wordt gemanipuleerd.

Het komt vaak voor dat de onderzoekshypotheses van een onderzoeker correct zijn, maar dat de gewenste resultaten niet gevonden worden omdat de onafhankelijke variabele niet goed genoeg gemanipuleerd is. Als de onafhankelijke variabele niet sterk genoeg is om de voorspelde effecten te vinden, dan is het onderzoek bij voorbaat al gedoemd om te mislukken. Vaak proberen wetenschappers hun onderzoek eerst uit op een klein aantal proefpersonen om te zien of de onafhankelijke variabele wel echt goed gemanipuleerd is. In dit geval spreken we ook wel van een pilot test. In andere woorden; met een pilot test kan gezien worden of de verschillende condities van de onafhankelijke variabele wel genoeg van elkaar verschillen om significant invloed te hebben op het gedrag van de proefpersonen. Daarnaast maken wetenschappers tijdens hun onderzoek gebruik van manipulatiechecks. Een manipulatiecheck is een vraag (of set van vragen) die ontworpen is/zijn om te bepalen of de onafhankelijke variabele op succesvolle wijze gemanipuleerd is. Manipulatiechecks zijn echter niet altijd noodzakelijk en zijn soms niet eens mogelijk. Toch is het van belang dat onderzoekers altijd overwegen of het nuttig is om een manipulatiecheck uit te voeren.

Soms kunnen wetenschappers bepaalde variabelen niet manipuleren, omdat deze variabelen niet veranderd kunnen worden. Voorbeelden van deze variabelen zijn sekse, leeftijd en intelligentieniveau. Dit soort onveranderlijke variabelen noemen we ook wel subjectvariabelen of proefpersoon variabelen. Afhankelijke variabelen zijn de variabelen die beïnvloed worden door de onafhankelijke variabelen in een onderzoek. Vaak wordt iemands score op de afhankelijke variabelen geobserveerd, lichamelijk gemeten of via zelfrapportage verkregen.

Op welke manier worden deelnemers toegewezen aan condities?

Het is belangrijk dat deelnemers op een eerlijke manier worden toegewezen aan condities, zodat deelnemers die veel op elkaar lijken niet systematisch bij elkaar in één conditie terechtkomen.

Er zijn drie verschillende manieren om deelnemers toe te wijzen aan condities:

• Simpele willekeurige toewijzing (‘simple random assignment’): in dit geval heeft elke deelnemer evenveel kans om toegewezen te worden aan elke conditie. Dit kan bijvoorbeeld door een munt op te gooien. Simpele willekeurige toewijzing zorgt ervoor dat deelnemers in de groepen gemiddeld niet van elkaar verschillen. Er is echter een kleine kans dat simpele willekeurige toewijzing geen exact gelijke groepen oplevert. Simpele willekeurige toewijzing wordt ook wel ‘randomized groups design’ genoemd.

• Gematchte willekeurige toewijzing (‘matched random assignment’): van deze methode is sprake wanneer de onderzoeker de deelnemers eerst test op een variabele die relevant is voor het onderzoek. Vervolgens worden de scores van de deelnemers bekeken en worden deelnemers die hierin op elkaar lijken gematcht. Dit design wordt ook wel ‘between-subjects design’ genoemd. Zo ontstaat er een aantal clusters. Vervolgens worden alle deelnemers uit een cluster willekeurig toegewezen aan de verschillende condities.

• Herhaalde metingen (‘repeated measures design’): hierbij worden dezelfde proefpersonen meerdere keren getest, in alle experimentele condities. Er kan hierbij zowel gebruik gemaakt worden van simpele willekeurige toewijzing, als van gematchte willekeurige toewijzing. Dit design wordt ook wel een ‘within-subjects design’ genoemd.

Wat zijn voor- en nadelen van herhaalde metingen?

Het grootste voordeel van het herhaalde metingen design (within-subjects design) is dat de power groter is dan bij between-subjects designs. Power is de mate waarin een onderzoek de effecten van een onafhankelijke variabele kan detecteren. Dat de power groter is, komt doordat de proefpersonen in alle condities aan elkaar gelijk zijn. Het zijn immers dezelfde mensen die deelnemen aan alle condities. Hierdoor kan er geen sprake zijn van proefpersoonsverschillen die invloed kunnen hebben op de resultaten van het onderzoek. Een tweede voordeel is dat er minder deelnemers voor het onderzoek nodig zijn, omdat elke participant deelneemt aan alle experimentele condities.
Dit design heeft echter ook een aantal nadelen. Het design zorgt namelijk voor volgorde-effecten (‘order effects’): het gedrag van de deelnemers wordt beïnvloed door de volgorde waarin ze worden blootgesteld aan de condities. Er wordt onderscheid gemaakt tussen vier soorten volgorde-effecten.

1. Oefening (‘practice effects’): deelnemers presteren steeds beter, omdat ze de afhankelijke variabele meerdere keren meemaken. Ze kunnen dus als het ware met de afhankelijke variabele ‘oefenen’.

2. Vermoeidheid (‘fatigue effects’): deelnemers hebben vaak minder zin of raken vermoeid naarmate het onderzoek vordert. Daardoor kunnen behandelingen steeds minder effectief worden, naarmate ze later in het onderzoek plaatsvinden.

3. Sensitisatie (‘sensitization’): deelnemers kunnen de onderzoekshypothesen raden omdat ze al aan zoveel condities deelgenomen hebben. Omdat ze weten waar de onderzoeker naar op zoek is, kunnen zij zich onnatuurlijk gaan gedragen.

4. Overdracht (‘carryover effects’): het effect van een conditie kan als het ware blijven hangen. Het kan nog effect hebben wanneer de proefpersoon zich al in de volgende conditie bevindt. Dit is problematisch, omdat de onderzoeker dan geen onderscheid meer kan maken tussen de effecten van de verschillende condities. Om dit effect tegen te gaan, kunnen onderzoekers gebruikmaken van een methode die ‘counterbalancing’ wordt genoemd. Bij counterbalancing worden alle deelnemers in verschillende volgordes blootgesteld aan de verschillende condities.

Een ‘Latin Square design’ is een voorbeeld van counterbalancing. Als een design bijvoorbeeld vier condities heeft, dan kunnen deelnemers aan de hand van vier verschillende volgordes blootgesteld worden aan de condities.

Wat wordt bedoeld met experimentele controle?

Experimentele controle staat voor het elimineren of constant houden van externe factoren die de uitkomsten van een onderzoek zouden kunnen beïnvloeden. Dit is belangrijk, want als er geen controle over externe factoren zou zijn, dan is het niet duidelijk of de afhankelijke variabele beïnvloed is door de onafhankelijke variabele(n) of door andere factoren.

Wanneer is er sprake van systematische variantie?

Systematische variantie (ook wel ‘between-groups variance’ of tussen-groepen variantie genoemd) is het deel van de totale variantie dat staat voor echte verschillen tussen experimentele groepen. De grote vraag in een onderzoek is of de spreiding in de scores van deelnemers systematisch is. Dit houdt in dat de spreiding veroorzaakt wordt door de onafhankelijke variabele. We zouden dan ook systematische verschillen moeten vinden tussen de scores die horen bij verschillende condities. Er is sprake van systematische variantie wanneer de scores tussen de condities systematisch van elkaar verschillen. Systematische variantie kan het gevolg zijn van twee bronnen: (1) de onafhankelijke variabele (‘treatment variance’/ ‘primary variance’) of (2) externe variabelen (‘confound variance’/’secondary variance’). Als niets anders dan de onafhankelijke variabele de reacties van de deelnemers heeft beïnvloed, dan is er alleen sprake van treatment variantie. Dit is echter zelden het geval. Er zijn namelijk ook twee andere bronnen van variantie: (1) externe variabelen en (2) error variantie.

Proefpersonen kunnen op meerdere gebieden van elkaar verschillen. Wanneer zij niet alleen maar van elkaar verschillen op de onafhankelijke variabele, is er sprake van externe variabelen. Deze beïnvloeden de onderzoeksresultaten, terwijl dat niet de bedoeling is. Het zorgt voor oneerlijk onderzoek. De proportie variantie die het verklaard wordt door externe variabelen, wordt ‘confound variance’ genoemd. Het is onmogelijk voor onderzoekers om treatment variance te onderscheiden van confound variance. Daarom is het noodzakelijk om de confound variance zo goed mogelijk te elimineren.

Wanneer is er sprake van error variantie?

Error variantie wordt ook wel ‘within-groups variance’ genoemd. Het is het resultaat van onsystematische verschillen tussen proefpersonen. Het kan hierbij gaan om verschillen in persoonlijkheid, humeur en capaciteiten. Maar ook kan het gaan om verschillen in omgang door de onderzoeker. De onderzoeker kan verschillende proefpersonen namelijk (soms onbewust) verschillend behandelen.

Error variantie is minder problematisch dan confound variantie. We kunnen namelijk op statistische wijze onderscheid maken tussen systematische variantie en error variantie. Daardoor kunnen we error variantie gemakkelijker elimineren en is het dus minder van invloed op het experiment dan confound variantie. Het blijft echter wel zo, dat hoe meer error variantie er is, hoe moeilijker het is om de effecten van de onafhankelijke variabelen te detecteren. De errorvariantie verkleint dus de power van het experiment. Daarom willen we de errorvariantie zo laag mogelijk houden.

Variantie samengevat

Samengevat kun je de totale variantie onderverdelen in systematische variantie en error variantie: totale variantie = systematische variantie + error variantie.
De systematische variantie is vervolgens weer te verdelen in treatment variance en confound variance: systematische variantie = treatment variance + confound variance.

Hierbij is het van belang om de confound variance te elimineren, de treatment variance zo hoog mogelijk te houden, en de error variantie zo laag mogelijk te houden.

Welke rol speelt interne validiteit?

Interne validiteit gaat over de mate waarin een onderzoeker de juiste conclusies trekt over de effecten van de onafhankelijke variabele. Een experiment heeft interne validiteit wanneer alle bronnen van confound variantie worden geëlimineerd. Interne validiteit ontstaat vaak door experimentele controle. Experimentele controle zorgt er namelijk voor dat de onafhankelijke variabele het enige is dat verschilt tussen de condities. Als deelnemers in verschillende groepen systematisch van elkaar verschillen op meer dan alleen de onafhankelijke variabele, spreken we van ‘confounding’. Het is erg belangrijk om confounding tegen te gaan en te elimineren.

Gevaren voor de interne validiteit

De interne validiteit van een experiment kan door meerdere factoren bedreigd worden:

• Foutieve toewijzing (‘biased assignment’): hiervan is sprake wanneer deelnemers niet willekeurig over de condities verdeeld zijn. Er bestaan dan systematische verschillen tussen de groepen. De gevonden resultaten kunnen in zo’n geval het gevolg zijn van de verschillen tussen de groepen, in plaats van dat zij het gevolg zijn van de onafhankelijke variabele. De groepen verschillen dan op meer gebieden dan op alleen de onafhankelijke variabelen.

• Uitval (‘differential attrition’): Uitval (‘attrition’) is het verlies van deelnemers gedurende het onderzoek. Deelnemers willen of kunnen dan midden in het onderzoek niet meer deelnemen. Wanneer uitval op willekeurige wijze voorkomt en alle experimentele condities in dezelfde mate treft, is het niet erg gevaarlijk voor de interne validiteit. Het is echter een ander verhaal wanneer in sommige condities meer deelnemers uitvallen dan in andere condities (‘differential attrition’). In dat geval loopt de interne validiteit van een onderzoek wel gevaar.

• Voortest-sensitisatie (‘pretest sensitization’): In sommige experimenten worden deelnemers van tevoren getest. Dit geeft de onderzoeker een idee van het gedrag voordat de manipulatie van de onafhankelijke variabele heeft plaatsgevonden. Ook kan het helpen bij het eerlijk verdelen van proefpersonen over condities. Een nadeel van het van tevoren testen van de proefpersonen, is dat ze hierdoor anders zouden kunnen reageren op de onafhankelijke variabele. Ze worden als het ware gevoeliger (meer sensitief) voor deze variabele. Wanneer proefpersonen als gevolg van een voortest anders reageren op de manipulatie van de onafhankelijke variabele, spreken we van voortest-sensitisatie. 

• Geschiedenis (‘history’): de resultaten van sommige onderzoeken worden beïnvloed door externe gebeurtenissen, die buiten de onderzoekssetting voorkomen. In dit geval zijn de gevonden resultaten niet het gevolg van de onafhankelijke variabele, maar door een interactie tussen de onafhankelijke variabele en geschiedenis effecten (‘history effects’).

• Ontwikkeling (‘maturation’): als een experiment lang duurt, dan kan de ontwikkeling (‘maturation’) van de deelnemers de oorzaak zijn van de afhankelijke variabele in plaats van de onafhankelijke variabele.

• Design fouten (‘miscellaneous design confounds’): het gaat hierbij om fouten die voor kunnen komen in het onderzoeksdesign zelf. Zo kan een onderzoeker bijvoorbeeld op een andere manier omgaan met verschillende deelnemers. Het is erg belangrijk dat een onderzoeker er altijd op let dat dit niet gebeurt. Design fouten liggen volledig in handen van de onderzoeker. Daardoor zijn ze goed te elimineren. Het is dus belangrijk dat de onderzoeker hier goed op let.

Verwachtingen

De interne validiteit van een onderzoek wordt ook bepaald door de verwachtingen van de proefpersonen en onderzoeker met betrekking tot wat zou moeten gebeuren in het experiment. Hierbij wordt onderscheid gemaakt tussen drie problemen:

1. Verwachtingen van de onderzoeker (‘experimenter expectancy effects’): Vaak hebben onderzoekers al een vermoeden van hoe de proefpersonen zullen reageren. De verwachtingen van een onderzoeker zijn gebaseerd op de onderzoekshypothesen. Vooraf aanwezige verwachtingen van onderzoekers kunnen ervoor zorgen dat ze de onderzoeksresultaten verkeerd interpreteren. Bovendien kunnen de onderzoekers onbewust de reacties van de proefpersonen beïnvloeden.

2. Verwachtingen van proefpersonen (‘demand characteristics’): Proefpersonen kunnen vermoeden (of denken te vermoeden) wat de onderzoeker van hen verwacht. Zij kunnen zich hiernaar gaan gedragen, omdat ze goede proefpersonen willen zijn. Daardoor gedragen ze zich niet meer op een natuurlijke manier, en ontstaat er een bias in het onderzoek.

Door een dubbel-blind procedure (‘double-blind procedure’) te gebruiken, kan zowel de invloed van de verwachtingen van de onderzoeker als de invloed van de verwachtingen van de proefpersonen geëlimineerd worden. Bij een double-blind procedure weten zowel de onderzoekers als de proefpersonen niet welke proefpersonen aan welke conditie zijn toegewezen. Hierdoor hebben beide geen verwachtingen.

3. Placebo-effecten: Een placebo-effect is een fysiologische of psychologische verandering die plaatsvindt door de suggestie of het geloof dat verandering zal plaatsvinden. De verandering vindt dus plaats omdat de proefpersoon denkt dat er verandering zal plaatsvinden. Een medicijn kan bijvoorbeeld genezen zonder dat het een werkende stof bevat. Dit is omdat patiënten denken dat ze geholpen worden en zullen genezen.
   Wanneer een placebo-effect mogelijk is, maken onderzoekers vaak gebruik van een ‘placebo control group’. Deelnemers in deze groep krijgen een behandeling die eigenlijk niet werkt. De effecten van een placebo controlegroep kunnen worden vastgesteld door ook een echte controlegroep toe te voegen. De echte controlegroep krijgt helemaal geen pilletje, terwijl de placebo controlegroep een pilletje krijgt dat geen effect heeft. Als blijkt dat deelnemers in de placebo controlegroep het beter doen (bijvoorbeeld sneller genezen) dan deelnemers in de echte controlegroep, dan is er sprake van een placebo-effect.

Welke oorzaken voor error variantie zijn er?

Error variantie kan vijf oorzaken hebben:

1. Individuele verschillen: er zijn vaak individuele verschillen tussen proefpersonen, die al bestonden voordat zij deelnamen aan het onderzoek. Dit kan ervoor zorgen dat deelnemers in de experimentele condities op verschillende manieren reageren op de onafhankelijke variabele. Er kan niets gedaan worden om deze verschillen te elimineren, maar hoe minder individuele verschillen er zijn, hoe minder error variantie er is. Onderzoekers kunnen er dus voor kiezen om zo veel mogelijk gebruik te maken van homogene groepen proefpersonen.

2. Tijdelijke stemmingen (‘transient states’): het gaat hierbij om factoren die steeds kunnen veranderen. Voorbeelden zijn attitudes en humeur. Het enige dat onderzoekers kunnen doen is proberen om zelf zo min mogelijk te zorgen voor tijdelijke stemmingen bij deelnemers. Zij kunnen bijvoorbeeld altijd even vriendelijk zijn tegen alle deelnemers.

3. Omgevingsfactoren: voorbeelden van omgevingsfactoren zijn afleidende geluiden in de onderzoekssetting en het testen van proefpersonen in verschillende situaties. Het is van belang om alle proefpersonen in dezelfde situatie te onderzoeken. Daarom proberen onderzoekers om de omgeving waarin het experiment wordt afgenomen zo constant mogelijk te houden.

4. Verschillende manieren van behandeling (‘differential treatment’): Hiervan is sprake wanneer een onderzoeker op verschillende manieren met de proefpersonen omgaat. Een onderzoeker kan bijvoorbeeld erg aardig zijn ten opzichte van vrolijke en spontane deelnemers, terwijl hij of zij minder aardig is ten opzichte van andere deelnemers. Een oplossing voor dit probleem kan zijn om het onderzoek zo veel mogelijk te automatiseren. Hierdoor heeft de proefpersoon minder direct contact met de onderzoeker. Daardoor zijn er minder momenten waarop de onderzoeker de resultaten van de proefpersoon kan beïnvloeden.

5. Meetfouten (‘measurement error’): Elk onderzoek bevat meetfouten die bijdragen aan de error variantie. Om meetfouten te verminderen is het belangrijk om betrouwbare meetinstrumenten te gebruiken.

Het dilemma van de onderzoeker

Externe validiteit gaat over de mate waarin gevonden onderzoeksresultaten generaliseerbaar zijn naar andere steekproeven. Interne validiteit gaat daarentegen over de zekerheid waarmee een onderzoeker kan stellen dat de afhankelijke variabele beïnvloed is door de onafhankelijke variabele, en niet door andere variabelen. Vaak gaat een hoge mate van interne validiteit samen met een lage mate externe validiteit, en vice versa. De discrepantie tussen interne en externe validiteit wordt ook wel het onderszoekersdilemma (‘experimenter’s dilemma’) genoemd. Hoe meer controle een onderzoeker wil hebben over het experiment, hoe meer de interne validiteit stijgt. Maar door een verhoging van de controle, wordt het onderzoek minder natuurlijk en is het minder goed generaliseerbaar. De externe validiteit daalt dan dus. Een verhoging van de interne validiteit gaat dan ook ten koste van de externe validiteit. Onderzoekers hechten echter meer waarde aan interne validiteit. Het is namelijk belangrijker om zeker te zijn van de resultaten van het onderzoek (interne validiteit) dan om het onderzoek te kunnen generaliseren (externe validiteit). Wanneer je niet zeker bent van je onderzoeksresultaten, heeft het immers geen nut om ze te generaliseren.

Daarnaast worden experimenten zelden uitgevoerd om te kunnen generaliseren. Het doel van experimenteel onderzoek is niet om te kunnen generaliseren naar de ‘echte wereld’, maar juist om generalisaties uit de echte wereld te testen (door middel van hypothesen). Het is zelfs zo dat de resultaten van één experiment nooit moeten worden gegeneraliseerd, hoe goed het onderzoek ook is. De resultaten van elk onderzoek hangen te veel samen met de context waarin het onderzoek is uitgevoerd.

Welke voor- en nadelen heeft het gebruik van internet?

Voordelen van het internet

Veel wetenschappers gebruiken het internet om onderzoeken uit te voeren. Daarom wordt er geprobeerd om de validiteit van internetonderzoeken (‘web-based research’) te vergroten. Het uitvoeren van onderzoeken via het internet heeft zowel voor- als nadelen. De voordelen van dit soort onderzoeken zijn hieronder beschreven:

• Door het internet te gebruiken kunnen onderzoekers aan veel grotere steekproeven komen.

• Onderzoek via internet kost de onderzoekers minder tijd en geld.

• De steekproeven die op het internet worden samengesteld, zijn vaak diverser dan steekproeven die op een andere manier worden samengesteld.

• Onderzoekers die op internet op zoek gaan naar deelnemers, vinden het vaak gemakkelijk om daar deelnemers met specifieke kenmerken en eigenschappen te vinden.

• Omdat deelnemers op internet vaak anoniem zijn, worden hun reacties minder beïnvloed door sociale wenselijkheid. Ook is er in mindere mate sprake van ‘experimenter expectancy effects’.

Nadelen van het internet

De nadelen van internetonderzoeken worden hieronder beschreven:

• Onderzoekers vinden het vaak lastig om controle uit te oefenen over een steekproef die via het internet is samengesteld.

• De omgevingen van de proefpersonen kunnen erg veel van elkaar verschillen. Ze kunnen de vragen bijvoorbeeld allemaal op een andere locatie invullen, waardoor de ene proefpersoon veel meer afleiding heeft dan de andere. Dit beïnvloedt de onderzoeksresultaten.

• Vaak maken deelnemers op internet een onderzoek niet af.

• Internetonderzoeken kunnen alleen gebruikt worden als proefpersonen vragen in moeten vullen of moeten reageren op geschreven stimuli. Het is vaak niet mogelijk om bijvoorbeeld het effect van medicijnen te testen via het internet. Het is ook niet mogelijk om experimenten met meerdere sessies uit te voeren. Tot slot is het niet mogelijk om als onderzoeker één-op-één contact te hebben met een proefpersoon.

Beschrijvend en correlationeel onderzoek zijn belangrijk, maar hebben een gebrek. Ze geven geen informatie over oorzaken van gedrag, gedachten en emoties. Wanneer onderzoekers geïnteresseerd zijn in het blootleggen van oorzaak-gevolgrelaties, dus naar causaliteit, dan voeren ze experimenten uit. Een goed ontworpen experiment voldoet aan drie voorwaarden: (1) de onderzoeker moet minstens één van de onafhankelijke variabelen manipuleren om te zien wat voor effect dit heeft op het gedrag van de deelnemer. Daarnaast (2) moet de onderzoeker de deelnemers op gelijke wijze toewijzen aan verschillende experimentele condities. Tenslotte (3) moet de onderzoeker controle hebben over externe variabelen die het gedrag van de deelnemers zouden kunnen beïnvloeden.