Samenvatting van Introduction to Behavioral Research Methods van Leary - 6e druk

Hoe ziet de geschiedenis van onderzoek in de gedragswetenschappen eruit?

Veel mensen denken dat psychologen zich alleen bezighouden met het behandelen van mensen met mentale problemen. Dat is voor een deel waar, maar het is ook zo dat psychologen onderzoeken uitvoeren om meer te weten te komen over het gedrag en de mentale processen van mensen. Al eeuwen zijn mensen bezig met het verklaren van gedrag. Aristoteles en Boeddha stelden bijvoorbeeld op systematische wijze vragen over waarom mensen zich op bepaalde manieren gedragen. Vroeger werd het verklaren van menselijk gedrag echter niet op wetenschappelijke wijze gedaan. De verklaringen waren vooral speculatief. Het was dan ook onmogelijk om de validiteit van de verklaringen te toetsen, met als gevolg dat de accuraatheid en de juistheid van de verklaringen ook niet getoetst kon worden. Verklaringen werden namelijk vaak gegeven op basis van bijvoorbeeld religieuze dogma’s. De wetenschappelijke psychologie is ontstaan in de laatste 25 jaar van de 19^e eeuw. Door wetenschappers als Wundt, James, Watson en Hall begon men in te zien dat psychologische vraagstukken beantwoord kunnen worden met wetenschappelijke methoden die ook gebruikt worden in bijvoorbeeld de biologie of de natuurkunde.

Welke soorten onderzoeken zijn er?

Onderzoekers maken onderscheid tussen twee onderzoekssoorten die gebruikt worden voor verschillende doeleinden:

1. ‘Basic research’: dit soort onderzoek wordt uitgevoerd om psychologische processen beter te begrijpen. Het is in dit verband niet van belang of deze kennis meteen toepasbaar is. Het primaire doel is dan ook het vergroten van de kennis over een psychologisch proces.

2. ‘Applied research’: dit soort onderzoek wordt uitgevoerd om oplossingen te vinden voor bepaalde problemen in plaats van onze algemene kennis over bepaalde processen te vergroten. Soms worden psychologen bijvoorbeeld ingehuurd om problemen op de werkvloer op te merken en deze op te lossen. In dit verband gaat het er dus om dat problemen worden begrepen en weggewerkt.

3. Sommige wetenschappers spreken naast deze soorten onderzoek ook nog van een derde onderzoekssoort, namelijk ‘evaluation research’ (ook wel ‘program evaluation’ genoemd). Dit soort onderzoek is erop gericht om met behulp van wetenschappelijke onderzoeksmethoden de effecten van programma’s op gedrag te begrijpen.
   Denk in dit verband bijvoorbeeld aan nieuwe schoolprogramma’s die worden toegepast. Het is van belang dat onderzocht wordt in hoeverre deze programma’s effectief zijn.

Wat zijn de doelen van wetenschappelijk onderzoek?

Soms is het lastig om op basis van het design van een wetenschappelijk onderzoek te bepalen of deze ‘basic’ of ‘applied’ van aard is. Daarnaast sluiten beide onderzoekssoorten elkaar niet uit. ‘Basic research’ kan op den duur toepasbaar zijn en ‘applied research’ kan ervoor zorgen dat we meer kennis krijgen over een fenomeen. Ook is het vaak zo dat het oplossen van problemen (‘applied research’) pas gedaan kan worden wanneer er voldoende kennis over een fenomeen bestaat (‘basic research’). Het belangrijkste verschil tussen ‘basic’ en ‘applied’ research ligt in de bedoeling van de onderzoeker. Uit het onderzoek zelf is het vaak moeilijk af te lezen. Of er nou sprake is van ‘applied’ of ‘basic’ research, onderzoek heeft altijd drie doelen:

1. Beschrijving (‘description’): sommige onderzoeken worden vooral uitgevoerd om gedragspatronen, gedachten of emoties te beschrijven. Denk in dit verband aan bijvoorbeeld opiniepeilingen die net voor de verkiezingen worden gehouden. Ontwikkelingspsychologen houden zich bijvoorbeeld bezig met het beschrijven van leeftijdsgerelateerde veranderingen in gedrag.

2. Voorspelling (‘prediction’): in dit geval proberen wetenschappers gedrag te voorspellen. Soms proberen psychologen bijvoorbeeld aan de hand van scores op gestandaardiseerde testen te voorspellen wat de academische prestaties van mensen zullen zijn. Het is van belang dat dit soort testen kritisch geanalyseerd worden en voldoen aan allerlei statistische voorwaarden. De voorspelling wordt aan de hand van verschillende andere data geanalyseerd, om er zeker van te zijn dat de voorspelling juist is. Hieruit kun je afleiden dat bij het voorspellen van gedrag ook gebruik wordt gemaakt van beschrijving (‘description’).

3. Verklaring (‘explanation’): veel wetenschappers vinden dat verklaring het belangrijkste doel is van wetenschappelijk onderzoek. Wetenschappers hebben namelijk pas echt het gevoel dat ze een fenomeen begrijpen als ze deze kunnen verklaren. We kunnen bijvoorbeeld beschrijven hoeveel gevangenen na hun vrijlating weer de fout ingaan, maar uiteindelijk willen we echter kunnen verklaren waarom sommige ex-gevangenen na hun vrijlaten wel de fout ingaan, terwijl dat niet geldt voor andere ex-gevangenen.

Wat wordt bedoeld met volkspsychologie?

In tegenstelling tot bijvoorbeeld de natuurwetenschappen, houden de gedragswetenschappen zich vaak bezig met het onderzoek naar verschijnselen die we allemaal kennen.

De gemiddelde persoon weet bijvoorbeeld niets over atomen, maar wel veel over het geheugen, vooroordelen, slaap en emotie, omdat hij of zij ervaring heeft met deze verschijnselen. Dit zorgt ervoor dat veel mensen denken dat bevindingen uit de gedragswetenschappen vaak logisch zijn en dat ze dat zelf ook wel hadden kunnen bedenken. Dit is echter niet altijd waar. Bovendien is het ook niet zo dat iets automatisch waar is wanneer bijna iedereen het gelooft. Wetenschappers hebben daarnaast veel onderzoeken uitgevoerd waaruit blijkt dat veel van onze volkspsychologie niet klopt. Een voorbeeld is dat veel mensen denken dat hele intelligente mensen vaak vreemder zijn dan de gemiddelde mens. Uit onderzoek blijkt juist dat hele intelligente mensen vaak beter aangepast zijn aan hun omgeving dan andere mensen. Een ander voorbeeld is dat veel mensen denken dat de grootste verschillen tussen mannen en vrouwen biologisch van aard zijn. Dit blijkt niet waar te zijn; de rol van socialisatie is ook ontzettend groot. Het is verder van belang om stil te staan bij het feit dat volkspsychologie ervoor kan zorgen dat wetenschappers niet oordeelvrij aan een onderzoek beginnen. Wetenschappers vertrouwen vaak op algemene kennis (volkspsychologie) als het gaat om het verklaren van gedrag, gedachten en emoties. Als de volkspsychologie met betrekking tot een fenomeen onjuist is, dan kan dit ervoor zorgen dat wetenschappers psychologische processen op onjuiste wijze verklaren.

Waarom is onderzoek in de gedragswetenschappen belangrijk?

Het is voor ons van belang om meer te leren over het uitvoeren van wetenschappelijk onderzoek. Dit heeft vier redenen:

1. Kennis zorgt ervoor dat mensen onderzoeken kunnen begrijpen die van belang zijn voor hun eigen beroep. Dit is van belang omdat we steeds up to date moeten zijn met betrekking tot nieuwe bevindingen. Leraren moeten bijvoorbeeld begrijpen waarom sommige onderwijsmethoden effectief zijn, terwijl andere dat niet zijn.

2. Kennis over onderzoeksmethoden zorgt er daarnaast voor dat we wetenschappelijke bevindingen in ons dagelijks leven beter kunnen analyseren. Als we bijvoorbeeld een auto willen kopen, dan kunnen we meerdere wetenschappelijke onderzoeken lezen die de voor- en nadelen van een auto beschrijven. Het is van belang dat we deze bevindingen goed en kritisch kunnen analyseren.

3. Een derde voordeel is dat kennis over onderzoeksmethoden kritische denkers van ons maakt. Wetenschappers stellen kritische vragen, proberen alternatieve mogelijkheden en verklaringen te bedenken, hun methoden te verbeteren en sterk bewijs te vinden.

4. Een laatste voordeel is dat kennis over onderzoeksmethoden ervoor zorgt dat iemand een expert kan worden. Niet alleen op het gebied van onderzoeksmethodologie, maar ook op het gebied van specifieke onderwerpen. Zo kunnen mensen eerdere onderzoeken in hun onderzoeksveld lezen en begrijpen, leren hoe ze data moeten verzamelen en resultaten op een correcte manier interpreteren.

Hoe ziet de wetenschappelijke methode eruit?

Een methode is wetenschappelijk wanneer het aan drie criteria voldoet:

1. Empirisme: het gebruik van observatie om conclusies over de wereld te trekken. Het is echter wel noodzakelijk dat empirisme systematisch van aard is. Wetenschappers structureren hun observaties op systematische manier zodat ze valide conclusies kunnen trekken.

2. Verificatie (‘public verification’): hiermee wordt bedoeld dat de onderzoeksresultaten van de ene onderzoeker moet kunnen worden geobserveerd, gerepliceerd en geverifieerd (bevestigd) door andere onderzoekers. Dit zorgt ervoor dat andere onderzoekers kunnen zien dat datgene dat door de ene onderzoeker bestudeerd is ook echt bestaat en observeerbaar is. Daarnaast zorgt dit proces ervoor dat het onderzoek verbeterd kan worden; andere onderzoekers kunnen fouten ontdekken in het werk van een onderzoeker, zodat deze fouten verbeterd kunnen worden. Vaak gaat verificatie door middel van het publiceren van artikelen in wetenschappelijke tijdschriften. Replicatie gaat niet alleen fouten tegen, het maakt het ook mogelijk voor onderzoekers om verder te bouwen op het onderzoek van anderen en dit onderzoek mogelijk uit te breiden.

3. Oplosbare problemen (‘solvable problems’): de wetenschap houdt zich alleen bezig met oplosbare problemen. De vraag of engelen bestaan is bijvoorbeeld niet wetenschappelijk, omdat er geen manier is om engelen op een empirische en systematische manier te bestuderen. Dit betekent niet dat engelen niet bestaan, maar wel dat hier niet door middel van de wetenschappelijke methode uitspraken over gedaan kunnen worden.

Welke taken heeft een wetenschapper?

De wetenschappers richten zich op twee verschillende taken:

1. Het ontdekken en vastleggen van nieuwe verschijnselen, patronen en relaties die ze opmerken. Soms is het echter niet mogelijk om op basis van een hypothese een onderzoek uit te voeren, omdat er nog geen theorie bestaat over het verschijnsel dat bestudeerd wordt. Dit kan ervoor zorgen dat er onvoldoende informatie over het verschijnsel aanwezig is om een theorie te ontwikkelen. In dat geval is het beter om een onderzoek te ontwerpen om een verschijnsel te beschrijven in plaats van hypotheses over het verschijnsel te testen.

2. Het ontwikkelen en evalueren van verschijnselen die ze opmerken. Als ze eenmaal de verschijnselen geïdentificeerd hebben die verklaard moeten worden, richten ze zich op het ontwikkelen van theorieën om de patronen te kunnen verklaren en het uitvoeren van onderzoek om de theorieën te kunnen toetsen.

Wat is de rol van theorieën en modellen?

Een theorie bestaat uit een set van proposities die de relaties tussen een aantal concepten probeert uit te leggen. Met de contingency-theory probeert Fiedler bijvoorbeeld een verband te leggen tussen concepten als leiderschapseffectiviteit, taak- versus relatiegerichte leiders, leider-volger relaties, taakstructuur en macht. Wetenschappelijke theorieën zijn alleen valide wanneer zij worden gesteund door empirische bevindingen. Dit betekent dat een theorie consistent moet zijn met de feiten die door wetenschappers ontdekt worden. Een goede theorie voldoet aan de volgende eisen:

1. Een goede theorie stelt een causale relatie voor. Het beschrijft dus hoe één of meer variabelen leiden tot een bepaalde cognitieve, emotionele, gedrags- of fysieke reacties.

2. Een goede theorie is samenhangend in de zin van duidelijk, eenvoudig, logisch en consistent.

3. Een goede theorie maakt gebruik van een aantal concepten en processen om een verschijnsel te beschrijven.

4. Een goede theorie genereert toetsbare, falsifieerbare hypotheses om de theorie te kunnen toetsen

5. Een goede theorie lost een bestaande theoretische vraag op.

Onderzoekers gebruiken de begrippen ‘model’ en ‘theorie’ vaak door elkaar. Een theorie is echter iets anders dan een model. Een model beschrijft alleen hoe concepten gerelateerd aan elkaar zijn, terwijl een theorie ook beschrijft hoe en waarom concepten gerelateerd aan elkaar zijn. Een model is dus vooral beschrijvend van aard, terwijl een theorie zowel beschrijvend als verklarend van aard is.

Hoe zien onderzoekshypothesen eruit?

Wetenschappers besteden hun tijd vooral aan het testen van theorieën en modellen om te ontdekken of deze wel echt op een juiste manier gedrag beschrijven en verklaren. Mensen kunnen vaak wel verklaringen voor gebeurtenissen vinden nadat deze plaatsgevonden hebben. Dit soort verklaringen wordt ook wel post hoc-explanations genoemd – verklaringen die worden gegeven nadat het feit heeft plaatsgevonden. Wetenschappers zijn hier zeer sceptisch over.

Wanneer een theorie achteraf verschijnselen kan verklaren, zegt dit bijna niets over de accuraatheid van de theorie. Wanneer een theorie van tevoren kan voorspellen wat er zal gaan gebeuren, zegt dit wel veel over de juistheid van de theorie. Om deze reden bedenken wetenschappers hypothesen voordat ze data verzamelen (‘a priori’). Theorieën zijn te breed om direct te testen. Daarom worden ze altijd op een indirecte manier getest. Dit gebeurt via hypothesen.

• Een hypothese is een voorstel dat op logischerwijze volgt uit een theorie.

• Bij het afleiden van een hypothese van een theorie wordt er gebruik gemaakt van deductie. Dit is een proces waarbij er van een algemeen voorstel (de theorie) een specifiek voorstel (de hypothese) afgeleid wordt. De wetenschapper laat zich in dit proces leiden door de vraag wat ontdekt zou worden als de theorie daadwerkelijk zou kloppen. Hypothesen hebben daarom eigenlijk een ‘als-A-dan-B’ vorm.

• Soms ontstaat een hypothese niet door middel van deductie, maar door middel van inductie. In dat geval wordt een hypothese afgeleid van een verzameling feiten. Hypothesen die alleen gebaseerd zijn op eerder geobserveerde resultaten worden ook wel empirische generalisaties genoemd. Een hypothese moet altijd zo geformuleerd worden dat deze te testen is en ontkracht (‘gefalsifieerd’) kan worden. De psychoanalyse van Freud wordt bijvoorbeeld bekritiseerd, omdat het niet mogelijk is om hypothesen uit deze theorie af te leiden die daadwerkelijk getest (en dus ook gefalsifieerd) kunnen worden. Het is bijvoorbeeld onmogelijk om hypothesen over het onderbewuste te bedenken, omdat deze niet getest kunnen worden.

• Sommige onderzoeken zijn sterker en beter ontworpen dan andere onderzoeken waardoor ze sterker bewijs voor een hypothese (en dus een theorie) geven. Daarnaast is het zo dat hoe meer verschillende (meet)methoden er gebruikt worden om een theorie te testen (‘methodological pluralism’) in verschillende experimenten, hoe meer vertrouwen wetenschappers hebben in hun bevindingen.

• Soms zijn er twee tegenstrijdige theorieën over een verschijnsel. De wetenschappers ontwerpen dan een onderzoek waarmee ze beide theorieën tegelijkertijd kunnen testen. Doordat de twee theorieën tegenstrijdig zijn, kan het nooit zo zijn dat beide theorieën juist zijn. Als de ene theorie juist is, is de andere (tegenovergestelde) theorie automatisch onjuist. Deze methode wordt ook wel ‘strategy of strong inference’ genoemd. Resultaten van deze methode leiden namelijk tot sterkere conclusies over de relatieve waarde van de tegengestelde theorieën. Methoden die maar één theorie testen, leiden tot minder sterke conclusies.

Welke soorten definities zijn van belang?

Om een hypothese te kunnen testen en eventueel de falsifiëren (ontkrachten), moet deze duidelijk geformuleerd zijn. Als een onderzoeker bijvoorbeeld onderzoek doet naar de effecten van honger op onze aandacht, dan moet hij of zij deze begrippen wel goed kunnen definiëren. Wetenschappers maken gebruik van twee soorten definities: (1) conceptuele definities en (2) operationele definities:

• De conceptuele definitie van een woord is de definitie die we in een woordenboek zouden kunnen terugvinden. Honger is in dit verband bijvoorbeeld ‘het verlangen naar eten’.

• Een operationele definitie laat zien hoe een concept gemeten kan worden in een onderzoek. Een operationele definitie zet een abstracte, conceptuele definitie om in concrete, situatiespecifieke termen. We kunnen in een onderzoek bijvoorbeeld zeggen dat iemand honger heeft als hij of zij twaalf uur niets gegeten heeft. Er kunnen meerdere operationele definities bedacht worden voor hetzelfde concept. Operationele definities zijn noodzakelijk, omdat wetenschappers elkaars bevindingen door middel van deze definities kunnen repliceren. Het gebruiken van deze definities dwingt onderzoekers om hun concepten duidelijk te beschrijven en eventuele ambiguïteit te omzeilen.

Hoe wordt ergens bewijs voor gevonden?

Omdat theorieën alleen indirect door middel van hypothesen getest kunnen worden, zijn theorieën nooit te bewijzen. Wetenschappers zeggen dan ook nooit dat een theorie bewezen is, maar alleen dat een theorie ondersteund is. Theorieën kunnen niet bewezen worden. Hypothesen kunnen wel bewezen worden, maar dat een hypothese bewezen is, betekent niet gelijk dat de theorie die erbij hoort ook waar is.

Een voorbeeld is dat een moord is gepleegd en we een theorie aan het bedenken zijn over wie de dader is. De moord is gepleegd op een strandfeest. Stel je voor dat Piet een verdachte is. Als Piet de moordenaar is, dan moet hij dus wel op het strandfeest aanwezig geweest zijn (dit is een hypothese die een ‘als-A-dan-B’ vorm aanneemt). Vervolgens blijkt inderdaad dat hij aanwezig was bij het feest. Betekent dit dat hij de moordenaar is, omdat de hypothese bevestigd is? Uiteraard niet. We kunnen een theorie (‘Piet is de moordenaar’) dus niet bewijzen door de hypothesen die eruit voortvloeien te bevestigen (‘Piet was op het strandfeest’).

Bewijzen dat een hypothese niet waar is, is wel een logisch valide operatie. Als is bewezen dat Piet niet op het strandfeest was, kan Piet logischerwijs niet de moordenaar zijn. In het dagelijks leven gaat dit echter vaak anders. Het gebruik van verkeerde meettechnieken kan er bijvoorbeeld toe leiden dat de hypothese wordt afgewezen terwijl de theorie wel klopt, en vice versa. Het ontkrachten van een hypothese (‘Piet was niet op het strandfeest’) hoeft dus niet perse te betekenen dat de theorie (‘Piet is de moordenaar) onwaar is. Dat we denken dat Piet niet op het feest was, kan komen doordat we fouten hebben gemaakt en zijn alibi bijvoorbeeld onwaar is. Dit is een voorbeeld van een fout in de meettechnieken. Omdat meettechnieken niet optimaal zijn, wordt een theorie nooit meteen afgewezen omdat een onderzoek geen bewijs voor de theorie heeft kunnen vinden.

De conclusie is dus dat we een theorie nooit kunnen bewijzen, maar ook nooit kunnen bewijzen dat een theorie niet klopt. De wetenschap ontwikkelt zich doordat er veel bewijs wordt geleverd voor een theorie, omdat er bijvoorbeeld tientallen studies zijn die deze ondersteunen. Hoe meer studies de hypothesen ondersteunen, hoe groter de kans is dat de theorie die bij die hypothesen hoort, klopt. De wetenschap kun je ook zien in termen van filters. Eerst bedenkt men een heleboel verschillende mogelijke verklaringen voor een verschijnsel. Vervolgens worden door middel van onderzoek de plausibele verklaringen behouden en verder getest, terwijl de niet plausibele verklaringen worden afgewezen. Hoe meer er gefilterd wordt, hoe minder potentiële verklaringen er overblijven.

Wetenschappelijke onderzoeken die door andere onderzoekers gelezen zijn en in tijdschriften zijn gepubliceerd, zijn in ieder geval acceptabel. Andere wetenschappers kunnen vervolgens aan de gang met het repliceren van de bevindingen die gepubliceerd zijn.

Null findings zijn resultaten die laten zien dat bepaalde variabelen niet gerelateerd zijn aan een gedrag. Deze resultaten leveren weinig informatie omdat ze een theorie niet ondersteunen. Het kan zijn dat de data het onderzoek niet bevestigen door redenen die niets te maken hebben met de validiteit van een bepaalde hypothese. Dit maakt null findings niet informatief. Wanneer onderzoeken die null findings bevatten niet worden gepubliceerd, wordt dit vaak het file-drawer probleem genoemd. Hierdoor gebeurt het vaak dat onderzoekers een design opzetten om een theorie te testen, terwijl deze theorie al vele malen een null finding heeft opgeleverd. Al deze null findings zijn niet gepubliceerd, wat als gevolg heeft dat onderzoekers in de toekomst niet weten dat “hun” onderzoek al eens eerder is uitgevoerd.

Wat wordt verstaan onder het wetenschappelijke filter?

Je kunt wetenschap ook zien in termen van de zogenaamde ‘wetenschappelijke filter’. Stel je een buis voor die naar beneden toe steeds smaller wordt. Deze buis bestaat uit een aantal lagen, met tussen elke laag een filter. De bovenste laag bestaat uit alle ongefilterde ideeën, gewoontes, gedachten, etc. die in de onderzoeker opkomen. Daarna volgen 4 filters:

1. In de eerste filter kijkt de onderzoeker welke ideeën wel en niet uitgevoerd kunnen worden. De onderzoeker laat hierbij ideeën afvallen waarvan hij of zij heeft geleerd (in trainingen of educatie) dat deze niet mogelijk zijn. Ook denkt de onderzoeker hierbij aan zijn of haar professionele reputatie. De ideeën die door filter 1 komen zijn niet noodzakelijk valide, maar zeker ook niet duidelijk onjuist.

2. De tweede filter bestaat uit de onderzoeker zelf. In dit stadium bepaalt de onderzoeker welke ideeën het waard zijn om te onderzoeken. Als een onderzoek kan leiden tot een interessant resultaat en wetenschappelijke publicatie, zal de onderzoeker dit waarschijnlijk door willen zetten. Maar als de kans groot is dat het onderzoek tot null findings zal leiden, zal de onderzoeker het onderwerp niet verder onderzoeken.

3. Filter 3 bestaat uit peer review: andere onderzoekers controleren het onderzoek. Zij verwijderen of verbeteren onderzoek dat een slechte methodologie heeft. Ook worden onderzoeken die niet nuttig zijn voor de wetenschappelijke gemeenschap in deze fase verwijderd. Het is echt niet zo dat deze filter al het onderzoek verwijdert dat niet noodzakelijk is. De filter verwijdert voornamelijk errors.

4. De laatste filter bestaat uit het gebruik, replicatie en toevoeging door anderen. Alleen als een theorie deze filter doorstaat, maakt het deel uit van de gevestigde wetenschappelijke literatuur.

Als een theorie alle 4 de filters heeft doorstaan, betekent dit niet dat de theorie automatisch waar is. Wetenschappers spreken zelden over hun theorie als ‘de enige waarheid’. Door middel van de wetenschappelijke filter en door steeds nieuwe hypothesen te testen kunnen we slechts dichter bij de waarheid komen. Het blijft echter onzeker of onze bevindingen wel echt de enige waarheid bevatten.

Welke onderzoekstechnieken zijn er?

Wetenschappers kunnen gebruikmaken van vier soorten onderzoekstechnieken om hypothesen te testen:

1. Beschrijvend onderzoek (‘descriptive research’): bij dit soort onderzoek worden de gedragingen, gedachten en gevoelens van een groep individuen beschreven. Ontwikkelingspsychologen proberen bijvoorbeeld het gedrag van kinderen van verschillende leeftijden te beschrijven. In de klinische psychologie worden verder onderzoeken uitgevoerd om de prevalentie, symptomen en ernst van bepaalde psychologische problemen te beschrijven.
   Beschrijvend onderzoek vormt de basis voor alle andere onderzoeksmethoden.

2. Correlationeel onderzoek (‘correlational research’): bij dit soort onderzoek wordt de relatie tussen variabelen bestudeerd. Een voorbeeld is een onderzoek naar de relatie tussen zelfvertrouwen en verlegenheid. Er wordt in zo’n geval een correlatie berekend tussen variabelen. Met correlationele onderzoeken kunnen echter geen uitspraken gedaan worden over oorzaak-gevolgrelaties. We weten bijvoorbeeld niet of weinig zelfvertrouwen verlegenheid veroorzaakt of omgekeerd.

3. Experimenteel onderzoek (‘experimental research’): in dit geval wordt een variabele gemanipuleerd (de onafhankelijke variabele) om te bekijken of dit veranderingen in gedrag veroorzaakt (de afhankelijke variabele). Als dit inderdaad het geval is, dan kunnen we concluderen dat de onafhankelijke variabele hier de oorzaak van is. Het belangrijkste aan een experiment is dat een variabele wordt gemanipuleerd.

4. Quasi-experimenteel onderzoek (‘quasi-experimental research’): van deze onderzoekstechniek wordt gebruikgemaakt als wetenschappers een variabele niet kunnen manipuleren. Denk in dit verband bijvoorbeeld aan sekse of leeftijd. De wetenschapper onderzoekt dan de effecten van een variabele of gebeurtenis die op natuurlijke wijze voorkomt en niet gemanipuleerd kan worden. Quasi-experimenten geven niet zo veel zekerheid als echte experimenten.

Welke rol spelen dieren in deze onderzoeken?

De meeste onderzoeken in de psychologie worden uitgevoerd met mensen, maar het komt ook voor dat dieren worden gebruikt om meer te weten te komen over psychologische variabelen. Het gaat vaak om muizen, ratten en duiven. Het voordeel van dieronderzoeken is dat zeer gecontroleerde onderzoeken kunnen worden uitgevoerd en dat veel omgevingsinvloeden kunnen worden geëlimineerd. Deze twee zaken zijn vaak niet mogelijk bij onderzoeken waaraan mensen deelnemen. Daarnaast worden medicijnen op dieren getest, wanneer men het risico niet wil lopen bij mensen. Door dieronderzoeken weten we nu veel meer over bijvoorbeeld honger, dorst en seksueel gedrag. Ook hebben we hierdoor veel geleerd over zicht, reuk, smaak, gehoor en lijn. Daarnaast weten we door dieren meer over processen als klassieke en operante conditionering. Tenslotte weten we veel over de werking van de hersenen door dieronderzoeken.

Welke meetsoorten zijn er?

De meetsoorten die gedragswetenschappers gebruiken kunnen worden onderverdeeld in drie groepen:

1. Observationele meetsoorten (‘observational measures’): in dit geval wordt gedrag op een directe manier geobserveerd. Dit kan gedaan worden bij elk onderzoek waarbij het gedrag dat onderzocht wordt direct waargenomen kan worden. Denk in dit verband bijvoorbeeld maar aan het meten van oogcontact tussen mensen, het meten van hoe vaak een rat een hendeltje indrukt en agressie tussen kinderen in de schoolpauze. Onderzoekers kunnen het gedrag direct observeren, of kunnen audio- of video-opnames maken, waaruit informatie over de proefpersonen kan worden afgeleid.

2. Lichamelijke meetsoorten (‘physiological measures’): hier maken de wetenschappers gebruik van wanneer ze benieuwd zijn naar de relatie tussen gedrag en niet-direct observeerbare lichaamsprocessen. Het gaat in dit geval om processen die zich in het lichaam afspelen. Ze kunnen meestal niet met het blote oog waargenomen worden. Deze processen kunnen met bepaalde meetinstrumenten gemeten worden. Denk hierbij bijvoorbeeld aan hartslag, zweten, hersenactiviteit en hormonale veranderingen.

3. Zelfrapportagemetingen (‘self-report measures’): in dit geval geven de mensen antwoord op vragenlijsten (‘questionnaires’) en interviews. Er zijn drie soorten zelfrapportages: (1) cognitieve (‘cognitive self-reports’): deze meten wat mensen denken, (2) affectieve (‘affective self-reports’): deze meten wat mensen voelen en (3) gedragsmatige (‘behavioral self-reports’) zelfrapportages: deze meten wat mensen doen.

Het succes van een onderzoek is zeer afhankelijk van de kwaliteit van het meetinstrument dat gebruikt wordt. Omdat de meettechnieken zo belangrijk zijn in het onderzoeksproces, is psychometrie ontwikkeld. Psychometrie is een wetenschap, gericht op het onderzoeken van de technieken van het meten in de psychologie. Psychometristen onderzoeken de eigenschappen van de meettechnieken die in gedragswetenschappen gebruikt worden en streven ernaar om de psychologische meettechnieken te verbeteren.

Welke meetschalen zijn er?

Bij alle drie van de hierboven genoemde meetsoorten is het nodig om getallen toe te kennen aan de antwoorden of reacties van mensen.

Bij een zelfrapportagemeting is het bijvoorbeeld mogelijk dat mensen mogen kiezen uit vijf antwoordmogelijkheden van ‘helemaal niet waar’ tot ‘helemaal waar’. De antwoordmogelijkheden kunnen dan de getallen 1, 2, 3, 4 en 5 toegewezen krijgen, maar niet alle getallen hebben dezelfde betekenis. Wat getallen betekenen, hangt af van de meetschaal die wordt gebruikt. Er wordt in dit verband onderscheid gemaakt tussen vier soorten meetschalen (‘scales of measurement’):

1. Nominaal: in dit geval dienen getallen alleen als labels. Het getal 1 kan voor ‘man’ staan en het getal 2 voor ‘vrouw’. Met getallen op de nominale schaal kunnen geen berekeningen uitgevoerd worden, omdat ze enkel als labels dienen.

2. Ordinaal: in dit geval wordt een aantal gedragingen of kenmerken op volgorde geordend. Zo kan gezien worden hoe de ene gedraging of het ene kenmerk zich (relatief) verhoudt tot andere gedragingen en kenmerken. We kunnen deelnemers aan een zangwedstrijd bijvoorbeeld op volgorde zetten van ‘beste’ tot ‘slechtste’ op basis van het applaus dat ze ontvangen. We kunnen echter niet perfect beoordelen hoe veel meer applaus de ene kandidaat heeft gekregen dan de andere kandidaat.

3. Interval: hier is wel sprake van het gebruik van ‘echte’ getallen: gelijke verschillen tussen de getallen staan voor gelijke verschillen tussen de deelnemers. Op een IQ-test is een verschil tussen een IQ van 90 en 100 (10 punten) bijvoorbeeld even groot als het verschil tussen 110 en 120. Een intervalschaal heeft echter geen echt nulpunt. Een nulpunt geeft aan dat een bepaalde eigenschap niet aanwezig is. Dat kunnen we bij interval dus niet meten. We kunnen bijvoorbeeld niet zeggen dat iemand geen enkele mate van intelligentie heeft. Een temperatuur van nul graden betekent ook niet dat er geen sprake is van een temperatuur. Omdat een intervalschaal geen echt nulpunt heeft, is het niet logisch om te zeggen dat het bij een temperatuur van 50 graden twee keer zo warm is als bij een temperatuur van 25 graden. Doordat er geen sprake is van een nulpunt, kunnen we de getallen in intervalschaal niet vermenigvuldigen of delen.

4. Ratio: dit is eigenlijk de hoogst mogelijke meetschaal. Een ratioschaal heeft een nulpunt waardoor getallen opgeteld, afgetrokken, gedeeld en vermenigvuldigd kunnen worden. Gewicht heeft bijvoorbeeld een ratioschaal: iemand van 50 kilo weegt twee keer zo veel als iemand van 25 kilo. Gewicht heeft een nulpunt, omdat niet alles een gewicht hoeft te hebben.

Wiskundige analyses

Meetschalen zijn om twee redenen van belang voor wetenschappers:

• Allereerst is het zo dat meetschalen verschillen in de mate waarin ze ons informatie geven. Een nominale schaal zegt bijvoorbeeld minder dan een ordinale, interval- of een ratioschaal. Als aan mensen bijvoorbeeld wordt gevraagd of ze het eens of oneens zijn met een stelling, geeft dit minder informatie dan weten in welke mate ze het eens of oneens met een stelling zijn. Vaak blijkt al uit de variabelen welke meetschaal gebruikt kan worden. Sekse kan bijvoorbeeld alleen maar op nominale schaal gemeten worden. Als onderzoekers de keus krijgen, geven ze de voorkeur aan de hoogste meetschaal mogelijk. Hogere meetschalen geven namelijk meer en preciezere informatie over de reacties en eigenschappen van de proefpersonen.

• De tweede reden dat meetschalen van belang zijn voor wetenschappers is dat het voor sommige wiskundige analyses (zoals t- en F-toetsen) nodig is dat getallen op ratio- of intervalschaal gemeten zijn. Onderzoekers kiezen de meetschaal die het mogelijk maakt om de toets te gebruiken die hen de meeste informatie geeft.

Hoe kan betrouwbaarheid geschat worden?

We willen dat de getallen die we toewijzen aan gedragingen, objecten of gebeurtenissen op een betekenisvolle manier corresponderen met het kenmerk dat we proberen te meten. Het is dus de bedoeling dat variabiliteit in de getallen de spreiding reflecteert in het kenmerk dat wordt gemeten. Maar hoe weten we of dat ook echt zo is? In dit verband komt de term betrouwbaarheid (‘reliability’) om de hoek kijken. Betrouwbaarheid gaat over de consistentie van een meettechniek. Als je twee keer snel na elkaar op de weegschaal gaat staan en de ene keer zegt de weegschaal dat je 40 kilo weegt en de volgende keer dat je 50 weegt, dan noemen we de weegschaal onbetrouwbaar (‘unreliable’). Meettechnieken horen betrouwbaar te zijn. Als ze dit niet zijn, kunnen we er namelijk niet vanuit gaan dat ze zinvolle informatie over de participanten weergeven.

Hoe ontstaan meetfouten?

De score van een deelnemer op een meting bestaat uit twee onderdelen: (1) de ware score van de deelnemer en (2) meetfouten (‘measurement error’). Kortom; geobserveerde score = ware score + meetfouten. De ware score (‘true score’) is de score die een deelnemer zou hebben als een meettechniek perfect was en er dus geen sprake van meetfouten zou kunnen zijn. De meettechnieken die wetenschappers gebruiken zijn echter nooit helemaal foutloos. Alle meettechnieken bevatten meetfouten. Door deze meetfouten komen wetenschappers niet achter de exacte score van een deelnemer.

Meetfouten kunnen vijf oorzaken hebben:

1. Stemming van de proefpersoon (‘transient states'): bijvoorbeeld humeur, gezondheid, mate van vermoeidheid en angst tijdens de deelname aan het onderzoek.

2. Stabiele kenmerken (‘stable attributes’): dit zijn kenmerken die op constante wijze aanwezig zijn bij een proefpersoon. Denk in dit verband bijvoorbeeld aan paranoïde gedachten, motivatie en mate van intelligentie.

3. Situationele factoren (‘situational factors’): dit zijn factoren in de onderzoekssetting die kunnen zorgen voor meetfouten. Als een onderzoeker bijvoorbeeld erg aardig is, dan wil een deelnemer harder zijn best doen, maar als een onderzoeker onsympathiek is kan een deelnemer minder goed presteren. Ook kunnen temperatuur, licht en lawaai van invloed zijn op de onderzoeksresultaten.

4. Kenmerken van de meting (‘characteristics of the measure’): het gaat hierbij bijvoorbeeld om onduidelijke vragen die proefpersonen moeten beantwoorden of het gebruik van moeilijk taalgebruik in een vragenlijst, waardoor de proefpersonen onnodige fouten maken tijdens het invullen van de vragenlijst.

5. Fouten (‘mistakes’): het gaat hierbij om fouten die de onderzoeker maakt tijdens het opslaan van de antwoorden van de deelnemers. Denk hierbij bijvoorbeeld aan het foutief verwerken van de antwoorden op de computer of de tel kwijtraken tijdens het tellen van hoe vaak een rat een hendeltje indrukt.

Meetfouten en betrouwbaarheid

Meetfouten verminderen de betrouwbaarheid van een meting. Als een meting een lage betrouwbaarheid heeft, dan zijn de meetfouten groot en weet de onderzoeker weinig over de ware score van een deelnemer. Als een meting een hoge betrouwbaarheid heeft, dan zijn er weinig meetfouten. De geobserveerde score van een deelnemer is dan juist een goede (maar niet perfecte) weerspiegeling van de ware score van een deelnemer.

Hoe kan betrouwbaarheid gezien worden als systematische variantie?

Wetenschappers weten nooit precies hoeveel meetfouten er in een studie bestaan en wat de ware scores van deelnemers precies zijn. Ook weten ze niet precies hoe betrouwbaar hun meting is, maar ze kunnen aan de hand van statistische analyses wel inschatten hoe betrouwbaar hun meting is. Als zij zien dat hun meting niet betrouwbaar genoeg is, dan kunnen ze proberen hun meting meer betrouwbaar te maken. Is ook het betrouwbaarder maken van de meting niet mogelijk, dan kunnen ze ervoor kiezen om de meting helemaal niet te gebruiken in het onderzoek.

• De totale variantie in een dataset van scores bestaat uit twee onderdelen: (1) variantie door ware scores en (2) variantie door meetfouten. In formulevorm is dit: totale variantie = variantie door ware scores + variantie door meetfouten.

• We kunnen ook zeggen dat de proportie totale variantie die samenhangt met de ware scores van de deelnemers systematische variantie is, omdat de ware scores op systematische wijze gerelateerd zijn aan de meting.

• De variantie die door meetfouten ontstaat is errorvariantie omdat deze variantie niet gerelateerd is aan wat de wetenschapper onderzoekt.

• We zeggen daarom dat de betrouwbaarheid wordt berekend door de ware score variantie te delen door de totale variantie, dus: betrouwbaarheid = ware score variantie/totale variantie. De betrouwbaarheid van een meting ligt tussen de 0 en de 1. Een betrouwbaarheid van .00 zegt ons dat er helemaal geen ware score variantie aanwezig is in de data en dat de scores alleen maar staan voor meetfouten. Bij een betrouwbaarheid van 1.00 is het precies omgekeerd; daar is er alleen sprake van ware score variantie en zijn er geen meetfouten. De vuistregel is dat een meting betrouwbaar genoeg is als deze minimaal een betrouwbaarheid van .70 heeft. Dit betekent dat 70% van de variantie in de data staat voor ware score variantie.

Welke soorten betrouwbaarheid zijn er?

Onderzoekers maken gebruik van drie soorten betrouwbaarheid bij het analyseren van hun data: (1) ‘test-hertest’ betrouwbaarheid, (2) ‘inter-item’ betrouwbaarheid en (3) ‘interrater’ betrouwbaarheid. Een correlatiecoëfficiënt is een statistiek die aangeeft hoe sterk de relatie tussen twee metingen is. Deze statistiek ligt tussen de .00 (geen relatie tussen de metingen) en 1.00 (perfecte relatie tussen metingen). Correlatiecoëfficiënten kunnen positief of negatief zijn. Als deze statistiek wordt gekwadrateerd, dan zien we in welke mate de proportie van de totale variantie van beide metingen systematisch is. Hoe hoger de correlatie, hoe meer twee variabelen gerelateerd zijn. Hieronder wordt ingegaan op drie soorten betrouwbaarheid.

Test-hertestbetrouwbaarheid

Bij test-hertest betrouwbaarheid gaat het om de consistentie van de responsen van deelnemers door de tijd heen. Proefpersonen worden twee keer gemeten. Tussen deze twee metingen zit meestal een periode van een aantal weken. Als we ervan uitgaan dat een kenmerk stabiel is, dan zou iemand twee keer dezelfde score moeten hebben op dezelfde test. Als iemand de eerste keer een score van 110 heeft op een IQ-test, dan is het de bedoeling dat hij de volgende keer ook een score van rond de 110 heeft op dezelfde test. Dit omdat intelligentie een relatief stabiel kenmerk is. Toch zullen beide metingen niet hetzelfde zijn, omdat er altijd sprake zal zijn van meetfouten. Als beide IQ-scores een hoge correlatie hebben (minstens .70), dan heeft een meting (dus de IQ-test) een goede test-hertest betrouwbaarheid. We verwachten een hoge test-hertest betrouwbaarheid voor intelligentie-, attitude- en persoonlijkheidstesten. Bij minder stabiele eigenschappen, zoals honger of vermoeidheid, heeft het meten van test-hertest betrouwbaarheid geen nut.

Inter-item betrouwbaarheid

De inter-item betrouwbaarheid is van belang bij metingen die bestaan uit meer dan één item. Inter-item betrouwbaarheid gaat dan ook over de mate van consistentie tussen meerdere items op een schaal. Persoonlijkheidsvragenlijsten bestaan bijvoorbeeld vaak uit meerdere items die iets zeggen over bijvoorbeeld de extraversie of het zelfvertrouwen van deelnemers. Deze items worden vervolgens opgeteld tot een score. Wanneer wetenschappers de antwoorden van deelnemers optellen om een enkele score te krijgen, moeten ze er wel zeker van zijn dat alle items hetzelfde construct (bijvoorbeeld extraversie) meten. Om te kijken in hoeverre items met elkaar samenhangen, kan voor elke combinatie van items een item-totaalcorrelatie berekend worden. Dit is de correlatie tussen een item en de rest van alle items bij elkaar. Elk item op de schaal zou moeten correleren met de rest van de items. Een item-totaalcorrelatie van .30 of hoger per item wordt als voldoende beschouwd. Naast het feit dat berekend moet worden of elk item samenhangt met alle andere items is het ook nodig om de betrouwbaarheid van alle items bij elkaar te berekenen. In het verleden werd hiervoor de split-half betrouwbaarheid berekend. Eerst werd met de split-halfmethode de inter-item betrouwbaarheid berekend.

• Bij de split-half betrouwbaarheid worden de items over twee sets verdeeld. Soms worden de even getallen in de ene lijst gezet terwijl de oneven getallen in de andere lijst worden gezet. Soms wordt er echter voor gekozen om, bijvoorbeeld als er tien items zijn, de eerste vijf items in een lijst te zetten en de volgende vijf items in de andere lijst te zetten. Daarna wordt voor elke set een totaalscore berekend. Vervolgens wordt er een correlatie tussen beide sets berekend. Als de items in beide sets hetzelfde construct meten, dan zou er een hoge correlatie tussen beide sets moeten zijn. Onder een hoge correlatie wordt ook in dit verband .70 of hoger verstaan. Het nadeel van de split-half betrouwbaarheid, is dat correlatie die gevonden wordt afhangt van welke items je in welke set plaatst. Als je de sets net iets anders indeelt, kan er een hele andere split-half betrouwbaarheid uitkomen. Het berekenen van de split-half betrouwbaarheid geeft dan ook vrij weinig zekerheid.

• Om deze reden wordt tegenwoordig de ‘Cronbach’s alpha coëfficiënt’ berekend. Met de Cronbach’s alpha bereken je (door middel van een simpele formule) het gemiddelde van alle mogelijke split-half betrouwbaarheden. Wetenschappers gaan ervan uit dat de inter-item betrouwbaarheid goed is als Cronbach’s alpha .70 of hoger is. 

Interrater-betrouwbaarheid

Interrater-betrouwbaarheid wordt ook wel ‘interjudge’ of ‘interobserver’ betrouwbaarheid genoemd. Het gaat hierbij om de mate waarin twee of meerdere onderzoekers het gedrag van de proefpersonen hetzelfde observeren en opslaan. Als de ene onderzoeker stelt dat een rat 15 keer een hendeltje heeft ingedrukt en de andere onderzoeker stelt dat dezelfde rat 20 keer een hendeltje heeft ingedrukt, dan is er dus iets mis met de interrater-betrouwbaarheid. Onderzoekers gebruiken vaak twee methoden om de interrater-betrouwbaarheid te berekenen. Als onderzoekers alleen moeten noteren of een gedraging zich heeft voorgedaan, kunnen we een percentage berekenen dat staat voor hoe vaak zij het met elkaar eens zijn. Als de onderzoekers het gedrag van de deelnemers echter moeten beoordelen op een schaal (bijvoorbeeld een score op angst tussen de 1 en 5), dan kunnen we kijken of de onderzoekers alle deelnemers dezelfde beoordeling geven. Als de onderzoekers soortgelijke beoordelingen maken (dus bij een hoge interrater-betrouwbaarheid), dan zou de correlatie tussen hun beoordelingen .70 of hoger moeten zijn.

Hoe kan de betrouwbaarheid van metingen worden vergroot?

Het is van belang dat een onderzoeker probeert de betrouwbaarheid van een meting zo groot mogelijk te maken. Dit kan op vier manieren:

1. Het standaardiseren van de administratie van een meting. Elke deelnemer moet onder precies dezelfde omstandigheden getest worden. Verschil in het afnemen van de meting kan leiden tot meetfouten, dus tot een verlaging van de betrouwbaarheid.

2. Het verduidelijken van instructies en vragen. Meetfouten ontstaan wanneer deelnemers instructies of vragen niet helemaal goed begrijpen. Het is goed om van tevoren als onderzoeker te testen of de vragen begrijpelijk zijn voor deelnemers.

3. Het trainen van onderzoekers. Als het gedrag van deelnemers moet worden geobserveerd en beoordeeld, dan is het nodig om onderzoekers goed te trainen.

4. Het minimaliseren van fouten in het coderen van data. Hoe betrouwbaar een meettechniek ook is, meetfouten ontstaan wanneer onderzoekers fouten maken in het coderen of verwerken van data, bijvoorbeeld bij het opslaan van gegevens in de computer.

Wat wordt verstaan onder validiteit?

Meettechnieken moeten niet alleen betrouwbaar, maar ook valide zijn. Validiteit staat voor de mate waarin een meettechniek meet wat het hoort te meten. De vraag is dus of we meten wat we willen meten. Het is belangrijk om op te merken dat betrouwbaarheid en validiteit twee verschillende dingen zijn. Een meetinstrument kan tegelijkertijd betrouwbaar maar niet valide zijn. Een hoge betrouwbaarheid vertelt ons dat het meetinstrument iets meet, maar niet precies wat het meetinstrument precies meet. Om daarachter te komen is het van belang om naar de validiteit te kijken. Validiteit is niet een vaststaand kenmerk van een meettechniek. Een meting kan voor het ene doel valide zijn, terwijl deze niet valide is voor een ander doel. Onderzoekers maken onderscheid tussen drie soorten validiteit:

1. 'Face’ validiteit.
2. Constructvaliditeit.
3. ‘criterion-related’ validiteit.

Face-validiteit

Face-validiteit gaat over de mate waarin een meting lijkt te meten wat hij hoort te meten. Een meting heeft face-validiteit als mensen denken dat dat zo is. Deze vorm van validiteit kan dus niet statistisch berekend worden, maar is meer een oordeel van mensen die de meting gevoelsmatig beoordelen. De face-validiteit wordt vastgesteld door de onderzoeker, door de proefpersonen en/of door experts op het betreffende vakgebied. Als een meting geen face-validiteit heeft, dan vinden proefpersonen het niet van belang om echt mee te doen. Als een persoonlijkheidstest geen face-validiteit heeft en proefpersonen moeten deze test wel invullen, dan snappen ze de toegevoegde waarde van de test niet. Dit verlaagt hun motivatie om deel te nemen aan het onderzoek. Het is van belang om drie dingen te onthouden: (1) dat een meting face-validiteit heeft, betekent niet dat deze ook echt valide is, (2) wanneer een meting geen face-validiteit heeft, hoeft dit niet te betekenen dat er in het echt geen sprake is van validiteit en (3) soms willen onderzoekers hun doelen maskeren. Als ze bijvoorbeeld bang zijn dat deelnemers gevoelige vragen niet eerlijk zullen beantwoorden, kunnen zij meetinstrumenten ontwerpen die geen face-validiteit hebben.

Constructvaliditeit

Vaak zijn onderzoekers geïnteresseerd in hypothetische constructen. Dit zijn constructen die niet direct geobserveerd kunnen worden op basis van empirisch bewijs. Denk aan constructen als intelligentie, status, zelfconcept, moraliteit en motivatie. Het is de vraag hoe we kunnen weten of de meting van een hypothetisch construct (dat niet waarneembaar is) valide is. Cronbach en Meehl stellen dat de we de validiteit van de meting van een hypothetisch construct kunnen vaststellen door deze meting te vergelijken met andere metingen. Het is dus van belang om te kijken naar de relatie tussen de verschillende metingen. Scores op een meetinstrument voor zelfvertrouwen zouden bijvoorbeeld positief gecorreleerd moeten zijn met metingen op optimisme, maar negatief gecorreleerd moeten zijn met meetinstrumenten die onzekerheid en angst meten. We berekenen de constructvaliditeit dus door te analyseren in hoeverre een meetinstrument gerelateerd is aan andere meetinstrumenten. Dit wordt vaak gedaan door middel van correlatiecoëfficiënten.

In tegenstelling tot betrouwbaarheid (waarbij de correlaties boven de .70 moeten liggen) is er geen regel voor hoe groot de correlaties moeten zijn die berekend worden om de constructvaliditeit vast te stellen. Een meetinstrument heeft constructvaliditeit als deze (1) in hoge mate correleert met meetinstrumenten waar het mee zou moeten correleren (convergente validiteit) en (2) niet correleert (of in lage mate correleert) met meetinstrumenten waar het niet mee zou moeten correleren (discriminante validiteit).

Criterion validiteit

Criterion validiteit gaat over de mate waarin een meetinstrument ervoor zorgt dat we onderscheid kunnen maken tussen deelnemers op basis van een bepaald gedragscriterium. Een vraag is bijvoorbeeld of verschillende scores op een motivatietest op het VWO iets zeggen over wie het wel en niet goed zullen doen tijdens een universitaire studie. Het gedragscriterium is in dit geval de universitaire studie. Er wordt vooral gebruik gemaakt van criterium validiteit in toegepaste onderzoekssettings. Denk hierbij aan onderwijssettings of sollicitaties. Onderzoekers maken onderscheid tussen twee primaire soorten van criterium validiteit: (1) concurrente en (2) predictieve validiteit. Het belangrijkste verschil tussen deze twee soorten criterium validiteit is de hoeveelheid tijd tussen de afname van het meetinstrument en het vaststellen van het gedragscriterium.

• Van concurrente validiteit is sprake wanneer twee meetinstrumenten ongeveer op hetzelfde moment worden gebruikt. De vraag is of het meetinstrument op een goede manier onderscheid kan maken tussen mensen die hoog en laag scoren op het gedragscriterium op dat specifieke moment. Wanneer scores op het meetinstrument gerelateerd zijn aan gedragingen waar ze op dat moment zelf aan gerelateerd zouden moeten zijn, dan heeft het meetinstrument concurrente validiteit.

• We spreken van predictieve validiteit wanneer een meetinstrument onderscheid kan maken tussen mensen op een gedragscriterium in de toekomst (bijvoorbeeld de motivatietest op het VWO en een prestatietest tijdens het studeren aan de universiteit). Het gaat er hier dus om of een score op de motivatietest op het VWO kan voorspellen hoe iemand het zal doen tijdens een universitaire studie. Criterium validiteit is vooral van belang voor onderzoeken die uitgevoerd worden in een onderwijssetting.

Wanneer is er sprake van bias?

In de afgelopen jaren is veel aandacht geweest voor het idee dat sommige meetinstrumenten biased zijn ten opzichte van bepaalde bevolkingsgroepen. Dit zou in het bijzonder gelden voor intelligentesten en testen die academische vermogens meten. Testbias ontstaat wanneer een specifiek meetinstrument niet even valide is voor iedereen die de test invult. Dat houdt in dat de testscores de capaciteit van de ene groep beter reflecteren dan de capaciteit van de andere groep. Het lijkt dus alsof de ene groep op dat gebied vaardiger is dan de andere groep, terwijl dit in het echt niet zo hoeft te zijn.

Het is vaak lastig om testbias vast te stellen. Omdat de ene groep slechter op een test presteert dan de andere groep, betekent niet gelijk dat er sprake is van een testbias. Het is mogelijk om testbias vast te stellen door de predictieve validiteit van een meetinstrument voor verschillende groepen vast te stellen. Als er sprake is van bias, dan zullen de toekomstige uitkomsten beter voorspeld worden voor de ene groep dan voor de andere groep.

De meetsoorten die gedragswetenschappers gebruiken kunnen worden onderverdeeld in drie groepen:

1. Observationele meetsoorten (‘observational measures’): in dit geval wordt gedrag op een directe manier geobserveerd. Dit kan gedaan worden bij elk onderzoek waarbij het gedrag dat onderzocht wordt direct waargenomen kan worden. Denk in dit verband bijvoorbeeld maar aan het meten van oogcontact tussen mensen, het meten van hoe vaak een rat een hendeltje indrukt en agressie tussen kinderen in de schoolpauze. Onderzoekers kunnen het gedrag direct observeren, of kunnen audio- of video-opnames maken, waaruit informatie over de proefpersonen kan worden afgeleid.

2. Lichamelijke meetsoorten (‘physiological measures’): hier maken de wetenschappers gebruik van wanneer ze benieuwd zijn naar de relatie tussen gedrag en niet-direct observeerbare lichaamsprocessen. Het gaat in dit geval om processen die zich in het lichaam afspelen. Ze kunnen meestal niet met het blote oog waargenomen worden. Deze processen kunnen met bepaalde meetinstrumenten gemeten worden. Denk hierbij bijvoorbeeld aan hartslag, zweten, hersenactiviteit en hormonale veranderingen.

3. Zelfrapportagemetingen (‘self-report measures’): in dit geval geven de mensen antwoord op vragenlijsten (‘questionnaires’) en interviews. Er zijn drie soorten zelfrapportages: (1) cognitieve (‘cognitive self-reports’): deze meten wat mensen denken, (2) affectieve (‘affective self-reports’): deze meten wat mensen voelen en (3) gedragsmatige (‘behavioral self-reports’) zelfrapportages: deze meten wat mensen doen.

Hoe werkt het trekken van steekproeven?

Psychologen gebruiken beschrijvende onderzoeken minder vaak dan correlationele en (quasi-) experimentele onderzoeken. Toch blijven beschrijvende onderzoeken belangrijk en het is daarom nodig om op een betrouwbare manier steekproeven te trekken. Een steekproef (‘sample’) bestaat uit een aantal mensen uit een populatie, waar de onderzoeker uitspraken over wil doen. Bij het trekken van steekproeven (‘sampling’) selecteert een onderzoeker een representatieve steekproef van deelnemers uit een populatie.

Op welke manieren kunnen steekproeven getrokken worden?

Een representatieve steekproef is een steekproef waarmee accurate en foutloze schattingen gemaakt kunnen worden over de populatie. Een steekproef is representatief als een bepaald aspect net zo vaak voorkomt in de steekproef zelf als in de populatie. Vaak is een steekproef echter geen perfecte weerspiegeling van de populatie. Het verschil tussen een steekproef en de bijbehorende populatie wordt ‘sampling error’ genoemd. Als een onderzoeker bijvoorbeeld het cijfergemiddelde van 100 studenten op een universiteit bekijkt, dan kan dat gemiddelde afwijken van het gemiddelde van alle studenten op een universiteit. Gelukkig kunnen onderzoekers inschatten in hoeverre hun steekproefresultaten beïnvloed zullen worden door sampling error. De foutenmarge (‘error of estimation’/ ‘margin of error’) geeft een indicatie voor de mate waarin verwacht wordt dat de data van een steekproef afwijken van de gehele populatie. In een verkiezingspoll kan de foutenmarge die hoort bij het kiezen van president X (45%) bijvoorbeeld 3% zijn, wat betekent dat we met 95% zekerheid kunnen stellen dat president X tussen de 42 en 48% van de stemmen zal krijgen. Hoe kleiner de foutenmarge, hoe meer de resultaten uit de steekproef lijken op de populatiegegevens. De foutenmarge wordt beïnvloed door drie factoren: (1) de grootte van de steekproef, (2) de grootte van de populatie en (3) de spreiding in de data:

• Hoe groter een kanssteekproef is, hoe meer deze lijkt op de populatie en hoe representatiever deze dus is voor de populatie. Dus hoe groter de kanssteekproef, hoe kleiner de foutenmarge. Wetenschappers kiezen echter niet voor de grootst mogelijke steekproef. Ze kiezen voor een economische steekproef (‘economic sample’): deze geeft een redelijk accuraat beeld van de populatie en kost zo min mogelijk inspanning en geld.

• De grootte van de populatie is natuurlijk ook van belang. Een steekproef van 100 man uit een populatie van 500 mensen is meer representatief dan een steekproef van 100 man uit een populatie van 100.000 mensen.

• Tot slot geldt dat hoe meer spreiding de data bevat, hoe moeilijker het wordt om op accurate wijze de populatiewaarden te schatten.

Een foutenmarge is alleen betekenisvol wanneer we een kanssteekproef (‘probability sample’) gebruiken. Dit is een steekproef waarvan de onderzoeker weet wat de rekenkundige kans is dat een bepaald individu uit de populatie voor de steekproef geselecteerd zal worden. Als er geen kanssteekproef gebruikt wordt, dan is het niet duidelijk of de steekproefdata echt iets zeggen over de populatie. Kanssteekproeven kunnen op drie manieren geselecteerd worden: (1) ‘simple random sampling’, (2) ‘stratified random sampling’ en (3) ‘cluster sampling’.

Simple random sampling

Bij ‘simple random sampling’ wordt de steekproef zo gekozen dat elke mogelijke sample evenveel kans heeft om geselecteerd te worden uit de populatie. Als een onderzoeker bijvoorbeeld een steekproef van 100 man wil selecteren uit een populatie van 5000 man en elke combinatie van 100 man heeft dezelfde kans om geselecteerd te worden, dan is er sprake van een ‘simple random sample’. Om zo’n steekproef te selecteren, moet een onderzoeker een ‘sampling frame’ gebruiken. Dit is een lijst met daarop de hele populatie waaruit de steekproef getrokken zal worden. Vervolgens worden de proefpersonen willekeurig gekozen van de lijst. Met grote populaties is het lastig om een lijst te maken van alle mogelijke deelnemers. In dat geval kan gebruikgemaakt worden van een tabel met willekeurige getallen (‘table of random numbers’). Een nadeel van de ‘simple random sampling’ is dat we vooraf informatie moeten hebben over hoeveel individuen er in een populatie zitten en we een ‘sampling frame’ nodig hebben. In sommige situaties is het opstellen van een ‘sampling frame’ namelijk niet mogelijk. In zulke gevallen wordt er gekozen voor ‘systematic sampling’. Bij ‘systematic sampling’ kan er niet van tevoren een lijst (sampling frame) worden opgesteld. Daarom wordt tijdens het onderzoek zelf pas gebruik gemaakt van het random selecteren van proefpersonen. Elke zoveelste persoon wordt gekozen om deel te nemen aan de steekproef. Er kan bijvoorbeeld gezegd worden dat elke achtste persoon die binnenkomt mee mag doen met het onderzoek.

Stratified random sampling

Stratified random sampling is een variatie op simple random sampling. In dit geval worden mensen echter niet direct uit de populatie geselecteerd, maar wordt de populatie eerst verdeeld in meerdere strata. Een stratum is een deel van de populatie dat overeenkomt op een bepaald kenmerk.

We kunnen de populatie bijvoorbeeld verdelen in mannen en vrouwen of in drie leeftijdsgroepen (20-29, 30-39 en 40-49). Vervolgens worden proefpersonen random gekozen uit elk van de strata. Door deze procedure kunnen onderzoekers er zeker van zijn dat er uit elk stratum evenveel mensen geselecteerd worden. Vaak gebruiken onderzoekers een ‘proportionate sampling method’. Hierbij worden individuen uit elk stratum geselecteerd naar proportie. Dat houdt in dat het percentage mensen dat meedoet aan het onderzoek (uit een bepaald stratum) overeenkomt met hoe vaak deze mensen in de populatie voorkomen. Als 55% van de mensen in een populatie man is en 45% vrouw is, dan is het de bedoeling dat in de steekproef deze zelfde percentages terug te vinden zijn.

Cluster sampling

Het grote nadeel van simple en stratified random sampling is dat eerst informatie moet bestaan over hoeveel (en welke) individuen in een populatie voorkomen voordat een selectie gemaakt kan worden. Dit is vooral een probleem bij populaties die ontzettend groot zijn (bijvoorbeeld bij een onderzoek naar ‘de Nederlandse burger’). Wanneer het moeilijk is om van tevoren aan de benodigde informatie te komen, wordt er vaak gebruik gemaakt van ‘cluster sampling’. In dit geval trekt de onderzoeker niet eerst individuen uit de populatie, maar juist clusters van mogelijke proefpersonen. Deze clusters zijn vaak gebaseerd op natuurlijk bestaande clusters, zoals gebieden in een land. Vaak wordt het bij cluster sampling gebruik gemaakt van ‘multistage sampling’. Hierbij worden eerst grote clusters vastgesteld. Vervolgens worden kleinere clusters binnen deze grotere clusters vastgesteld. En zo gaat het door totdat er een steekproef ontstaat, met random gekozen proefpersonen uit elk cluster. Cluster sampling heeft twee voordelen: (1) er is geen sampling frame voor nodig (maar alleen een lijst met clusters, die veel makkelijker vast te stellen is en (2) elk cluster bestaat uit een groep van deelnemers die geografisch gezien dicht bij elkaar leven. Hierdoor kost het minder tijd en moeite om contact op te nemen met de proefpersonen.

Wat wordt verstaan onder non-respons en misgeneralisatie?

Het non-respons probleem ontstaat wanneer individuen die voor een steekproef geselecteerd zijn niet reageren. Denk bijvoorbeeld aan het telefonisch benaderen van de geselecteerde proefpersonen. Niet iedereen die dit telefoontje krijgt, wil daadwerkelijk deelnemen aan het onderzoek. In dit geval is de kans groot dat zij de telefoon ophangen. Non-respons is een probleem, omdat de mensen die niet willen deelnemen aan het onderzoek, op bepaalde eigenschappen significant kunnen verschillen van mensen die wel willen deelnemen. De mensen die niet willen deelnemen worden niet onderzocht, dus met hun eigenschappen wordt geen rekening gehouden in het onderzoek. Dit vermindert de voordelen van het probability sample. Het non-respons probleem kan op twee manieren opgelost worden: (1) Onderzoekers kunnen ervoor zorgen dat de respons toeneemt. Dit kunnen zij bijvoorbeeld doen door de proefpersonen na afloop van het eerste onderzoek persoonlijk op te bellen, en hen te vragen om ook deel te nemen aan het vervolgonderzoek. (2) Onderzoeken of de mensen die wel en niet reageren systematisch van elkaar verschillen. Bij het rekruteren van proefpersonen kunnen onderzoekers bijvoorbeeld gebruik maken van de belofte van een klein geldbedrag als beloning voor deelname. Mensen met weinig geld zullen hier gevoeliger voor zijn dan mensen met veel geld. In dit onderzoek zullen waarschijnlijk relatief veel armere mensen meedoen.

Zelfs wanneer een kanssteekproef gebruikt is, kunnen de resultaten misleidend zijn en kan de onderzoeker dus foutieve uitspraken doen. In zo een geval is sprake van misgeneralisatie. Een voorbeeld van misgeneralisatie is een onderzoek naar kinderen op basisscholen. Om een representatief beeld te krijgen, zouden zowel arme als rijke kinderen moeten worden opgenomen in het onderzoek. Als er in dit geval alleen kinderen op privéscholen zouden worden onderzocht (en er wel een uitspraak wordt gedaan over de hele populatie van basisschoolkinderen), dan is er sprake van misgeneralisatie.

Welke andere steekproeven zijn er?

In sommige situaties is het onhandig of onmogelijk om een kanssteekproef te selecteren. In dat geval wordt een ‘non-probability sample’ getrokken. Onderzoekers weten dan niet wat de kans is dat een individu voor de steekproef wordt gekozen. Om deze reden kan de foutenmarge ook niet berekend worden. Ze weten daardoor niet hoe representatief hun steekproef is. Veel psychologisch onderzoek wordt gedaan aan de hand van steekproeven die niet representatief zijn voor de populatie. Toch zijn dit soort steekproeven erg geschikt voor bepaalde onderzoeken. Non-probability samples zijn geschikt voor onderzoeken waarbij het toetsen van hypothesen van belang is, en waarbij de populatie niet beschreven wordt. De generaliseerbaarheid van non-probability samples, kan bij experimentele studies ontdekt worden door dezelfde onderzoeken steeds opnieuw te repliceren. Hetzelfde experiment kan worden uitgevoerd met individuen die verschillen in leeftijd, opleidingsniveau en/of sociaaleconomische status. Er is meer vertrouwen in de validiteit wanneer verschillende steekproeven (over hetzelfde onderwerp) soortgelijke resultaten opleveren. Er zijn drie soorten non-probability steekproeven:

1. Convenience sampling: een ‘convenience sample’ is een steekproef waarbij onderzoekers gebruik maken van de deelnemers die meteen beschikbaar zijn. Een onderzoeker kan bijvoorbeeld de eerste 150 mensen op straat aanspreken en vragen of ze mee willen doen aan zijn of haar onderzoek. Het is dus zeker niet zo dat iedereen op straat dezelfde kans heeft om geselecteerd te worden. Een groot voordeel van de convenience sample is dat het bij deze methode veel makkelijker is om proefpersonen te rekruteren dan bij representatieve steekproeven.

2. Quota sampling: bij een ‘quota sample’ stelt de onderzoeker van tevoren vast aan welke percentages moet worden voldaan. Op basis van deze percentages wordt de steekproef uiteindelijk geselecteerd. Een onderzoeker kan zeggen dat hij precies 20 mannen en 20 vrouwen voor het onderzoek wil selecteren in plaats van willekeurig 40 mensen te selecteren zonder te letten op sekse.

3. Purposive sampling: bij een ‘purposive sample’ hebben onderzoekers een bepaald beeld in hun hoofd van proefpersonen die volgens hen typisch zijn voor de populatie. Op basis van dit beeld selecteren zij welke personen mee mogen doen aan hun onderzoek. Het probleem van purposive sampling is echter dat dit proces erg subjectief is. Daarom kan het over het algemeen beter niet gebruikt worden voor wetenschappelijk onderzoek.

Welke rol speelt power?

Power verwijst naar de mate waarin een onderzoek in staat is de effecten van de onderzochte variabelen te detecteren. Een onderzoek met veel power ontdekt welke effecten aanwezig zijn, terwijl een onderzoek met weinig power deze effecten niet opmerkt. De power wordt door veel zaken beïnvloed. Eén van deze zaken is het aantal proefpersonen. In het algemeen geldt dat hoe meer proefpersonen er zijn, hoe groter de power is.

Sterke effecten zijn makkelijker op te merken dan zwakke. Een onderzoek met een lage power herkent dan ook vaak wel de sterkte effecten, maar de zwakke niet. De power neemt toe naarmate er meer proefpersonen zijn. Om zwakke effecten te herkennen is er een grote power nodig. Bij het herkennen van zwakke effecten is het dan ook nuttig om veel proefpersonen te hebben.

Psychologen gebruiken beschrijvende onderzoeken minder vaak dan correlationele en (quasi-) experimentele onderzoeken. Toch blijven beschrijvende onderzoeken belangrijk en het is daarom nodig om op een betrouwbare manier steekproeven te trekken. Een steekproef (‘sample’) bestaat uit een aantal mensen uit een populatie, waar de onderzoeker uitspraken over wil doen. Bij het trekken van steekproeven (‘sampling’) selecteert een onderzoeker een representatieve steekproef van deelnemers uit een populatie.

Vaak zijn wetenschappers geïnteresseerd in de vraag of twee variabelen samenhangen. Deze variabelen kunnen bijvoorbeeld verlegenheid en zelfvertrouwen, temperatuur en agressie of faalangst en academische prestatie zijn. We bepalen of een variabele aan een andere variabele gerelateerd is, door te kijken of de variabelen covariëren; dus samen variëren. Als zelfvertrouwen zou samenhangen met verlegenheid, dan zouden hoge scores op zelfvertrouwen samen moeten gaan met lage scores op verlegenheid en vice versa. Als echter blijkt dat er geen consistente relatie bestaat tussen verlegenheid en zelfvertrouwen, dan kunnen we concluderen dat deze variabelen niet samenhangen. Hiervan zou bijvoorbeeld sprake zijn wanneer hoge scores op zelfvertrouwen even vaak gepaard gaan met hoge als met lage scores op verlegenheid. Twee variabelen covariëren dus als ze samen omhoog en omlaag gaan. Wanneer onderzoekers willen weten of variabelen samenhangen, maken ze gebruiken van correlationeel onderzoek (‘correlational research’). Correlationeel onderzoek wordt gebruikt om te kijken of twee of meer variabelen aan elkaar gerelateerd zijn, en in welke mate. De samenhang tussen twee variabelen wordt uitgedrukt in een correlatiecoëfficiënt. Zo kan een wetenschapper bijvoorbeeld geïnteresseerd zijn in hoeverre een eigenschap als extraversie erfelijk of aangeleerd is. Hij kan daarvoor een correlatie berekenen tussen de extraversie van een kind en de extraversie van de biologische ouders en ook een correlatie berekenen tussen de extraversie van een kind en de extraversie van de adoptieouders. Bij een hogere correlatie tussen de extraversie van het kind en die van de biologische ouders zou een onderzoeker kunnen concluderen dat extraversie eerder een aangeboren dan een aangeleerde eigenschap is.

Wat is de correlatiecoëfficiënt?

Een correlatiecoëfficiënt is een statistiek die laat zien in welke mate twee variabelen lineair gerelateerd zijn. Er kan een correlatie berekend worden tussen welke twee variabelen dan ook. De enige voorwaarde is dat we de scores van deelnemers moeten hebben op beide variabelen. De Pearson correlatiecoëfficiënt (r) wordt het meest gebruikt als correlatiemaat. Een berekende r ligt altijd tussen de -1 en +1. Bij een correlatiecoëfficiënt zijn twee factoren van belang: het teken van de correlatie (- of +) en de grootte van de correlatie.

• Het teken (‘sign’) laat zien wat de richting is van de relatie. Variabelen kunnen positief (+), maar ook negatief (-) gecorreleerd zijn. Bij een positieve correlatie is het zo dat hoge scores op de ene variabele samengaan met hoge scores op de andere variabele. Ook is het zo dat lage scores op de ene variabele samengaan met lage scores op de andere variabele. Hoge scores op extraversie zouden bijvoorbeeld kunnen samengaan met hoge scores op avontuurlijkheid. Van een negatieve correlatie is sprake wanneer lage scores op de ene variabele, samengaan met hoge scores op de andere variabele of omgekeerd. Een hoge score op faalangst kan bijvoorbeeld samengaan met een lage score op een tentamen.

• De grootte van een correlatie (‘magnitude of correlation’) is een numerieke waarde. Deze waarde is onafhankelijk van het teken van de correlatie. Wanneer een correlatie nul is (r=.00), dan zijn de bestudeerde variabelen niet lineair aan elkaar gerelateerd. Als de waarde van de correlatie echter toeneemt, dan wordt de relatie steeds sterker. Een correlatie van +.78 is dus sterker dan een correlatie van +.30. Het teken van een correlatie (+ of -) zegt niets over de grootte van een correlatie, maar alleen iets over de richting. Een correlatie van +.78 is dus even sterk als een correlatie van -.78 De magnitude of correlation (numerieke waarde) van de correlatie laat dus zien hoe groot een correlatie is.

Hoe worden correlaties weergegeven in een assenstelsel?

De relatie tussen twee variabelen kan gepresenteerd worden in een assenstelsel met een x- en y-as. Voor elke deelnemer kan een punt getekend worden waarbij de scores op de x- en y-as samenkomen. In het assenstelsel ontstaat op deze manier een puntenwolk (‘scatter plot’).

1. Positieve correlaties hebben een specifieke vorm als puntenwolk: ze beginnen linksonder en hebben een soort stijgende lijn naar rechtsboven toe. Hoge scores op variabele x gaan samen met hoge scores op variabele y.

2. Negatieve correlaties beginnen linksboven en dalen af naar rechtsonder.

3. Hoe sterker een correlatie is, hoe smaller de puntenwolk is. Bij een perfecte correlatie (-1.00 of + 1.00) liggen alle punten op een rechte lijn. Bij een correlatie van .00 is er echter geen sprake van samenhang tussen de variabelen. Hier liggen alle punten willekeurig verspreid en is er geen lijn te ontdekken in de data.

4. Soms zijn relaties boogvormig (curvilineair). Voor zulke relaties kunnen we geen correlatie berekenen, dat kan alleen voor lineaire verbanden.

Wat wordt er gedaan met de gevonden correlatiecoëfficiënt?

Als we weten dat de correlatie tussen twee variabelen +.25 is, wat zegt dit getal dan precies? Om een correlatiecoëfficiënt helemaal te begrijpen, moeten we deze kwadrateren. Dat komt doordat een correlatiecoëfficiënt niet op ratioschaal ligt. Om deze reden kunnen we geen rekenkundige berekeningen uitvoeren met deze coëfficiënt. We kunnen niet vermenigvuldigen en delen met deze statistiek. Bovendien kunnen we de correlatiecoëfficiënten niet vergelijken. Dat de coëfficiënt niet op ratioschaal ligt, houdt in dat een correlatie van +.80 niet twee keer zo groot is als een correlatie van +.40.

Het kwadrateren van een correlatiecoëfficiënt leidt tot de coëfficiënt van bepaling (‘coëfficiënt of determination’) die wel op ratioschaal ligt. De totale variantie in een dataset kan worden opgedeeld in systematische variantie en errorvariantie. Systematische variantie is dat deel van de totale variantie dat gerelateerd is aan de variabelen die onderzocht worden. Errorvariantie is het deel dat hier juist niet aan gerelateerd is. Hoe groter de proportie systematische variantie is, hoe sterker de relatie tussen de variabelen. De coëfficiënt van bepaling laat zien hoeveel van de variantie in de ene variabele wordt verklaard door de andere variabele. Als de correlatie tussen de extraversie van een kind en de extraversie van een ouder +.25 is, dan is de coëfficiënt van bepaling dus .25x.25 = .0625. Dit betekent dat 6.25% van de variantie in de totale variantie van de extraversiescores van de kinderen gerelateerd is aan de extraversiescores van ouders. Dit betekent ook dat 93.75% van de variantie in de scores van de kinderen niet wordt verklaard door de extraversiescores van de ouders. Er zijn dus nog veel meer factoren die de variantie in de extraversiescores van de kinderen verklaren, maar deze variabelen kennen we niet, of deze hebben we niet meegenomen in het onderzoek.

Als twee variabelen ongerelateerd zijn (r=.00), dan verklaart de ene variabele helemaal geen variantie van de andere variabele. In andere woorden: er is geen systematische variantie tussen de data. De Pearson-formule laat zien dat zowel met de x- als de y-variabele gerekend moet worden om de correlatie te berekenen. Eerst moet Σxy – (Σx)(Σy)/n berekend worden. Vervolgens moet dit gedeeld worden door de wortel van de uitkomst van (Σx²- (Σx)²/n))(Σ y²- (Σy)²/n)).

Wanneer is er sprake van statistische significantie?

Vaak willen wetenschappers weten of de r die ze berekend hebben statistisch significant is. Van statistische significantie is sprake wanneer een correlatiecoëfficiënt die op basis van een steekproef gevonden is heel waarschijnlijk ook geen nul is in de populatie. Stel: de relatie tussen twee variabelen is .00 in de populatie. De vraag is of een wetenschapper dit ook echt zal vinden op basis van een kleine steekproef die hij of zij uit de populatie heeft getrokken. Door meetfouten kan het voorkomen dat een onderzoeker toch een correlatie vindt op basis van de steekproef, terwijl de correlatie in de populatie nul is. Gelukkig kunnen we de kans schatten dat de waarde van r die voortvloeit uit een steekproef, ook echt hetzelfde is in de populatie.

Als de kans dat de correlatie in de populatie ook geen nul is zeer laag is (vaak kleiner dan 0.05), dan is er sprake van statistische significantie. De statistische significantie van een correlatiecoëfficiënt wordt beïnvloed door drie factoren: (1) de grootte van de steekproef, (2) de grootte van de correlatie (‘magnitude of correlation’) en (3) de mate waarin we zeker willen zijn van de conclusie die we op basis van de steekproef hebben getrokken (de mate van voorzichtigheid van de onderzoeker).

De grootte van de steekproef is van belang voor de statistische significantie. Bij een grotere steekproef heeft de onderzoeker er meer vertrouwen in dat de correlatie die hij heeft gevonden ook daadwerkelijk niet nul is in de populatie. De grootte van de correlatie hangt samen met statistische significantie, want hoe groter de gevonden correlatie, hoe kleiner de kans is dat deze in de populatie nul is. Een wetenschapper die een correlatie vindt van .70 tussen twee variabelen, heeft er dus meer vertrouwen in dat deze variabelen in de populatie ook samenhangen, dan een wetenschapper die een correlatie van .15 vindt.

Tot slot is het van belang hoe voorzichtig een wetenschapper wenst te zijn met het trekken van conclusies over of de correlatie tussen twee variabelen echt nul zou kunnen zijn in de populatie. Vaak stellen wetenschappers dat de gevonden correlatie statistisch significant is wanneer er een kans bestaat van minder dan 5% dat deze nul is in de populatie.

Sterke en zwakke correlaties

Bij grote steekproeven is het zo dat zelfs zeer kleine correlaties snel statistisch significant worden. Een significante correlatie zegt ons alleen dat de kans zeer klein is dat de correlatie nul is in de populatie. De aanwezigheid van significantie vertelt ons dus niet of de relatie tussen de variabelen sterk is. Hoe sterk een correlatie is, hangt namelijk samen met de grootte van de correlatie en niet met de statistische significantie van de correlatie. De vuistregel is dat een correlatie van .10 als zwak, een correlatie van .30 als gemiddeld en een correlatie van .50 en hoger als sterk wordt beschouwd.

Wat is het verschil tussen directionele en niet-directionele hypothesen?

Wanneer een onderzoeker een correlationeel onderzoek opzet, kan hij of zij kiezen uit twee soorten hypothesen. Een directionele hypothese voorspelt welke richting de correlatie op gaat. Dit houdt in dat deze hypothese voorspelt of de correlatie positief of negatief zal zijn. Een niet-directionele hypothese voorspelt alleen dat twee variabelen gecorreleerd zullen zijn, maar niet of deze correlatie positief of negatief zal zijn. Directionele hypothesen worden het meest gebruikt.

Welke factoren beïnvloeden de correlatie negatief?

Door allerlei factoren kan de correlatiecoëfficiënt onder- of overschat worden. Het is daarom belangrijk om te letten op drie factoren die de sterkte van een correlatie ten onrechte kunnen verhogen of verlagen. Deze factoren zijn (1) ‘restricted range’, (2) uitbijters (‘outliers’) en (3) de betrouwbaarheid van meetinstrumenten.

1. Restricted range: deze bestaat uit de waarden die op de x-as en de y-as gekozen worden. Wanneer de y-as bijvoorbeeld van 200 tot 1600 gaat, dan geeft dit een andere puntenwolk dan wanneer de y-as van 1000 tot 1500 gaat. Het beeld van de puntenwolk verandert daardoor meteen. Dit is vooral een probleem als de scores in een curve lopen. Het kan voorkomen dat (als gevolg van de restricted range) slechts de helft van deze curve wordt afgebeeld. Wanneer er maar één helft van de curve wordt getoond, lijkt het ten onrechte alsof er sprake is van een lineaire relatie tussen de twee variabelen, in plaats van een curvilineaire relatie.

2. Uitbijters (‘outliers’): dit zijn scores die zo duidelijk afwijken van de data dat je je kunt afvragen of deze scores wel in de data thuishoren. De meeste wetenschappers vinden dat een score een uitbijter is, wanneer deze meer dan drie standaarddeviaties afwijkt van het gemiddelde. Er wordt onderscheid gemaakt tussen twee soorten uitbijters: (1) ‘on-line outliers’: de score valt in het patroon van de lijn in de puntenwolk, maar is toch extreem hoog of laag en zorgt ervoor dat de waarde van r omhoog schiet en (2) ‘off-line outliers’: de score valt niet in het patroon van de lijn in de puntenwolk en zorgt ervoor dat de waarde van r ten onrechte afneemt.

3. De betrouwbaarheid van meetinstrumenten: onbetrouwbare meetinstrumenten zorgen ervoor dat de correlatiecoëfficiënt te laag is. Hoe minder betrouwbaar het meetinstrument, hoe lager de correlatie.

Wat is het verschil tussen correlatie en causaliteit?

Het is belangrijk om stil te staan bij het feit dat correlatie geen causaliteit betekent. Zelfs al is er sprake van een perfecte correlatie, kan er niet gezegd worden dat de ene variabele de andere veroorzaakt. Als er bijvoorbeeld een correlatie bestaat tussen extraversie en zelfvertrouwen, dan kunnen we niet zeggen dat extraversie een oorzaak is van zelfvertrouwen of dat zelfvertrouwen een oorzaak is van extraversie.

Voordat we kunnen concluderen dat er sprake is van causaliteit, moet aan drie voorwaarden worden voldaan: (1) covariantie, (2) richting en (3) uitsluiting van de invloed van andere variabelen.

• Allereerst moeten variabelen dus samen variëren; een hoge score op de x-variabele moet systematisch samengaan met een lage score op de y-variabele of juist met een hoge score op de y-variabele. Aan deze voorwaarden kan goed worden voldaan, namelijk door de correlatie te berekenen.

• De tweede voorwaarde is die van richting. Dit houdt in dat de oorzaak noodzakelijkerwijs vooraf moet gaan aan het gevolg. Aan deze voorwaarde kan echter niet worden voldaan door een correlatie te berekenen. Omdat de x- en y-variabele vaak op hetzelfde moment worden gemeten, is het lastig om uitspraken te doen over de richting: leidt x tot y of leidt y tot x?

• Ook aan de derde voorwaarde kan niet worden voldaan door het simpelweg berekenen van de correlatie. Het kan namelijk best zo zijn dat een derde variabele (z) zowel variabele x als variabele y beïnvloedt. Uit onderzoek blijkt bijvoorbeeld dat eenzaamheid en depressie met elkaar samenhangen. Dit betekent echter niet dat eenzaamheid depressie veroorzaakt, want het zou ook zo kunnen zijn dat zowel eenzaamheid als depressie worden veroorzaakt door een andere variabele. Deze variabele zou bijvoorbeeld de grootte van iemands sociale netwerk kunnen zijn.

Gedeeltelijke correlatie

Al mogen we nooit op basis van een correlatie spreken over causaliteit, toch kunnen we door middel van een aantal technieken wel inschatten welke variabele de andere waarschijnlijk veroorzaakt. Deze technieken zijn natuurlijk nooit helemaal bindend, maar ze kunnen een specifieke causale verklaring wel ondersteunen. Daarnaast kunnen ze wel met zekerheid aangeven wanneer twee variabelen niet correleren.

Als blijkt dat x en y gecorreleerd zijn, dan zijn er drie mogelijkheden denkbaar: (1) x veroorzaakt y, (2) y veroorzaakt x en (3) een andere variabele z veroorzaakt zowel x als y. Een onechte correlatie (‘spurious correlation’) is een correlatie tussen twee variabelen (x en y) die niet komt door een directe relatie tussen deze variabelen, maar door hun gedeelde relatie met een derde variabele (z). Het effect van een derde variabele kan worden getoetst door middel van een statistische procedure die gedeeltelijke correlatie (‘partial correlation’) heet. Een gedeeltelijke correlatie is een correlatie tussen twee variabelen waarbij de invloed van één of meer variabelen statistisch verwijderd is. Als we bijvoorbeeld willen weten of de relatie tussen x en y ontstaat door variabele z, dan kunnen we de variabiliteit in x en y die hoort bij z buiten beschouwing laten en bekijken of x en y dan nog steeds gecorreleerd zijn. Als x en y dan gecorreleerd blijven, dan is het onwaarschijnlijk dat z de relatie tussen x en y veroorzaakt. Als x en y niet meer gecorreleerd blijken te zijn, dan is z waarschijnlijk wel de oorzaak van de relatie tussen x en y.

Andere correlatiematen

De Pearson r correlatie kan gebruikt worden wanneer zowel variabele x als variabele y op interval- of ratioschaal liggen.

• Wanneer één of beide variabelen ordinaal is/zijn, dan wordt de ‘Spearman rank-order correlation’ gebruikt als correlatiemaat.

• Soms zijn de x- en y-variabele dichotoom. Dit betekent dat er maar twee mogelijkheden per variabele zijn. Een voorbeeld is dat variabele x staat voor sekse en variabele y voor of iemand wel of niet zijn of haar rijbewijs heeft behaald. Als er sprake is van twee dichotome variabelen, dan wordt de phi coëfficiënt als correlatiemaat gebruikt.

• Wanneer één van de variabelen dichotoom is en de andere op interval- of ratioschaal ligt, kan er gebruik gemaakt worden van de punt-biseriële correlatie (‘point biserial correlation’). Als we dus kijken naar de relatie tussen sekse en maagdelijkheid dan is een phi coëfficiënt handig, maar als we kijken naar de relatie tussen sekse en lengte, dan is een punt biseriële correlatie juist aan te raden.

Het is belangrijk om te beseffen dat we niet altijd gebruikmaken van correlatiecoëfficiënten bij het analyseren van data. Vaak wordt er gebruik gemaakt van andere soorten statistieken. Deze worden later behandeld.

Vaak zijn wetenschappers geïnteresseerd in de vraag of twee variabelen samenhangen. Deze variabelen kunnen bijvoorbeeld verlegenheid en zelfvertrouwen, temperatuur en agressie of faalangst en academische prestatie zijn. We bepalen of een variabele aan een andere variabele gerelateerd is, door te bekijken of de variabelen covariëren; dus samen variëren. Als zelfvertrouwen zou samenhangen met verlegenheid, dan zouden hoge scores op zelfvertrouwen samen moeten gaan met lage scores op verlegenheid en vice versa. Als echter blijkt dat er geen consistente relatie bestaat tussen verlegenheid en zelfvertrouwen, dan kunnen we concluderen dat deze variabelen niet samenhangen. Hiervan zou bijvoorbeeld sprake zijn wanneer hoge scores op zelfvertrouwen even vaak gepaard gaan met hoge als met lage scores op verlegenheid. Twee variabelen covariëren dus als ze samen omhoog en omlaag gaan. Wanneer onderzoekers willen weten of variabelen samenhangen, maken ze gebruiken van correlationeel onderzoek (‘correlational research’). Correlationeel onderzoek wordt gebruikt om te kijken of twee of meer variabelen aan elkaar gerelateerd zijn, en in welke mate. De samenhang tussen twee variabelen wordt uitgedrukt in een correlatiecoëfficiënt. Zo kan een wetenschapper bijvoorbeeld geïnteresseerd zijn in hoeverre een eigenschap als extraversie erfelijk of aangeleerd is. Hij kan daarvoor een correlatie berekenen tussen de extraversie van een kind en de extraversie van de biologische ouders en ook een correlatie berekenen tussen de extraversie van een kind en de extraversie van de adoptieouders. Bij een hogere correlatie tussen de extraversie van het kind en die van de biologische ouders zou een onderzoeker kunnen concluderen dat extraversie eerder een aangeboren dan een aangeleerde eigenschap is.

Welke voorwaarden zijn er voor experimenteel onderzoek?

Beschrijvend en correlationeel onderzoek zijn belangrijk, maar hebben een gebrek. Ze geven geen informatie over oorzaken van gedrag, gedachten en emoties. Wanneer onderzoekers geïnteresseerd zijn in het blootleggen van oorzaak-gevolgrelaties, dus naar causaliteit, dan voeren ze experimenten uit. Een goed ontworpen experiment voldoet aan drie voorwaarden: (1) de onderzoeker moet minstens één van de onafhankelijke variabelen manipuleren om te zien wat voor effect dit heeft op het gedrag van de deelnemer. Daarnaast (2) moet de onderzoeker de deelnemers op gelijke wijze toewijzen aan verschillende experimentele condities. Tenslotte (3) moet de onderzoeker controle hebben over externe variabelen die het gedrag van de deelnemers zouden kunnen beïnvloeden.

Hoe kan de onafhankelijke variabele gemanipuleerd worden?

In een experiment manipuleert een onderzoeker één of meer onafhankelijke variabelen (x-variabelen) om te zien hoe dit effect heeft op de afhankelijke variabele (de y-variabele). Een onafhankelijke variabele heeft meerdere niveaus (‘levels’). Dit zijn de verschillende waarden van de onafhankelijke variabele. Niveaus worden ook wel condities genoemd. Soms zijn condities het gevolg van kwantitatieve verschillen. Dat betekent dat de onafhankelijke variabele per conditie verschilt in hoeveelheid of mate waarin de proefpersoon beïnvloed wordt. In andere gevallen verschillen de condities kwalitatief. Dat houdt in dat deelnemers in verschillende condities bijvoorbeeld andere instructies krijgen.

Er zijn meerdere soorten manipulaties van de onafhankelijke variabele mogelijk:

1. Omgevingsmanipulaties (‘environmental manipulations’): in dit geval wordt de fysieke of sociale omgeving van de deelnemer gemanipuleerd. In sociale, ontwikkelings- en persoonlijkheidspsychologie worden soms handlangers (‘conferates’) van de onderzoeker gebruikt. Zij doen zich voor als proefpersonen terwijl zij dat niet zijn. Hierbij wordt de invloed van de aanwezigheid van de handlangers op de andere proefpersonen gemeten. Ook dit is een vorm van omgevingsmanipulatie.

2. Instructiemanipulaties (‘instructional manipulations’): in dit geval worden de instructies en/of de informatie die de proefpersonen krijgen gemanipuleerd. Instructiemanipulaties zijn ontworpen om te kunnen zien hoe bepaalde informatie of bepaalde opmerkingen de gedachten, emoties of het gedrag van mensen kunnen veranderen.

3. Invasieve manipulaties (‘invasive manipulations’): in dit geval worden veranderingen aangebracht in het lichaam van de deelnemer. Dit kan bijvoorbeeld door mensen middeltjes te laten innemen om te zien hoe dit hun emoties of gedrag beïnvloedt.

Experimentele groepen en controlegroepen

In sommige onderzoeken wordt een conditie toegevoegd waarbij de onafhankelijke variabele helemaal niet wordt gemanipuleerd. Deelnemers die wel een bepaalde mate van de onafhankelijke variabele krijgen, zitten in een experimentele groep. Deelnemers die niets van de onafhankelijke variabele krijgen, zitten in de controlegroep. Onderzoekers moeten zelf de keuze maken of ze wel of niet een controlegroep willen inzetten. Vaak wordt voor een controlegroep gekozen om het basisniveau (‘baseline’) van een gedraging vast te stellen. Het basisniveau van een gedraging is de mate van die gedraging wanneer de onafhankelijke variabele helemaal niet wordt gemanipuleerd.

Het komt vaak voor dat de onderzoekshypotheses van een onderzoeker correct zijn, maar dat de gewenste resultaten niet gevonden worden omdat de onafhankelijke variabele niet goed genoeg gemanipuleerd is. Als de onafhankelijke variabele niet sterk genoeg is om de voorspelde effecten te vinden, dan is het onderzoek bij voorbaat al gedoemd om te mislukken. Vaak proberen wetenschappers hun onderzoek eerst uit op een klein aantal proefpersonen om te zien of de onafhankelijke variabele wel echt goed gemanipuleerd is. In dit geval spreken we ook wel van een pilot test. In andere woorden; met een pilot test kan gezien worden of de verschillende condities van de onafhankelijke variabele wel genoeg van elkaar verschillen om significant invloed te hebben op het gedrag van de proefpersonen. Daarnaast maken wetenschappers tijdens hun onderzoek gebruik van manipulatiechecks. Een manipulatiecheck is een vraag (of set van vragen) die ontworpen is/zijn om te bepalen of de onafhankelijke variabele op succesvolle wijze gemanipuleerd is. Manipulatiechecks zijn echter niet altijd noodzakelijk en zijn soms niet eens mogelijk. Toch is het van belang dat onderzoekers altijd overwegen of het nuttig is om een manipulatiecheck uit te voeren.

Soms kunnen wetenschappers bepaalde variabelen niet manipuleren, omdat deze variabelen niet veranderd kunnen worden. Voorbeelden van deze variabelen zijn sekse, leeftijd en intelligentieniveau. Dit soort onveranderlijke variabelen noemen we ook wel subjectvariabelen of proefpersoon variabelen. Afhankelijke variabelen zijn de variabelen die beïnvloed worden door de onafhankelijke variabelen in een onderzoek. Vaak wordt iemands score op de afhankelijke variabelen geobserveerd, lichamelijk gemeten of via zelfrapportage verkregen.

Op welke manier worden deelnemers toegewezen aan condities?

Het is belangrijk dat deelnemers op een eerlijke manier worden toegewezen aan condities, zodat deelnemers die veel op elkaar lijken niet systematisch bij elkaar in één conditie terechtkomen.

Er zijn drie verschillende manieren om deelnemers toe te wijzen aan condities:

• Simpele willekeurige toewijzing (‘simple random assignment’): in dit geval heeft elke deelnemer evenveel kans om toegewezen te worden aan elke conditie. Dit kan bijvoorbeeld door een munt op te gooien. Simpele willekeurige toewijzing zorgt ervoor dat deelnemers in de groepen gemiddeld niet van elkaar verschillen. Er is echter een kleine kans dat simpele willekeurige toewijzing geen exact gelijke groepen oplevert. Simpele willekeurige toewijzing wordt ook wel ‘randomized groups design’ genoemd.

• Gematchte willekeurige toewijzing (‘matched random assignment’): van deze methode is sprake wanneer de onderzoeker de deelnemers eerst test op een variabele die relevant is voor het onderzoek. Vervolgens worden de scores van de deelnemers bekeken en worden deelnemers die hierin op elkaar lijken gematcht. Dit design wordt ook wel ‘between-subjects design’ genoemd. Zo ontstaat er een aantal clusters. Vervolgens worden alle deelnemers uit een cluster willekeurig toegewezen aan de verschillende condities.

• Herhaalde metingen (‘repeated measures design’): hierbij worden dezelfde proefpersonen meerdere keren getest, in alle experimentele condities. Er kan hierbij zowel gebruik gemaakt worden van simpele willekeurige toewijzing, als van gematchte willekeurige toewijzing. Dit design wordt ook wel een ‘within-subjects design’ genoemd.

Wat zijn voor- en nadelen van herhaalde metingen?

Het grootste voordeel van het herhaalde metingen design (within-subjects design) is dat de power groter is dan bij between-subjects designs. Power is de mate waarin een onderzoek de effecten van een onafhankelijke variabele kan detecteren. Dat de power groter is, komt doordat de proefpersonen in alle condities aan elkaar gelijk zijn. Het zijn immers dezelfde mensen die deelnemen aan alle condities. Hierdoor kan er geen sprake zijn van proefpersoonsverschillen die invloed kunnen hebben op de resultaten van het onderzoek. Een tweede voordeel is dat er minder deelnemers voor het onderzoek nodig zijn, omdat elke participant deelneemt aan alle experimentele condities.
Dit design heeft echter ook een aantal nadelen. Het design zorgt namelijk voor volgorde-effecten (‘order effects’): het gedrag van de deelnemers wordt beïnvloed door de volgorde waarin ze worden blootgesteld aan de condities. Er wordt onderscheid gemaakt tussen vier soorten volgorde-effecten.

1. Oefening (‘practice effects’): deelnemers presteren steeds beter, omdat ze de afhankelijke variabele meerdere keren meemaken. Ze kunnen dus als het ware met de afhankelijke variabele ‘oefenen’.

2. Vermoeidheid (‘fatigue effects’): deelnemers hebben vaak minder zin of raken vermoeid naarmate het onderzoek vordert. Daardoor kunnen behandelingen steeds minder effectief worden, naarmate ze later in het onderzoek plaatsvinden.

3. Sensitisatie (‘sensitization’): deelnemers kunnen de onderzoekshypothesen raden omdat ze al aan zoveel condities deelgenomen hebben. Omdat ze weten waar de onderzoeker naar op zoek is, kunnen zij zich onnatuurlijk gaan gedragen.

4. Overdracht (‘carryover effects’): het effect van een conditie kan als het ware blijven hangen. Het kan nog effect hebben wanneer de proefpersoon zich al in de volgende conditie bevindt. Dit is problematisch, omdat de onderzoeker dan geen onderscheid meer kan maken tussen de effecten van de verschillende condities. Om dit effect tegen te gaan, kunnen onderzoekers gebruikmaken van een methode die ‘counterbalancing’ wordt genoemd. Bij counterbalancing worden alle deelnemers in verschillende volgordes blootgesteld aan de verschillende condities.

Een ‘Latin Square design’ is een voorbeeld van counterbalancing. Als een design bijvoorbeeld vier condities heeft, dan kunnen deelnemers aan de hand van vier verschillende volgordes blootgesteld worden aan de condities.

Wat wordt bedoeld met experimentele controle?

Experimentele controle staat voor het elimineren of constant houden van externe factoren die de uitkomsten van een onderzoek zouden kunnen beïnvloeden. Dit is belangrijk, want als er geen controle over externe factoren zou zijn, dan is het niet duidelijk of de afhankelijke variabele beïnvloed is door de onafhankelijke variabele(n) of door andere factoren.

Wanneer is er sprake van systematische variantie?

Systematische variantie (ook wel ‘between-groups variance’ of tussen-groepen variantie genoemd) is het deel van de totale variantie dat staat voor echte verschillen tussen experimentele groepen. De grote vraag in een onderzoek is of de spreiding in de scores van deelnemers systematisch is. Dit houdt in dat de spreiding veroorzaakt wordt door de onafhankelijke variabele. We zouden dan ook systematische verschillen moeten vinden tussen de scores die horen bij verschillende condities. Er is sprake van systematische variantie wanneer de scores tussen de condities systematisch van elkaar verschillen. Systematische variantie kan het gevolg zijn van twee bronnen: (1) de onafhankelijke variabele (‘treatment variance’/ ‘primary variance’) of (2) externe variabelen (‘confound variance’/’secondary variance’). Als niets anders dan de onafhankelijke variabele de reacties van de deelnemers heeft beïnvloed, dan is er alleen sprake van treatment variantie. Dit is echter zelden het geval. Er zijn namelijk ook twee andere bronnen van variantie: (1) externe variabelen en (2) error variantie.

Proefpersonen kunnen op meerdere gebieden van elkaar verschillen. Wanneer zij niet alleen maar van elkaar verschillen op de onafhankelijke variabele, is er sprake van externe variabelen. Deze beïnvloeden de onderzoeksresultaten, terwijl dat niet de bedoeling is. Het zorgt voor oneerlijk onderzoek. De proportie variantie die het verklaard wordt door externe variabelen, wordt ‘confound variance’ genoemd. Het is onmogelijk voor onderzoekers om treatment variance te onderscheiden van confound variance. Daarom is het noodzakelijk om de confound variance zo goed mogelijk te elimineren.

Wanneer is er sprake van error variantie?

Error variantie wordt ook wel ‘within-groups variance’ genoemd. Het is het resultaat van onsystematische verschillen tussen proefpersonen. Het kan hierbij gaan om verschillen in persoonlijkheid, humeur en capaciteiten. Maar ook kan het gaan om verschillen in omgang door de onderzoeker. De onderzoeker kan verschillende proefpersonen namelijk (soms onbewust) verschillend behandelen.

Error variantie is minder problematisch dan confound variantie. We kunnen namelijk op statistische wijze onderscheid maken tussen systematische variantie en error variantie. Daardoor kunnen we error variantie gemakkelijker elimineren en is het dus minder van invloed op het experiment dan confound variantie. Het blijft echter wel zo, dat hoe meer error variantie er is, hoe moeilijker het is om de effecten van de onafhankelijke variabelen te detecteren. De errorvariantie verkleint dus de power van het experiment. Daarom willen we de errorvariantie zo laag mogelijk houden.

Variantie samengevat

Samengevat kun je de totale variantie onderverdelen in systematische variantie en error variantie: totale variantie = systematische variantie + error variantie.
De systematische variantie is vervolgens weer te verdelen in treatment variance en confound variance: systematische variantie = treatment variance + confound variance.

Hierbij is het van belang om de confound variance te elimineren, de treatment variance zo hoog mogelijk te houden, en de error variantie zo laag mogelijk te houden.

Welke rol speelt interne validiteit?

Interne validiteit gaat over de mate waarin een onderzoeker de juiste conclusies trekt over de effecten van de onafhankelijke variabele. Een experiment heeft interne validiteit wanneer alle bronnen van confound variantie worden geëlimineerd. Interne validiteit ontstaat vaak door experimentele controle. Experimentele controle zorgt er namelijk voor dat de onafhankelijke variabele het enige is dat verschilt tussen de condities. Als deelnemers in verschillende groepen systematisch van elkaar verschillen op meer dan alleen de onafhankelijke variabele, spreken we van ‘confounding’. Het is erg belangrijk om confounding tegen te gaan en te elimineren.

Gevaren voor de interne validiteit

De interne validiteit van een experiment kan door meerdere factoren bedreigd worden:

• Foutieve toewijzing (‘biased assignment’): hiervan is sprake wanneer deelnemers niet willekeurig over de condities verdeeld zijn. Er bestaan dan systematische verschillen tussen de groepen. De gevonden resultaten kunnen in zo’n geval het gevolg zijn van de verschillen tussen de groepen, in plaats van dat zij het gevolg zijn van de onafhankelijke variabele. De groepen verschillen dan op meer gebieden dan op alleen de onafhankelijke variabelen.

• Uitval (‘differential attrition’): Uitval (‘attrition’) is het verlies van deelnemers gedurende het onderzoek. Deelnemers willen of kunnen dan midden in het onderzoek niet meer deelnemen. Wanneer uitval op willekeurige wijze voorkomt en alle experimentele condities in dezelfde mate treft, is het niet erg gevaarlijk voor de interne validiteit. Het is echter een ander verhaal wanneer in sommige condities meer deelnemers uitvallen dan in andere condities (‘differential attrition’). In dat geval loopt de interne validiteit van een onderzoek wel gevaar.

• Voortest-sensitisatie (‘pretest sensitization’): In sommige experimenten worden deelnemers van tevoren getest. Dit geeft de onderzoeker een idee van het gedrag voordat de manipulatie van de onafhankelijke variabele heeft plaatsgevonden. Ook kan het helpen bij het eerlijk verdelen van proefpersonen over condities. Een nadeel van het van tevoren testen van de proefpersonen, is dat ze hierdoor anders zouden kunnen reageren op de onafhankelijke variabele. Ze worden als het ware gevoeliger (meer sensitief) voor deze variabele. Wanneer proefpersonen als gevolg van een voortest anders reageren op de manipulatie van de onafhankelijke variabele, spreken we van voortest-sensitisatie. 

• Geschiedenis (‘history’): de resultaten van sommige onderzoeken worden beïnvloed door externe gebeurtenissen, die buiten de onderzoekssetting voorkomen. In dit geval zijn de gevonden resultaten niet het gevolg van de onafhankelijke variabele, maar door een interactie tussen de onafhankelijke variabele en geschiedenis effecten (‘history effects’).

• Ontwikkeling (‘maturation’): als een experiment lang duurt, dan kan de ontwikkeling (‘maturation’) van de deelnemers de oorzaak zijn van de afhankelijke variabele in plaats van de onafhankelijke variabele.

• Design fouten (‘miscellaneous design confounds’): het gaat hierbij om fouten die voor kunnen komen in het onderzoeksdesign zelf. Zo kan een onderzoeker bijvoorbeeld op een andere manier omgaan met verschillende deelnemers. Het is erg belangrijk dat een onderzoeker er altijd op let dat dit niet gebeurt. Design fouten liggen volledig in handen van de onderzoeker. Daardoor zijn ze goed te elimineren. Het is dus belangrijk dat de onderzoeker hier goed op let.

Verwachtingen

De interne validiteit van een onderzoek wordt ook bepaald door de verwachtingen van de proefpersonen en onderzoeker met betrekking tot wat zou moeten gebeuren in het experiment. Hierbij wordt onderscheid gemaakt tussen drie problemen:

1. Verwachtingen van de onderzoeker (‘experimenter expectancy effects’): Vaak hebben onderzoekers al een vermoeden van hoe de proefpersonen zullen reageren. De verwachtingen van een onderzoeker zijn gebaseerd op de onderzoekshypothesen. Vooraf aanwezige verwachtingen van onderzoekers kunnen ervoor zorgen dat ze de onderzoeksresultaten verkeerd interpreteren. Bovendien kunnen de onderzoekers onbewust de reacties van de proefpersonen beïnvloeden.

2. Verwachtingen van proefpersonen (‘demand characteristics’): Proefpersonen kunnen vermoeden (of denken te vermoeden) wat de onderzoeker van hen verwacht. Zij kunnen zich hiernaar gaan gedragen, omdat ze goede proefpersonen willen zijn. Daardoor gedragen ze zich niet meer op een natuurlijke manier, en ontstaat er een bias in het onderzoek.

Door een dubbel-blind procedure (‘double-blind procedure’) te gebruiken, kan zowel de invloed van de verwachtingen van de onderzoeker als de invloed van de verwachtingen van de proefpersonen geëlimineerd worden. Bij een double-blind procedure weten zowel de onderzoekers als de proefpersonen niet welke proefpersonen aan welke conditie zijn toegewezen. Hierdoor hebben beide geen verwachtingen.

3. Placebo-effecten: Een placebo-effect is een fysiologische of psychologische verandering die plaatsvindt door de suggestie of het geloof dat verandering zal plaatsvinden. De verandering vindt dus plaats omdat de proefpersoon denkt dat er verandering zal plaatsvinden. Een medicijn kan bijvoorbeeld genezen zonder dat het een werkende stof bevat. Dit is omdat patiënten denken dat ze geholpen worden en zullen genezen.
   Wanneer een placebo-effect mogelijk is, maken onderzoekers vaak gebruik van een ‘placebo control group’. Deelnemers in deze groep krijgen een behandeling die eigenlijk niet werkt. De effecten van een placebo controlegroep kunnen worden vastgesteld door ook een echte controlegroep toe te voegen. De echte controlegroep krijgt helemaal geen pilletje, terwijl de placebo controlegroep een pilletje krijgt dat geen effect heeft. Als blijkt dat deelnemers in de placebo controlegroep het beter doen (bijvoorbeeld sneller genezen) dan deelnemers in de echte controlegroep, dan is er sprake van een placebo-effect.

Welke oorzaken voor error variantie zijn er?

Error variantie kan vijf oorzaken hebben:

1. Individuele verschillen: er zijn vaak individuele verschillen tussen proefpersonen, die al bestonden voordat zij deelnamen aan het onderzoek. Dit kan ervoor zorgen dat deelnemers in de experimentele condities op verschillende manieren reageren op de onafhankelijke variabele. Er kan niets gedaan worden om deze verschillen te elimineren, maar hoe minder individuele verschillen er zijn, hoe minder error variantie er is. Onderzoekers kunnen er dus voor kiezen om zo veel mogelijk gebruik te maken van homogene groepen proefpersonen.

2. Tijdelijke stemmingen (‘transient states’): het gaat hierbij om factoren die steeds kunnen veranderen. Voorbeelden zijn attitudes en humeur. Het enige dat onderzoekers kunnen doen is proberen om zelf zo min mogelijk te zorgen voor tijdelijke stemmingen bij deelnemers. Zij kunnen bijvoorbeeld altijd even vriendelijk zijn tegen alle deelnemers.

3. Omgevingsfactoren: voorbeelden van omgevingsfactoren zijn afleidende geluiden in de onderzoekssetting en het testen van proefpersonen in verschillende situaties. Het is van belang om alle proefpersonen in dezelfde situatie te onderzoeken. Daarom proberen onderzoekers om de omgeving waarin het experiment wordt afgenomen zo constant mogelijk te houden.

4. Verschillende manieren van behandeling (‘differential treatment’): Hiervan is sprake wanneer een onderzoeker op verschillende manieren met de proefpersonen omgaat. Een onderzoeker kan bijvoorbeeld erg aardig zijn ten opzichte van vrolijke en spontane deelnemers, terwijl hij of zij minder aardig is ten opzichte van andere deelnemers. Een oplossing voor dit probleem kan zijn om het onderzoek zo veel mogelijk te automatiseren. Hierdoor heeft de proefpersoon minder direct contact met de onderzoeker. Daardoor zijn er minder momenten waarop de onderzoeker de resultaten van de proefpersoon kan beïnvloeden.

5. Meetfouten (‘measurement error’): Elk onderzoek bevat meetfouten die bijdragen aan de error variantie. Om meetfouten te verminderen is het belangrijk om betrouwbare meetinstrumenten te gebruiken.

Het dilemma van de onderzoeker

Externe validiteit gaat over de mate waarin gevonden onderzoeksresultaten generaliseerbaar zijn naar andere steekproeven. Interne validiteit gaat daarentegen over de zekerheid waarmee een onderzoeker kan stellen dat de afhankelijke variabele beïnvloed is door de onafhankelijke variabele, en niet door andere variabelen. Vaak gaat een hoge mate van interne validiteit samen met een lage mate externe validiteit, en vice versa. De discrepantie tussen interne en externe validiteit wordt ook wel het onderszoekersdilemma (‘experimenter’s dilemma’) genoemd. Hoe meer controle een onderzoeker wil hebben over het experiment, hoe meer de interne validiteit stijgt. Maar door een verhoging van de controle, wordt het onderzoek minder natuurlijk en is het minder goed generaliseerbaar. De externe validiteit daalt dan dus. Een verhoging van de interne validiteit gaat dan ook ten koste van de externe validiteit. Onderzoekers hechten echter meer waarde aan interne validiteit. Het is namelijk belangrijker om zeker te zijn van de resultaten van het onderzoek (interne validiteit) dan om het onderzoek te kunnen generaliseren (externe validiteit). Wanneer je niet zeker bent van je onderzoeksresultaten, heeft het immers geen nut om ze te generaliseren.

Daarnaast worden experimenten zelden uitgevoerd om te kunnen generaliseren. Het doel van experimenteel onderzoek is niet om te kunnen generaliseren naar de ‘echte wereld’, maar juist om generalisaties uit de echte wereld te testen (door middel van hypothesen). Het is zelfs zo dat de resultaten van één experiment nooit moeten worden gegeneraliseerd, hoe goed het onderzoek ook is. De resultaten van elk onderzoek hangen te veel samen met de context waarin het onderzoek is uitgevoerd.

Welke voor- en nadelen heeft het gebruik van internet?

Voordelen van het internet

Veel wetenschappers gebruiken het internet om onderzoeken uit te voeren. Daarom wordt er geprobeerd om de validiteit van internetonderzoeken (‘web-based research’) te vergroten. Het uitvoeren van onderzoeken via het internet heeft zowel voor- als nadelen. De voordelen van dit soort onderzoeken zijn hieronder beschreven:

• Door het internet te gebruiken kunnen onderzoekers aan veel grotere steekproeven komen.

• Onderzoek via internet kost de onderzoekers minder tijd en geld.

• De steekproeven die op het internet worden samengesteld, zijn vaak diverser dan steekproeven die op een andere manier worden samengesteld.

• Onderzoekers die op internet op zoek gaan naar deelnemers, vinden het vaak gemakkelijk om daar deelnemers met specifieke kenmerken en eigenschappen te vinden.

• Omdat deelnemers op internet vaak anoniem zijn, worden hun reacties minder beïnvloed door sociale wenselijkheid. Ook is er in mindere mate sprake van ‘experimenter expectancy effects’.

Nadelen van het internet

De nadelen van internetonderzoeken worden hieronder beschreven:

• Onderzoekers vinden het vaak lastig om controle uit te oefenen over een steekproef die via het internet is samengesteld.

• De omgevingen van de proefpersonen kunnen erg veel van elkaar verschillen. Ze kunnen de vragen bijvoorbeeld allemaal op een andere locatie invullen, waardoor de ene proefpersoon veel meer afleiding heeft dan de andere. Dit beïnvloedt de onderzoeksresultaten.

• Vaak maken deelnemers op internet een onderzoek niet af.

• Internetonderzoeken kunnen alleen gebruikt worden als proefpersonen vragen in moeten vullen of moeten reageren op geschreven stimuli. Het is vaak niet mogelijk om bijvoorbeeld het effect van medicijnen te testen via het internet. Het is ook niet mogelijk om experimenten met meerdere sessies uit te voeren. Tot slot is het niet mogelijk om als onderzoeker één-op-één contact te hebben met een proefpersoon.

Beschrijvend en correlationeel onderzoek zijn belangrijk, maar hebben een gebrek. Ze geven geen informatie over oorzaken van gedrag, gedachten en emoties. Wanneer onderzoekers geïnteresseerd zijn in het blootleggen van oorzaak-gevolgrelaties, dus naar causaliteit, dan voeren ze experimenten uit. Een goed ontworpen experiment voldoet aan drie voorwaarden: (1) de onderzoeker moet minstens één van de onafhankelijke variabelen manipuleren om te zien wat voor effect dit heeft op het gedrag van de deelnemer. Daarnaast (2) moet de onderzoeker de deelnemers op gelijke wijze toewijzen aan verschillende experimentele condities. Tenslotte (3) moet de onderzoeker controle hebben over externe variabelen die het gedrag van de deelnemers zouden kunnen beïnvloeden.

Welke rol speelt systematische variantie in analyse?

Wetenschappers moeten statistische analyses uitvoeren om hun onderzoeksvragen te kunnen beantwoorden. Na de uitvoering van het experiment, moet de onderzoeker bepalen of de gemanipuleerde onafhankelijke variabele het voorspelde effect heeft gehad op de afhankelijke variabele. Over het algemeen kunnen we zien of dit het geval is door te bepalen of de totale variantie in de data systematische variantie bevat, als gevolg van de manipulatie. Als systematische variantie aanwezig is, zijn de gemiddelden van de verschillende experimentele groepen verschillend. We kunnen dus bepalen of er sprake is van systematische variantie, door de gemiddelden van de experimentele groepen te vergelijken. Verschillen in gemiddelden komen doordat de manipulatie van de onafhankelijke variabele ervoor heeft gezorgd dat de groepen verschillend scoren. Wanneer de groepen verschillend scoren, is er sprake van systematische variantie. De manipulatie van de onafhankelijke variabelen heeft dan immers effect gehad op de scores op de afhankelijke variabele. Als er echter geen verschil in de groepsgemiddelden bestaat, dan is er geen sprake van systematische variantie en heeft de onafhankelijke variabele geen effect gehad.

Welke rol spelen error variantie en groepsgemiddelden in analyse?

De gemiddelden van de condities kunnen echter van elkaar verschillen zonder dat de onafhankelijke variabele effect heeft gehad. Daarom is alleen maar kijken naar de gemiddelden van de groepen niet helemaal een goede methode voor het ontdekken van de systematische variantie. Verschillen in gemiddelden kunnen bijvoorbeeld ontstaan doordat de twee variabelen (x en y) samen variëren of samen verschillen op een andere variabele (z) (een ‘confounding variable’). Hierdoor kan het lijken alsof de twee gemiddelden verschillen, en er dus sprake is van systematische variantie, terwijl dit niet zo hoeft te zijn. Ook kan het door een confounding variable lijken alsof de twee gemiddelden niet verschillen, en er dus geen sprake is van systematische variantie, terwijl dit wel zo is.

Zelfs al is er geen sprake van een confounding variable, dan zijn verschillen tussen de gemiddelden van de condities van nature alsnog vaak aanwezig. Het is bijna niet mogelijk dat mensen in verschillende condities precies hetzelfde gemiddelde hebben. Dit kan toevallig zijn. Het hoeft dus niet altijd veroorzaakt te worden door de manipulatie van de onafhankelijke variabele. Kleine verschillen in groepsgemiddelden zijn het gevolg van error variantie. Het gaat hierbij om variabelen die invloed op het gedrag van deelnemers hebben, zoals stemming en persoonlijkheidskenmerken. Kortom, de groepsgemiddelden verschillen altijd in bepaalde mate. Hoe kunnen we er dan toch achter komen of het verschil in groepsgemiddelden het gevolg is van de onafhankelijke variabele of van error variantie? Dit kunnen we uitzoeken door middel van inferentiële statistiek.

Wat is de functie van inferentiële statistiek?

Er is een manier om uit te zoeken of het verschil in groepsgemiddelden het gevolg is van error variantie of van systematische variantie. Hier kunnen we namelijk achter komen door middel van een inferentiële statistiek. Deze methode gaat er vanuit dat de onafhankelijke variabele effect heeft gehad, wanneer het verschil tussen de gemiddelden van de condities groter is dan dat we zouden verwachten op basis van alleen error variantie. We vergelijken daarom de groepsgemiddelden die we gevonden hebben met de groepsgemiddelden die we verwachtten te vinden als er alleen sprake zou zijn van error variantie. Deze methode geeft helaas geen zekerheid. We kunnen alleen de kans vaststellen dat de verschillen in groepsgemiddelden het gevolg zijn van error variantie.

Hoe werkt het toetsen van hypothesen?

Wetenschappers proberen hun onderzoekshypotheses te toetsen door de verschillende groepsgemiddelden te analyseren. Eerst formuleren ze een nulhypothese. Deze hypothese stelt dat de onafhankelijke variabele geen effect heeft gehad op de afhankelijke variabele. De experimentele hypothese staat hier vaak tegenover. Deze stelt dat de onafhankelijke variabele wel effect heeft op de afhankelijke variabele. De experimentele hypothese kan geen richting (‘nondirectional’) of wel een richting (‘directional’) aangeven. Een directionele experimentele hypothese (met een richting) wordt eenzijdig genoemd. Hierbij geeft de onderzoeker namelijk al aan of hij verwacht of de onafhankelijk variabele zorgt voor een stijging of daling in de afhankelijke variabele. Wanneer een onderzoeker geen vermoeden heeft over de richting van een effect, dan voert hij of zij een tweezijdige toets uit. Hierbij geeft de onderzoeker geen richting aan. Dit is dus een niet-directionele hypothese. Op basis van statistische analyses kan de nulhypothese verworpen (‘rejecting the null hypotheses’) of behouden (‘failing to reject the null hypothesis’) worden.

Het verwerpen van de nulhypothese betekent dat de onafhankelijke variabele effect heeft gehad. Het verwerpen van de nulhypothese houdt namelijk in dat je stelt dat de nulhypothese niet waar is. De nulhypothese stelt dat er geen verschil is tussen de gemiddelden. Door de nulhypothese te verwerpen, geef je aan dat er wel verschil is tussen de gemiddelden. De onafhankelijke variabele heeft dan dus effect gehad, en er is sprake van systematische variantie. Bij het verwerpen van de nulhypothese is het verschil in de groepsgemiddelden groter dan wat we zouden verwachten op basis van alleen de error variantie. Als de nulhypothese behouden wordt, dan betekent dit dat de onafhankelijke variabele geen effect heeft gehad op de afhankelijke variabele. In dit geval zijn verschillen in groepsgemiddelden niet het resultaat van de onafhankelijke variabele, maar van error variantie. De groepsgemiddelden verschillen dan niet meer dan dat we op basis van de error variantie zouden verwachten.

Type-I en type-II-fouten

Wanneer de onderzoeksdata statistisch geanalyseerd wordt, zijn er vier mogelijkheden denkbaar.

1. Correct besluit: de nulhypothese is onjuist, en de onderzoeker verwerpt hem.

2. Correct besluit: de nulhypothese is juist, en de onderzoeker behoudt hem.

3. Type-I-fout: de nulhypothese is juist, maar de onderzoeker verwerpt hem. De onderzoeker denkt dus ten onrechte dat de onafhankelijke variabele effect heeft gehad. De kans om een type I fout te maken wordt het alfaniveau genoemd. In de meeste gevallen gebruiken onderzoekers een alfaniveau van 5%. Dit betekent dat ze de nulhypothese verwerpen wanneer er 5% kans is dat de gevonden verschillen tussen de groepsgemiddelden het gevolg zijn van error variantie. Op deze manier is er maar 5% kans dat ze het bij het verkeerde eind hebben. Soms hanteren wetenschappers een strenger alfaniveau, namelijk een alfa van 1%. Ze hebben dan maar 1% kans om een type I fout te maken.
   Het verschil tussen de groepsgemiddelden wordt als statistisch significant bestempeld wanneer we de nulhypothese verwerpen met een lage kans op een type-I-fout. Een statistisch significant resultaat is een resultaat waarvan we weten dat er maar een kleine kans is (vaak kleiner of gelijk aan 5%) dat deze het gevolg is van error variantie.

4. Type-II-fout: de nulhypothese is onjuist, maar de onderzoeker behoudt deze toch. De onderzoeker stelt dus dat de onafhankelijke variabele geen effect heeft gehad, terwijl dat in werkelijkheid wel zo was. De kans op een type-II-fout wordt bèta genoemd. Het onbetrouwbaar meten van de afhankelijke variabele verhoogt de bèta. Effecten die in werkelijkheid wel bestaan, worden met een onbetrouwbare meting namelijk niet opgemerkt. Dit leidt tot een grotere kans op een type-II-fout, dus een grotere bèta. Ook kunnen fouten in het verzamelen en coderen van responsen, extreem heterogene steekproeven en slechte experimentele controle leiden tot een grotere bèta. Om de kans op een type-II-fout te verkleinen, proberen wetenschappers experimenten te ontwerpen die veel power hebben. Power is de kans dat een onderzoek de nulhypothese afwijst als de nulhypothese ook echt niet blijkt te kloppen. In andere woorden; power is de mate waarin het effect van de manipulatie door de onafhankelijke variabele wordt ontdekt. Hoe meer deelnemers er zijn, hoe groter de kans wordt dat bestaande effecten ook echt worden opgemerkt. Om vast te stellen hoeveel mensen nodig zijn om bestaande effecten vast te stellen, wordt een poweranalyse uitgevoerd. Onderzoekers willen vaak minimaal een power van .80. Dit betekent dat het onderzoek 80% kans heeft om een effect op te merken als dit ook daadwerkelijk bestaat. Onderzoekers gaan over het algemeen niet voor een power van .99, omdat hier extreem veel proefpersonen voor nodig zijn.

Effectgrootte

Als een onderzoeker concludeert dat de onafhankelijke variabele effect heeft gehad, dan wil hij of zij vaak ook nog weten hoe groot het effect van de gemeten onafhankelijke variabele is. Dit bepalen ze door een effectgrootte (‘effect size’) te berekenen. De effectgrootte is de proportie van de variabiliteit van de afhankelijke variabele, die wordt veroorzaakt door de manipulatie van de onafhankelijke variabele. Bij een factorieel ontwerp – dat wil zeggen, experimenten met meer dan één onafhankelijke variabele – kan er een effectgrootte worden berekend voor elke geteste onafhankelijke variabele. Effectgroottes liggen tussen de .00 en 1.00. Een effectgrootte van 1.00 zegt dat 100% van de variantie in de afhankelijke variabele wordt verklaard door de onafhankelijke variabele. Een effectgrootte van .00 zegt juist dat er geen enkele variantie in de afhankelijke variabele wordt verklaard door de onafhankelijke variabele. Twee bekende effectgrootte maten zijn eta-squared en omega-squared.

De t-test

Om te toetsen of verschillen in groepsgemiddelden statistisch significant zijn, kunnen t- en F-toetsen gebruikt worden. Zowel bij de t- als bij de F-toets worden de gevonden groepsgemiddelden vergeleken met de groepsgemiddelden die we zouden verwachten als de resultaten alleen veroorzaakt zouden worden door error variantie. In dit deel gaan we het hebben over de t-toets. Een t-test wordt gebruikt om een twee groepen gerandomiseerd groepsexperiment (‘two-group randomized groups experiment’) te analyseren.

Het uitvoeren van een t-test gaat in vijf stappen:

• Stap 1: Bereken de gemiddelden van de twee groepen. Deze gemiddelden noemen we ²₁ en ²₂.

• Stap 2: Bereken de standaardfout voor het verschil tussen de twee gemiddelden. Op basis van dit getal kunnen we zien welke groepsgemiddelden we zouden moeten vinden als de data alleen beïnvloed zouden zijn door error variantie. Om de standaardfout te vinden, moeten we eerst de varianties van de twee experimentele groepen berekenen.
  De variantie wordt voor elke conditie als volgt berekend: s²= Σ²_i – [(Σ_i)²/n]/n-1. Bereken deze variantie voor elke conditie. Hier moet hij twee keer berekend worden, namelijk voor conditie 1 en conditie 2. Vervolgens moet de gepoolde variantie berekend worden: s²_p = (n₁-1) s²₁ + (n₂-1) s²₂ / n₁ + n₂ -2. In deze formule zijn n₁ en n₂ de steekproefgroottes voor beide condities en zijn s²₁ en s²₂ de varianties van beide steekproeven. Tot slot moet de wortel getrokken worden uit de gepoolde variantie. Dit leidt tot de gepoolde standaarddeviatie: s_p. Zoals eerder besproken, is de wortel van de variantie immers (s²) gelijk aan de standaarddeviatie (s).

• Stap 3: Stel de waarde van t vast. Op basis van de berekende groepsgemiddelden, de gepoolde standaarddeviatie en de steekproefgroottes kan de t-statistiek berekend worden. Bereken daarvoor eerst ²₁ - ²₂. Vermenigvuldig de gepoolde standaarddeviatie (s_p) met de wortel uit 1/n₁ + 1/ n₂. Deel vervolgens ²₁ - ²₂ door het antwoord op deze laatste som.

• Stap 4: Stel de kritische waarde (‘critical value’) van t vast. Om de kritische waarde vast te stellen, moeten twee stappen doorlopen worden. Als eerste moeten de vrijheidsgraden voor de t-toets worden uitgerekend. De vrijheidsgraden (df) staan gelijk aan het totaal aantal deelnemers min twee; (n₁ + n₂ -2). Vervolgens (2) moet het alfaniveau voor de test worden vastgesteld. Vaak wordt gekozen voor een alfa van .05. Een alfa van .01 komt ook vaak voor.

• Stap 5: Bepaal of de nulhypothese moet worden verworpen. Doe dit door de berekende t te vergelijken met de kritische waarde van t. vergelijk dus het antwoord van stap 3 met het antwoord van stap 4. Deze vergelijking kun je uitvoeren door gebruik te maken van de t-tabel.

Gepaarde t-test

Een gepaarde t-toets (‘paired t-test’) wordt gebruikt wanneer er sprake is van een gematcht ontwerp of van herhaalde metingen. Bij de gepaarde t-toets wordt er rekening mee gehouden dat de deelnemers in de twee condities op elkaar lijken.

Bij een gemacht ontwerp worden tenslotte paren van deelnemers gevormd die op elkaar lijken. Bij herhaalde metingen doen dezelfde deelnemers mee aan alle condities. Daarom zouden gematchte scores in de twee condities positief gecorreleerd moeten zijn. Dit geldt ook voor het herhaalde metingen design: deelnemers die hoog scoren op de ene conditie zouden ook hoog moeten scoren op de andere conditie. De gepaarde t-toets maakt dan ook gebruik van deze positieve correlaties om t te berekenen. In de gepaarde t-toets wordt de error variantie automatisch verminderd. Dit komt doordat er gebruik gemaakt wordt van gematchte groepen proefpersonen. De proefpersonen lijken in beide genoemde designs op elkaar, of zijn zelfs hetzelfde. Dit leidt tot een test met meer power: als de onafhankelijke variabele daadwerkelijk effect heeft, dan blijkt dit ook uit de test. Hoe minder error variantie er namelijk is, hoe groter de power van het experiment. De hoge power zorgt ervoor dat de gepoolde standaarddeviatie (s_p) kleiner wordt. Het kleiner worden van de gepoolde standaarddeviatie leidt weer tot een grotere t-waarde.

Wat zijn voor- en nadelen van computeranalyses?

Vroeger werden statistische analyses allemaal met de hand uitgevoerd. Tegenwoordig zijn computerprogramma’s ontwikkeld die onderzoekshypotheses snel en accuraat kunnen toetsen. We moeten er wel rekening mee houden dat het voor kan komen dat data foutief worden ingevoerd. De accurate statistische analyses kunnen dit niet compenseren. Onderzoekers die data invoeren moeten dus zeer voorzichtig en accuraat zijn. Dit kan er dus alsnog voor zorgen dat de statistische analyse een tijdrovend proces kan zijn. Ook is het zo dat tegenwoordig bijna iedereen allerlei statistische analyses kan uitvoeren met de computer. Echter, niet iedereen begrijpt iets van deze statistische analyses en de uitkomsten daarvan (die de computerprogramma’s opleveren). Dit kan leiden tot foutieve interpretaties en conclusies. Onderzoekers moeten daarom alleen onderzoeken uitvoeren die ze zelf ook echt begrijpen, zodat ze genoeg inzicht hebben in de conclusies uit de resultaten, die het statistisch onderzoek met de computer oplevert.

Wetenschappers moeten statistische analyses uitvoeren om hun onderzoeksvragen te kunnen beantwoorden. Na de uitvoering van het experiment, moet de onderzoeker bepalen of de gemanipuleerde onafhankelijke variabele het voorspelde effect heeft gehad op de afhankelijke variabele. Over het algemeen kunnen we zien of dit het geval is door te bepalen of de totale variantie in de data systematische variantie bevat, als gevolg van de manipulatie. Als systematische variantie aanwezig is, zijn de gemiddelden van de verschillende experimentele groepen verschillend. We kunnen dus bepalen of er sprake is van systematische variantie, door de gemiddelden van de experimentele groepen te vergelijken. Verschillen in gemiddelden komen doordat de manipulatie van de onafhankelijke variabele ervoor heeft gezorgd dat de groepen verschillend scoren. Wanneer de groepen verschillend scoren, is er sprake van systematische variantie. De manipulatie van de onafhankelijke variabelen heeft dan immers effect gehad op de scores op de afhankelijke variabele. Als er echter geen verschil in de groepsgemiddelden bestaat, dan is er geen sprake van systematische variantie en heeft de onafhankelijke variabele geen effect gehad.

Wat is de functie van manipulatie?

Vaak kunnen we variabelen niet op zo’n manier manipuleren dat we een uitspraak kunnen doen over causaliteit. Sekse kunnen we bijvoorbeeld niet manipuleren. Ook kunnen we vanwege ethische redenen vaak geen onderzoek doen waarbij bepaalde variabelen gemanipuleerd worden. Wanneer het niet mogelijk of wenselijk is om onafhankelijke variabelen te manipuleren, wordt er gekozen voor een quasi-experimenteel design. De onafhankelijke variabele die niet gemanipuleerd wordt, wordt de quasi-onafhankelijke variabele (‘quasi-independent variable’) genoemd.

De interne validiteit van experimentele designs is hoog. Experimentele designs kunnen namelijk goed laten zien dat onafhankelijke variabelen veranderingen veroorzaken in de afhankelijke variabele. Experimentele designs kunnen namelijk goed aantonen dat het effect op de afhankelijke variabele niet komt door iets anders dan de onafhankelijke variabele, omdat de onderzoeker controle heeft over externe variabelen. Quasi-experimentele designs hebben een lagere interne validiteit dan experimentele designs, omdat deelnemers niet willekeurig toegewezen kunnen worden aan verschillende condities. Toch kunnen quasi-experimentele designs veel (indirect) bewijs leveren voor oorzaak-gevolgrelaties. Hoe goed een quasi-experimenteel design is, hangt af van de mate waarin het design controle heeft over externe factoren. Er wordt onderscheid gemaakt tussen meerdere soorten quasi-experimentele designs. Deze worden hieronder beschreven.

One-group pretest-posttest design

Zoals de naam al doet vermoeden, wordt er in een one-group pretest-posttest design gebruik gemaakt van een voormeting en een nameting. In formuletaal ziet dit er als volgt uit: O1 -> X -> O2. Hierbij is O1 de voormeting, X is de manipulatie van de onafhankelijke variabele, en O2 is de nameting. Dit design is niet erg goed, omdat de interne validiteit ervan laag is. De factoren die de interne validiteit bedreigen worden namelijk niet geëlimineerd. Er kan tussen de voor- en nameting bijvoorbeeld een belangrijke gebeurtenis hebben plaatsgevonden (‘historic effect’). Ook kan het zo zijn dat de resultaten van de proefpersonen worden beïnvloed doordat zij hebben meegedaan aan de voormeting (‘testing effect’).

De interne validiteit van een one-group pretest-posttest design kan bedreigd worden door regressie naar het gemiddelde (‘regression to the mean’). Dit is de neiging van extreme scores om in een distributie richting het gemiddelde te verplaatsen bij herhaaldelijke meting. Er ontstaan dan meetfouten die de ware scores van de proefpersonen maskeren. Hoe meer metingen er plaatsvinden, hoe groter de kans op meetfouten die zorgen voor een (onterechte) stijging of daling van de scores. Eigenlijk wordt een one-group pretest-posttest design een ‘pre-experimental design’ genoemd, in plaats van een quasi-experimenteel design. De reden hiervan is dat er bij een one-group pretest-posttest design geen sprake is van experimentele controle en interne validiteit. In andere woorden: het design voldoet niet aan de basisvoorwaarden van een experimenteel (of quasi-experimenteel) onderzoek, en wordt daarom vaak anders benoemd.

Nonequivalent control group design

Om een sterker onderzoek dan een one-group pretest-posttest design te ontwerpen, kan de onderzoeker controlegroepen toevoegen. Het is echter niet mogelijk om gebruik te maken van een echte controlegroep, omdat proefpersonen niet willekeurig aan de groepen kunnen worden toegewezen. Wel kan een ongelijke controlegroep (‘nonequivalent control group’) gebruikt worden. Bij een ‘nonequivalent control group design’ gaat de onderzoeker op zoek naar één of meer groepen deelnemers die lijken op de groep waarop de quasi-onafhankelijke variabele wordt uitgeprobeerd. Een non-equivalent control group design kan twee vormen aannemen:

• ‘Nonequivalent groups posttest-only design’: hierbij is er alleen sprake van een nameting. De quasi-experimentele groep krijgt eerst een manipulatie (X) en daarna een nameting (O). De ongelijke controlegroep krijgt alleen een nameting (O). Systematisch weergegeven ziet het nonequivalent groups posttest-only design er als volgt uit:
  Quasi-experimentele groep: X --> O
  Nonequivalent control group: – --> O

Als blijkt dat de groepen van elkaar verschillen op de nameting, dan weten we niet of dit komt door het programma (X) of niet. Het kan ook zo zijn dat de groepen vóór het programma al van elkaar verschilden. Wanneer dat zo is, spreken we ook wel van een selectiebias. Dit design is erg zwak, omdat niet duidelijk is waar de verschillen in de nameting door worden veroorzaakt. De interne validiteit is erg laag. Het wordt dus niet aangeraden om gebruik te maken van het Nonequivalent groups posttest-only design’.

• ‘Nonequivalent groups pretest-posttest design’: dit design is bijna hetzelfde als het Nonequivalent groups posttest-only design’, maar er wordt er bij zowel de quasi-experimentele groep als de controlegroep een voormeting aan toegevoegd. In schemavorm zit dit design er zo uit:
  Quasi-experimentele groep: O1 --> X --> O
  Nonequivalent control group: O1 --> – --> O2

Met dit design kunnen we zien of de groepen al van elkaar verschilden voordat het onderzoek van start ging. Toch zijn er ook bij dit design problemen met de interne validiteit. Het kan bijvoorbeeld zijn dat de ene groep aan een situatie wordt blootgesteld waar de andere groep niet aan wordt blootgesteld (‘local history effect’/’selection-by-history interaction’).

Time series designs

Bij een ‘time series design’ wordt de afhankelijke variabele op verschillende momenten voor- en na de toepassing van de quasi-experimentele variabele gemeten. Er zijn dus meerdere voormetingen en meerdere nametingen. Er zijn vijf vormen van dit design:

• ‘Simple interrupted time series design’: bij dit design zijn er meerdere voor- en nametingen. Het Simple interrupted time series design heeft de volgende vorm:
  O1 -> O2 -> O3 -> O4 -> X -> O5 -> O6 -> O7 -> O8.
  De metingen worden als het ware onderbroken door de toevoeging van de quasi-experimentele variabele (X). Als X echt effectief is, dan zou er in dit voorbeeld een verschil tussen O4 en O5 moeten zijn. Maar ook bij dit design wordt de interne validiteit bedreigd. Deze dreiging wordt ‘contemporary history’ genoemd: we kunnen niet uitsluiten dat de geobserveerde effecten niet door een andere gebeurtenis komen die tegelijkertijd voorkwam met de toevoeging van de quasi-experimentele variabele.

• ‘Interrupted time series with a reversal’: ook bij dit design zijn er voormetingen voor en nametingen na de toevoeging van de quasi-experimentele variabele. De quasi-experimentele variabele wordt na de nameting echter weer verwijderd. Na deze verwijdering worden er nog meer nametingen uitgevoerd. Dit design heeft de volgende vorm:
  O1 -> O2 -> O3 -> O4 -> X -> O5 -> O6 -> O7 -> O8 -> –X -> O9 -> O10 -> O11 -> O12.
  Als de scores na de verwijdering van de quasi-experimentele variabele weer terugkeren naar de scores op de voormetingen, dan kunnen we stellen dat quasi-experimentele variabele waarschijnlijk wel effect heeft gehad.

• ‘Interrupted time series design with multiple replications’: dit design lijkt op het interrupted times series with a reversal design. Bij dit design wordt de quasi-experimentele variabele echter eerst gebruikt, daarna verwijderd en daarna weer opnieuw gebruikt en tenslotte weer verwijderd. Systematisch weergegeven ziet het interrupted time series design with multiple replications er als volgt uit: O1 -> O2 -> O3 -> X -> O4 -> O5 -> O6 -> -X -> O7 -> O8 -> O9 -> X -> O10 -> O11 -> O12 -> -X -> O13 -> O14 -> O15.
  Dit design heeft drie nadelen: (1) soms is het helemaal niet mogelijk om de quasi-experimentele variabele te verwijderen, (2) de effecten van de quasi-experimentele variabele kunnen blijven bestaan, al wordt deze variabele verwijderd en (3) het verwijderen van de quasi-experimentele variabele kan veranderingen veroorzaken die niet per definitie hoeven te komen door de effecten van de variabele.

• ‘Control group interrupted time series design’: in dit geval wordt bij de quasi-experimentele groep een aantal voormetingen uitgevoerd, vervolgens de quasi-experimentele variabele geïntroduceerd en tot slot worden er nametingen uitgevoerd. Hetzelfde wordt gedaan bij een ongelijke controlegroep. Deze ongelijke controlegroep lijkt zo veel mogelijk op de quasi-experimentele groep. Voor de quasi-experimentele groep geldt: O1 -> O2 -> O3 -> O4 -> X -> O5 -> O6 -> O7 -> O8. Voor de controlegroep geldt: O1 -> O2 -> O3 -> O4 -> – -> O5 -> O6 -> O7 -> O8.
  Dit design sluit historische effecten uit. Beide groepen ervaren namelijk dezelfde situationele factoren. Wanneer de ene groep anders scoort op de nametingen, dan moet dit dus wel komen door de quasi-experimentele variabele. Het kan dan vanzelfsprekend niet liggen aan historische effecten.

• ‘Comparative time series design’: dit design wordt ook wel ‘comparative trend analysis’ genoemd. Er worden hierbij twee of meer variabelen op volgorde bestudeerd. De onderzoeker probeert hierbij vooral te begrijpen hoe veranderingen in de ene variabele, gerelateerd zijn aan veranderingen in de andere variabele.

Als blijkt dat de ene variabele samengaat met veranderingen in de andere variabele, dan geeft dit indirect bewijs voor causaliteit. Zoals altijd het geval is met quasi-experimentele designs, geeft het comparative time series design geen zekerheid over causaliteit. Als duidelijk is dat veranderingen in de ene variabele gerelateerd zijn aan veranderingen in de andere variabele, kan dit echter wel voor inzicht zorgen wat causaliteit betreft.

Wat zijn longitudinale onderzoeken?

Bij longitudinale onderzoeken is de quasi-experimentele variabele de tijd zelf. Er is dus geen sprake van een ingreep of een manipulatie van de onafhankelijke variabele. Er worden gewoon verschillende metingen door de tijd heen uitgevoerd, om te kijken of deze dezelfde scores opleveren. Longitudinale onderzoeken worden vaak door ontwikkelingspsychologen gebruikt om leeftijdsgerelateerde veranderingen te onderzoeken. Hierbij wordt vooral gekeken naar veranderingen in hoe mensen denken, hoe zij zich voelen en zich gedragen. Longitudinaal onderzoek is erg informatief, maar heeft drie nadelen: (1) onderzoekers vinden het lastig om mensen te vinden die steeds opnieuw getest willen worden, (2) veel deelnemers blijken uit te vallen, bijvoorbeeld door sterfte of verhuizing en (3) het kost veel tijd, geld en inspanning om mensen jarenlang te testen.

Een andere mogelijkheid is het uitvoeren van een cross-sectioneel design. Hierbij worden groepen mensen van verschillende leeftijden op hetzelfde moment getest. Het nadeel van een cross-sectioneel design is echter dat leeftijdsgerelateerde veranderingen niet onderscheiden kunnen worden van generatie-effecten (‘generational effects’). Mensen van verschillende leeftijd verschillen niet alleen in hun leeftijd, maar ook in de leefomstandigheden. Een ander voordeel van longitudinale onderzoeken boven cross-sectionele onderzoeken, is dat kleine veranderingen door de tijd heen ontdekt kunnen worden door middel van een longitudinaal design, terwijl dit niet lukt met een cross-sectioneel design. Het is wel belangrijk om alternatieve verklaringen uit te sluiten, wanneer bepaalde veranderingen vastgesteld zijn door middel van een longitudinaal onderzoek.

Programma-evaluatie

Quasi-experimentele designs worden vaak gebruikt bij programma-evaluatie (‘program evaluation’). Het gaat hierbij om gedragsgerelateerde onderzoeksmethoden die interventies (ook wel manipulaties of programma’s genoemd) analyseren, die bedoeld zijn om gedrag te beïnvloeden. Interventies die gedrag beïnvloeden, kunnen vaak niet gemanipuleerd worden. Daarom wordt er vaak gebruik gemaakt van een quasi-experimenteel design. Het primaire doel van een programma-evaluatie is het geven van informatie aan de mensen die over de programma’s gaan. In sommige gevallen is het echter wel mogelijk om een echt experiment uit te voeren. Dit kan in zulke gevallen door sommige mensen toe te wijzen aan het ene programma en andere mensen toe te wijzen aan het andere programma. Mensen die de taak hebben om de programma’s te evalueren hebben zelf vaak geen controle over welke programma’s ze moeten analyseren.

Quasi-experimentele designs evalueren

Vroeger vonden wetenschappers quasi-experimentele designs niet betrouwbaar, omdat ze minder zekere resultaten geven dan experimentele designs. Bij experimenten is het namelijk mogelijk om mensen willekeurig toe te wijzen aan groepen die staan voor verschillende manipulaties van de onafhankelijke variabele. Dit zorgt ervoor dat de interne validiteit stijgt. Daardoor kunnen we met zekerheid zeggen dat de onafhankelijke variabele een verschil in de afhankelijke variabele heeft veroorzaakt. Het blijft echter wel belangrijk om quasi-experimentele onderzoeken uit te voeren. Als we dit niet zouden doen, konden we nooit onderzoek doen naar variabelen die we niet kunnen manipuleren. Let er hierbij wel op dat quasi-experimentele onderzoeken de interne validiteit veel minder goed waarborgen dan experimentele onderzoeken. Er kan niet met zekerheid een uitspraak worden gedaan over de causaliteit. Om van causaliteit te kunnen spreken, moet aan drie voorwaarden voldaan worden: (1) de variabele waarvan gedacht wordt dat deze effect heeft, moet voorafgaan aan het effect, (2) oorzaak en gevolg moeten covariëren en (3) alle alternatieve verklaringen van de resultaten moeten worden uitgesloten door mensen willekeurig aan condities toe te wijzen of door experimentele controle. Quasi-experimentele onderzoeken voldoen wel aan de eerste twee voorwaarden, maar niet aan de laatste. Ze hebben maar weinig controle over externe variabelen die de oorzaak zouden kunnen zijn van veranderingen in de afhankelijke variabele.

Quasi-experimentele designs verbeteren

Omdat quasi-experimentele designs nooit perfect bewijs leveren voor het bestaan van een oorzaak-gevolgrelatie, is het belangrijk om aan ‘critical multiplism’ te doen. Dit houdt in dat we moeten proberen om op zoveel mogelijk verschillende manieren bewijs te vinden voor een relevante hypothese. Wanneer we dat doen, ontstaan er steeds meer onderzoeksresultaten die het bestaan van een specifieke oorzaak-gevolgrelatie ondersteunen. De optelsom van al het bewijs zorgt voor meer overtuiging en meer zekerheid van een causale relatie tussen de twee betreffende variabelen.

Quasi-experimentele designs worden vaak gebruikt bij programma-evaluatie (‘program evaluation’). Het gaat hierbij om gedragsgerelateerde onderzoeksmethoden die interventies (ook wel manipulaties of programma’s genoemd) analyseren, die bedoeld zijn om gedrag te beïnvloeden. Interventies die gedrag beïnvloeden, kunnen vaak niet gemanipuleerd worden. Daarom wordt er vaak gebruik gemaakt van een quasi-experimenteel design. Het primaire doel van een programma-evaluatie is het geven van informatie aan de mensen die over de programma’s gaan. In sommige gevallen is het echter wel mogelijk om een echt experiment uit te voeren. Dit kan in zulke gevallen door sommige mensen toe te wijzen aan het ene programma en andere mensen toe te wijzen aan het andere programma. Mensen die de taak hebben om de programma’s te evalueren hebben zelf vaak geen controle over welke programma’s ze moeten analyseren.

Bij onderzoek naar gedrag kan het soms zo zijn dat bepaalde proefpersonen (die meestal willekeurig zijn gekozen) benadeeld worden. Zij kunnen na het onderzoek bijvoorbeeld een verlies van eigenwaarde of een verlaging van het zelfvertrouwen ervaren. Dit roept ethische vragen op. Is het acceptabel om proefpersonen te misleiden en te krenken als dat nodig is? En hoeveel druk (psychologisch of fysiologisch) mogen onderzoekers uitoefenen op hun proefpersonen? Gedragsonderzoekers worstelen al jaren met zulke vragen.

Hoe worden ethische beslissingen genomen?

Gedragsonderzoekers hebben twee soorten verplichtingen. Deze verplichtingen raken soms met elkaar in conflict. Tijdens zo’n conflict ontstaan ethische vraagstukken. Aan de ene kant moeten gedragsonderzoekers informatie leveren die leidt tot begrip van gedragsprocessen. Dit begrip moet vervolgens leiden tot verbetering van het welbevinden van mensen of dieren. Als gevolg van deze eerste verplichting, mogen wetenschappers vanuit ethisch perspectief alleen onderzoek uitvoeren als dit als doel heeft onze kennis te vergroten of problemen op te lossen. Aan de andere kant zijn gedragsonderzoekers verplicht om de rechten en het welbevinden van de menselijke en niet-menselijke proefpersonen die zij onderzoeken, te waarborgen. Ethische vraagstukken ontstaan als de verplichtingen van de onderzoeker aan de wetenschap en maatschappij (de eerste verplichting) botsen met de verplichting om de proefpersonen te beschermen (de tweede verplichting).

Daarnaast zijn er veel meningsverschillen over de ethiek van bepaalde onderzoeksprocedures. Zelfs over de fundamentele principes van de ethiek verschillen de meningen. Hierdoor ontstaat er vaak een impasse (stilstand) in ethische conflicten. Op zo’n moment bestaat er twijfel over hoe ethische beslissingen genomen moeten worden, en of deze beslissingen überhaupt wel genomen kunnen worden.

Er zijn drie soorten algemene benaderingen om ethische vraagstukken op te lossen. Deze benaderingen verschillen van elkaar in het vaststellen van criteria over wat goed is en wat fout. De drie benaderingen heten: deontologie (deontology), ethisch scepticisme (ethical scepticism) en bruikbaarheid (utilitarian).

• Volgens de deontologie moet ethiek beoordeeld worden door middel van een universele morele code. Sommige acties zijn bijvoorbeeld heel onethisch en mogen in geen enkele omstandigheid worden uitgevoerd.

• Het ethisch scepticisme stelt daarentegen dat concrete, vaststaande morele codes niet bestaan. Dit gaat dus recht tegen de principes van de deontologie in. Sceptici ontkennen niet dat ethische principes belangrijk zijn. Ze stellen eerder dat ethische regels arbitrair zijn. Het is afhankelijk van de cultuur en de tijd of een bepaalde handeling goed of fout is. Degene die bepaalt of een bepaalde actie goed of fout is, is het individu zelf.

• De derde benadering is die van de bruikbaarheid. Deze claimt dat de ethische beoordeling van een bepaalde actie afhangt van de consequenties van die actie. De potentiële opbrengsten moeten worden afgewogen tegen de potentiële kosten. Als de potentiële opbrengsten hoger zijn dan de kosten, dan is de betreffende actie ethisch gezien toegestaan. De meeste officiële richtlijnen voor onderzoek volgen voornamelijk deze benadering van bruikbaarheid. Denk hierbij bijvoorbeeld aan de American Psychological Association (APA).

Welke fundamentele ethische richtlijnen zijn er?

Het is duidelijk dat onderzoekers verschillen in mening over ethische kwesties. Alle onderzoekers zijn echter altijd gebonden aan twee sets van ethische richtlijnen, de eerste bestaat uit principes die geformuleerd zijn door professionele organisaties, zoals de APA (American Psychological Association). De APA heeft bijvoorbeeld de zogenaamde Ethical Principles of Psychologists and Code of Conduct opgesteld. Hierin staan de ethische standaarden die psychologen moeten volgen in alle gebieden van hun professionele leven; in therapie, evaluatie, lesgeven en onderzoeken. Daarnaast zijn alle gedragsonderzoekers gebonden aan regelingen die getroffen zijn door de overheid, of staan vastgelegd in locale wetten.

Beide sets van ethische richtlijnen zijn voornamelijk gebaseerd op het principe van bruikbaarheid of zijn pragmatisch. Ze stellen dat de onderzoeker de potentiële opbrengsten moet afwegen tegen de potentiële kosten. Wat ze niet doen, is specifieke ethische do’s en don’ts vaststellen voor onderzoek.

Het afwegen van opbrengsten en kosten wordt ook wel kosten–baten analyse (cost–benefit analysis) genoemd.

Potentiële opbrengsten

Gedragsonderzoek heeft vijf potentiële opbrengsten. Hiermee moet rekening worden gehouden bij het opstellen van een kosten-baten analyse.

• Basiskennis: Het grootste voordeel van onderzoek is dat het onze kennis vergroot. Hoe meer kennis het onderzoek oplevert, hoe groter de opbrengsten (baten) zijn, dus hoe meer kosten en risico’s er worden toegestaan in het onderzoek.

• Verbetering van onderzoekstechnieken: Sommig onderzoek wordt gedaan om de procedures van onderzoek te verbeteren. Hiermee wordt kennis dus niet direct vergroot, maar worden de manieren van onderzoek wel verbeterd. Daardoor kan kennis in de toekomst wel worden vergroot.

• Praktische uitkomsten: Er zijn ook onderzoeken die praktische uitkomsten opleveren. Dit doen ze door het direct verbeteren van het welzijn van mensen of andere levende wezens.

• Opbrengsten voor onderzoekers: Als je een onderzoek opstelt, wil je daar zelf meestal ook van profiteren. Wetenschappers moeten vaak onderzoek leveren om carrière te maken of hun baan te behouden. Daarnaast heeft onderzoek een educatieve functie. Niet alleen voor ervaren onderzoekers, maar ook voor studenten.

• Opbrengsten voor proefpersonen: De mensen die deelnemen aan het onderzoek, kunnen ook van hun deelname profiteren. In klinisch onderzoek is dit het duidelijkst. Hierbij ontvangen proefpersonen experimentele therapieën, die hen mogelijk kunnen genezen. Ook zouden proefpersonen veel kunnen leren van hun deelname, bijvoorbeeld over de werking van wetenschappelijk onderzoek. Tenslotte kan het leuk zijn om deel te nemen aan het onderzoek.

Potentiële kosten

De genoemde opbrengsten moeten worden afgewogen tegen de potentiële risico’s en kosten van het onderzoek. Sommige kosten zijn relatief klein. Denk hierbij bijvoorbeeld aan de tijd en moeite die de proefpersonen in het onderzoek stoppen. Grotere kosten zijn de mogelijke beschadigingen aan het mentale of fysiologische welzijn van de proefpersonen. Deelnemen aan een onderzoek kan bijvoorbeeld leiden tot verlaging van het zelfvertrouwen, stress, verveling, angst of pijn. Ook kunnen proefpersonen vrezen dat anderen achter hun reacties komen. De grootste kosten worden gemaakt in onderzoeken waarbij de gezondheid of het leven van de proefpersonen in gevaar wordt gebracht.

Andere kosten voor de onderzoekers liggen op het gebied van geld. Het uitvoeren van onderzoek kan erg duur zijn.

Wat is de rol van het Institutional Review Board (IRB)?

Als alle potentiële kosten en opbrengsten zijn vastgesteld, moeten ze tegen elkaar worden afgewogen. De onderzoekers zelf zijn in zo’n geval vaak niet de meest objectieve beoordelaars. Daarom zijn er richtlijnen opgesteld, die bepalen dat elk onderzoek waaraan mensen deelnemen moet worden goedgekeurd door een Institutional Review Board (IRB). Elke institutie die geld krijgt van de overheid, moet een eigen IRB hebben. Om de proefpersonen zo goed mogelijk te beschermen, moeten er in elke IRB mensen zitten uit niet-wetenschappelijke disciplines en mensen die wel uit een wetenschappelijke discipline komen.

Onderzoekers die gebruik maken van menselijke proefpersonen, moeten een schriftelijk verzoek doen bij de IRB. In dit verzoek staat: (1) het doel van het onderzoek, (2) de procedures die gebruikt zullen worden en (3) de potentiële risico’s die de proefpersonen lopen.

In onderzoek waaraan mensen deelnemen, zijn zes kwesties van belang. Dit zijn: het informed consent, de mate van inbreuk op de privacy, verplichting om deel te nemen, mogelijke psychische of fysiologische schade, deceptie en bedreiging van het vertrouwen van de proefpersonen.

Wat is het principe van het informed consent?

Een van de belangrijkste manieren om de rechten van proefpersonen te beschermen, is door hen te vragen een informed consent te lezen. Een informed consent informeert de proefpersonen over het doel van het onderzoek. Ook vraagt het om specifieke toestemming van de proefpersonen om deel te nemen. Gebruikmaken van een informed consent, verzekert ons ervan dat onderzoekers geen misbruik zullen maken van de proefpersonen. Ook zullen zij de privacy van de proefpersonen waarborgen. Tenslotte krijgen de proefpersonen voldoende informatie over het onderzoek. Daardoor kunnen zij goed besluiten of ze wel of niet willen deelnemen.

In het informed consent hoeft echter niet alle informatie over het onderzoek te staan. Onderzoekers mogen dus informatie over de hypotheses geheimhouden. Als de proefpersonen echter pijn zullen lijden tijdens het onderzoek, mag dit door de onderzoekers natuurlijk niet verzwegen worden. Alles wat de beslissing van de proefpersonen over hun deelname zou kunnen beïnvloeden, moet vermeld worden.

Problemen met het informed consent

Soms willen onderzoekers niet alle informatie geven in hun informed consent. Hierdoor ontstaat er een aantal problemen rond dit informed consent:

• Problemen met de validiteit: Het informeren van proefpersonen over het onderzoek kan zorgen voor verlaging van de validiteit. Mensen gedragen zich vaak anders als de weten dat ze bekeken worden. Daarnaast kan het kenbaar maken van het doel van het onderzoek proefpersonen gevoelig maken voor bepaalde aspecten van hun gedrag. Gewoonlijk zouden ze hier niet op letten, maar doordat ze bewust worden gemaakt van dit gedrag, gaan ze zich er meer mee bezighouden. Dat kan de onderzoeksresultaten beïnvloeden.

• Sommige proefpersonen kan geen informed consent gegeven worden. Denk hierbij aan kinderen of verstandelijk gehandicapten. Wanneer zij onderzocht worden, dan moet het informed consent aan de ouders of wettelijk vertegenwoordiger van de proefpersonen worden gegeven.

• Onderzoeken waarbij geen informed consent nodig is. Soms heeft het geen nut om gebruik te maken van een informed consent.

Inbreuk op de privacy

De onderzoeker is zelf verantwoordelijk voor de beslissing of de privacy geschaad wordt of niet. Komt de onderzoeker of het IRB tot de conclusie dat er sprake is van inbreuk op de privacy, dan mag het onderzoek niet worden uitgevoerd. De meeste onderzoekers vinden dat de observatie van mensen op openbare plaatsen geen inbreuk op de privacy geeft. Het observeren van mensen in privé-aangelegenheden is wel een inbreuk op de privacy.

Gedwongen deelname

Dit komt voor wanneer proefpersonen onder druk worden gezet om deel te nemen aan het onderzoek. De proefpersoon gelooft in dat geval dat weigeren om deel te nemen negatieve gevolgen voor hem of haar zal hebben. Onderzoekers moeten de vrijheid van het individu respecteren. Proefpersonen mogen hun deelname op elk moment beëindigen. Daarnaast mogen onderzoekers hun proefpersonen geen extreem hoog geldbedrag geven voor hun deelname. Dat zou de proefpersoon indirect namelijk ook dwingen om mee te doen.

Fysieke en mentale stress

Wetenschappers doen soms onderzoek naar de effecten van stress, falen, angst of pijn. Om zulke ervaringen te kunnen onderzoeken, moeten de proefpersonen worden blootgesteld aan stress. Maar hoe veel stress mag een onderzoeker zijn proefpersonen laten doormaken? Er zijn twee extremen bij het oplossen van die vraag. Sommige mensen vinden dat de proefpersoon door zo veel stress mag gaan als nodig is voor het onderzoek, anderen vinden dat er slechts sprake mag zijn van een minimaal risico (minimal risk). Dat houdt in dat proefpersonen niet meer stress mogen ervaren dan de hoeveelheid stress die ze hadden ervaren als ze niet hadden deelgenomen aan het onderzoek. Tussen deze twee extremen bevinden zich vele standpunten, meestal wordt de uiteindelijke beslissing genomen door de onderzoekers en het IRB. Deze beslissing is vaak gebaseerd op een kosten-baten analyse. Onderzoeken waarin proefpersonen stress ervaren, zijn dan alleen toegestaan als de kosten (stress) lager zijn dan de opbrengsten. Proefpersonen moeten van tevoren volledig geïnformeerd zijn over de mogelijke negatieve ervaringen in een informed consent.

Deceptie

Gedragsonderzoekers maken gebruik van deceptie om verschillende redenen. De meest gebruikelijke reden is het voorkómen dat proefpersonen achter het doel van het onderzoek kunnen komen. Proefpersonen gaan zich immers vaak anders gedragen, wanneer ze weten dat ze worden onderzocht. Bij deceptie wordt er bijvoorbeeld een onjuist doel van het onderzoek verzonnen. Daardoor komen proefpersonen niet achter het werkelijke doel. Het gedrag dat wordt onderzocht, wordt op die manier veel minder beïnvloed. Deceptie mag alleen worden gebruikt als de onderzoekers geloven is dat het noodzakelijk is voor het onderzoek.

Tegenstanders van deceptie beweren dat liegen altijd slecht is, zelfs wanneer dit gedaan wordt met goede bedoelingen (zoals wetenschappelijk onderzoek). Deze bewering is gebaseerd op de deontologie. Andere tegenstanders redeneren meer pragmatisch. Zelfs als deceptie wordt toegestaan omdat het leidt tot positieve uitkomsten, dan nog kan het leiden tot negatieve gevolgen. Proefpersonen kunnen wetenschappelijke onderzoekers gaan wantrouwen, omdat ze hen niet de waarheid hebben verteld. De meeste proefpersonen tonen echter begrip voor deceptie. Zij snappen dat het nodig is en hebben er vaak geen problemen mee.

Vertrouwelijkheid

De informatie die is verkregen over de proefpersonen is vertrouwelijk. Dat betekent dat de data van de proefpersonen alleen voor onderzoeksdoeleinden gebruikt mogen worden. Anderen mogen geen toegang krijgen tot deze informatie. Hoewel het vaak geen kwaad kan als dit toch gebeurt, kan de schending van de vertrouwelijkheid in sommige gevallen wel kwaad. Daarom moet het zo veel mogelijk voorkomen worden, de informatie over de proefpersonen kan immers gevoelig zijn. Als de informatie openbaar wordt, kan dit negatieve gevolgen hebben voor de proefpersoon. De makkelijkste manier om het vertrouwen niet te schaden, is ervoor te zorgen dat de reacties anoniem blijven. Data zijn anoniem als ze geen informatie bevatten die gebruikt kan worden om de proefpersoon te identificeren.

Vertrouwelijkheid wordt soms een issue wanneer onderzoekers hun resultaten publiceren. Vooral wanneer het gaat over een individu. Wanneer slechts één persoon wordt beschreven, is het extra belangrijk dat de privacy en het vertrouwen niet worden geschaad.

Wat wordt er vertelt in een debriefing?

Debriefing is het opvangen van de proefpersoon na afloop van hun deelname aan het onderzoek. De onderzoeker moet in de debriefing de volgende taken vervullen:

1. Ten eerste moet hij of zij het doel van het onderzoek uitleggen aan de proefpersoon. Het kan zijn dat er informatie is achtergehouden in de informed consent. Deze informatie moet na afloop van het onderzoek alsnog worden gegeven. Wanneer er deceptie gebruikt is, moet de onderzoeker dit toelichten en zijn excuses aanbieden.

2. Het tweede doel van debriefing is het verwijderen van de stress of andere negatieve gevolgen die veroorzaakt zijn door het onderzoek.

3. Ten derde moet de onderzoeker hoogte krijgen van de ervaringen van de proefpersoon. Hij of zij kijkt hierbij naar de reacties van de proefpersoon op het onderzoek.

4. Tenslotte is het de taak van de onderzoeker om ervoor te zorgen dat de proefpersonen blij zijn met hun deelname. De proefpersonen moeten het gevoel krijgen dat hun deelname belangrijk was.

Manieren van de onderzoeker

Een onderzoeker moet zich niet alleen houden aan de formele regels. Hij of zij moet daarnaast ook de proefpersonen goed behandelen.

Kwetsbare populaties

Bij het onderzoeken van kwetsbare populaties moet met een aantal extra zaken rekening worden gehouden. IRB’s moeten extra veel aandacht geven aan de bescherming van het welzijn van bijvoorbeeld kinderen, gevangenen, mensen met een mentale handicap, mensen die suïcidaal zijn, zwangere vrouwen, foetussen en pasgeborenen.

Kinderen en adolescenten onder de 18 hebben toestemming van hun ouders of wettelijk vertegenwoordiger nodig om deel te nemen aan onderzoek. De reden is dat ze de risico’s van deelname zelf misschien niet voldoende begrijpen. Kinderen ouder dan 12 jaar mogen echter wel weigeren deel te nemen, ook wanneer hun ouders of vertegenwoordigers het informed consent al getekend hebben. Zij kunnen dus niet gedwongen worden om deel te nemen. Kinderen die jonger zijn dan 12 jaar kunnen wel gedwongen worden.

Gevangenen behoren tot de kwetsbare populaties om drie redenen:

1. Ten eerste wordt hun leven volledig bepaald door bewakers. Daarom moeten ze extra beschermd worden tegen gedwongen deelname.

2. Ten tweede is het dagelijks leven van gevangenen zo eentonig dat zij alles doen om even aan de sleur te ontsnappen. Het kan dus zo zijn dat ze meedoen aan een bepaald onderzoek om even uit deze sleur te zijn, soms zelfs als het een onderzoek is waar ze in andere omstandigheden nooit aan hadden willen deelnemen. Hier moet extra goed op worden gelet.

3. Tenslotte moet het duidelijk zijn dat de gevangenen die meedoen aan het onderzoek niet beter behandeld zullen worden dan de gevangenen die niet meedoen. In andere woorden: deelnemen zal geen positief effect hebben op behandeling in de gevangenis.

Verstandelijk gehandicapten ontvangen speciale aandacht. De onderzoeker moet er zeker van zij dat deze mensen het onderzoek goed genoeg begrijpen om aan te geven of ze deel willen nemen,

Eén van de moeilijkste populaties bestaat uit mensen die suïcidaal zijn. Vergroot het onderzoek niet de kans dat deze mensen zelfmoord plegen? En is het wel verstandig om gebruik te maken van een controlegroep, die geen behandeling ontvangt terwijl ze deze vaak wel nodig hebben?

Tenslotte moeten zwangere vrouwen, foetussen en pasgeborenen extra goed worden beschermd. Dit is vooral van belang bij het toedienen van medicijnen.

Welke ethische principes spelen in dieronderzoek?

De APA geeft niet alleen ethische richtlijnen voor onderzoek met mensen, maar geeft ook aan hoe dieren moeten worden behandeld als zij meedoen aan onderzoek. De richtlijnen voor dieronderzoek zijn wel veel minder gedetailleerd. In deze richtlijnen staat dat al het dieronderzoek onder toezicht moet staan van iemand die gespecialiseerd is in het verzorgen en gebruiken van laboratoriumdieren. Ook moet er een dierenarts aanwezig zijn om de dieren na afloop eventueel te kunnen behandelen. Daarnaast moet al het aanwezige personeel de richtlijnen kennen en goed getraind zijn in de behandeling en het gebruik van proefdieren.

De omstandigheden waarin de dieren zich bevinden, worden gecontroleerd door het National Institute of Health en door nationale en lokale wetten.

Verdedigers van dierenrechten maken zich de meeste zorgen om de experimenten die worden uitgevoerd op proefdieren, APA probeert met het opstellen van richtlijnen het ongemak van de proefdieren zo klein mogelijk te houden. Procedures die meer dan minimale pijn of ongemak veroorzaken, moeten eerst worden goedgekeurd. De APA heeft ook richtlijnen opgesteld voor het gebruik van operationele procedures, het onderzoeken van dieren door middel van field research, het gebruik van dieren voor leerdoeleinden, en de verzorging van proefdieren na afloop van het onderzoek.

Wetenschappelijke misleiding (misconduct)

Wetenschappers zijn dus gebonden aan ethische regels voor zowel onderzoek met mensen als onderzoek met dieren. Daarnaast is het van belang dat ze eerlijk werk leveren. De wetenschap wordt op die manier beschermd tegen wetenschappelijke misleiding (scientific misconduct). De Nationale Wetenschappelijke Academie (National Academy of Sciences) heeft drie basiscategorieën van wetenschappelijke misleiding vastgesteld:

1. De eerste categorie bevat de ergste vorm van wetenschappelijk liegen. Hieronder vallen fabricatie (fabrication; data zelfstandig aanpassen), falsificatie (falsification; expres data of resultaten verwerpen) en plagiaat plegen (plagiarism; het zonder vermelding overnemen van het werk van een ander).
   Het zelfstandig aanpassen van data (fabricatie) is verkeerd. Toch is het in een aantal gevallen toegestaan. Als een proefpersoon de instructies niet heeft opgevolgd, onder invloed was of extreme reacties vertoont, mogen de data van deze proefpersoon worden verwijderd. Dit mag, omdat de onderzoeker hiermee factoren die mogelijk worden veroorzaakt door andere variabelen, verwijdert. Dat verhoogt de validiteit van de resultaten.

2. Een tweede categorie van wetenschappelijke misleiding is die van de onduidelijke wetenschapspraktijken. Deze zijn niet zo erg als de eerder genoemde misleidingen, maar zijn nog wel problematisch. Onderzoekers zouden bijvoorbeeld alleen hun eigen naam onder werk mogen schrijven dat echt van hen is.
   Een ander probleem kan zich voordoen, wanneer onderzoekers de data die niet overeenkomen met hun hypothesen niet publiceren. Het kan ook zo zijn dat onderzoekers weigeren om experts hun werk te laten reproduceren. Dat kunnen ze bijvoorbeeld doen door hun data niet openbaar te maken. Het kan een teken zijn dat er iets niet in orde is aan het onderzoek.

3. De laatste categorie bevat onethisch gedrag tegenover collega’s of proefpersonen. Denk hierbij aan seksuele bedreiging, machtsmisbruik, discriminatie of het ontduiken van wetten en/of regels.

Ontduiken van wetenschappelijke inlichtingen onderzoeksresultaten

Het is vaak voorgekomen dat wetenschappelijke ontdekkingen belachelijk werden gemaakt, onderdrukt, of zelfs bestraft werden. Ook nu komt dat nog vaak voor. Wetenschappers en leraren staan nog steeds onder druk. Ze vermijden daarom vaak gevoelige onderwerpen.

Het kan zo zijn dat een bepaalde groep mensen zich aangevallen of gediscrimineerd voelt door wetenschappelijke resultaten. Dit roept ethische vragen op. Sommige mensen zijn van mening dat wetenschap gereguleerd moet worden, omdat de wetenschap negatieve uitkomsten kan hebben. De meeste onderzoekers vinden dat ze vrij moeten zijn in het verspreiden van de kennis die zij hebben opgedaan in hun onderzoek. In hun ogen zou het niet moeten uitmaken of die kennis nou positief of negatief is. De enige mensen die in de positie zijn om hun onderzoeksresultaten te beoordelen, zijn andere onderzoekers. Politici, burgers of anderen hebben hier niets mee te maken. Het onderdrukken van kennis is in de ogen van veel onderzoekers zeer onethisch.

Bij onderzoek naar gedrag kan het soms zo zijn dat bepaalde proefpersonen (die meestal willekeurig zijn gekozen) benadeeld worden. Zij kunnen na het onderzoek bijvoorbeeld een verlies van eigenwaarde of een verlaging van het zelfvertrouwen ervaren. Dit roept ethische vragen op. Is het acceptabel om proefpersonen te misleiden en te krenken als dat nodig is? En hoeveel druk (psychologisch of fysiologisch) mogen onderzoekers uitoefenen op hun proefpersonen? Gedragsonderzoekers worstelen al jaren met zulke vragen.