Hoe kan gedrag gemeten worden? - Chapter 3

Welke meetsoorten zijn er?

De meetsoorten die gedragswetenschappers gebruiken kunnen worden onderverdeeld in drie groepen:

1. Observationele meetsoorten (‘observational measures’): in dit geval wordt gedrag op een directe manier geobserveerd. Dit kan gedaan worden bij elk onderzoek waarbij het gedrag dat onderzocht wordt direct waargenomen kan worden. Denk in dit verband bijvoorbeeld maar aan het meten van oogcontact tussen mensen, het meten van hoe vaak een rat een hendeltje indrukt en agressie tussen kinderen in de schoolpauze. Onderzoekers kunnen het gedrag direct observeren, of kunnen audio- of video-opnames maken, waaruit informatie over de proefpersonen kan worden afgeleid.

2. Lichamelijke meetsoorten (‘physiological measures’): hier maken de wetenschappers gebruik van wanneer ze benieuwd zijn naar de relatie tussen gedrag en niet-direct observeerbare lichaamsprocessen. Het gaat in dit geval om processen die zich in het lichaam afspelen. Ze kunnen meestal niet met het blote oog waargenomen worden. Deze processen kunnen met bepaalde meetinstrumenten gemeten worden. Denk hierbij bijvoorbeeld aan hartslag, zweten, hersenactiviteit en hormonale veranderingen.

3. Zelfrapportagemetingen (‘self-report measures’): in dit geval geven de mensen antwoord op vragenlijsten (‘questionnaires’) en interviews. Er zijn drie soorten zelfrapportages: (1) cognitieve (‘cognitive self-reports’): deze meten wat mensen denken, (2) affectieve (‘affective self-reports’): deze meten wat mensen voelen en (3) gedragsmatige (‘behavioral self-reports’) zelfrapportages: deze meten wat mensen doen.

Het succes van een onderzoek is zeer afhankelijk van de kwaliteit van het meetinstrument dat gebruikt wordt. Omdat de meettechnieken zo belangrijk zijn in het onderzoeksproces, is psychometrie ontwikkeld. Psychometrie is een wetenschap, gericht op het onderzoeken van de technieken van het meten in de psychologie. Psychometristen onderzoeken de eigenschappen van de meettechnieken die in gedragswetenschappen gebruikt worden en streven ernaar om de psychologische meettechnieken te verbeteren.

Welke meetschalen zijn er?

Bij alle drie van de hierboven genoemde meetsoorten is het nodig om getallen toe te kennen aan de antwoorden of reacties van mensen.

Bij een zelfrapportagemeting is het bijvoorbeeld mogelijk dat mensen mogen kiezen uit vijf antwoordmogelijkheden van ‘helemaal niet waar’ tot ‘helemaal waar’. De antwoordmogelijkheden kunnen dan de getallen 1, 2, 3, 4 en 5 toegewezen krijgen, maar niet alle getallen hebben dezelfde betekenis. Wat getallen betekenen, hangt af van de meetschaal die wordt gebruikt. Er wordt in dit verband onderscheid gemaakt tussen vier soorten meetschalen (‘scales of measurement’):

1. Nominaal: in dit geval dienen getallen alleen als labels. Het getal 1 kan voor ‘man’ staan en het getal 2 voor ‘vrouw’. Met getallen op de nominale schaal kunnen geen berekeningen uitgevoerd worden, omdat ze enkel als labels dienen.

2. Ordinaal: in dit geval wordt een aantal gedragingen of kenmerken op volgorde geordend. Zo kan gezien worden hoe de ene gedraging of het ene kenmerk zich (relatief) verhoudt tot andere gedragingen en kenmerken. We kunnen deelnemers aan een zangwedstrijd bijvoorbeeld op volgorde zetten van ‘beste’ tot ‘slechtste’ op basis van het applaus dat ze ontvangen. We kunnen echter niet perfect beoordelen hoe veel meer applaus de ene kandidaat heeft gekregen dan de andere kandidaat.

3. Interval: hier is wel sprake van het gebruik van ‘echte’ getallen: gelijke verschillen tussen de getallen staan voor gelijke verschillen tussen de deelnemers. Op een IQ-test is een verschil tussen een IQ van 90 en 100 (10 punten) bijvoorbeeld even groot als het verschil tussen 110 en 120. Een intervalschaal heeft echter geen echt nulpunt. Een nulpunt geeft aan dat een bepaalde eigenschap niet aanwezig is. Dat kunnen we bij interval dus niet meten. We kunnen bijvoorbeeld niet zeggen dat iemand geen enkele mate van intelligentie heeft. Een temperatuur van nul graden betekent ook niet dat er geen sprake is van een temperatuur. Omdat een intervalschaal geen echt nulpunt heeft, is het niet logisch om te zeggen dat het bij een temperatuur van 50 graden twee keer zo warm is als bij een temperatuur van 25 graden. Doordat er geen sprake is van een nulpunt, kunnen we de getallen in intervalschaal niet vermenigvuldigen of delen.

4. Ratio: dit is eigenlijk de hoogst mogelijke meetschaal. Een ratioschaal heeft een nulpunt waardoor getallen opgeteld, afgetrokken, gedeeld en vermenigvuldigd kunnen worden. Gewicht heeft bijvoorbeeld een ratioschaal: iemand van 50 kilo weegt twee keer zo veel als iemand van 25 kilo. Gewicht heeft een nulpunt, omdat niet alles een gewicht hoeft te hebben.

Wiskundige analyses

Meetschalen zijn om twee redenen van belang voor wetenschappers:

• Allereerst is het zo dat meetschalen verschillen in de mate waarin ze ons informatie geven. Een nominale schaal zegt bijvoorbeeld minder dan een ordinale, interval- of een ratioschaal. Als aan mensen bijvoorbeeld wordt gevraagd of ze het eens of oneens zijn met een stelling, geeft dit minder informatie dan weten in welke mate ze het eens of oneens met een stelling zijn. Vaak blijkt al uit de variabelen welke meetschaal gebruikt kan worden. Sekse kan bijvoorbeeld alleen maar op nominale schaal gemeten worden. Als onderzoekers de keus krijgen, geven ze de voorkeur aan de hoogste meetschaal mogelijk. Hogere meetschalen geven namelijk meer en preciezere informatie over de reacties en eigenschappen van de proefpersonen.

• De tweede reden dat meetschalen van belang zijn voor wetenschappers is dat het voor sommige wiskundige analyses (zoals t- en F-toetsen) nodig is dat getallen op ratio- of intervalschaal gemeten zijn. Onderzoekers kiezen de meetschaal die het mogelijk maakt om de toets te gebruiken die hen de meeste informatie geeft.

Hoe kan betrouwbaarheid geschat worden?

We willen dat de getallen die we toewijzen aan gedragingen, objecten of gebeurtenissen op een betekenisvolle manier corresponderen met het kenmerk dat we proberen te meten. Het is dus de bedoeling dat variabiliteit in de getallen de spreiding reflecteert in het kenmerk dat wordt gemeten. Maar hoe weten we of dat ook echt zo is? In dit verband komt de term betrouwbaarheid (‘reliability’) om de hoek kijken. Betrouwbaarheid gaat over de consistentie van een meettechniek. Als je twee keer snel na elkaar op de weegschaal gaat staan en de ene keer zegt de weegschaal dat je 40 kilo weegt en de volgende keer dat je 50 weegt, dan noemen we de weegschaal onbetrouwbaar (‘unreliable’). Meettechnieken horen betrouwbaar te zijn. Als ze dit niet zijn, kunnen we er namelijk niet vanuit gaan dat ze zinvolle informatie over de participanten weergeven.

Hoe ontstaan meetfouten?

De score van een deelnemer op een meting bestaat uit twee onderdelen: (1) de ware score van de deelnemer en (2) meetfouten (‘measurement error’). Kortom; geobserveerde score = ware score + meetfouten. De ware score (‘true score’) is de score die een deelnemer zou hebben als een meettechniek perfect was en er dus geen sprake van meetfouten zou kunnen zijn. De meettechnieken die wetenschappers gebruiken zijn echter nooit helemaal foutloos. Alle meettechnieken bevatten meetfouten. Door deze meetfouten komen wetenschappers niet achter de exacte score van een deelnemer.

Meetfouten kunnen vijf oorzaken hebben:

1. Stemming van de proefpersoon (‘transient states'): bijvoorbeeld humeur, gezondheid, mate van vermoeidheid en angst tijdens de deelname aan het onderzoek.

2. Stabiele kenmerken (‘stable attributes’): dit zijn kenmerken die op constante wijze aanwezig zijn bij een proefpersoon. Denk in dit verband bijvoorbeeld aan paranoïde gedachten, motivatie en mate van intelligentie.

3. Situationele factoren (‘situational factors’): dit zijn factoren in de onderzoekssetting die kunnen zorgen voor meetfouten. Als een onderzoeker bijvoorbeeld erg aardig is, dan wil een deelnemer harder zijn best doen, maar als een onderzoeker onsympathiek is kan een deelnemer minder goed presteren. Ook kunnen temperatuur, licht en lawaai van invloed zijn op de onderzoeksresultaten.

4. Kenmerken van de meting (‘characteristics of the measure’): het gaat hierbij bijvoorbeeld om onduidelijke vragen die proefpersonen moeten beantwoorden of het gebruik van moeilijk taalgebruik in een vragenlijst, waardoor de proefpersonen onnodige fouten maken tijdens het invullen van de vragenlijst.

5. Fouten (‘mistakes’): het gaat hierbij om fouten die de onderzoeker maakt tijdens het opslaan van de antwoorden van de deelnemers. Denk hierbij bijvoorbeeld aan het foutief verwerken van de antwoorden op de computer of de tel kwijtraken tijdens het tellen van hoe vaak een rat een hendeltje indrukt.

Meetfouten en betrouwbaarheid

Meetfouten verminderen de betrouwbaarheid van een meting. Als een meting een lage betrouwbaarheid heeft, dan zijn de meetfouten groot en weet de onderzoeker weinig over de ware score van een deelnemer. Als een meting een hoge betrouwbaarheid heeft, dan zijn er weinig meetfouten. De geobserveerde score van een deelnemer is dan juist een goede (maar niet perfecte) weerspiegeling van de ware score van een deelnemer.

Hoe kan betrouwbaarheid gezien worden als systematische variantie?

Wetenschappers weten nooit precies hoeveel meetfouten er in een studie bestaan en wat de ware scores van deelnemers precies zijn. Ook weten ze niet precies hoe betrouwbaar hun meting is, maar ze kunnen aan de hand van statistische analyses wel inschatten hoe betrouwbaar hun meting is. Als zij zien dat hun meting niet betrouwbaar genoeg is, dan kunnen ze proberen hun meting meer betrouwbaar te maken. Is ook het betrouwbaarder maken van de meting niet mogelijk, dan kunnen ze ervoor kiezen om de meting helemaal niet te gebruiken in het onderzoek.

• De totale variantie in een dataset van scores bestaat uit twee onderdelen: (1) variantie door ware scores en (2) variantie door meetfouten. In formulevorm is dit: totale variantie = variantie door ware scores + variantie door meetfouten.

• We kunnen ook zeggen dat de proportie totale variantie die samenhangt met de ware scores van de deelnemers systematische variantie is, omdat de ware scores op systematische wijze gerelateerd zijn aan de meting.

• De variantie die door meetfouten ontstaat is errorvariantie omdat deze variantie niet gerelateerd is aan wat de wetenschapper onderzoekt.

• We zeggen daarom dat de betrouwbaarheid wordt berekend door de ware score variantie te delen door de totale variantie, dus: betrouwbaarheid = ware score variantie/totale variantie. De betrouwbaarheid van een meting ligt tussen de 0 en de 1. Een betrouwbaarheid van .00 zegt ons dat er helemaal geen ware score variantie aanwezig is in de data en dat de scores alleen maar staan voor meetfouten. Bij een betrouwbaarheid van 1.00 is het precies omgekeerd; daar is er alleen sprake van ware score variantie en zijn er geen meetfouten. De vuistregel is dat een meting betrouwbaar genoeg is als deze minimaal een betrouwbaarheid van .70 heeft. Dit betekent dat 70% van de variantie in de data staat voor ware score variantie.

Welke soorten betrouwbaarheid zijn er?

Onderzoekers maken gebruik van drie soorten betrouwbaarheid bij het analyseren van hun data: (1) ‘test-hertest’ betrouwbaarheid, (2) ‘inter-item’ betrouwbaarheid en (3) ‘interrater’ betrouwbaarheid. Een correlatiecoëfficiënt is een statistiek die aangeeft hoe sterk de relatie tussen twee metingen is. Deze statistiek ligt tussen de .00 (geen relatie tussen de metingen) en 1.00 (perfecte relatie tussen metingen). Correlatiecoëfficiënten kunnen positief of negatief zijn. Als deze statistiek wordt gekwadrateerd, dan zien we in welke mate de proportie van de totale variantie van beide metingen systematisch is. Hoe hoger de correlatie, hoe meer twee variabelen gerelateerd zijn. Hieronder wordt ingegaan op drie soorten betrouwbaarheid.

Test-hertestbetrouwbaarheid

Bij test-hertest betrouwbaarheid gaat het om de consistentie van de responsen van deelnemers door de tijd heen. Proefpersonen worden twee keer gemeten. Tussen deze twee metingen zit meestal een periode van een aantal weken. Als we ervan uitgaan dat een kenmerk stabiel is, dan zou iemand twee keer dezelfde score moeten hebben op dezelfde test. Als iemand de eerste keer een score van 110 heeft op een IQ-test, dan is het de bedoeling dat hij de volgende keer ook een score van rond de 110 heeft op dezelfde test. Dit omdat intelligentie een relatief stabiel kenmerk is. Toch zullen beide metingen niet hetzelfde zijn, omdat er altijd sprake zal zijn van meetfouten. Als beide IQ-scores een hoge correlatie hebben (minstens .70), dan heeft een meting (dus de IQ-test) een goede test-hertest betrouwbaarheid. We verwachten een hoge test-hertest betrouwbaarheid voor intelligentie-, attitude- en persoonlijkheidstesten. Bij minder stabiele eigenschappen, zoals honger of vermoeidheid, heeft het meten van test-hertest betrouwbaarheid geen nut.

Inter-item betrouwbaarheid

De inter-item betrouwbaarheid is van belang bij metingen die bestaan uit meer dan één item. Inter-item betrouwbaarheid gaat dan ook over de mate van consistentie tussen meerdere items op een schaal. Persoonlijkheidsvragenlijsten bestaan bijvoorbeeld vaak uit meerdere items die iets zeggen over bijvoorbeeld de extraversie of het zelfvertrouwen van deelnemers. Deze items worden vervolgens opgeteld tot een score. Wanneer wetenschappers de antwoorden van deelnemers optellen om een enkele score te krijgen, moeten ze er wel zeker van zijn dat alle items hetzelfde construct (bijvoorbeeld extraversie) meten. Om te kijken in hoeverre items met elkaar samenhangen, kan voor elke combinatie van items een item-totaalcorrelatie berekend worden. Dit is de correlatie tussen een item en de rest van alle items bij elkaar. Elk item op de schaal zou moeten correleren met de rest van de items. Een item-totaalcorrelatie van .30 of hoger per item wordt als voldoende beschouwd. Naast het feit dat berekend moet worden of elk item samenhangt met alle andere items is het ook nodig om de betrouwbaarheid van alle items bij elkaar te berekenen. In het verleden werd hiervoor de split-half betrouwbaarheid berekend. Eerst werd met de split-halfmethode de inter-item betrouwbaarheid berekend.

• Bij de split-half betrouwbaarheid worden de items over twee sets verdeeld. Soms worden de even getallen in de ene lijst gezet terwijl de oneven getallen in de andere lijst worden gezet. Soms wordt er echter voor gekozen om, bijvoorbeeld als er tien items zijn, de eerste vijf items in een lijst te zetten en de volgende vijf items in de andere lijst te zetten. Daarna wordt voor elke set een totaalscore berekend. Vervolgens wordt er een correlatie tussen beide sets berekend. Als de items in beide sets hetzelfde construct meten, dan zou er een hoge correlatie tussen beide sets moeten zijn. Onder een hoge correlatie wordt ook in dit verband .70 of hoger verstaan. Het nadeel van de split-half betrouwbaarheid, is dat correlatie die gevonden wordt afhangt van welke items je in welke set plaatst. Als je de sets net iets anders indeelt, kan er een hele andere split-half betrouwbaarheid uitkomen. Het berekenen van de split-half betrouwbaarheid geeft dan ook vrij weinig zekerheid.

• Om deze reden wordt tegenwoordig de ‘Cronbach’s alpha coëfficiënt’ berekend. Met de Cronbach’s alpha bereken je (door middel van een simpele formule) het gemiddelde van alle mogelijke split-half betrouwbaarheden. Wetenschappers gaan ervan uit dat de inter-item betrouwbaarheid goed is als Cronbach’s alpha .70 of hoger is. 

Interrater-betrouwbaarheid

Interrater-betrouwbaarheid wordt ook wel ‘interjudge’ of ‘interobserver’ betrouwbaarheid genoemd. Het gaat hierbij om de mate waarin twee of meerdere onderzoekers het gedrag van de proefpersonen hetzelfde observeren en opslaan. Als de ene onderzoeker stelt dat een rat 15 keer een hendeltje heeft ingedrukt en de andere onderzoeker stelt dat dezelfde rat 20 keer een hendeltje heeft ingedrukt, dan is er dus iets mis met de interrater-betrouwbaarheid. Onderzoekers gebruiken vaak twee methoden om de interrater-betrouwbaarheid te berekenen. Als onderzoekers alleen moeten noteren of een gedraging zich heeft voorgedaan, kunnen we een percentage berekenen dat staat voor hoe vaak zij het met elkaar eens zijn. Als de onderzoekers het gedrag van de deelnemers echter moeten beoordelen op een schaal (bijvoorbeeld een score op angst tussen de 1 en 5), dan kunnen we kijken of de onderzoekers alle deelnemers dezelfde beoordeling geven. Als de onderzoekers soortgelijke beoordelingen maken (dus bij een hoge interrater-betrouwbaarheid), dan zou de correlatie tussen hun beoordelingen .70 of hoger moeten zijn.

Hoe kan de betrouwbaarheid van metingen worden vergroot?

Het is van belang dat een onderzoeker probeert de betrouwbaarheid van een meting zo groot mogelijk te maken. Dit kan op vier manieren:

1. Het standaardiseren van de administratie van een meting. Elke deelnemer moet onder precies dezelfde omstandigheden getest worden. Verschil in het afnemen van de meting kan leiden tot meetfouten, dus tot een verlaging van de betrouwbaarheid.

2. Het verduidelijken van instructies en vragen. Meetfouten ontstaan wanneer deelnemers instructies of vragen niet helemaal goed begrijpen. Het is goed om van tevoren als onderzoeker te testen of de vragen begrijpelijk zijn voor deelnemers.

3. Het trainen van onderzoekers. Als het gedrag van deelnemers moet worden geobserveerd en beoordeeld, dan is het nodig om onderzoekers goed te trainen.

4. Het minimaliseren van fouten in het coderen van data. Hoe betrouwbaar een meettechniek ook is, meetfouten ontstaan wanneer onderzoekers fouten maken in het coderen of verwerken van data, bijvoorbeeld bij het opslaan van gegevens in de computer.

Wat wordt verstaan onder validiteit?

Meettechnieken moeten niet alleen betrouwbaar, maar ook valide zijn. Validiteit staat voor de mate waarin een meettechniek meet wat het hoort te meten. De vraag is dus of we meten wat we willen meten. Het is belangrijk om op te merken dat betrouwbaarheid en validiteit twee verschillende dingen zijn. Een meetinstrument kan tegelijkertijd betrouwbaar maar niet valide zijn. Een hoge betrouwbaarheid vertelt ons dat het meetinstrument iets meet, maar niet precies wat het meetinstrument precies meet. Om daarachter te komen is het van belang om naar de validiteit te kijken. Validiteit is niet een vaststaand kenmerk van een meettechniek. Een meting kan voor het ene doel valide zijn, terwijl deze niet valide is voor een ander doel. Onderzoekers maken onderscheid tussen drie soorten validiteit:

1. 'Face’ validiteit.
2. Constructvaliditeit.
3. ‘criterion-related’ validiteit.

Face-validiteit

Face-validiteit gaat over de mate waarin een meting lijkt te meten wat hij hoort te meten. Een meting heeft face-validiteit als mensen denken dat dat zo is. Deze vorm van validiteit kan dus niet statistisch berekend worden, maar is meer een oordeel van mensen die de meting gevoelsmatig beoordelen. De face-validiteit wordt vastgesteld door de onderzoeker, door de proefpersonen en/of door experts op het betreffende vakgebied. Als een meting geen face-validiteit heeft, dan vinden proefpersonen het niet van belang om echt mee te doen. Als een persoonlijkheidstest geen face-validiteit heeft en proefpersonen moeten deze test wel invullen, dan snappen ze de toegevoegde waarde van de test niet. Dit verlaagt hun motivatie om deel te nemen aan het onderzoek. Het is van belang om drie dingen te onthouden: (1) dat een meting face-validiteit heeft, betekent niet dat deze ook echt valide is, (2) wanneer een meting geen face-validiteit heeft, hoeft dit niet te betekenen dat er in het echt geen sprake is van validiteit en (3) soms willen onderzoekers hun doelen maskeren. Als ze bijvoorbeeld bang zijn dat deelnemers gevoelige vragen niet eerlijk zullen beantwoorden, kunnen zij meetinstrumenten ontwerpen die geen face-validiteit hebben.

Constructvaliditeit

Vaak zijn onderzoekers geïnteresseerd in hypothetische constructen. Dit zijn constructen die niet direct geobserveerd kunnen worden op basis van empirisch bewijs. Denk aan constructen als intelligentie, status, zelfconcept, moraliteit en motivatie. Het is de vraag hoe we kunnen weten of de meting van een hypothetisch construct (dat niet waarneembaar is) valide is. Cronbach en Meehl stellen dat de we de validiteit van de meting van een hypothetisch construct kunnen vaststellen door deze meting te vergelijken met andere metingen. Het is dus van belang om te kijken naar de relatie tussen de verschillende metingen. Scores op een meetinstrument voor zelfvertrouwen zouden bijvoorbeeld positief gecorreleerd moeten zijn met metingen op optimisme, maar negatief gecorreleerd moeten zijn met meetinstrumenten die onzekerheid en angst meten. We berekenen de constructvaliditeit dus door te analyseren in hoeverre een meetinstrument gerelateerd is aan andere meetinstrumenten. Dit wordt vaak gedaan door middel van correlatiecoëfficiënten.

In tegenstelling tot betrouwbaarheid (waarbij de correlaties boven de .70 moeten liggen) is er geen regel voor hoe groot de correlaties moeten zijn die berekend worden om de constructvaliditeit vast te stellen. Een meetinstrument heeft constructvaliditeit als deze (1) in hoge mate correleert met meetinstrumenten waar het mee zou moeten correleren (convergente validiteit) en (2) niet correleert (of in lage mate correleert) met meetinstrumenten waar het niet mee zou moeten correleren (discriminante validiteit).

Criterion validiteit

Criterion validiteit gaat over de mate waarin een meetinstrument ervoor zorgt dat we onderscheid kunnen maken tussen deelnemers op basis van een bepaald gedragscriterium. Een vraag is bijvoorbeeld of verschillende scores op een motivatietest op het VWO iets zeggen over wie het wel en niet goed zullen doen tijdens een universitaire studie. Het gedragscriterium is in dit geval de universitaire studie. Er wordt vooral gebruik gemaakt van criterium validiteit in toegepaste onderzoekssettings. Denk hierbij aan onderwijssettings of sollicitaties. Onderzoekers maken onderscheid tussen twee primaire soorten van criterium validiteit: (1) concurrente en (2) predictieve validiteit. Het belangrijkste verschil tussen deze twee soorten criterium validiteit is de hoeveelheid tijd tussen de afname van het meetinstrument en het vaststellen van het gedragscriterium.

• Van concurrente validiteit is sprake wanneer twee meetinstrumenten ongeveer op hetzelfde moment worden gebruikt. De vraag is of het meetinstrument op een goede manier onderscheid kan maken tussen mensen die hoog en laag scoren op het gedragscriterium op dat specifieke moment. Wanneer scores op het meetinstrument gerelateerd zijn aan gedragingen waar ze op dat moment zelf aan gerelateerd zouden moeten zijn, dan heeft het meetinstrument concurrente validiteit.

• We spreken van predictieve validiteit wanneer een meetinstrument onderscheid kan maken tussen mensen op een gedragscriterium in de toekomst (bijvoorbeeld de motivatietest op het VWO en een prestatietest tijdens het studeren aan de universiteit). Het gaat er hier dus om of een score op de motivatietest op het VWO kan voorspellen hoe iemand het zal doen tijdens een universitaire studie. Criterium validiteit is vooral van belang voor onderzoeken die uitgevoerd worden in een onderwijssetting.

Wanneer is er sprake van bias?

In de afgelopen jaren is veel aandacht geweest voor het idee dat sommige meetinstrumenten biased zijn ten opzichte van bepaalde bevolkingsgroepen. Dit zou in het bijzonder gelden voor intelligentesten en testen die academische vermogens meten. Testbias ontstaat wanneer een specifiek meetinstrument niet even valide is voor iedereen die de test invult. Dat houdt in dat de testscores de capaciteit van de ene groep beter reflecteren dan de capaciteit van de andere groep. Het lijkt dus alsof de ene groep op dat gebied vaardiger is dan de andere groep, terwijl dit in het echt niet zo hoeft te zijn.

Het is vaak lastig om testbias vast te stellen. Omdat de ene groep slechter op een test presteert dan de andere groep, betekent niet gelijk dat er sprake is van een testbias. Het is mogelijk om testbias vast te stellen door de predictieve validiteit van een meetinstrument voor verschillende groepen vast te stellen. Als er sprake is van bias, dan zullen de toekomstige uitkomsten beter voorspeld worden voor de ene groep dan voor de andere groep.

De meetsoorten die gedragswetenschappers gebruiken kunnen worden onderverdeeld in drie groepen:

1. Observationele meetsoorten (‘observational measures’): in dit geval wordt gedrag op een directe manier geobserveerd. Dit kan gedaan worden bij elk onderzoek waarbij het gedrag dat onderzocht wordt direct waargenomen kan worden. Denk in dit verband bijvoorbeeld maar aan het meten van oogcontact tussen mensen, het meten van hoe vaak een rat een hendeltje indrukt en agressie tussen kinderen in de schoolpauze. Onderzoekers kunnen het gedrag direct observeren, of kunnen audio- of video-opnames maken, waaruit informatie over de proefpersonen kan worden afgeleid.

2. Lichamelijke meetsoorten (‘physiological measures’): hier maken de wetenschappers gebruik van wanneer ze benieuwd zijn naar de relatie tussen gedrag en niet-direct observeerbare lichaamsprocessen. Het gaat in dit geval om processen die zich in het lichaam afspelen. Ze kunnen meestal niet met het blote oog waargenomen worden. Deze processen kunnen met bepaalde meetinstrumenten gemeten worden. Denk hierbij bijvoorbeeld aan hartslag, zweten, hersenactiviteit en hormonale veranderingen.

3. Zelfrapportagemetingen (‘self-report measures’): in dit geval geven de mensen antwoord op vragenlijsten (‘questionnaires’) en interviews. Er zijn drie soorten zelfrapportages: (1) cognitieve (‘cognitive self-reports’): deze meten wat mensen denken, (2) affectieve (‘affective self-reports’): deze meten wat mensen voelen en (3) gedragsmatige (‘behavioral self-reports’) zelfrapportages: deze meten wat mensen doen.