College: Bias en Ethiek in de Diagnostiek

Sheetnotes 19/20

Welke onderwerpen worden behandeld in het hoorcollege? 
Dit hoorcollege behandelt het onderwerp bias en ethiek in de diagnostiek. Dit sluit aan bij H15 en H17 van Mastering Modern Psychological Testing.

Welke onderwerpen worden besproken die niet worden behandeld in de literatuur?
Er worden controverses behandeld en daarnaast wordt er ingegaan op het NIP en de diagnostische cyclus. Zie de hoorcollege aantekeningen voor meer uitleg hierover.

Welke recente ontwikkelingen in het vakgebied worden besproken?
Er worden geen recente ontwikkelingen besproken.

Welke opmerkingen worden er tijdens het college gedaan door de docent met betrekking tot het tentamen?
De docent gaf aan dat er zeker hoorcollegevragen terug zullen komen in het tentamen en dat het hoorcollege over de diagnostische cyclus erg belangrijk is. 

Welke vragen worden behandeld die gesteld kunnen worden op het tentamen? 
Er worden geen tentamenvragen behandeld. 

Hoorcollege aantekeningen 19/20

Bias

Bias = systematische vertekeningen die validiteit van testresultaten bedreigt. Al bij de testsetting is er sprake van de bias. Zowel de verwachting van de geteste als de testafnemer kan bewust of onbewust van invloed zijn op de test.  Dit geldt ook voor de interactietussen deze individuen. De randvoorwaarden betreft of de geteste wel goed heeft gegeten en geslapen bijvoorbeeld. Er kan ook een invloed zijn die te maken heeft met culturele factoren, waardoor verwachting of de interactie anders kan verlopen. De testomschrijving is hoe de test in elkaar zit, wanneer dit niet juist wordt gedaan kan dit de resultaten vertekenen. De testinhoud kan een verschillende invloed hebben op verschillende groepen mensen, omdat bepaalde items meer bekend zijn bij bepaalde mensen. 

Vormen van vertekening

• Constructbias = vertekening in het construct wat je meet; je meet niet wat je wilt meten.
• Methodebias = vertekening die optreedt door de afname setting. 
• Itembias = bias in de inhoud van de test op het niveau van de items. 

Itembias kan ook een rol spelen bij culturele verschillen. Niet elke groep mensen is bekend met dezelfde items. Soms moet je een test aanpassen om de culturele groep wel valide te meten. Wanneer je scores binnen verschillende groepen gaat vergelijken, moet je er bij stil staan of dit echte verschillen zijn of dat deze verschillen veroorzaakt worden door iets anders. 

Bias voorkomen

1. Panelcheck op de inhoud (items) en procedure van tests (met vertegenwoordigers van verschillende groepen.
2. Afname goed specificeren en toepasbaar maken op alle groepen.
3. Psychometrisch onderzoek doen voor verschillende doelgroepen (bias erkennen). 

Fairness = eerlijkheid

1. Test zonder bias in de inhoud. 
2. Gelijke testomstandigheden voor alle groepen. 
3. Gelijke mogelijkheid tot leren voor alle groepen. 
4. Gelijke testuitkomsten voor alle groepen.

Cultural Test Bias Hypothesis

Deze hypothese stelt dat groepen niet verschillen. Ieder verschil tussen groepen (cultureel, etnisch, gender) is het gevolg van bias in een test. Een complete faire test levert geen verschil in resultaten op. Resultaten kun je daardoor altijd op twee manieren interpreteren: de verschillen tussen de groepen is de oorzaak van vertekeningen in de test of de verschillen reflecteren de échte verschillen in de maatschappij. De inhoud van deze tests zijn ontwikkeld door westerse witte mensen, waardoor de kans op bias wordt vergroot. 

Controverses

Culturele verschillen in testscores zijn grond voor veel controverses. Een voorbeeld is The Bell Curve = wie arm en zwart is in Amerika heeft dit te danken aan een erfelijk bepaalde lage intelligentie. Stephen Jay Gould haalde deze stelling onderuit in zijn boek The Mismeasure of Man. Hij had kritiek op de volgende punten:

1. Intelligentie is een getal – Intelligentie is een complex construct. Je kan niet zomaar zeggen dat iemand met een hoge IQ meer intelligent is. Er moet gekeken worden naar het betrouwbaarheidsinterval voor een betrouwbare interpretatie. 
2. Je kunt mensen rang ordenen op basis van dat getal – Op basis van het IQ kun je niet rang ordenen, omdat er naar het interval gekeken moet worden. 
3. Intelligentie is erfelijk – Gen-omgevingscorrelatie speelt ook een rol. Het is lastig om groepen te scheiden en ze zo te kunnen vergelijken. Als intelligentie genetisch bepaald is, kan het nog steeds ontwikkelbaar zijn. 
4. Intelligentie is onveranderlijk – Voeding, stimulatie, onderwijs, zelfvertrouwen, training, leefstijl en thuissituatie zijn allemaal factoren die invloed hebben op intelligentie. Flynn effect = het effect dat de bevolking beter scoort op intelligentietesten over tijd. 

Meer aandacht voor bias

De COTAN heeft fairness beter meetbaar te maken voor het beoordelen van tests d.m.v. fairness matrijs. Er zijn meer tests ontwikkeld voor multi-culturele samenleving. Waar je op moet letten bij het selecteren van tests is om een test te kiezen met weinig bias. De testbaarheid van de deelnemers te controleren (taal, opleiding, verblijfsduur in NL, ervaring met tests). Zo weinig mogelijk beroep doen op taalvaardigheid. Check eventuele groepsverschillen in validiteit. Controleer begrippen, symbolen en afbeeldingen. Check mogelijke aanpassingen. 

Ethiek

Bij testgebruik speelt ethiek een ontzettend grote rol. In de klachtanalyse wordt een goede vraag gesteld, die echt gericht is op datgene wat de cliënt wil weten of verder mee geholpen kan worden. In de probleemanalyse gaat het om het doen van uitspraken of het gedrag van een cliënt voldoet aan de criteria van een DSM-classificatie. De indicatie analyse gaat om welke behandeling kies je voor de cliënt. 

KA – Vraag formuleren. Wat heeft deze cliënt nodig? Wat is er mis met de cliënt? Stel alleen vragen die de cliënt verder helpen. 

PA – DSM-classificatie. Wat zijn de cognitieve vermogens? Hoe staat het met zijn gewetensontwikkeling? Is er sprake van een verstandelijke beperking? Autisme? AHDH?

IA – Behandeling kiezen. Evidence-based keuzes maken = kies voor de behandeling die op grond van de best beschikbare gegevens het meest waarschijnlijk werkt. 

Richtlijnen voor ethisch testgebruik

1. Geen tests gebruiken die een slechte kwaliteit data op leveren 
2. Geen tests gebruiken die je niet kunt scoren afnemen of interpreteren 
3. Baseer geen belangrijke beslissingen op de resultaten van 1 test 
4. Laat je persoonlijke voorkeuren en biases thuis 
5. Breek geen vertrouwelijkheidsafspraken m.b.t. het verstrekken van testgegevens aan derden 
6. Gebruik geen technisch jargon bij het uitleggen van de test 
7. Negeer de speciale behoeften van testtakers niet (bijvoorbeeld taal of special needs) 
8. Maak geen wijzigingen aan het testmateriaal, zonder weer te geven hoe deze wijzigingen de prestatie kunnen beïnvloeden 
9. Verbreek de testveiligheid niet (hou de test vertrouwelijk) 
10. Neem nooit zomaar aan dat als een expert een test heeft gemaakt, dit ook een goede test is. Verzamel altijd informatie over kwaliteit en toepassing! 

Deze richtlijnen worden nog vaak overschreden. Daarom is er de beroepscode van het NIP, waarbij psychologen hun beroep juist moeten uitvoeren volgens de richtlijnen van het NIP. Voornamelijk komen de klachten uit de A&O psychologie. 

Sheetnotes 15/16

Welke onderwerpen worden behandeld in het hoorcollege? 
In dit hoorcollege wordt het onderwerp bias in de psychologische diagnostiek behandeld. Dit is te koppelen aan de literatuur van H15 van Mastery Modern Psychological Testing.

Welke onderwerpen worden besproken die niet worden behandeld in de literatuur?
De specifieke toelichtingen over de situatie in Amerika en Nederland. Zie hiervoor de hoorcollege aantekeningen. 

Welke recente ontwikkelingen in het vakgebied worden besproken?
De huidige situatie ten opzichte van verantwoord testgebruik wordt besproken. 

Welke opmerkingen worden er tijdens het college gedaan door de docent met betrekking tot het tentamen?
Er worden geen opmerkingen gemaakt over het tentamen.

Welke vragen worden behandeld die gesteld kunnen worden op het tentamen? 
Er worden geen tentamenvragen behandeld.

Hoorcollege aantekeningen 15/16

Een testitem is niet zomaar wat het lijkt, verwachtingen over de testsituatie kunnen de testuitslag bepalen (bijv. moeilijker denken dan het is). Bias = systematische fout in een testuitslag (Reynolds & Livingston). Een vertekening die de validiteit van een testuitslag bedreigt (van de Vijver, 2011) CTB hypothese: groepsverschillen te wijten aan een inherente fout in de test.

Perspectieven hoe je tegen bias aan kan kijken

• Statistisch
• Juridisch: jaren ’60 – jaren ’80, zijn testuitslagen valide genoeg om ze in een rechtzaak te gebruiken?
• Filosofisch / ethisch: wat betekent bias ethisch gezien? Mogen we wel op grond van de test beslissingen nemen?
• Sociaal - cultureel: CITO-scores, mogen we deze openbaar maken? E.d.
• Klinisch / praktisch: als je weet dat een test mogelijk bias heeft voor een groep, wat betekent dit in de praktijk? Welke waarde moet je daar aan hechten?

Fairness = onpartijdige toepassing van test

• Zonder bias
• Gelijke testomstandigheden
• Gelijke gelegenheid ter voorbereiding / leren
• Gelijke groepsuitkomsten (voor zo ver mogelijk)

Bias = unfair
Unbiased ≠ fair

3 vormen van vertekening bij een test

• Constructbias: meet niet zoals het zou horen te meten
• Methodebias: afname, afnemer, interactie testafnemer en geteste
• Itembias: een specifiek item in een test beoordeelt sommige groepen anders.

H&M beweren (VS): intelligentie / iq voorspelt maatschappelijke variabelen zoals inkomen en werk, etnische verschillen in IQ tussen blanke en zwarte amerikanen is gemiddeld 15 punten (SD = 1).

Gould: er wordt uitgegaan van 4 verschillende aannames:

1. Intelligentie is een getal
2. Dat getal kun je in rang ordenen (en correleert met maatschappelijke verschillen)
3. Intelligentie is erfelijk
4. Intelligentie is onveranderlijk

Huidige situatie in de VS

In 1999 hebben APA en AERA Standards opgesteld: fairness is het belangrijkste aandachtspunt bij toetsen en het beoordelen van de kwaliteit van een test. Ook wordt er meer aandacht besteedt aan fairness dan aan bias en er is bijzondere aandacht voor fairness bij minderheden, meertalige kinderen en mensen met beperkingen.

Achtergronden in NL

• Weinig interesse (’60 en ’70)
• W.B. Hofstee signaleert en analyseert het probleem (eind ’80)
• Onderzoek naar bias in IQ en assessment tests (’90)
• Ontwikkeling van nieuwe tests, bruikbaar in multiculturele samenleving (vanaf ’90)

Hofstee e.a. hebben de toepasbaarheid van psychologische tests bij alloctonen onderzocht (1990): 20 tests, etnocentrisme in bijna alle tests (bias dominante cultuur) en er waren geen normgegevens beschikbaar over de toepasbaarheid van de test voor allochtonen. De tests waren dus beperkt bruikbaar.

Als gevolg van dit onderzoek heeft Hofstee de COTAN gestimuleerd om het criterium bias en toepasbaarheid op te nemen, hij vond dat er onderzoek nodig was naar testbias in NL en herziening van subtests in verband met etnocentrisme. Ook was er grote terughoudendheid bij toepassing van tests bij allochtonen (i.h.b. bij werving en selectie)

Huidige situatie in NL: Bochhah e.a.

• Meer onderzoek, nieuwe tests ontwikkeld
• Aan bestaande tests is niks veranderd
• Boek: deskundigen over testen van etnische minderheden
• 2005: richtlijnen voor het gebruik van diagnostische instrumenten bij etnische minderheden
  - Bijna niemand kent/gebruikt deze richtlijnen (worden ook niet gebruikt bij opleidingen)
• Huijding e.a. (2012): voorzet voor verantwoord en fair testgebruik en de rol van de COTAN

Oplossingen of schijnoplossingen?

• Cultuurvrije tests: taal, spreekwoorden, abstracte begrippen
  - Niet mogelijk
• Standaardtests: voorspellende waarde IQ- en capaciteitentests is goed, maar niet alle tests beogen te voorspellen
• Geen testgebruik, maar interviews en observaties: nog minder validiteit, kind weg met badwater (en-en ipv of-of)

Nu: kunnen gestandaardiseerde test verantwoord en fair worden gebruikt bij diverse groepen?

Drie domeinen van testgebruik: arbeidsmarkt (werving en selectie), onderwijs (diagnostiek, behandeling en verwijzing) en geestelijke gezondheidszorg (intake, diagnostiek, monitoring effecten)

• Verantwoord testgebruik (voor de afname): controleer de testbaarheid van de deelnemer, mocht Nederlands niet de eerste taal zijn neem dan de test die zo min mogelijk beroep doet op de taalvaardigheden. Gebruik als dat mogelijk is altijd meer dan één instrument, controleer de validiteit en ga de groepsverschillen na. Controleer ook begrippen, symbolen, afbeeldingen en check mogelijke aanpassingen die je zou mogen of kunnen doen.
• Verantwoord testgebruik (tijdens de afname): informeer over het doel van de test, de procedure en de tijdsduur.
• Verantwoord testgebruik (resultaten en interpretatie): normgroepen, bij twijfel over de validiteit geen conclusies trekken. Wat is de waarde van de testscore in de eindbeoordeling en wat is het leerpotentieel? Leg veranderingen en overwegingen vast.