Welke ethische kwesties zijn belangrijk bij het testen? - Chapter 10

Uit voorgaande hoofdstukken is duidelijk geworden dat de test niet de verantwoordelijkheid van de beslisser over kan nemen, maar wel een betekenisvolle factor is in het beslissingsproces. De publieke opinie is niet onverdeeld positief over psychologische tests, de kritiek is soms terecht, maar soms ook generaliserend. Er wordt vaak geen onderscheid gemaakt tussen het testgebruik in de praktijk en de principiële mogelijkheden en kwaliteiten van tests – en dat is onterecht.

Er wordt soms gesuggereerd dat sollicitanten moeten oefenen met tests om zo een hogere score te krijgen en te worden aangenomen. Maar dat is misleidend; de testscore verbetert weliswaar, maar de geschiktheid van de sollicitant voor de functie niet. Er moet overigens wel onderscheid gemaakt worden tussen het oefenen van de testopgaven zelf en het goed informeren van iemand door middel van een toelichting bij de test en voorbeeldopgaven (met als doel de standaardisering van de testsituatie).

Hoewel sommige kritiek niet overtuigend is, is het ook niet goed om bezwaren te negeren. Drie redenen daarvoor:

1. Kritiek bevat ook waarheid.

2. De weerstand tegen het testen is een realiteit waarmee rekening gehouden moet worden.

3. De psychologie heeft het voor een deel ook zelf veroorzaakt, doordat men (1) te veel pretendeert met tests (zoals de mogelijkheid van accurate metingen, onbetwistbare voorspellingen etc.), (2) misconcepties heeft laten ontstaan (bijvoorbeeld dat een intelligentietest een aangeboren, vaste en onveranderbare eigenschap meet), (3) aanleiding heeft gegeven tot misbruik van testgegevens (geen vertrouwelijkheid gewaarborgd, onvoldoende openheid gegeven etc.) en (4) te weinig aandacht heeft gegeven aan de publiciteit, waardoor een magisch of dreigend beeld kon ontstaan.

Toch bestaat er ook een ethische code voor psychologen; de NIP-ethiek (1961) en een Algemene Standaard Testgebruik (AST-NIP, 2004). Er is dus wel veel aandacht aan besteed, maar de problemen zijn lastig en ingewikkeld.

Enkele opmerkingen over de achtergrond van (negatieve) attitudes over testen en testgebruik:

1. Negatieve ervaringen. Soms wordt een negatieve houding veroorzaakt door een negatieve ervaring met testonderzoek (bijvoorbeeld afgewezen voor een functie), de test fungeert dan als zondebok. Maar onderzoek van Brim en Fiske wijst uit dat eigen ervaringen geen grote rol spelen bij het ontstaan van attitudes over testen.

2. Irrationele angsten. Een negatieve houding kan ook veroorzaakt worden door een algemeen onbehagen over de toenemende bureaucratisering en vertechnisering van de maatschappij, waardoor de mens zelf weinig controle meer heeft. Men keert zich tegen de symptomen van maatschappelijke veranderingen, zoals tests. De test wordt geacht de vrijheid te ontnemen, zelfstandigheid in te perken en het privéleven binnen te dringen.

3. Controle, determinatie en bureaucratie. De vraag blijft staan of het testen niet onpersoonlijke, rigide en mechanistische processen aanmoedigt en of voorspellingen niet zullen leiden tot controle en determinatie van menselijk gedrag. Vooral binnen instituten is er een reëel gevaar van het nemen van bureaucratische beslissingen over mensen. Dat probleem wordt echter niet veroorzaakt door het testonderzoek, maar is inherent aan het beslissingsproces zelf.

Welke levensbeschouwelijke en menselijke bezwaren zijn er?

De uniciteit van de mens en de onmogelijkheid dit te meten

Een levensbeschouwelijk bezwaar is dat het wezen van de mens niet te vatten is met instrumenten als tests. Maar hiermee krijgt de test een pretentie die hij niet heeft en nooit zal kunnen hebben. Bij testen gaat het niet om het vatten van het essentiële van de mens, maar om waarneembaar gedrag, dat geclassificeerd, gekwantificeerd en vergeleken kan worden. Op basis van deze vergelijking kan een uitspraak gedaan worden.

De vooronderstelling is dat mensen allerlei gemeenschappelijke eigenschappen hebben en qua gedrag op bepaalde punten vergelijkbaar zijn. Maar dat zegt natuurlijk niet dat mensen op alle andere eigenschappen te vergelijken zijn. Er is weliswaar geen ruimte voor uniciteit van de mens, maar het principe van die uniciteit wordt zeker niet ontkend.

De rollen van psycholoog en onderzochte

Een ander bezwaar is dat het testen de mens reduceert tot een onpersoonlijk object en er geen rekening wordt gehouden met de menselijke waardigheid. Hier gaat hierbij om de situatie en de rollen van de onderzochte en de onderzoeker. Daarom moet er bij het onderzoek een persoonlijke introductie zijn en duidelijkheid gegeven worden over het doel van het onderzoek. Ook mogen er geen machtsverhoudingen zijn en moeten tests een juiste moeilijkheidsgraad hebben, waardoor de motivatie en het gevoel van waardigheid wordt vergroot (adaptieve tests zijn daarbij ideaal). Een goede indrukvaliditeit (face validity) kan hierbij ook nuttig zijn.

Dit bezwaar gaat ook over de ondergeschikte rol en afhankelijkheidspositie van de geteste. Maar dit gaat meer over de institutionele beslissingssituatie dan over de test zelf; de waarden van de organisatie en die van het individu kunnen botsen. Maar het afwijzen van een ongeschikte kandidaat is niet altijd schadelijk voor de kandidaat; het kan ook voorkomen dat hij een functie krijgt die niet bij hem past. Toch mag dit niet gegeneraliseerd worden in een bevoogdende houding tegenover de onderzochte; een afwijzing betekent niet per se dat iemand niet geschikt is:

1. Of men geschikt is voor een functie is relatief; men is meer of minder geschikt, maar wordt bij een afkeuring altijd ongeschikt geacht.

2. De beslissing tot aannemen of afwijzen is ook afhankelijk van de kwantiteit en kwaliteit van het totale aanbod van kandidaten.

Hier kan de psycholoog in moeilijkheden komen: in de oorspronkelijk NIP-ethiek staat dat het welzijn en belang van de cliënt (onderzochte) de primaire taak van de psycholoog moet zijn. Maar in de praktijk ligt de prioriteit van de psycholoog vaak bij het instituut dat hem in dienst genomen heeft. Discrepantie tussen de ‘leer’ en het ‘leven’. Uitwegen uit dit dilemma zijn:

1. De leer aan het leven aanpassen. Volgens sommigen heeft een psycholoog geen speciale verantwoordelijkheden voor de individuele mens als object van onderzoek en advies.

2. Altijd het belang van het individu dienen. Volgens anderen moeten de doelstellingen en waarden van de organisatie ondergeschikt gemaakt worden aan die van het individu, ze vinden dat een psycholoog vuile handen maakt als hij voor een bedrijf werkt.

Premissen waar een principiële verwerping van selectie op gebaseerd zou moeten zijn:

1. Er zijn geen individuele verschillen in vakbekwaamheid en geschiktheid om deze vakbekwaamheid te leren.

2. Het is niet goed een keuze te maken uit sollicitanten gebaseerd op vakbekwaamheid en aanleg.

3. Een geformaliseerd vastliggend normensysteem voor het beoordelen van de arbeidsprestatie is niet acceptabel.

Maar deze premissen zijn wetenschappelijk niet vol te houden; de eerste is niet waar omdat er wel degelijk individuele verschillen zijn. En de derde is niet houdbaar omdat anders organisaties in chaos vervallen. Het tweede standpunt is nog wel te verdedigen, maar ook hier zijn bezwaren tegen:

• Het zonder meer toekennen van gelijke kansen aan iedereen (lui, onbekwaam, ijverig of geschikt) is ethisch ook niet ideaal.

• Loting in plaats van selectie (noodzakelijk als er beperkte plaatsen zijn) is in strijd met streven naar optimale benutting van de vaak beperkte middelen.

• De kans is erg klein dat een werkgever het advies om te loten overneemt. Zonder testonderzoek valt men terug op alternatieve methoden van beoordelen, waarvan het voorspellend vermogen nog geringer is dan dat van tests (en ook ethisch niet verantwoord zijn, zoals status, geld en (familie)betrekkingen).

De herziene NIP-ethiek (1976) lost dit probleem op door een verbreding van het begrip ‘cliënt’; zowel onderzochte als instituut. De psycholoog staat in dienst van beide partijen en doet een poging tot een ideale match tussen beiden. Voor beide partijen is het noodzakelijk dat er voldoende informatie gegeven wordt:

• Sollicitant: informatie over functie-eisen, beloning en promotie.

• Organisatie: informatie over de capaciteiten en behoeften van het individu.

Beide partijen hebben recht op een vertrouwelijke behandeling en informatie en openheid over de beslissingsprocedure. De beslissing komt tot stand middels gemeenschappelijke exploratie waarbij voor alle partijen duidelijk wordt wat hun behoeften en verlangens zijn en wat daarvan gerealiseerd kan worden.

Welke technische en methodologische bezwaren zijn er?

Ook hier het probleem dat er onvoldoende onderscheid wordt gemaakt tussen praktisch slecht functionerende tests en het principe van de test als zodanig. Kritiek is juist bij slechte tests, maar onjuist bij goede tests. Tegen algemene kritiek moet men moet vaktechnische argumenten gebruiken.

De psychometrische kwaliteit van tests

Veel tests hebben helaas onvoldoende betrouwbaarheid, begrips- of predictieve validiteit, of hebben geen adequate normtabellen. Dergelijke tests gebruiken voor het nemen van beslissingen is onverantwoord. Volgens het COTAN heeft, van de tests die in Nederland in de omloop zijn, 33% onvoldoende betrouwbaarheid, 35% onvoldoende begripsvaliditeit, 67% onvoldoende predictieve validiteit en 59% onvoldoende normen. Vergeleken met de vorige beoordelingsronde is wel een lichte verbetering te zien. Slechts 21% van de tests scoorden in 1992 voldoende op zowel validiteit als normen. Daarnaast zijn er ook nog tests in de omloop die zo dubieus zijn dat ze niet door het COTAN beoordeeld worden.

Maar, goede tests worden waarschijnlijk vaker gebruikt dan minder goede tests en bij een voorselectie is het gebruik van een ‘onvoldoende’ test wel geoorloofd omdat er geen definitieve beslissingen gemaakt worden.

AST-NIP heeft het standpunt dat tests (psychodiagnostische instrumenten) alleen gebruikt mogen worden als de theoretische herkomst, betrouwbaarheid, validiteit en normering voldoende zijn volgens de criteria van het COTAN. Als een psycholoog toch een andere test wil gebruiken, moet hij dat goed kunnen beargumenteren.

Van veel tests is de betrouwbaarheid en validiteit nog niet vastgesteld (experimenteel stadium of vertaalde test), deze kunnen beter niet gebruikt worden voor selectie of plaatsing: ‘een test is onbruikbaar tot het tegendeel blijkt’. Maar de eis van perfectie is in de praktijk niet altijd haalbaar, daarom mag een test wel gebruikt worden als hij het aantal juiste beslissingen doet toenemen ten opzichte van de situatie zonder test.

Dat laatste is dus een empirisch argument tegenover een technisch bezwaar; empirische resultaten hebben uiteindelijk het laatste woord. Dat argument geldt ook voor bezwaren tegen bijvoorbeeld meerkeuze-items; daarbij heeft empirisch onderzoek uitgewezen dat er dezelfde mentale processen mee gemeten kunnen worden als met open vragen, en zelfs objectiever en betrouwbaarder zijn.

Het stereotypen-bestendigend karakter van tests

Een methodologisch bezwaar tegen het gebruik van tests als selectie-instrument is dat ze ondernemende en creatievere kandidaten afwijzen en alleen mensen die zich conformeren, aannemen. Het zou leiden tot homogenisering. Maar hierbij gaat het niet om kritiek op de gekozen test, maar op het gekozen criterium; als men een conformist wil, zal dat in het criterium tot uiting komen, en de test helpt alleen om dat doel te halen. Een test kan hier juist nuttig zijn als het gebruikt wordt om het criterium kritisch te analyseren.

Op welke manier kunnen tests misbruikt worden?

Wat is het probleem van schending van vertrouwen?

Schending van vertrouwen is de belangrijkste bron van ongenoegen. Er moet onderscheid gemaakt worden tussen wetenschappelijk onderzoek (anonieme proefpersonen) en een praktisch onderzoek waarin iemand wordt getest. In het eerste geval is er geen probleem, in het tweede geval is het lastiger, met name als de psycholoog verslag moet uitbrengen naar een derde (opdrachtgever). Er zijn dan twee gevaren:

1. Het gevaar dat niet-psychologen inzicht krijgen in de testgevens of gegeven antwoorden. Daarom stelt AST-NIP dat alleen bewerkte testuitslagen mogen worden verstrekt, en de ruwe gegevens niet.

2. Er is geen garantie dat alleen de opdrachtgever het rapport leest en het niet voor andere doeleinden wordt gebruikt. Daarom is er een AST-NIP richtlijn dat het rapport niet voor andere doelen dan het oorspronkelijke mag worden gebruikt, dat de onderzochte het onderzoek elk moment mag laten stoppen en toestemming moet geven voor het rapport wordt doorgestuurd.

Bij het verstrekken van informatie aan collega-psychologen is (bij institutionele beslissingen) de toestemming van de betrokkenen nodig.

Er is het gevaar van misinterpretatie als de resultaten zonder voldoende toelichting aan de cliënt worden gegeven. Volgens AST-NIP heeft de cliënt recht op een nabespreking wat meer is dan alleen inzage in het rapport. Cliënt heeft ook recht op inzage in het rapport vóór het naar de opdrachtgever gaat, recht op blokkering, aanvulling, correctie of verwijdering van gegevens, recht op een afschrift van het rapport en recht op inzage in en afschrift van het gehele onderzoeksdossier. De opdrachtgever moet vooraf op te hoogte worden gesteld van deze rechten van de cliënt. Alleen een rechterlijke uitspraak kan de psycholoog verplichten het rapport aan derden te laten zien als de cliënt dat niet wil.

Wat is het probleem van misleiding?

Het probleem van misleiding is het grootst bij indirecte tests, waarbij de onderzochte niet weet wat de test meet. Ook bij tests waar kwalitatieve interpretaties aan gegeven worden, weet de onderzochte niet hoe het geïnterpreteerd zal worden. Bij wetenschappelijk onderzoek is er meestal geen probleem; de anonimiteit moet gewaarborgd blijven, de proefpersoon moet vrijwillig meedoen en mag geen schade worden toegebracht en het doel moet (in elk geval achteraf) duidelijk worden uitgelegd. Ook bij therapieën en advies is er geen probleem, omdat de cliënt zelf de opdrachtgever is. Maar als er een conflict van belangen is, kunnen er problemen ontstaan, zoals bij selectie- en plaatsingsbeslissingen. In zo’n geval is de meest valide methode het best geschikt (en niet de meest transparante methode); onder voorwaarde dat de cliënt goed wordt voorgelicht hoeven niet alle procedures uitentreuren door de cliënt worden doorgrondt.

Wat is het probleem van binnendringen in het privéleven?

Het binnendringen in het privéleven kan niet los gezien worden van het doel ervan. Er is geen sprake van binnendringen als men niet werkelijk geïnteresseerd is in wat men ziet (bijvoorbeeld bij de MMPI gaat het niet om de waarheid van de antwoorden en worden de antwoorden ook onpersoonlijk verwerkt). Bij machinale scores ziet de psycholoog zelf alleen maar de bewerkte scores. Men moet het probleem ook niet overschatten, verreweg de meeste items zijn acceptabel op dit punt. Het binnendringen in het privéleven is echter wel mogelijk, maar dat is niet beperkt tot tests; een belastingformulier, curriculum vitae of interview doet dat ook.

Het belang van het recht op privacy moet worden afgewogen tegen andere belangen:

1. Het recht op kennis. Kennis verkrijgen is ook heel belangrijk en dat geldt ook voor wetenschappelijke kennis; inzicht verkrijgen in menselijk gedrag en motieven.

2. De noodzaak bepaalde mensen te weren. Uit de maatschappij of bepaalde sectoren ervan; een beschaafde maatschappij heeft recht op enige controle over de vrijheid van leden (Vernon, 1963). Dat geldt ook voor de strijd tegen terrorisme. De veiligheid van de burger prevaleert in bepaalde gevallen boven de privacy van de verdachte.

3. De wenselijkheid van optimale benutting van kwaliteiten, capaciteiten en kennis. Hiervoor is ook informatie nodig en er kan van mensen toegang gevraagd worden tot privégegevens.

Privacy kan dus niet tot elke prijs worden gegarandeerd, het belang van anderen of de maatschappij kan zwaarder wegen. Er moet een evenwicht gevonden worden tussen de verschillende belangen.

Wat is het probleem van discriminatie?

Er is al langere tijd discussie of de psychologische test leidt tot discriminatie van minderheidsgroepen, bezwaren zijn:

1. Tests zijn niet goed gestandaardiseerd voor minderheidsgroepen.

2. Tests meten vooral aspecten die bevoorrechte groepen beter hebben kunnen ontwikkelen.

3. Tests zijn voornamelijk gebaseerd op valideringsonderzoek op beperkte (vaak blanke) groepen, waarvan de resultaten dan gegeneraliseerd worden naar andere populaties.

Deze bezwaren hebben betrekking op de ‘fairness’ (tegenovergestelde van ‘bias’) van testgebruik, gebaseerd op de ideologie van gelijke kansen in de Civil Rights Act (1964) in de VS.

Verdedigers van tests stellen juist dat de test objectief registreert en dat het de sociale en economische omstandigheden zijn die oneerlijk zijn. De test stelt alleen objectief vast wat iemand kan en weet. Met behulp van de test kan discriminatie juist worden tegengegaan omdat de beoordeling dan daadwerkelijk op iemands capaciteiten wordt gebaseerd in plaats van op vooroordelen. Daarom zijn met name de minderheidsgroepen zelf vaak positief over testgebruik.

Wat wel discriminerend kan zijn is de interpretatie of het gebruik van de test:

1. Testinterpretatie. Wanneer men verschillen tussen populaties interpreteert als verschillen in aangeboren potentieel (bijvoorbeeld intelligentie). Dit aangeboren potentieel, ‘Intelligentie A’ (volgens Vernon), kan niet los van omgevingsinvloeden gemeten worden. Het resultaat van een meting is altijd een indicatie van ‘Intelligentie B’: het fenotypische aspect van cognitieve vermogens (het resultaat van de interactie tussen genen en omgeving). De ene test meet ‘Intelligentie A’ beter dan de ander (verwijst meer naar het genetische component). Sommige tests zijn dus meer geschikt voor cultureel vergelijkend onderzoek dan andere (WAIS en Standford-Binet zijn ongeschikt).

2. Testgebruik. Discriminatie in testgebruik komt met name voor bij selectie; minderheidsgroepen die gemiddeld lager scoren op tests krijgen minder kans. Daarbij kan onderscheid gemaakt worden tussen twee strategieën: de maximalisering van de doelmatigheid en de maximalisering van gelijke kansen.

Strategie van de maximalisering van de doelmatigheid

Daarbij worden personen met de grootste kans op succes in de functie geselecteerd door de validiteit te maximaliseren. Er is géén sprake van discriminatie als een score op de selectietest voor alle onderzochten (ongeacht hun groep) overeenkomt met eenzelfde score op de prestatie in de functie. Het verband tussen testprestatie en criteriumprestatie is in beide groepen gelijk, er is alleen een niveauverschil. Er wordt wèl gediscrimineerd als in de ene groep een bepaalde testscore met een systematisch hogere criteriumscore correleert dan in de andere groep; de regressielijnen vallen niet samen en snijden elkaar niet. Personen in de ene groep met een bepaalde criteriumscore worden afgewezen, waar personen in de andere groep met dezelfde score nog wel worden geselecteerd.

Discriminatie betekent hier dat dezelfde aftestgrens voor de ene groep een hogere criteriumscore betekent dan voor de andere groep, waardoor de laatste groep bevoordeeld wordt ten opzichte van de eerste groep. In een dergelijk geval zullen er verschillende aftestgrenzen gebruikt moeten worden voor de verschillende groepen. Op deze manier lijkt discriminatie een psychometrisch probleem te zijn dat ook psychometrisch opgelost moet worden, maar zo eenvoudig is het niet:

• Het probleem lijkt de correlatie van het criterium met de test te zijn, maar als de criteriumprestatie geen eerlijk beeld geeft van iemands werkelijke prestatie (door bijvoorbeeld bevooroordeelde beoordelingen of minder kansen door cultuur- of taalproblemen), dan is het criterium zelf het probleem en dus ook de test die ermee correleert. De oplossing hiervoor is een ‘zuivering’ van het criterium.

• Er kan sprake zijn van directe en indirecte discriminatie door variabelen in het model op te nemen die de validiteit verbeteren. Directe discriminatie ontstaat door variabelen als sekse, sociaaleconomische klasse of etnische groep in het model op te nemen. Indirecte discriminatie ontstaat door variabelen als motivatie, attitudes, kennis of taalbeheersing op te nemen, omdat deze variabelen ook kunnen correleren met de direct discriminerende variabelen.

Er zijn twee benaderingen binnen het model van de maximalisering van de doelmatigheid:

1. Ongekwalificeerd individualisme. Alles wat de validiteit verhoogt wordt (als predictor of als moderator) in het model opgenomen, zowel de gebruikelijke testscores als biografische gegevens. Dit wordt gelegitimeerd met het doel: het selecteren van de meest geschikte personen. Dus als het horen bij een allochtone groep de succeskansen verminderd, worden deze personen door dit model uitgesloten (predictor krijgt in het meervoudige regressiemodel een negatief gewicht).

2. Gekwalificeerd individualisme. Het direct discrimineren van minderheidsgroepen, vrouwen of lagere sociaaleconomische klasse wordt niet geaccepteerd, waardoor deze variabelen geen rol mogen spelen in het model, ook al zouden ze de voorspelbaarheid verhogen. A-priori wordt vastgesteld op welke aspecten niet gediscrimineerd mag worden en dus niet als variabelen in het model mogen worden opgenomen. Hiermee probeert men de validiteit te maximaliseren en tegelijk toch ook directe discriminatie te vermijden, maar indirecte discriminatie wordt hiermee niet vermeden.

Strategie van de maximalisering van gelijke kansen

De selectieprocedure kan naast het maximaliseren van de doelmatigheid ook gericht zijn op het maximaliseren van gelijke kansen. De meest extreme strategie is loting: alle kandidaten hebben gelijke kansen. Nadeel hiervan is dat het niet ten goede komt aan de doelmatigheid. Er zijn verschillende strategieën met nog wel enige doelmatigheid, maar die toch streven naar het bevorderen van gelijke kansen.

1. Gewogen loting. Een hogere score geeft een hogere kans in de loting, zoals bij de toelating tot de studie geneeskunde; een hoger eindexamencijfer geeft een grotere kans.

2. Gecorrigeerd individualisme. Alle predictoren worden gecorrigeerd op hun samenhang met discriminerende variabelen, het resultaat is een residuscore (restscore). Een voorbeeld is dat scores op een test voor logisch redeneren gecorrigeerd worden voor hun samenhang met de score op een woordenschattest. Deze residuscores kunnen worden gebruikt voor de selectie bij een functie waar woordenschat niet echt relevant is.

3. Quotasysteem. Uit iedere minderheidscategorie wordt een bepaald percentage aangenomen, naar rato van bijvoorbeeld de verhoudingen in de groep die zich aangemeld heeft of naar in het verleden gebleken succesvolle percentages.

Het streven naar maximale doelmatigheid (validiteit) en maximale gelijke kansen zijn met elkaar in conflict. Het is dus een subjectieve beslissing hoeveel doelmatigheid je wilt opofferen om gelijke kansen te bevorderen.

Conclusie: het is niet goed de test zelf te beschuldigen van discriminatie, het is de interpretatie of het gebruik van de testgegevens die daartoe kunnen leiden. Het is inherent aan het selectiedoel dat minderheidsgroepen een geringere kans hebben. Gelijke kansen gaan ten koste van de doelmatigheid.

Wat kan hierover geconcludeerd worden?

Dit hoofdstuk ging over het grensgebied tussen wetenschap en praktijk, een lastig gebied waar voorzichtig mee om moet worden gegaan. Sommige problemen hebben empirisch wetenschappelijke oplossingen, andere vragen moeten benaderd worden vanuit de ethiek en levensbeschouwing.