Beslissend testgebruik - Artikel

Er kan onderscheid gemaakt worden tussen vier typen psychometrische beslissingssituaties:

• Classificatie. Classificatie gaat over het toewijzen van personen aan bijvoorbeeld banen, opleidingen, therapieën, etc. Op basis van een beroepskeuzetest kan bijvoorbeeld geschat worden dat iemand het beste docent zou kunnen worden.

• Plaatsing. Bij plaatsing worden mensen ook toegewezen aan bepaalde ‘behandelingen’. Een voorbeeld hiervan is een rekenvaardigheidstest die leerlingen op basis van hun score op de test toewijst aan verschillende rekendidactieken, zodat ze het onderwijs krijgen dat ze nodig hebben. Uiteindelijk nemen alle personen wel deel aan hetzelfde criterium: ze moeten uiteindelijk allemaal een bepaalde rekentoets aan het einde van het jaar halen.

• Selectie. Bij selectie worden personen aangenomen of afgewezen voor bijvoorbeeld banen, opleidingen of therapieën.

• Beheersingssituatie. Beheersing gaat over het slagen of zakken op een studietoets.

Bij classificatie, plaatsing en selectie is er een extern criterium dat voorspeld wordt. Bij beheersing is er een intern criterium dat voorspeld wordt.

Selectie

Aangezien selectie de beslissingsmethode is die het meest gebruikt wordt binnen de psychologie, zal hier voornamelijk op ingegaan worden.

Bij selectie is het criterium altijd ordinaal of metrisch (ratio/interval). Bij selectie moeten twee onderscheiden gehanteerd worden: quotabeperkte selectie en quotavrije selectie. Bij quotabeperkte selectie is er een beperkt aantal plaatsen beschikbaar bij de instantie die mensen aan wil nemen. Hoeveel mensen zich ook aan zullen melden, het aantal sollicitanten dat aangenomen zal worden ligt van tevoren vast. Bij quotavrije selectie is er een onbeperkt aantal plaatsen. Alle mensen waarvan de instantie denkt dat zij geschikt zijn, worden aangenomen.

Ook kan er een onderscheid gemaakt worden tussen selectie uit één populatie en selectie uit meerdere populaties. Bij selectie uit subpopulaties worden sollicitanten bijvoorbeeld gesplitst op basis van geslacht of afkomst.

Quotabeperkte selectie

Wanneer een criterium continu of metrisch is, kan er gebruik gemaakt worden van regressie-analyse. In werkelijkheid worden er vaak meerdere predictoren gebruikt (meerdere tests), en daarom wordt er gebruik gemaakt van multiple regressie-analyse. Voor de formule van de lineaire regressiefunctie, zie blz. 100 van de Syllabus. In deze formule wordt het criterium Z voorspeld op basis van p predictoren. De regressiewaarde die hieruit komt, is de verwachte waarde van de Z waarden. Om gebruik te kunnen maken van de formule moeten eerst de parameters geschat worden (a en b). Wanneer dit gedaan is kan voor elk persoon de criteriumscore voorspeld worden. Deze verwachte criteriumscore wordt Z’ genoemd. Wanneer voor iedereen de voorspelde criteriumscore is berekend, kan gekeken worden wie de beste sollicitanten zijn. Dat zijn namelijk de sollicitanten met de hoogste voorspelde criteriumscore.

Quotavrije selectie

Om te beslissen hoeveel sollicitanten een instantie aan zou willen nemen, kan gebruik gemaakt worden van psychometrische besliskunde. In de besliskunde kan gebruik gemaakt worden van utiliteitsfuncties. Deze functies geven de opbrengst van de selectieprocedure weer. Oftewel: de hoeveelheid geschikte sollicitanten bij een bepaalde selectieprocedure. De grens van wanneer iemand geschikt is, kan door de instantie zelf bepaald worden. Een studie psychologie kan bijvoorbeeld studenten geschikt noemen wanneer zij hun BSA halen. Deze grens op het criterium Z, wordt aangeduid met d. Het percentage sollicitanten/studenten dat geschikt is, wordt aangeduid met de base rate. Aangezien een instantie niet iedereen wil aannemen die zich aanmeldt, kan een cesuur (aangeduid met c) worden ingesteld. Dit is een waarde waar sollicitanten aan moeten voldoen om aangenomen te kunnen worden. In het voorbeeld van psychologie, kan de cesuur zijn dat iedereen die hoger dan een 7 had op zijn eindexamen, wordt toegelaten. De studie verwacht dan dat mensen dat deze cesuur een goede voorspeller is voor het onderscheiden van geschikte en ongeschikte sollicitanten. De proportie sollicitanten die aangenomen wordt, wordt de selectieratio genoemd. Voor een overzicht van een aantal termen, zie de volgende tabel.

Bovenste rij: Geschikt
Onderste rij: Ongeschikt
Linker kolom: Aangenomen
Rechter kolom: Afgewezen

Op de Y-as van de tabel staat de werkelijke criteriumscore Z, en op de X-as staat de voorspelde criteriumscore Z’. Er zijn in deze tabel vier situaties te zien:

• Mensen die terecht zijn aangenomen. Dat zijn dus mensen die hoger dan de cesuur scoorden op de voorspellende test, en hoger dan de grenswaarde scoorden op het uiteindelijke criterium. Dit type wordt ook wel true positive genoemd. De proportie van deze mensen wordt aangeduid met P11.

• Mensen die terecht zijn afgewezen. Dat zijn dus mensen die lager dan de cesuur scoorden op de voorspellende test, en lager dan de grenswaarde scoorden op het uiteindelijke criterium. Dit type wordt ook wel true negative genoemd. De proportie van deze mensen wordt aangeduid met P00.

• Mensen die ten onrechte zijn aangenomen. Dat zijn dus mensen die hoger dan de cesuur scoorden op de voorspellende test, en lager dan de grenswaarde scoorden op het uiteindelijke criterium. Dit type wordt ook wel false positive genoemd. De proportie van deze mensen wordt aangeduid met P10.

• Mensen die ten onrechte zijn afgewezen. Dat zijn dus mensen die lager dan de cesuur scoorden op de voorspellende test, en hoger dan de grenswaarde scoorden op het uiteindelijke criterium. Dit type wordt ook wel false negative genoemd. De proportie van deze mensen wordt aangeduid met P01.

De base rate is gelijk aan de proporties van geschikte mensen, dus P01+P11. De selectieratio is gelijk aan de proportie van aangenomen mensen, dus P10+P11. Wanneer de cesuur lager wordt gezet (in de tabel verschuift de c dan naar links), wordt de proportie afgewezen sollicitanten kleiner, en de proportie aangenomen sollicitanten groter. Wanneer de cesuur hoger wordt (in de tabel verschuift de c dan naar rechts), is dit precies omgekeerd. De vraag welke cesuur optimaal is (laag, gemiddeld of hoog), kan bepaald worden door de drempelutiliteitsfunctie.

De verwachte utiliteit (opbrengst) is volgens de volgende formule te berekenen:

εUc = P00*p + P01 * q + P10 * r + P00 * s.

Waarbij p de utiliteit van een terecht afgewezen sollicitant is, q de utiliteit van een ten onrechte afgewezen sollicitant, r die van een ten onrechte aangenomen sollicitant en s die van een terecht aangenomen sollicitant. Deze formule kan je uitvoeren bij een lage, gemiddelde en hoge cesuur, en zo kun je kijken welke cesuur de hoogste verwachte utiliteit heeft. Deze cesuur is de meest optimale. Voor de base rate maakt het niet uit welke cesuur je kiest, de base rate verandert namelijk niet.

De meest optimale cesuur kan berekend worden met de volgende formule:

εUc* = - Q * P10 + P11

waarbij Q = (p - r)/(s - q).

Om de optimale cesuur is het niet nodig om p, r, s en q apart te specificeren. Er kan namelijk gebruik gemaakt worden van Q. Wanneer een instantie kiest voor een Q kleiner dan 1, dan betekent dit dat de instantie afwijzen/aannemen van geschikte sollicitanten belangrijker vindt dan afwijzen/aannemen van ongeschikte sollicitanten (dus false negative is erger). Als Q groter is dan 1, betekent dit dat de instantie afwijzen/aannemen van ongeschikte sollicitanten belangrijker vindt dan afwijzen/aannemen van geschikte sollicitanten (dus false positive is erger). Bij een Q van 1, vindt de instantie ongeschikte en geschikte sollicitanten even belangrijk.

Bij cultuureerlijke selectie worden soms verschillende subpopulaties onderscheiden. Bijvoorbeeld mannen en vrouwen worden onderscheiden. Er kunnen bijvoorbeeld verschillende cesuren worden opgesteld voor mannen en vrouwen.

Differentiële predictie

Voorheen werd er steeds gesproken over het hanteren van één regressiefunctie. Het kan echter zijn dat er voor verschillende subpopulaties andere regressiefuncties van toepassing zijn. In dat geval spreekt men van differentiële predictie. Een voorbeeld hiervan is de regressiefunctie voor het voorspellen van aantal gehaalde studiepunten. Hieruit bleek dat deze functies verschilden voor mannen en vrouwen. Als gevolg hiervan kunnen sollicitanten/studenten dus opgedeeld worden in twee subpopulaties. Dit kan aangegeven door een dichitome predictorvariabele (Y2) in te voeren in de regressiefunctie. Deze Y2 krijgt bij de ene subpopulatie een waarde van 0 en bij de andere subpopulatie een waarde van 1.

ε = b + a1y1 + a2y2.

a2y2 is de toegevoegde predictorvariabele. Wanner Y2 de waarde 0 heeft, valt a2y2 weg uit de formule:

ε = b + a1y1

Wanneer y2 de waarde 1 heeft, wordt de formule:

ε = b + a1y1 + a2 = b* + a1y1 (b* is hierbij b + a2)

Er zijn nu dus twee verschillende regressiefuncties ontstaan. Deze functies hebben dezelfde richtingscoëfficient (a1), maar een ander intercept (b versus b*). De regressiefuncties lopen dus wel parallel, maar ze snijden de Y-as op een ander punt. Er wordt hierbij gesproken van uniforme differentiële predictie.

Er kunnen ook drie predictoren zijn. In dat geval kan ook de richtingscoëfficiënt verschillen tussen beide regressies (en dus tussen beide subpopulaties). In zo’n geval snijden de regressiefuncties elkaar. Er wordt dan gesproken van niet-uniforme differentiële predictie.

Bij uniforme differentiële predictie is het verschil in criteriumscore constant, dit is bij niet-uniforme differentiële predictie niet het geval. Voor een helder beeld, zie blz. 114 van de Syllabus.