Welke bijdrage levert de test in het beslissingsproces? - Chapter 9

Wanneer er een keuze moet worden gemaakt tussen verschillende alternatieven, vindt er voor die keuze altijd een zekere beoordeling plaats. Dit hoofdstuk zal in gaan op de vraag welke bijdrage een test aan dit beslissingsproces kan leveren.

De waarde van een test valt uiteen in twee delen. De wetenschappelijk waarde van een test wordt bepaald door de wetenschappelijk waarde van de te meten eigenschap. De praktische waarde van een test hangt af van het succes van de beslissingen die met behulp van de test kunnen worden genomen.

De test moet een bijdrage leveren aan een beoordeling of beslissing, om deze bijdrage te kunnen beoordelen moet gekeken worden naar de kans op succes en de waardering van dat succes. Deze kansen en waarderingen verschillen per beslissingssituatie.

Er wordt altijd beoordeeld en op basis daarvan beslist, de vraag is wat een test hieraan kan toevoegen. In een situatie zonder test is er vaak ook al redelijk wat informatie beschikbaar voor het maken van een ‘juiste’ beslissing. Daarom moet er bij het vaststellen van de praktische waarde van een test niet worden vergeleken met een random keuzeproces (aldus Cronbach en Gleser). Beter is om de situatie met test te vergelijken met de a-prioristrategie (het totaal aan voorspellingsmogelijkheden zonder de test).

Dit wordt ook wel ‘incremental validity’ genoemd: de waarde van een test wordt bepaald door de toevoeging die een test geeft aan het a-prioriniveau van voorspellingsmogelijkheden. Hoe onafhankelijker de test is van de reeds beschikbare informatie, des te groter diens waarde dus is.

Overigens moet worden gesteld dat er voor een aantal (vaak zeer eenvoudige) functies de ‘antecedent probability’ of ‘base rate’ (het gehalte geschikte personen in de bevolking) zeer groot is. Een random toewijzing, dus zonder gebruik van een test, zal in deze gevallen adequaat genoeg zijn. Een test zal hier daarom van weinig toevoegende waarde zijn.

De praktische waarde van een test kan niet los worden gezien van het beslissingsproces zelf. We zullen hieronder daarom de verschillende soorten beslissingen, de meest voorkomende beslissingen in de testtheorie, en de beslissingsprocedure bij een ‘open vraag’ bespreken.

Welke indelingsprincipes (taxonomie) zijn er met betrekking tot het nemen van beslissingen over mensen?

Een beslissing bestaat altijd uit de volgende drie componenten:

1. Eén of meer individuen waarover de beslissing wordt genomen.

2. Twee of meer behandelingen waar men bij de beslissing uit moet kiezen (het woord ‘behandeling’ moet ruim opgevat worden).

3. De informatie met behulp waarvan de beslissing kan worden genomen.

Wanneer er bepaalde vaststaande regels worden gevolgd bij het nemen van een beslissing, is er sprake van een beslissingsstrategie. Deze bestaat meestal uit de volgende cyclus: ‘nader onderzoek – tests – informatie – informatieverwerking’. Deze cyclus kan diverse malen worden herhaald, net zo lang totdat er genoeg informatie beschikbaar is voor het maken van een definitieve beslissing.

Vaak komen de normatieve en de empirische, feitelijke strategie niet met elkaar overeen. Niet alle beslissingsstrategieën worden even duidelijk en consequent toegepast. Extra informatie, gevoelsmatige ideeën, slordigheden en inconsequenties sluipen in de beslissingsstrategie en hebben invloed op de uiteindelijke beslissing.

Beslissingen kunnen worden opgedeeld aan de hand van drie principes: (1) het onderscheid tussen individueel en institutioneel, (2) de onderlinge relatie van de alternatieven en (3) beslissingen die met behulp van univariate informatie genomen worden. Deze principes worden hieronder besproken.

1. Het onderscheid tussen individuele en institutionele beslissingen

Individuele beslissingen. De uitwerking van een beslissing is per persoon verschillend, de waarde van een bepaalde beslissing moet dan ook voor ieder individu apart worden bekeken. Bij individuele beslissingen gaat het om eenmalige beslissingen waarbij volledig rekening wordt gehouden met de persoon waarvoor of waardoor de beslissing wordt genomen. Bijvoorbeeld: beroepskeuze, schoolkeuze of keuze voor een studiepakket. Het rendement van de beslissing verschilt per individu.

Institutionele beslissingen. Bij institutionele beslissingen is er sprake van een waardesysteem dat voor alle te nemen beslissingen opgaat. Er is een bepaalde reeks beslissingsregels voorhanden die geldend is voor meerdere beslissingen tegelijk. Er kan hierdoor in een keer een groot aantal gelijksoortige beslissingen worden genomen. Omdat het hier niet om een eenmalige beslissing gaat, maar om meerdere, kan er worden gesproken over een gemiddeld rendement. Het totale rendement van een institutionele beslissingsstrategie valt samen met het gemiddelde rendement van de op zichzelf staande beslissingen. Voorbeelden van institutionele beslissingen zijn: rijexamen, toelatingsprocedures voor scholen, plaatsing bij een bedrijf of therapiekeuze in een kliniek.

2. De onderlinge relatie tussen de verschillende keuzemogelijkheden

De onderlinge relatie tussen de verschillende keuzemogelijkheden is van invloed op de keuze voor een bepaalde test. Er zijn twee mogelijkheden:

1. Univariaat. Wanneer er alleen sprake is van een kwantitatief verschil (niveauverschil) tussen de mogelijkheden, en ze qua aard dus niet van elkaar verschillen, is dezelfde informatie voor beide mogelijkheden toereikend. Het variëren van de norm is dan voldoende. Deze beslissing wordt univariaat genoemd; wanneer er alleen sprake is van een niveauverschil, kan worden volstaan met één schaaldimensie. Een voorbeeld van dit type beslissing is de keuze tussen verschillende schoolniveaus.

2. Multivariaat. Er wordt gesproken van multivariate informatie als de alternatieven kwalitatief van elkaar verschillen. Naast een eventueel niveauverschil is er nu ook sprake van een structureel verschil. Bijvoorbeeld het verschil tussen opleidingen, beroepen, en stoornissen. Bij zulke kwalitatief verschillende alternatieven is een differentiële voorspelling noodzakelijk. Dit is een voorspelling die berust op een multivariate analyse. Voorbeelden van testinformatie die multivariaat van aard is, zijn profielscores, verschilscores en scorepatronen.

3. Onderscheid binnen univariate beslissingen

Beslissingen die met behulp van univariate informatie zijn genomen, kunnen vervolgens weer in twee subgroepen worden onderverdeeld: de keuze voor één enkele behandeling (treatment), of de keuze tussen meerdere mogelijkheden. In het eerste geval gaat het om de keuze tussen ‘wel’ of ‘niet’, deze beslissingen worden dichotoom genoemd. In het tweede geval gaat het om het indelen in verschillende klassen.

Deze driedeling brengt ons tot de volgende taxonomie van beslissingen:

Hierbij kunnen nog een aantal onderscheidingen worden gemaakt:

1. In het bedrijfsleven en in de schoolse praktijk kan een beslissingen zowel univariate als multivariate gevolgen hebben: plaatsing voor een bepaald niveau heeft indirect ook gelijk een zekere selectie tot gevolg.

2. Er kunnen zich een tweetal complicaties voordoen inzake plaatsingsmogelijkheden. Het aantal plaatsen dat ingevuld kan worden kan te weinig zijn (numerus fixus) of te veel (lerarentekort). In zulke gevallen hangt de beslissing niet alleen af van de geschiktheid van de kandidaten, maar ook van de beschikbaarheid/vraag van de treatments.

3. Bij plaatsingsbeslissingen maakt het verschil of het gaat om een variabele of een vaststaande behandeling. Gaat het om een statische, van tevoren vaststaande behandeling, of is er binnen de behandeling nog mogelijkheid tot bijstellen?

4. Een laatste onderscheid wordt gemaakt naar de vraag of de beslissingen in één fase plaatsvindt (‘single stage’ of ‘non-sequential decisions’) of meerdere fasen in beslag neemt (‘sequential decisions’). Een veelvoorkomend voorbeeld van dit laatste is het vooronderzoek.

Wat is het enkelvoudige selectie- c.q. afwijzingsmodel?

Enkelvoudige selectie, ofwel het klassieke geschiktheidonderzoek. Met deze test wordt onderzocht of een individu wel of niet aan de eisen voldoet en dus wel of niet toegelaten kan worden. Deze vorm van selectie wordt ook wel het afwijzingsmodel genoemd, omdat het er eigenlijk omgaat de ongeschikte individuen uit te selecteren. Een enkelvoudige selectie is een institutionele beslissing, op basis van univariate informatie.

Hoe gaat enkelvoudige selectie bij het gebruik van een enkele test?

Hoe hoog moet de correlatie met het criterium minimaal zijn zodat de test zinvol is in het selectieproces? De effectiviteit hangt af van meer factoren dan alleen van de validiteit van de test; soms is een lage correlatie toch nuttig of een heeft hoge correlatie toch weinig waarde.

De resultaten van individuen in een selectieprocedure zijn onder te verdelen in vier groepen.

1. Positieve missers (A): individuen die door hun testscore als onvoldoende beoordeeld zijn, maar het in de praktijk een voldoende criteriumscore behalen. Worden onterecht afgewezen.
2. Positieve treffers (B): individuen die door hun testscore als voldoende beoordeeld zijn, en in de praktijk ook voldoen aan de kritische criteriumscore. Worden terecht geselecteerd.
3. Negatieve treffers (C): individuen die door hun testscore als onvoldoende beoordeeld zijn, en het in de praktijk, dus met hun criteriumscore ook niet redden. Worden terecht afgewezen.
4. Negatieve missers (D): individuen die door hun testscore als voldoende beoordeeld zijn, maar in de praktijk het niet redden (onvoldoende criteriumscore). Worden onterecht geselecteerd.

Hieruit kunnen verschillende maten worden berekend:

• De selectieratio is het percentage dat wordt aangenomen (positief bevonden kandidaten):
• De toevalskans (‘antcedent probability’ of ‘base rate’) is het percentage geschikte individuen wanneer de selectie random plaatsvindt, of iedereen wordt aangenomen:
• De succesratio is het aantal positieve treffers, ofwel het percentage succesvolle individuen binnen de geselecteerde groep:
• Uit deze berekeningen kan afgeleid worden of het percentage succesvolle kandidaten na de selectieprocedure hoger ligt dan na een aselecte toelating.

De succesratio bepaalt de effectiviteit van de selectie. Het is daarom belangrijk om te weten waardoor de succesratio bepaald wordt:

1. De succesratio wordt bepaald door de validiteit van de test. Ofwel de correlatie van de test en het criterium. Hoe hoger de correlatie, hoe minder fouten er bij de selectieprocedure gemaakt zullen worden, en dus hoe groter de succesratio.

2. De succesratio is ook afhankelijk van de toevalskans. Hoe groter de toevalskans, hoe groter de succesratio. Voor de toevalskans is enerzijds de kwaliteit van het aanbod bepalend en anderzijds de strengheid van de criteriumprestaties.

3. Ook de selectieratio is van invloed op de succesratio. Wanneer er meer mensen kunnen worden afgewezen, wordt de succesratio kleiner.

Deze drie verbanden hebben voor de daadwerkelijk beslissing en de evaluatie daarvan een aantal vervelende gevolgen. De absolute waarde van de validiteit van een test heeft op zichzelf weinig betekenis, er moet ook met andere factoren, zoals toevalskans en selectieratio rekening gehouden worden. Zes gevolgen hiervan zijn:

1. Het selecteren van ongeschikte kandidaten. Dit hoeft niet aan de test te liggen, maar kan ook het gevolg zijn van een kwalitatief slecht aanbod, of een kwantitatief laag aanbod.

2. Er is nog een tweede reden waarom fouten in de selectie niet altijd aan de test te wijten zijn. In het beslissingsproces spelen naast de subjectiviteit van de test en de testpsycholoog, ook die van de opdrachtgever een rol. Ook hij speelt een rol bij het bepalen van de selectievoorwaarden (de kritische testscore). De volgende zaken kunnen hierbij van invloed zijn: het niveau van het aanbod, de grote van de vraag, welke succesratio nastrevenswaardig is, hoeveel risico men wil nemen dat een ongeschikte persoon aangenomen wordt en de noodzaak tot het vullen van de vacatures.

3. Een bepaalde validiteit heeft niet steeds dezelfde waarde voor een beslissing. Wanneer een toevalskans extreem groot is, heeft zelfs een valide test weinig tot geen positief effect. Omdat de meeste kandidaten aan de criteria voldoen, kan de test de succesratio nauwelijks verhogen, maar wel verlagen. Selectie met behulp van een test leiden in dit soort gevallen namelijk tot het afwijzen van een relatief groot aantal geschikte individuen. Omgekeerd geldt dus ook dat als er maar weinig geschikte kandidaten zijn, zelfs een test met een relatief lage validiteit toch een grote bijdrage kan leveren door veel ongeschikte kandidaten af te wijzen

4. Wanneer de selectieratio hoog is ten opzicht van de toevalskans, moet de validiteit erg groot zijn om tot een goede selectie te kunnen komen. Voor het vaststelen van de succesratio, de toevalskans, de validiteit en de selectieratio kan gebruik worden gemaakt van de tabellen van Taylor en Russell, indien drie van de vier bekend zijn.

5. Het verhogen van de aftestgrens (er worden dan minder mensen geselecteerd) heeft een positieve invloed op de succesratio. Er worden dan namelijk minder mensen onterecht geselecteerd. Dit heeft echter ook tot gevolg dat er meer mensen onterecht worden afgewezen. Er bestaat dus een problematische relatie tussen positieve (A) en negatieve (D) missers. Het beleid inzake de aftestgrens wordt bepaald door de volgende factoren:

   • Er zijn situaties waarin het aannemen van ongeschikte mensen ernstige gevolgen heeft.

   • Er zijn daarentegen ook situatie waarin het risico tot het aannemen van negatieve treffers graag genomen wordt, om de kans tot het vinden van die ene persoon met die specifieke eigenschap te vergroten. Het gaat hierbij dan om een relatief zeldzame eigenschap die vooraf moeilijk vastgesteld kan worden.

   • Als laatste bestaan er situaties waarin zowel de positieve als de negatieve missers zoveel mogelijk vermeden moeten worden. Zaak is in deze om de verticale kritische testlijn zo te plaatsen dat de uitkomst van (A+D) zo laag mogelijk is.

6. Het vraag en aanbodprobleem. Wanneer er relatief veel mensen zijn, kan er streng worden geselecteerd en zal dit leiden tot veel positieve missers en maar weinig negatieve missers. Omgekeerd zal er bij te weinig kandidaten, afhankelijk van de ernst van de vacature, minder streng geselecteerd worden. Dit leidt tot minder positieve missers, maar wel tot meer negatieve missers. Ook al zijn de waarden van de verschillende beslissingsuitkomsten bekend, dan nog is het vaststellen van de beste aftestgrens erg moeilijk. De invoering van tests bij selecties met een erg kleine toevalskans maken de beslissingsstrategie vaak niet effectiever. Meehl en Rosen stelden zelfs dat het gebruik van tests in situaties met een gemiddelde validiteit maar een lage toevalskans, het maken van fouten bij de selectie zelfs kan vergroten. Hiervan is sprake in bijvoorbeeld de klinische psychologie.

Utiliteit van een testprocedure

Utiliteit is de opbrengst van de selectieprocedure. We gaan uit van een situatie waarin een hogere criteriumscore wordt gewaardeerd met een hogere utiliteit. De netto-utiliteit (ΔU) per onderzochte kan berekend worden met de formule: [9.1] (S_U = standaarddeviatie utiliteit, r_XU = correlatie tussen predictor en utiliteit, ξ(X’) = ordinaat (één van de twee coördinaten van een bepaald punt), C = gemiddelde kosten van de procedure per onderzochte).

Deze formule is gebaseerd op de lineaire regressie van utiliteit U op predictor X, waarbij de helling van de regressielijn wordt bepaald door de coëfficiënt S_Ur_XU. De netto-utiliteit wordt bepaald door vier factoren:

1. De standaarddeviatie van de utiliteitsscores (S_U) zegt iets over of een betere of slechtere prestatie veel of weinig uitmaakt voor de organisatie; als een kleine toename in criteriumprestatie voor de organisatie toch van grote waarde is, zal de nuttigheid van het testonderzoek ook groot zijn, en kan een minder valide test toch voor een utiliteitstoename zorgen.

2. De correlatie tussen test en utiliteit (r_XU) en tussen test en criterium is lineair gerelateerd aan het nuttige effect van de test. De bijdrage van de test aan de utiliteit is recht evenredig met zijn validiteit: een test met correlatie 0.60 is tweemaal zo nuttig als een test met correlatie 0.30.

3. De selectieratio is van invloed op de utiliteit; de nuttigheid van het testonderzoek is per persoon maximaal bij een maximale ordinaat (‘hoogte’) onder de normaalcurve.

4. Bij een bepaalde spreiding in criteriumscores, validiteit en selectieratio kan berekend worden of de kosten van het testprogramma opwegen tegen het uiteindelijke rendement van de selectieprocedure.

Hoe gaat enkelvoudige selectie bij het gelijktijdig gebruik van diverse tests?

Zeker in gevallen wanneer het gaat om een heterogeen criterium is het niet mogelijk om een goede voorspelling te geven op basis van een enkele test. Beter is het om deze gevallen gebruik te maken van een testbatterij; een verzameling van tests die bij voorkeur allemaal zo hoog mogelijk correleren met het criterium, maar zo min mogelijk met elkaar. Er zijn verschillende procedures om afzonderlijke tests te combineren.

Procedure van gewogen samenstelling (compensatorisch)

De verschillende test kunnen grofweg op twee manieren worden gecombineerd om tot een goede selectie te komen.

1. Ten eerste kan dit op een actuarische, ofwel statistische manier. Hierbij worden de successcores zorgvuldig gewogen en de succeskansen berekend.

2. De tweede manier is niet-statistisch, maar gevoelsmatig van aard. Het gaat om een intuïtief proces van wegen en voorspellen, die per situatie erg kan verschillen.

De strijd tussen deze twee methoden is na vele onderzoeken beslecht in het voordeel van de actuarische methode (Meehl kwam overigens al eerder tot deze conclusie). De actuarische methode is nauwkeuriger, zorgt voor de minste missers en leidt dus tot de beste selectie. Dat kan verklaard worden doordat bij de intuïtieve methode vooroordelen, stereotypen en ongeverifieerde veronderstellingen ook een rol spelen (naast ervaring en kennis).

Procedure van veelvoudige minimumscore c.q. multiple cut-off procedure (conjunctief)

Bij deze procedure wordt voor elke afzonderlijke test een kritische testscore vastgesteld. Een kandidaat wordt dus alleen geselecteerd indien hij op alle test voldoende heeft gescoord. Compensatie is hierbij dus niet mogelijk. De veelvoudige minimumscore is in tegenstelling tot de gewogen samenstelling (die is compensatorisch) conjunctief.

Combinatie van compensatorische en conjunctieve methode

Een combinatie van beiden is echter ook mogelijk, dan is binnen bepaalde minimumgrenzen de relatie compensatorisch.

Hoe kan de selectie opgesplitst worden in een of meerdere fasen?

In het geval van een grote groep kandidaten is het vaak effectiever om trapsgewijs te testen. Er vindt dan een voorselectie plaats die de toevalskans voor het definitieve onderzoek doet toenemen. Deze voorselectie dient valide te zijn met betrekking tot het criterium. Vooral bij een groot aanbod is een middelmatig valide test vaak al voldoende voor het doen toenemen van de toevalskans.

De sequentiële beslissingsmodellen kunnen ook wat ingewikkelder van aard zijn. Bij een eerste eenvoudige screening worden de meest ongeschikte en de meeste geschikte kandidaten geselecteerd. Vervolgens vinden er nog een aantal testen plaats om de minder duidelijke kandidaten al dan niet te selecteren. Het voordeel van trapsgewijs testen is dat het veel tijd en geld kan besparen, zonder dat dit ten koste gaat van het selectieproces. Cronbach en Gleser toonden aan dat er verschillende sequentiële strategieën mogelijk zijn, waarvan de effectiviteit per situatie kan variëren. Met name in het geval van complexe onderzoeken (groots, kostbaar, moeilijk of vervelend voor de betrokkenen) zijn sequentiële strategieën erg toereikend.

Wat zijn plaatsingsbeslissingen en hoe kunnen ze worden genomen?

Bij de tot nu toe besproken beslissingsstrategieën ging het om de keuze tussen het aannemen of afwijzen van de kandidaten. Bij plaatsing gaat het echter om de keuze tussen verschillende alternatieven. Ook hierbij kan er onderscheid worden gemaakt tussen kwantitatief en kwalitatieve verschillende mogelijkheden, en dus tussen univariate en multivariate informatie.

Hoe verloopt de plaatsing bij een niveauverschil?

De besliskunde is de leer die zich bezighoud met het vinden van de meest adequate beslissingsstrategieën. Hierbij spelen twee elementen een rol.

1. Allereerst wordt de kans berekend op het behalen van de verschillende alternatieven. Deze kans wordt bepaald door de correlatie tussen test en criterium.

2. Ten tweede wordt rekening gehouden met de waarden van de beslisser. Het toekennen van waarden aan de verschillende mogelijkheden is vaak erg lastig, maar noodzakelijk voor het komen tot de beste beslissing.

De besliskunde is relevant voor zowel individuele (waarde wordt door het individu bepaald en kan per persoon verschillen) als institutionele beslissingen (waarde wordt door de organisatie bepaald en is constant voor veel beslissingen).

De beste beslissing is de beslissing met het meeste rendement (E). Stel dat we beschikken over de volgende informatie:

• P(A) = de kans op het behalen van alternatief A
• P(-A) = de kans op het niet behalen van alternatief A
• W(A) = de waarde voor het behalen van alternatief A
• W(-A) = de waarde voor het niet behalen van alternatief A

Het optimale rendement (E) van de beslissing voor A is dan: E (rendement) = P(A) * W(A) + P(-A) * W(-A).

Er zijn een aantal relaties tussen het beslissingsrendement en de testprestatie:

1. Parallellie: rendementen voor twee plaatsingen nemen even snel toe, maar de ene is altijd hoger dan de andere. Er moet gekozen worden voor de hoogste.

2. Samenvallen: rendementen voor twee plaatsingen vallen samen en nemen even snel toe. Het maakt niet uit welke gekozen wordt.

3. Lineair kruisen: de rendementsfuncties snijden elkaar, als de testscore beneden een bepaald punt valt, moet gekozen worden voor de ene; als de score erboven valt, moet gekozen worden voor de ander.

4. Niet-lineair kruisen: de rendementsfuncties snijden elkaar twee keer omdat de ene niet lineair is. Het hangt van het punt op de x-as af voor welke plaatsing gekozen moet worden.

Bij 1 en 2 is de keuze voor een bepaalde plaatsing onafhankelijk van de testscore, maar bij 3 en 4 hangt het van de hoogte van de testscore af bij welke het rendement het grootst is.

In vele gevallen is dit optimale rendement echter niet haalbaar. Soms kan slechts een beperkt aantal mensen worden opgenomen in een bepaald alternatief. Omgekeerd moeten sommige functies zo snel mogelijk worden ingevuld, omdat dit anders ernstige gevolgen heeft. Aan deze twee beperkingen kan nog worden toegevoegd dat er vaak een bepaalde discrepantie bestaat tussen de waardesystemen van de verschillende partijen inzake de beslissing (bijvoorbeeld school en leerling). Deze beperkingen leiden vaak tot niet bevredigende beslissingen. Vaak wordt in zulke gevallen de beslissing op gevoel genomen. Dit is echter niet nodig. Men hoeft zich niet perse het totale rendement ten doel te stellen, maar kan ook streven naar de maximaal mogelijke winst, of naar een zo klein mogelijk verlies.

Hoe verloopt de plaatsing bij kwalitatieve verschillen?

Op zich lijkt deze beslissing erg op de hiervoor besproken beslissing: de waarde van de verschillende keuzes moet worden vastgesteld, en de kans op succes moet worden berekend, waarna het verwachte rendement volgens de gegeven formule berekend kan worden.

Het verschil zit hem in de manier van testen, dus in het berekenen van de kans op succes. Bij beslissingen tussen alternatieven met een niveauverschil kan men met één test volstaan. Wanneer alternatieven kwalitatief van elkaar verschillen, is dit niet meer mogelijk. Er moet dan gebruik worden gemaakt van twee verschillende tests, die elk zo goed mogelijk correleren met hun eigen criterium. Om goed te kunnen bepalen voor welk alternatief de kandidaat meer geschikt is, moet men zich richten op de verschillen die er bestaan tussen de criteria. Het gaat er dus om een differentiële voorspelling te doen.

Niet langer is voor de waarde van de test de correlatie met het te meten criterium van belang, maar ook de mate van de differentiële validiteit. Deze laatste vorm van validiteit wordt bepaald door de samenhang tussen de score van eigenschap X en het verschil van de twee criteriumscores (Y₁ – Y₂).

De volgende formule wordt hiervan gegeven: [9.2] (r = correlatie; S = standaardafwijking).

Uit deze formule is af te leiden dat r groter wordt naarmate het verschil tussen de correlaties r(X,Y₁) en r(X,Y₂) groter is.

Wanneer er een restrictie aan het aantal te plaatsen personen wordt verbonden, wordt de kwalitatieve plaatsing een moeilijke aangelegenheid. Men grijpt in dit soort gevallen dan ook vaak terug op irrationele, gevoelsmatige beslissingen. Soms lijken zulke beslissingen op de ‘cut en fit method’ van Ghiselli. Bij deze methode wordt eerst de kandidaat met de hoogste testscore op de voor hem meest adequate positie geplaatst. De overige kandidaten worden vervolgens verdeeld over de rest van de functies.

Soms worden er ogenschijnlijk onlogische beslissingen genomen bij keuzeproblemen. Dit heeft vaak alles te maken met het belang dat aan de verschillende functies wordt gehecht. Is functie A veel belangrijker dan functie B, dan zal men zich hoofdzakelijk richten op het zo optimaal mogelijk invullen van functie A, zonder zich erg druk te maken over de consequenties daarvoor voor functie B. Wanneer het niet veel haast heeft een vacature in te vullen, kan er zelfs besloten worden enige tijd te wachten met de hoop of het zicht op een ‘betere’ populatie.

Hoe kunnen individuele beslissingen genomen worden?

Individuele beslissingen zijn beslissingen die worden genomen voor of door individuen met een eigen persoonlijk waardesysteem, waardoor deze beslissingen een uniek karakter hebben. Ook hierbij gaat het om kansen en waarderingen. Het verschil met institutionele beslissingen is dat de evaluatie van de resultaat individueel is en per individu kan verschillen. Ook hierbij kan het om kwantitatief of kwalitatief verschillende alternatieven gaan, het onderscheid is de aard van de informatie die gebruikt wordt. Bij kwalitatief verschillende alternatieven moet die informatie een hoge differentiële validiteit hebben. Ook bij individuele beslissingen kan een rationeel beslissingsmodel gebruikt worden.

Voorbeeld 1. Een persoon moet beslissen om functie E wel of niet te accepteren. De kans op succes is 0.60 en de kans op falen is 0.40. Ook de waarde van succes of falen is belangrijk: falen is 3x zo ernstig als succes. De berekening is dan: E (rendement) = 0.60 * 1 + 0.40 * -3 = -0.60. Het verwachte rendement is negatief: hij kan de functie beter niet nemen. Maar een ander persoon, met een kleinere kans op succes, namelijk 0.45, die de functie zo graag wil dat de waarde van succes 2x zo groot is als van falen, kan de functie toch accepteren. De berekening is dan: E (rendement) = 0.45 * 2 + 0.55 * -1 = 0.35.

Voorbeeld 2. Een kwalitatieve keuze tussen technische opleiding F en commerciële opleiding G. De kans op succes in F is 0.80 en de kans op slagen in G is 0.60. De waarde voor succes voor F is 10 en de waarde voor G is 15, de negatieve waarde bij falen is te verwaarlozen. De kosten voor de studies (moeite, tijd en kosten) moeten ook gewaardeerd worden in termen die vergelijkbaar zijn met de waarde voor succes: voor F is dat 2 en voor G is dat 4. De berekeningen zijn:

• E_F (rendement F) = 0.80 * 10 – 2 = 6.
• E_G (rendement G) = 0.60 * 15 – 4 = 5.

Opleiding F heeft het grootste verwachte rendement en is de beste keuze.

Voorbeeld 3. Een schoolkeuze, waarbij in overweging genomen wordt het wel of niet halen van een diploma en de mogelijkheid dat slechts enkele klassen met succes doorlopen worden. De volgende kansen komen uit het testonderzoek:

• Havo-diploma 0.20, slechts 3 klassen 0.30 en hooguit 1 klas 0.50.
• VMBO-diploma 0.10, slechts 3 klassen 0.20 en hooguit 1 klas 0.70.

De waardering van de verschillende mogelijkheden is:

• Havo-diploma 15, 3 klassen 5, 1 klas 2.
• VMBO-diploma 10, 3 klassen 2, 1 klas 1.

Als de kostenfactor te verwaarlozen is, zijn de verwachte rendementen te berekenen:

• E_havo (rendement havo) = 0.20 * 15 + 0.30 * 5 + 0.50 * 2 = 5.5.
• E_VMBO (rendement VMBO) = 0.10 * 10 + 0.20 * 2 + 0.70 * 1 = 2.1.

De keuze voor havo is in dit geval het best.

Drie opmerkingen bij deze drie vereenvoudigde voorbeelden:

1. De exacte kansbepaling is meestal niet zo eenvoudig als hier wordt gesuggereerd.
2. Ook de waardering is niet eenvoudig, maar een psycholoog kan daar wel bij helpen.
3. Binnen een keuze moet er vaak met meer mogelijkheden, variaties en schade/kostenposten rekening worden gehouden dan in de voorbeelden.

Wat de voorbeelden wel laten zien is dat ook elementen uit het individuele beslissingsproces te analyseren zijn en dat door deze rationele aanpak de mogelijkheden en moeilijkheden duidelijker worden.

Hoe kunnen beslissingen bij open vragen genomen worden?

Tot nu toe zijn er beslissingen besproken waarbij sprake was van slechts een beperkt aantal alternatieven. Bij open vragen gaat het om een onbeperkte veelheid aan mogelijkheden. Voordat tot het beslissingsproces wordt overgaan, is het bij open vragen erg belangrijk de vraag of het probleem goed te analyseren. Soms blijkt namelijk dat het wel degelijk om een gerichte vraag gaat, of dat het probleem een heel ander gebied behelsd (bijvoorbeeld niet de psychologie maar de pedagogiek). Ook kan het zijn dat de vraag nog te vaag is om met een oplossing te kunnen komen, of dat de verwachtingen met betrekking tot de oplossing niet reëel zijn.

Het daadwerkelijke beslissingsproces kan het beste worden opgedeeld in verschillende fasen:

1. De eerste testfase heeft tot doel het grote aantal mogelijkheden in te perken tot een beperkt aantal of een gerichte aanname. Voor deze eerste fase is een test nodig die een grote aantal mogelijkheden kan bestrijken; betrouwbaarheid is in deze nog niet heel belangrijk.
2. Voor de tweede testfase is dit dat wel. Hierin moet namelijk gekomen worden tot een beslissing tussen de reeds beperkte keuzes, of tot toetsing van de gericht aanname.

Het verschil tussen de tests in de eerste en tweede fase is door Cornbach en Gleser uitgelegd met behulp van de informatietheorie. Het is een algemeen verschijnsel dat kwaliteit ten koste gaat van kwantiteit. Een test kan niet én over bandwijdte én over zuiverheid beschikken. Ook bij het informatieproces gaat het een ten koste van het ander. Wanneer langs een kanaal meerdere boodschappen tegelijk worden gezonden, zal men weliswaar meer horen (grote bandwijdte), maar zal hetgeen dat overkomt minder zuiver zijn. Stuurt men slechts één boodschap langs een kanaal, dus zal deze zeer zuiver ontvangen worden, maar is de bandwijdte erg klein.

Er bestaat dus een spanning tussen bandwijdte en zuiverheid. Voor het opstellen van een test betekent dit dat er telkens moet worden afgewogen wat meer nastrevenswaardig is. Voor sommige tests staat vooral de zuiverheid voorop (tests omtrent een definitieve conclusie en klassieke testbenaderingen, zoals intelligentietests). Voor andere is dat juist de bandwijdte (diagnostische methoden als observatietest, open-vraaginstrumenten).

Om de zuiverheid bij tests waar de bandwijdte in eerste instantie voorop staat toch enigszins te handhaven, zijn er een aantal criteria ontwikkeld:

• Het proces van afname moet goed gestandaardiseerd zijn, en het verwerkingssysteem moet in voldoende mate objectief zijn.
• De test moet genoeg items bevatten om voldoende spreiding in de testprestaties op te kunnen leveren.
• Van de relevante populaties moeten de specifieke normgegevens bekend zijn.
• De kenmerken die worden beoordeeld moeten worden opgenomen in een theorie over een psychologisch ‘construct’. Hierin worden de kenmerken geoperationaliseerd.

De brede-bandtechniek is onmisbaar (in de eerste fase) bij een open vraag. Om tot een definitieve uitspraak (tweede fase) te kunnen komen, moet er echter een gericht toetsingsonderzoek plaatsvinden.

Bij het uitvoeren van brede-bandtests voor exploratieve doeleinden is de psycholoog van grote invloed. Toch zijn er een aantal richtlijnen die een goed en efficiënt testgebruik kunnen bevorderen:

• Bij het ontwikkelen van hypothesen moet maximaal worden aangesloten bij reeds beschikbare gegevens uit de literatuur of de eigen ervaring.
• Bij het vormen van hypothesen moet altijd gebruik worden gemaakt van impliciete en expliciete theorieën. Hierbij is het belangrijk dat men zich baseert op empirisch gegronde theorieën, en dus niet op onduidelijke metafysische theorieën.
• Men moet zich niet baseren op slecht geconstrueerde projectietests, waarvan de testtechnische kwaliteit ondermaats is.

Wat kan hierover besloten worden?

Bij beslissingen over personen is de praktische waarde van de test ondergeschikt aan het belang en de waarde van deze beslissingen. Er zijn méér criteria belangrijk dat alleen de validiteit en betrouwbaarheid.