Samenvatting van Testtheorie: Inleiding in de theorie van de psychologische test en zijn toepassingen van Drenth en Sijtsma - 4e druk

De wetenschappelijke testontwikkeling kwam tot bloei in de 20e eeuw. Maar ook daarvoor werd er al aan vormen van testonderzoek gedaan. De ontwikkeling van testdiagnostiek kent grofweg vier perioden, elke periode begon met een belangrijke gebeurtenis, namelijk:

• De periode tot het verschijnen van de Binet-Simon-test.

• De periode tussen het verschijnen van de Binet-Simon-test en de Eerste Wereldoorlog.

• De periode tussen het begin van de Eerste Wereldoorlog tot de Tweede Wereldoorlog.

• De periode tussen het begin van de Tweede Wereldoorlog tot heden.

Hoe verliep de testontwikkeling tot aan de Binet-Simon-test?

1905 is een belangrijke mijlpaal voor de ontwikkeling van de testdiagnostiek; in dit jaar verscheen de eerste versie van de Binet-Simon-test – de eerste waardevolle intelligentietest. Uiteraard gingen hier een hoop ontwikkelingen aan vooraf binnen diverse disciplines:

Psychiatrie

In Frankrijk ontstond eind 18e eeuw een verhoogde interesse in de geestelijke abnormaliteit en zwakzinnigheid. Men begon krankzinnigheid en zwakzinnigheid van elkaar te onderscheiden, waarbij mensen als Esquirol, Séguin, Charcot, Janet en Binet zwakzinnigheid niet beschouwden als ziekte, maar als een gebrek aan intellectuele vaardigheden. Ook in Duitsland veranderde de visie op geestelijke abnormaliteit. In beide landen werd hier steeds meer onderzoek naar gedaan, waardoor er een behoefte ontstond aan methoden om verschillen tussen geesteszieken en verschillende niveaus in zwakzinnigheid te kunnen duiden.

Experimentele psychologie

Naast de psychiatrie, ontstond ook binnen de experimentele psychologie – voornamelijk beoefend in Duitsland – een toegenomen interesse in geestelijke abnormaliteit en onderzoek hiernaar. De experimentele psychologie had door haar manier van onderzoek doen (namelijk controle en exacte beschrijving) veel invloed op de testtheorie. Met de oprichting van zijn experimentele laboratorium in Leipzig, luidde Wundt in 1879 het begin in van systematisch grootschalig experimenteel onderzoek. Naast een stimulerende werking, had het ook een remmende werking omdat met zich aanvankelijk vooral richtte op generaliseerbaarheid, waardoor afwijkingen en individuele verschillen werden toegeschreven aan experimenteerfouten. En daarnaast beperkte het onderzoek zich tot primaire sensorische en motorische functies. Later, met de publicatie van een artikel van Cattell in het tijdschrift Mind in 1890, kwam er meer aandacht voor individuele verschillen. In 1893 werd er binnen de American Psychological Association (APA) een commissie ingesteld met als taak tests te registreren en de gebruiksmogelijkheden van deze tests te formuleren.

Genetica

Een derde ontwikkelingslijn die van invloed is geweest op testontwikkeling, is de genetica, wat men name invloed had op de statistische kant van het testonderzoek. Darwin kaartte het probleem aan van de erfelijkheid van lichamelijke eigenschappen. Eind 19e eeuw verrichtte Galton diverse antropometrische onderzoekingen die gekenmerkt werden door drie elementen, die later een pijler van het wetenschappelijk testonderzoek zouden gaan vormen, namelijk:

1. De wenselijkheid van het onderzoek naar individuele verschillen.
2. De noodzaak van systematisering van onderzoekstechnieken (om resultaten te kunnen vergelijken en conclusies te kunnen generaliseren).
3. Normatief denken: het weergeven van onderzoeksresultaten in statistische termen. Pearson was hierdoor geïnspireerd en heeft veel betekend voor de statistiek en testpsychologie (correlatiecoëfficiënt, rangcorrelatie, multiple correlatie, factoranalyse etc.).

Deze eerste periode werd dus gekenmerkt door de behoefte van de psychiatrie aan diagnosemogelijkheden, de traditie van de experimentele psychologie met betrekking tot gestandaardiseerde onderzoeksprocedures en de interesse van de genetica in de verschillen tussen mensen. Maar er was nog geen psychologisch testen op grote schaal, het was theoretisch gericht en onderzoeksresultaten werden weinig toegepast. Dat is grotendeels te verklaren door de keuze voornamelijk de psychofysische functies te meten (sensorisch, motorisch en geheugenprocessen), maar geen onderzoek te doen naar complexe intelligentiefuncties.

Hoe verliep de periode tussen het verschijnen van de Binet-Simon-test tot de Eerste Wereldoorlog?

In 1905 verscheen de eerste intelligentietest – ontwikkeld door Binet en Simon – die ook echt een praktische functie had. Hij moest onderzoek doen naar de mogelijkheid om op scholen onderscheid te kunnen maken tussen luie en incapabele kinderen – tussen kinderen die niet konden en kinderen die niet wilden. Samen met medewerker Simon maakte hij 30 opgaven die een steekproef vormden van de verschillende opgaven die kinderen op school en in het dagelijks leven tegenkwamen. De opgaven waren voornamelijk verbaal, met variërende problemen, getest op 50 normale en enkele zwakzinnige kinderen en werden in volgorde van moeilijkheid aangeboden. Binet’s benadering was om drie redenen vernieuwend:

1. Hij legde het accent op complexe mentale processen – zoals begrip, geheugen, probleemoplossend vermogen en verbeeldingskracht – in plaats van eenvoudige mentale processen.
2. Daarnaast had hij een empirisch uitgangspunt; ideeën, omgezet in testopgaven, werden empirisch getoetst, waarna niet functionele opgaven werden aangepast of verwijderd.
3. Ten slotte kwam hij met het voorstel een totaalscore te gebruiken als weergave van het intelligentieniveau.

Binet introduceerde verder het begrip ‘mentale leeftijd’, waardoor een praktische indicatie kon worden verkregen van het intelligentieniveau. De test werd in verschillende landen vertaald en/of aangepast. Hoewel het werk van Binet in praktisch opzicht veel betekend heeft, was dit in theoretisch opzicht aanzienlijk minder het geval. Zo ontbrak er een theorie over de samenstellende elementen van intelligentie.

Spearman heeft hier onderzoek naar gedaan en formuleerde aan de hand van dit onderzoek de twee-factorentheorie waarbij hij stelde dat er in alle tests twee intelligentiefactoren een rol speelden; een algemene (g-)factor en een specifieke (s-)factor. Intelligentie was volgens hem de g-factor die uit een serie intelligentietests (zoals die van Binet) gehaald kan worden.

Hoewel de intelligentiemeting grote vooruitgang boekte in deze periode, werd nog niet op grote schaal getest en ook van valideringsonderzoek was er nog geen sprake.

Hoe verliep de testontwikkeling tussen het begin van de Eerste Wereldoorlog en de Tweede Wereldoorlog?

De testontwikkeling kwam door het uitbreken van de Eerste Wereldoorlog in een stroomversnelling. De psychologie werd voor het eerst regelmatig in de praktijk toegepast en de testpsychologie kreeg een steeds grotere rol bij de beslissingsproblematiek van selectie en plaatsing met betrekking tot functies en opleidingen. Dat was in Europa de aanleiding tot de erkenning van de psychologische test als beslissingsinstrument. In 1917, toen ook de Verenigde Staten bij de oorlog betrokken raakte, kwam de echte doorbraak. Er ontstond een noodzaak om snel en efficiënt te testen. Dit vormde het begin van de ontwikkeling van de groepsgewijs af te nemen schriftelijke test, waarvan de Army Alpha de eerste was (een schriftelijke test waarmee men in korte tijd het intelligentieniveau van grote groepen kon bepalen).

Na de Eerste Wereldoorlog ontstond er een verschil in testontwikkeling in Amerika en Europa. In Europa – destijds gedomineerd door de Gestaltpsychologie, fenomenologie en personalisme – lag het accent vooral op de individuele diagnostiek. Met name de individuele observatietest werd uiterst populair.

In Amerika – destijds gedomineerd door behaviorisme en positivisme – kregen met name de kwantitatief verwerkbare groepstests veel aanhang. Door een toenemend aantal immigranten uit vele landen van herkomst ontstond er een behoefte aan minder taal- en cultuurafhankelijke tests. In 1917 werd een volledig non-verbale intelligentietest gepubliceerd. In 1918 volgde de Army Bèta (een test die géén beroep deed op taalkennis of verbale vaardigheden). Maar de betrouwbaarheid van non-verbale tests was kleiner dan die van verbale tests. Ondanks de aandacht voor groepstests, werden in de VS ook veel individuele testbatterijen ontwikkeld, waarvan de Terman Merrill en de Wechsler series wellicht de belangrijkste waren.

Engeland bevond zich meer in een tussenpositie tussen Europa en de VS. Hoewel de ontwikkeling van groepstest geen grote bloei doormaakte zoals de VS die doormaakte, was er, net als in de VS en in tegenstelling tot andere Europese landen, wel veel aandacht voor de objectieve evaluatie van schoolprestaties. ‘Vrije-antwoordenexamens’ maakten plaats voor examens met meerkeuzevragen. In 1939 werd Raven’s Progressive Matrices ontwikkeld; een meerkeuze-intelligentietest met reeksen patronen met een stijgende moeilijkheidsgraad.

Hoewel er tijdens deze periode vaak geen theorieën ten grondslag lagen aan het gebruik van diverse tests, stimuleerde Thurstone (1931) wel de kritische evaluatie van de test zelf. Zo moesten testresultaten volgens hem betrouwbare testscores opleveren en diende de relatie tussen test en criterium al voor het toepassen van de test te zijn aangetoond. Dankzij deze opvattingen kreeg de statistiek een belangrijke rol in de testpsychologie. Ook begon men het begrip intelligentie in deze periode breder op te vatten; naast de algemene en specifieke factoren, werden door diverse onderzoekers – waaronder Thurstone – de groepsfactoren geïntroduceerd (verbal comprehension, word fluency, number facility, spacial visualization, associative memory, perceptual speed, reasoning).

Verder ontstond er gedurende deze periode aandacht voor de ontwikkeling van persoonlijkheidstests, waaronder observatietests (met name in West-Europa populair), persoonlijkheidsvragenlijsten en projectietests.

Samenvatting van de ontwikkelingen van testtheorie en testgebruik tussen beide wereldoorlogen:

1. Ontwikkelingen en gebruik namen stormachtig toe, maar de theoretische en methodologische verantwoording bleef vaak gebrekkig of achterwege.
2. Er waren accentverschillen tussen Europa en de VS:
   • Verenigde Staten: het bepalen van de kansen van de persoon op een positief resultaat in de te voorspellen situatie stond daar centraal. Tests werden gebruikt om te bepalen tot welke ‘klasse’ iemand behoorde, ook wel de actuarische methode genoemd (wordt ook gebruikt bij bepalen van kansen bij verzekeringsrisico’s).
   • Europa: een meer fenomenologische of intuïtieve methode stond daar centraal; het accent lag op de totaliteit van de persoon, diens beleven, structuur en dynamiek. Tests hadden er meer een ondergeschikte rol en conclusies waren niet kwantitatief (in kansen), maar een beschrijvende analyse.

Hoe verliep de testontwikkeling vanaf het begin van de Tweede Wereldoorlog tot nu?

Welke ontwikkelingen waren er in de Verenigde Staten?

De testontwikkeling bloeide tijdens en na de Tweede Wereldoorlog. Door de grote en belangrijke keurings- en selectiediensten van de krijgsmacht, ging zij op het gebied van selectie, testontwikkeling en psychiatrisch-medische keuringen samenwerken met psychologen. Hierdoor nam niet alleen het aantal selectie- en diagnostische tests toe, maar ontstond er ook een sterke professionalisering van het beleid en werden de psychologische principes van testonderzoek meer constructiever en kritischer.

In 1947 werd de Educational Testing Service (ETS) opgericht, met als doel tegemoet te komen aan de behoeften van het Amerikaanse onderwijs- en opleidingsveld op het gebied van de toelating tot en evaluatie van het onderwijs. Zeer belangrijk hierbij was dat het beleid binnen de ETS niet alleen de focus legde op toegepast onderzoek en testconstructie, maar ook gericht was op fundamenteel psychometrisch onderzoek.

De communicatie over tests, testonderzoek en de psychometrie verliep via vele wetenschappelijke en vaktijdschriften en (hand)boeken, zowel op inleidend niveau, als op gespecialiseerd niveau. Binnen het terrein van de selectiepsychologie stond, vooral in de jaren na de Tweede Wereldoorlog, de testtheorie centraal. Aanvankelijk werd, onder andere door Thorndike, selectie vooral gezien als toegepaste testpsychologie. Later werd dit, onder andere door Cronbach, meer beschouwd als een beslissingssituatie. Verder zijn veel belangrijke invloeden uitgegaan van het boek Technical recommendations for psychological tests and diagnostic technieques, gepubliceerd in 1954 door een Testcommissie van de APA. Ook het onderwijskundig meten en de schaaltheorie hadden een belangrijke invloed op de testtheorie en de acceptatie van testtheoretische principes.

Al met al vond er in de Verenigde Staten dus een sterke groei van het aantal tests plaats – waarbij ook de computer een grote rol heeft gehad, wat gepaard ging met grondige bezinning op de theoretische basis.

Welke ontwikkelingen waren er in Europa, met name Nederland?

De testontwikkeling in Europa verliep minder snel. Pas vanaf de jaren ‘60/70 begon de ontwikkeling van de testtheorie en –constructie tot bloei te komen. De boeken van o.a. Rasch (1960) en Fischer (1974) en diverse wetenschappelijke en vaktijdschriften hebben hierbij een grote rol gespeeld.

In Nederland werd de testontwikkeling in de jaren ‘40/50 zeer gekenmerkt – en zelfs beperkt – door de oriëntatie van de psychologie op de intuïtie van de psycholoog, wat een objectieve en kwantitatieve benadering in de weg stond. Stimulering van testgebruik en de algemene ontwikkeling van de Nederlandse psychologie naar het Amerikaanse model werd eind jaren ’50 vooral in gang gezet door psychologen als Kouwer, De Groot, Van de Geer en Van der Giessen. In 1959 werd door het Nederlands Instituut van Psychologen (NIP) een Test Research Commissie (tegenwoordig Commissie Testaangelegenheden Nederland, COTAN) ingesteld. Deze commissie had als doel de communicatie tussen psychologen te verbeteren en het testonderzoek te bevorderen.

Verder werden tijdens deze periode in Nederland schoolvorderingstests ontwikkeld, welke in Engeland en de VS al zeer veel werden gebruikt. In Nederland deed de testtheorie pas in de jaren ’70 haar intrede bij de beoordeling van school- en opleidingsprestaties. De Groot stelde voor een landelijk centraal instituut voor toetsontwikkeling op te richtten en hierbij het model van de Amerikaanse ETS aan te houden. Dit voorstel werd gerealiseerd in de vorm van de oprichting van het Centraal Instituut voor ToetsOntwikkeling (CITO).

In 1987 werd het IOPS – Interuniversitair Onderzoeksinstituut voor Psychometrie en Sociometrie opgericht; voor het bundelen van promotieonderzoek

De testindeling die in het volgende hoofdstuk gemaakt is, beoogt twee doelen te bereiken:

1. De lezer een systematisch overzicht geven van beschikbare tests en testmethodieken.

2. Veelgebruikte begrippen op een samenhangende wijze introduceren en behandelen.

Tests kunnen op twee verschillende manieren ingedeeld worden. De indeling naar testgedrag is de belangrijkste indeling. De tweede indeling is op basis van de verschillende manieren van testinstructie en -afname. Er is ook nog een derde indeling mogelijk; indelen op basis van het soort testvragen waar de test uit bestaat. Hier wordt in hoofdstuk 4 verder op ingegaan.

Hoe kunnen tests ingedeeld worden op basis van testgedrag?

Bijna alle overzichten gaan uit van de indeling van tests naar testgedrag. Er zijn echter ook andere indelingen mogelijk, zo stelt Visser een indeling voor op basis van het gebruiksdoel of de meetpretentie. Een groot bezwaar tegen dit voorstel is dat in verschillende gebruikssituaties er geheel verschillende meetpretenties (doelen) aan de orde zijn. En bovendien is dit niet de meest gangbare en internationale indeling. Indeling op basis van gedrag heeft echter ook nadelen; het aangeven in welke categorie een psychologische eigenschap thuishoort is niet altijd ondubbelzinnig.

Bij het uitgaan van testgedrag wordt er onderscheid gemaakt tussen tests voor prestatieniveau en tests voor gedragswijze. Bij de eerste gaat het om de maximale prestatie van de onderzochte persoon, het is duidelijk wat goed en wat fout is. Bij de laatste is niet van tevoren bekend wat goed en wat fout is, de maximale prestatie wordt niet verkregen door de prestatie op de test; het is belangrijk hoe iemand iets doet en op welke wijze de prestatie of reactie plaatsvindt.

Welk onderscheid is er te maken bij tests voor prestatieniveau?

Bij de tests voor prestatieniveau zijn vier tests te onderscheiden, namelijk:

1. Enkelvoudige algemene niveautests.
2. Veelvoudige algemene niveautests.
3. Speciale niveautests.
4. Vorderingstests.

1. Enkelvoudige algemene niveautests

Enkelvoudige algemene niveautests zijn de grootste en belangrijkste tests. Bij deze tests gaat het om een niveaubepaling van de intelligentie; het gaat dus niet om de verschillende intelligentiegebieden. Er zijn drie enkelvoudige algemene niveautests. De eerste twee zijn individuele tests en de derde is een groepstest:

1. Individuele intelligentietests voor volwassenen: Het intelligentieniveau wordt vastgesteld nadat intelligentie min of meer als volgroeid mag worden beschouwd (vanaf 15 à 17 jaar). Voorbeelden zijn de WAIS, GIT en Terman-Merrill. Deze tests hebben intelligentienormen voor alle leeftijd, inclusief de ouderdom.

2. Individuele ontwikkelingstests voor kinderen: Het doel van deze tests is het meten van de intelligentie tijdens de ontwikkeling. De intelligentiescore van het kind wordt vergeleken met de testprestaties van leeftijdsgenoten. Soms wordt het vergeleken met de chronologische leeftijd om te bepalen hoe snel of hoe langzaam de intelligentie-ontwikkeling heeft plaatsgevonden. Voorbeelden zijn de WISC-R en Rakit.

3. Algemene collectieve intelligentietests: Deze tests gebeuren vaak schriftelijk en groepsgewijs. Ze zijn breed en gevarieerd samengesteld. Er zijn collectieve intelligentietests voor volwassenen en voor kinderen, en collectieve non-verbale intelligentietests. Deze laatste hebben meestal niet een maximale brede samenstelling, omdat er geen verbaal materiaal gebruikt wordt. Ze zijn nuttig bij het testen van niet-geletterden en bij populaties met een verschillende culturele en taalkundige achtergrond.

2. Veelvoudige algemene niveautests

Bij veelvoudige algemene niveautests is differentiatie wel belangrijk. Een verschil met bovenstaande tests is dat deze tests afzonderlijk gezien voldoende betrouwbaar zijn en onderling voldoende afhankelijk zijn. Er zijn twee categorieën van veelvoudige algemene niveautests:

1. Testbatterijen voor intelligentiefactoren: De verschillende items in een test worden samengevoegd tot enkele factoren. De meest bekende factoren zijn die van Thurnstone (Verbal, Number, Spatial, Word fluency, Memory, Reasoning). De PMA, een testbatterij samengesteld door Thurstone, probeert deze factoren 'zuiver' te meten. Een voorbeeld in Nederland is de testserie voor 'hoger niveau' van Drenth. Een alternatief voor de factoren van Thurnstone is het factoranalytische systeem van Guilford. Hij leidde uit de praktijk een aantal factoren af en noemde het de 'structure of intellect theory'.

2. Testbatterijen voor geschiktheid oftewel 'multiple aptitude' tests: Het gaat om het meten van vermogens waarmee iemand zich voor een maatschappelijke taak of schoolopleidingseisen kan bekwamen (geschiktheden). Eigenlijk gaat het om leergeschiktheid. Leerfactoren kunnen soms hetzelfde, maar ook iets heel anders zijn dan intelligentiefactoren, zoals bijvoorbeeld motorische vaardigheden. Voorbeelden van dergelijke tests zijn de leerpotentiaaltests, DAT (Differential Aptitude Testbattery) en GATB (General Aptitude Test Battery).

3. Speciale niveautests

Speciale niveautests richten zich op een bepaald segment van begaafdheid, bijvoorbeeld een intelligentie-aspect, geschiktheid of een vaardigheid. Ze vallen vaak niet onder intelligentie maar ze zijn wel belangrijk. Er zijn drie categorieën van speciale niveautests:

1. Tests voor speciale intelligentiefactoren: Dit kunnen bijvoorbeeld tests zijn die zich alleen richten op ruimtelijk inzicht, woordkennis etc. Op basis van de theorie van Guilford komen we tot drie gebieden. De eerste is die van het divergent denken (creativiteit). De onderzochte moet oplossingen bedenken voor een probleem waarvoor er vele oplossingen mogelijk zijn. De antwoorden worden aan de hand van drie criteria beoordeeld; hoeveelheid oplossingen, aantal verschillende principes en originaliteit. Het tweede gebied is die van de behavorial-dimensie (sociale intelligentie). Uit onderzoek blijkt dat het moeilijk te onderscheiden is van andere intelligentiefactoren. Het laatste gebied is kritisch denken. Ook dit is moeilijk te onderscheiden. Eigenlijk is de vraag of iets wel of niet onder intelligentie valt afhankelijk van de definitie die je aanhoudt.

2. Tests voor speciale geschiktheden oftewel 'special aptitude tests': Er zijn twee soorten, de eerste soort zijn tests voor leergeschiktheden die zich richten op leercondities bijvoorbeeld geheugentests, tempotests en concentratietests. Bijvoorbeeld de Bourdon-Wiersma test, Grünbaumtest en het onderdeel ‘snelheid en nauwkeurigheid uit de DAT. Ook tests die gericht zijn op specifieke leergeschiktheden vallen hieronder. De tweede soort zijn tests voor werkgeschiktheid die zich richten op typische vaardigheden die nodig zijn voor maatschappelijke functies, bijvoorbeeld geschiktheid als piloot of chauffeur.

3. Tests voor speciale niet-intelligentiefactoren: Deze tests richten zich op vaardigheden of capaciteiten die belangrijk zijn voor een maatschappelijke functie of klinische diagnostiek. Er zijn drie soorten, namelijk (1) motoriektests (tests voor reactiesnelheden, lichaamsbeheersing en coördinatie; het gaat hierbij om de beeldvorming van de motoriek), (2) artistieke tests (men probeert een esthetisch oordeel te geven) en (3) sensorische tests (waarbij het gaat om gehoorscherpte, diepte zien, etc., het gaat hierbij om de beeldvorming van sensorische vaardigheden).

4. Vorderingstests

De cruciale vraag bij een vorderingstest is of iemand het doel van een opleiding heeft bereikt. Let wel: vorderingstests zijn niet hetzelfde als kennistests, want het doel van een opleiding is vaak niet alleen het verkrijgen van kennis. Er zijn twee soorten vorderingstests:

1. Achievement test: dit is een kennistest die meer specifiek gericht is op schoolvorderingen. Bijvoorbeeld de CITO-toets.
2. Proficiency test: dit is een vaardigheidstest die meer algemeen gericht is op vaardigheden buiten de cognitieve sfeer en kennis.

In Nederland lijken proefwerk en schriftelijk examen het meest op de kennistest. Er is een vloeiende overgang tussen de kennistest en de vaardigheidstest. Strikt genomen zijn ‘begrijpend lezen’, ‘begrijpend luisteren’ en ‘rekenvaardigheid’ ook vaardigheidstests.

Welk onderscheid is er te maken bij tests voor gedragswijze?

Het prestatievermogen bepalen is makkelijker dan het bepalen van gedragswijze. Er zijn drie problemen bij het bepalen van gedragswijze:

1. Minder generaliseerbaarheid: Metingen van prestatieniveau zijn eenvoudig generaliseerbaar naar het praktische functioneren, maar gedrag in een testsituatie is niet altijd hetzelfde als gedrag in het dagelijks leven.

2. Geen objectief criterium: Er is geen objectief criterium waarmee testprestaties kunnen worden vergeleken, dus er is sprake van weinig objectiviteit en betrouwbaarheid bij het vergelijken van testprestaties.

3. Minder stabiliteit van persoonlijkheidstrekken: Persoonlijkheidstrekken zijn vaak minder stabiel en kunnen per situatie verschillen en hebben een minder gelijkmatige invloed op gedrag.

Maar onderzoek naar persoonlijkheid is praktisch en psychologisch wel van belang en er zijn veel testen om de persoonlijkheid te meten. Er zijn vier verschillende test voor gedragswijze, die zullen hieronder worden besproken, namelijk (1) observatietests, (2) somato-fysiologische tests, (3) zelfbeoordelingen en (4) kwalitatieve prestatietests.

1. Observatietests

In vergelijking met andere tests voor gedragswijze is een observatietest een indirecte test omdat het om observaties en interpretaties van de psycholoog gaat. Er zijn twee soorten observatietests:

1. Individuele observatietests: Een persoon wordt geobserveerd. Er wordt gelet op werkgedrag, houding, mimiek, uiterlijk gedrag en sociaal contact. De observator kan neutraal of geheel betrokken zijn. Meestal weet de onderzochte dat hij/zij geobserveerd wordt. Bij het gebruik van een one-way screen hoeft dat niet het geval te zijn.

2. Groepsobservatietests: Een groep mensen dat gezamenlijk aan een opdracht bezig is, wordt geobserveerd. Dit soort tests komen voor in zogenaamde ‘assessment centers’ voor de selectie van managers. Een andere vorm is een vorm waarbij deelnemers elkaar beoordelen en de psycholoog de beoordelingen verder verwerkt. Dit noemt men ‘peer rating’ of ‘buddy rating’. Een voorbeeld is een sociogram: ieder groepslid moet aangeven wie sympathiek is, wie leider is etc. Op basis van deze keuzes wordt een patroon van relaties in de interacties zichtbaar.

2. Somato-fysiologische methoden

Men gaat er vanuit dat er een verband is tussen fysieke/fysiologische aspecten en gedragskenmerken. Door middel van metingen van lichamelijke kenmerken of processen probeert men uitspraken te doen over de psychologische kwaliteiten van de onderzochte. Er zijn twee soorten methoden.

1. Morfologisch onderzoek: Met behulp van somatische kenmerken (hele lichaam, hoofd of gezicht) probeert men iets te zeggen over persoonlijkheidskenmerken. De validiteit is erg laag.

2. Fysiologisch onderzoek: Voorbeelden van fysiologisch onderzoek zijn: biochemische indices, elektro-encefalogram (EEG), elektrocardiogram, bloeddruk en bloedvolume, oogbewegingen, oogposities en pupildiameter, elektrodermale verschijnselen. Deze fysiologische maten blijken een verband te hebben met psychologische variabelen die belangrijk zijn voor het persoonlijkheidsonderzoek. Sommige verbanden zijn empirisch vastgesteld, maar onverklaard. Soms zijn er theoretische verklaringen gegeven. Ontwikkelingen hierin worden steeds belangrijker voor gedragsdiagnostiek.

3. Zelfbeoordelingen

Zelfbeoordelingen worden meestal afgenomen in de vorm van vragenlijsten. Ze zijn lang gewantrouwd omdat ze niet echt objectief zouden zijn. Een andere vorm is via empirisch onderzoek, er wordt dan gekeken of er een bepaald patroon is in de wijze van beantwoorden. Op basis daarvan kan men een psychologische interpretatie geven aan elke vraag. Deze methode levert meer valide conclusies op. Uit theoretische onderzoeken uit praktijkervaring blijkt de zelfbeoordeling toch een waardevolle methode te zijn. Er zijn vier soorten zelfbeoordelingen:

1. Interessetests: Deze tests hebben betrekking op interesses en kunnen gebruikt worden bij het bepalen van school- of beroepskeuzes.

2. Waarde- en attitudetests: Deze tests onderzoeken waarden en attitudes (houdingen). Bijvoorbeeld de California-F-Scale geeft aan in hoeverre iemand dogmatisch, conservatief en bevooroordeeld staat tegenover de politiek, cultuur en sociale factoren. Of de Schaal voor Interpersoonlijke Waarden, die meet zes waarden, namelijk sociale steun, erkenning, altruïsme, conformiteit, onafhankelijkheid en leiderschap.

3. Biografische vragenlijsten: ​​Dit zijn systematische schriftelijke anamneses, oftewel vragenlijsten over biografische gegevens. De te voorspellen criteria zijn vaak specifiek, en het aantal biografische gegevens is groot en complex. Daarom wordt hiervoor meestal een specifieke vragenlijst gemaakt.

4. Persoonlijkheidsvragenlijsten: Het gaat hier om persoonlijkheidstrekken, zoals neuroticisme, extraversie enzovoort. De proefpersoon krijgt eenvoudige vragen die met deze persoonlijkheidstrekken samenhangen. Uitgaande van persoonlijkheidsvragenlijsten zijn er drie soorten constructies:

   • Zuiver empirisch samengestelde vragenlijsten op basis van hun relatie met een relevant geacht criterium. Bijvoorbeeld de PMT meet één trek; de MMPI meet een aantal trekken;

   • Via factoranalyse of clusteranalyse. De items worden samengesteld uit een groot aantal persoonlijkheidstests. Bijvoorbeeld 16PF en GZTS;

   • Vanuit een theorie over persoonlijkheid of temperament. Bijvoorbeeld de Amsterdamse Biografische Vragenlijst, de NEO-PI-R of de NEO-FFI.

Er zijn ook zelfbeoordelingsmethoden die anders werken dan met vragenlijsten. Enkele voorbeelden zijn:

1. De Osgoodschalen of de methode van de semantische differentiaal: De proefpersoon moet een aantal objecten, gebeurtenissen of een serie eigenschappen beoordelen op een aantal bipolaire dimensies, zoals mooi/lelijk, sterk/zwak of glad/ruw. Door factoranalyse kwamen de onderzoekers tot drie significante dimensies waarop de antwoorden van de proefpersonen gescoord kunnen worden. Deze zijn: evaluatie (goed/slecht), activiteit (actief/passief) en potentie (sterk/zwak). Deze dimensies bleken niet sterk cultuurgebonden te zijn. Door de beoordelingen van de respondenten over te brengen op deze 3 dimensies, krijgt men een indruk van hun beleving van bepaalde verschijnselen (zoals huwelijk, liefde, rechtvaardigheid, hun beroep of zichzelf).

2. De Role Construct Repertoire van Kelly (de Rep-test): De proefpersonen beoordelen zichzelf, hun leraar, vader of andere relevante personen op een checklist met adjectiva over persoonlijkheidsontwikkeling. Op deze manier ontstaan constructen over de persoonlijkheid.

3. Q-technique of Q-sort: Iemand wordt gevraagd een serie uitspraken te sorteren op basis van de gelijkenis met bijvoorbeeld zichzelf (‘self-sort’), het ideaal (‘ideal-sort’) of de gemiddelde mens (‘average-sort’). Niet alleen de absolute scores, maar ook de afwijkingsscores worden geïnterpreteerd, want die blijken diagnostische betekenis te hebben. Bijvoorbeeld de discrepantie tussen het ideale zelfbeeld en het waargenomen zelfbeeld.

4. Kwalitatieve prestatietests

Bij kwalitatieve prestatietests wordt het resultaat (prestatie) van de onderzochte anders beoordeeld of geïnterpreteerd; namelijk als een indicatie voor een persoonlijkheidstrek of een klinisch syndroom. De onderzochte weet niet wat de bedoeling is van de test. Er zijn twee soorten kwalitatieve prestatietests:

1. Niveautests voor gedragswijze

De prestatie wordt beoordeeld aan de hand van een duidelijke norm voor wat goed of fout is. Men gaat er vanuit dat de score samenhangt met een persoonlijkheidstrek of met een klinisch diagnostische categorie. Bovendien gaat het in eerste instantie niet om een capaciteit of vaardigheid. Er zijn vijf categorieën niveautests voor gedragswijze (gebaseerd op de aard van de opdracht):

1. Experimentele tests: Onderzoeksresultaten uit het laboratorium blijken bruikbaar te zijn voor persoonlijkheidsdiagnostiek.

2. Motoriektests: Motorische verschijnselen vertonen samenhang met persoonlijkheidsaspecten, zoals bijvoorbeeld coördinatieproeven.

3. Intelligentietests: De totaalscore wordt gebruikt voor klinische- of persoonlijkheidsdiagnostiek. Bijvoorbeeld de intelligentietests voor de diagnostiek van disfuncties in de hersenen en hersenbeschadigingen, zoals de Bender Gestalt Test.

4. Karaktertests: Proberen het karakter, de zedelijke aspecten of de wilskracht te meten. Bijvoorbeeld de volhardingstests. De tests zijn vaak onbetrouwbaar en afhankelijk van de specifieke tijd in de geschiedenis en het ‘zedelijk klimaat’.

5. Cognitieve of perceptuele stijlen: Een cognitieve stijl is de manier waarop iemand informatie organiseert en bij een perceptuele stijl gaat het om waarnemingsgegevens, die subjectief worden opgenomen en verwerkt. Voorbeelden zijn: RFT (Rod and Frame Test), EFT (Embedded Figures Test) en BAT (Body Adjustment Test).

2. Projectietests

Vaak ambigue opdrachten waarop een persoon vrij mag reageren. In zijn reactie laat de persoon iets zien van zijn motieven. De psycholoog gebruikt coderings- en interpretatiecategorieën gebaseerd op kwalitatieve kenmerken van de reacties op de testopgaven. Er zijn zes categorieën projectietests of projectieve methoden.

1. Perceptietests: De onderzochte reageert op ongestructureerde (inkt)vlekken, elke zingeving en duiding wordt door de psycholoog geïnterpreteerd. Bijvoorbeeld de Rorschachtest of Holtzman Inkblot Test.

2. Interpretatietests: Men moet vanuit persoonlijke interpretatie de afgebeelde situatie interpreteren of met elkaar in verband brengen. Bijvoorbeeld de Thematic Apperception Test (TAT) of de Vier-Platen-Test.

3. Expressietests:Bijvoorbeeld de boomtest of de grafologie.

4. Constructietests: Ook wel speeltests, bijvoorbeeld de Scenotest.

5. Associatietests: Bijvoorbeeld de zinaanvullingstest of de frustratietest.

6. Keuzetests: Bijvoorbeeld de Szonditest.

Wat zijn voorbeelden van tests en voldoen ze aan de zes kenmerken van tests?

RAKIT – algemene intelligentie (revisie Amsterdamse KinderIntelligentieTest)

De test bestaat uit 12 deeltests die samen de algemene intelligentie meten van kinderen van 4-11 jaar. De test heeft een lange en een korte versie (voor een gedifferentieerd beeld of een globale indruk), en sluit aan bij Thurstone (zeven intelligentiefactoren) en Guilford (drie dimensies). Wordt door COTAN beoordeeld als een goede test.

De test voldoet aan de zes kenmerken van een test (zie H2) waardoor deze onderscheiden wordt van het voorwetenschappelijk oordeel:

1. Efficiëntie: door het groot aantal gevarieerde taken kan in relatief korte tijd een vrij volledig beeld gekregen worden van het complexe intelligentiebegrip. Observatie ‘in vivo’ zou veel meer tijd kosten.

2. Standaardisatie: de test wordt individueel voorgelegd en duurt 2-2,5 uur. Heeft zeer gedetailleerde richtlijnen voor de proefleider, de handleiding bevat veel aanwijzingen over de procedure en gedetailleerde instructies per deeltest. Er wordt nadrukkelijk genoemd dat zich niet houden aan de aanwijzingen de testprestaties nadelig kan beïnvloeden.

3. Normering: genormeerd op basis van zeven leeftijdsgroepen (4,5-11 jaar) van duizenden proefpersonen. Groepen zijn samengesteld op basis van regio, urbanisatiegraad, schoolgrootte, leeftijd en sekse. De ruwe testscores zijn omgezet naar een goed te interpreteren schaal. En er is een samenvattende score van de algemene intelligentie beschikbaar.

4. Objectiviteit: over het algemeen objectief, maar soms ook een subjectieve beoordeling. De uiteindelijke testscore wordt verkregen met een goed omschreven (maar complexe) scoringsprocedure. Er kan niet worden uitgesloten dat verschillende beoordelaars tot verschillende scores komen.

5. Betrouwbaarheid: de betrouwbaarheid is gegeven voor drie leeftijdsgroepen – wat voor de ene leeftijd betrouwbaar is, hoeft namelijk niet voor de andere leeftijd betrouwbaar te zijn. De deeltests zijn in alle leeftijdsgroepen redelijk tot voldoende betrouwbaar, de totaalscore is zelfs zeer betrouwbaar.

6. Validiteit: de samenhang van de deeltests met externe variabelen is onderzocht om de betekenis vast te stellen. Vastgesteld kan worden dat de RAKIT een aantal relevante criteria (CITO-scores, vervolgonderwijs) behoorlijk goed kan voorspellen.

Test voor transitief redeneren – specifieke test (computertest Bouwmeester)

Transitief redeneren is op basis van voorgaande kennis (premissen) een antwoord op een probleem af te leiden. Het kunnen afleiden van transitieve relaties is belangrijk voor het onderwijs en dagelijks leven bij het nemen van rationele beslissingen (bijvoorbeeld bepalen in welke winkel een bepaald product het goedkoopst is). De test bestaat uit 16 taken (via de computer); per taak krijgt men eerst de premissen te zien, waarbij het kind bijvoorbeeld moet aangeven welke stok het langst is. Daarna wordt gevraagd naar de relatie tussen twee stokken die nog niet als premissenpaar zijn gegeven, maar die wel af te leiden is uit de premissen.

Voldoet de test voor transitief redeneren aan de zes kenmerken van een test?

1. Efficiëntie: diverse relevante aspecten van transitief redeneren komen in korte tijd aan bod.

2. Standaardisatie: het kan afgenomen worden door een getrainde proefleider aan individuele kinderen; de kinderen krijgen uitleg en proeftaken. De proefleider reageert op vragen op een vooraf goed doordachte manier – zonder het oplossingsproces te sturen. Testtijd is ongeveer een half uur (varieert per leeftijd).

3. Normering: het wordt alleen in wetenschappelijk onderzoek gebruikt. Er zijn geen normen voor individuele diagnostiek beschikbaar.

4. Objectiviteit: de reacties worden via de computer geregistreerd, de uitleg is gestandaardiseerd. De objectiviteit was voldoende hoog.

5. Betrouwbaarheid: betrouwbaarheid van de somscore op de items was ook voldoende hoog.

6. Validiteit: volgens Piaget zijn er twee vaardigheden voor transitief redeneren, maar volgens Bouwmeester is er maar één (hooguit daarnaast nog verbale vaardigheid voor de verbale taken). De onderzoeken van Bouwmeester geven nauwkeurig weer wat de test meet.

NEO – meting van de Big-Five persoonlijkheidsstructuur

Deze test meet vijf dominante persoonlijkheidskenmerken:

1. Neuroticisme: emotionele labiliteit versus emotionele stabiliteit: angst speelt een dominante rol.

2. Extraversie: extraversie versus introversie: naar binnen of naar buiten gerichte energie, aandacht en oriëntatie.

3. Openheid: openstaan voor ervaringen versus conventionaliteit en geslotenheid: intellectuele nieuwsgierigheid, voorkeur voor variatie en esthetiek.

4. Altruïsme: altruïsme versus egoïsme: georiënteerd op de belangen van anderen, hulpvaardig, gericht op samenwerken.

5. Consciëntieusheid: de mate van goed georganiseerd zijn, volhardend, ambitieus, betrouwbaar en gewetensvol handelen.

De test wordt gebruikt bij patiënten, voor arbeidsselectie en bij de beoordeling van de geschiktheid voor trainingen en opleidingen. Het wordt ook veel gebruikt in wetenschappelijk onderzoek. De test heeft een korte en een lange versie en maakt onderscheid op zes facetten per eigenschap. De lange versie heeft 240 items en geeft een genuanceerd beeld van de 30 facetten. Als voorbeeld de zes facetten van Neuroticisme:

1. Angst: de mate waarin men bang, zorgelijk, nerveus, gespannen en schrikachtig is.

2. Ergernis: de mate waarin men frustratie, boosheid en haat ervaart.

3. Depressie: de mate waarin men schuld, verdriet, hopeloosheid en eenzaamheid ervaart.

4. Schaamte: de mate waarin men verlegen is en gevoelig is voor spot en beoordeling van anderen.

5. Impulsiviteit: de mate waarin men zijn verlangens en gevoelens slecht beheerst.

6. Kwetsbaarheid: de mate waarin men spanning en stress slecht beheerst.

De items zijn uitspraken in de ‘ik-vorm’ die gaan over een facet van de eigenschap. De respondent geeft per item aan in hoeverre hij het met de uitspraak eens is (helemaal oneens / oneens / neutraal / eens / helemaal eens), en krijgt een score van 1 tot 5 punten; hoger betekent dat positie op de schaal voor die eigenschap hoger is.

Voldoet de NEO aan de zes kenmerken van een test?

1. Efficiëntie: door zich een voorstelling te maken van een groot aantal verschillende situaties, kan in korte tijd een indruk verkregen worden van de vijf persoonlijkheidstrekken.

2. Standaardisatie: de tests kunnen individueel en groepsgewijs worden afgenomen. NEO-FFI duurt 10-15 minuten, NEO-PI-R duurt 40-50 minuten.

3. Normering: per trek wordt de deeltestscore berekend door de itemscores bij elkaar op te tellen. Er wordt aangenomen dat de scores in de populatie op een normaalverdeling liggen; men krijgt dan een nieuwe score op een schaal van 1-9, die correspondeert met gelijke delen onder de normaalverdeling: stanines. Deze normen zijn vastgesteld voor diverse deelpopulaties met behulp van steekproeven met duizenden proefpersonen.

4. Objectiviteit: de scoring is objectief doordat per item is vastgesteld hoeveel punten men krijgt bij elk antwoord. Zo komt elke psycholoog tot hetzelfde antwoord.

5. Betrouwbaarheid: de betrouwbaarheid van de verkorte versie varieert per bevolkingsgroep en per eigenschap van 0.57 tot 0.88. De COTAN beoordeelt het als voldoende.

6. Validiteit: van elke eigenschap is de samenhang onderzocht met variabelen die psychisch, sociaal en lichamelijk welbevinden representeren. De COTON vindt dat de betekenis van de testscores in voldoende mate is aangetoond, maar dat er onvoldoende onderzoek is geweest naar de voorspellende waarde.

Hoe kunnen tests ingedeeld worden naar instructie en afname?

Er zijn twee onderscheidingen in afneming en instructie mogelijk, namelijk individuele test versus groepstest en snelheidstest versus niveautest.

Wat is het verschil tussen individuele tests en groepstests?

Individuele tests

Bij een individuele test is er sprake van een individuele testsituatie en individuele instructie. Er is een individuele relatie tussen de testleider en de onderzochte, de vragen worden stuk voor stuk geformuleerd of aangeboden en reacties/prestaties worden persoonlijk vastgelegd. Is vooral in Europa populair. Voordelen aan deze test zijn (1) de mogelijkheid om de onderzochte te stimuleren, (2) controle op de situatie en op de inhoud en (3) de mogelijkheid tot observatie van de onderzochte. Nadelen zijn de geringe efficiëntie en dat de informatie niet op een systematische wijze verkregen wordt.

Groepstests

Bij een groepstest geeft de testleider instructies aan een groep. Een voordeel is efficiëntie en de besparing van geld en tijd. Nadelen zijn problemen met de orde houden en het risico op afkijken; zaken die invloed kunnen hebben op de testprestatie. Hoe groot een groep mag zijn, hangt af van de aard van de test, het doel van het onderzoek en de leeftijd van de onderzochten. Bij patiënten, jonge kinderen en in ontwikkelingslanden is groepsgewijs testen moeilijker en bij kinderen jonger dan 5 jaar helemaal onmogelijk.

Zowel individuele test als groepstest kunnen schriftelijk en via de computer worden afgenomen. Individuele tests kunnen daarnaast ook mondeling worden afgenomen of middels een verrichtingstest.

Wat is het verschil tussen een snelheidstest en een niveautest?

Een snelheidstest wordt ook wel speedtest genoemd. Een niveautest noemt men ook wel powertest. Uitgaande van een vaste periode kijkt men bij een snelheidstest hoe snel iemand een bepaalde opdracht af heeft.

Snelheidstest

• Veel opgaven, dus het is nooit binnen de toegestane tijd af.
• De opgaven zijn ongeveer even moeilijk.
• De opgaven zijn vaak bijzonder gemakkelijk.
• Bij de beoordeling worden fouten vaak niet meegerekend.

Niveautest

• Opgaven zijn niet even moeilijk.
• Opgaven lopen van makkelijk naar moeilijk.
• Iedereen kan de makkelijkste oefeningen maken en vrijwel niemand de moeilijkste.
• Geen tijdslimiet (hoewel in de praktijk vaak wel, maar dan ruim genomen).
• Beoordeling op basis van de correcte oplossingen.

Een interessante vraag is of tests, onder de verschillende voorwaarden van snelheid of niveau, toch dezelfde eigenschap kunnen meten. Het lijkt dat snelheidstests samenhangen met kwantiteit en niveautests met kwaliteit. Er is een positieve correlatie gevonden tussen de prestaties onder beperkte en onbeperkte tijd.

Meili kwam met twee hypothesen met betrekking tot de verhouding tussen snelheid en niveau:

1. De snelheid waarmee gemakkelijk opgaven worden opgelost geeft geen aanwijzing voor het vermogen moeilijk opgaven op te lossen.

2. De snelheid waarmee moeilijke opgaven worden beantwoord is wel een aanwijzing voor het vermogen als zodanig om deze problemen op te lossen, maar weer niet voor de snelheid waarmee eenvoudiger taken worden verricht.

Er is een gedeeltelijke bevestiging van beide hypothesen gevonden: de snelheid bij makkelijke opgaven stond los van de intelligentie en de snelheid van werken bij moeilijke opdrachten.

Model van Van der Ven: de precisiescore is de proportie goede antwoorden en de snelheidsscores is het aantal geprobeerde items. De correlatie tussen precisie en snelheid kan door deze twee scores worden verklaard – onder de aannamen dat precisie en snelheid onafhankelijk van elkaar zijn. Maar dit model werd bekritiseerd door Van den Wollenberg. Als alternatief voor de precisiescore stelde hij de persoonsscore uit het Rasch-model voor. Hij vond ook dat precisie en snelheid niet helemaal onafhankelijk zijn en dat er meer eigenschappen ten grondslag liggen aan de testprestatie dan deze twee alleen.

Bij het testen van woordenschat, kennisniveau en sensorische of artistieke vaardigheden is het snelheidselement niet belangrijk. Als het wel belangrijk is, moet de mate van de snelheid empirisch worden bepaald, afhankelijk van wat men wil weten of voorspellen. De optimale praktische uitvoering van een tijdslimiet (wel of niet, en hoe lang dan) hangt samen met de betrouwbaarheid en betekenis van de test.

Welk onderscheid kan er gemaakt worden op basis van testvragen?

De belangrijkste begrippen in verband met de onderscheidingen op basis van testvragen zijn: cultuurvrije en niet-cultuurvrije tests en directe en indirecte tests.

Wat is het verschil tussen cultuurvrije en niet-cultuurvrije tests?

Het gaat hier meer om een continuüm dan om een tegenstelling. Een zuivere cultuurvrije test bestaat niet en men moet er ook niet naar streven. De mens wordt altijd beïnvloed door zijn omgeving. Ook non-verbale tests zijn niet helemaal cultuurvrij. Non-verbale tests blijken vaak laag te correleren met allerlei relevante criteria. Misschien komt dit omdat de taal eruit gehaald is, die mogelijk een wezenlijke bijdrage levert aan het begrip intelligentie.

Het is beter om het complexe begrip ‘cultuur’ te vervangen voor een begrip dat beter omschreven kan worden, zoals het begrip ‘skill’. Om mee te kunnen doen aan een test heeft men bepaalde vaardigheden, 'skills', nodig, zoals het kunnen horen van instructies: vaardigheden die men met de test juist niet wil meten. Sommige skills zijn fysiologisch bepaald (kunnen horen of zien), anderen worden beïnvloed door cultuur of omgevingsinvloeden (kunnen lezen, schrijven etc.).

De invloed van skill-verschillen kan op drie manieren worden gereduceerd:

1. Door het verkleinen van de skill-verschillen zelf, door bijvoorbeeld de instructie uit te breiden.

2. Door interpretaties en testscores te beperken tot slechts dat deel van de populatie dat de vereiste skills bezit.

3. Door het ontwikkelen van ‘skill reduced tests’, bijvoorbeeld de Design Construction Test van Ord, de SON (voor doven). Het doel is de groep te vergroten waarbinnen uit de testscores conclusies over de te meten capaciteit kunnen worden getrokken.

Wat is het verschil tussen directe en indirecte tests?

Een belangrijke vraag is of het doel van de test bekend is bij de onderzochte. Vrijwel alle projectiemethoden en de meeste zelfbeoordelingen en persoonlijkheidsvragenlijsten vallen onder indirecte tests; de onderzochte weet het doel van de test niet. Bij directe tests weet en begrijpt de onderzochte het doel van de test. Zoals bij bijna alle prestatietests en vorderingstests, biografische informatielijsten en opinie- en attitudetest.

Vragenlijsten kunnen ook in een indirecte vorm gegoten zijn. De meeste zelfbeoordelingen en persoonlijkheids-vragenlijsten zijn in zekere zin indirect: onderzochte weet niet hoe de vragen zullen leiden tot een interpretatie over de persoonlijkheid, interesse of attitude.

Wat is het verschil tussen vrije-antwoordtests en keuze-antwoordtests?

Vrije-antwoordentest en keuze-antwoordentests worden ook wel open versus gesloten vragen of ongecodeerde versus geprecodeerde vragen, genoemd. Het gaat hier om het verschil in uitvoering van de test. Hoofdstuk 4 gaat hier dieper op in.

​​​​​

Hoe worden tests afgenomen?

Bij het afnemen van tests zijn er veel factoren waar rekening mee gehouden dient te worden, zoals:

1. De objectieve testsituatie.
2. Gedrag van de proefpersonen.
3. Gedrag van de proefleider.

Hoe kunnen de antwoorden gescoord worden?

Er wordt onderscheid gemaakt tussen de scoring van open vragen en van meerkeuze-items. Ook wordt er ingegaan op het gebruik van de toevalscorrectie.

De objectieve testsituatie

Hierbij is standaardisatie belangrijk. Dit betekent dat de onderzochten in maximaal gelijke omstandigheden moeten worden getest. Dit geldt zowel voor groepstests als voor individuele tests. Voorwaarden hiervoor zijn:

• Standaardisatie van testcondities, dat wil zeggen dat de proefleider zich zo goed mogelijk aan de instructies moet houden: de proefpersonen worden in gelijke omstandigheden getest.
• Omgevingsinvloeden moeten zoveel mogelijk voorkomen worden.
• Geen storingen tijdens de testafname.
• Een goede controle zodat afkijken en spieken niet mogelijk zijn.

Bovenstaande punten spelen vooral een rol in een groepstestsituatie en bij snelheidstests.

Gedrag van de proefpersonen

Sommigen zijn meer gemotiveerd en coöperatief, terwijl anderen dat niet zijn. Ook kan een proefpersoon moe zijn waardoor hij of zij de een slechtere prestatie levert dan normaal. Standaardisatie van de proefpersonen is moeilijker te realiseren dan standaardisatie van de testsituatie. Er zijn een aantal factoren die men wel onder controle kan houden, namelijk:

• Ervoor zorgen dat de onderzochte fit is.
• Nagaan of er geen sprake is (geweest) van een sterke emotionele opwinding.
• Door duidelijke extra instructie wordt de opdracht vaak beter begrepen.
• Er voor zorgen dat de proefpersonen niet van tevoren weten wat de inhoud van de test is.

Naast deze factoren zijn er ook andere factoren die van invloed kunnen zijn op de testprestatie, zoals voorgaande ervaringen of trainingen waardoor de onderzochte vertrouwd is met testen (‘test-wiseness’). Ook verwachtingen over moeilijkheid, eigen resultaten en consequenties hebben invloed. Deze hangen sterk samen met de sociaal-economische klasse van de onderzochte. De reactie van de proefleider op het slagen of falen van de proefpersoon heeft ook invloed, een adequate houding van de onderzoeker is dus vereist.

Een ander punt wat invloed heeft is angst voor de gevolgen van een slechte testprestatie (testangst en examenangst). Hermans (1968) omschrijft twee soorten van angst die sterk met elkaar samenhangen: positieve faalangst (een geringe mate van angst heeft een positieve invloed op de prestatie) en negatieve faalangst (een sterke mate van angst heeft een negatieve invloed op de prestatie).

Gedrag van de proefleider

Hier kan er verschil zijn in training, ervaring, inzicht, etc. Voor een proefleider is het van belang dat hij of zij de proefpersonen zo objectief mogelijk benadert. Met name bij individuele tests is er een wisselwerking tussen de testleider en de proefpersoon. Dat kan eenvoudiger gecontroleerd worden dan het gedrag van de proefpersoon. Belangrijk daarbij is:

1. De testleider moet voldoende algemene ervaring hebben met testen en hij moet de test ook goed beheersen.
2. Hij neemt beslissingen met goed psychologisch inzicht.
3. Hij moet geen vooroordelen of sympathieën hebben, hij moet zichzelf dwingen tot strikte controle en zelfcorrectie en voorkomen dat hij ‘ideaaltypen’ wil ontdekken (bijvoorbeeld de ‘echte’ gevoelsarme psychopaat).

Hoe men met deze problemen om kan gaan, hangt af van het belang van het onderzoek. Men kan elementen van de testsituatie in de evaluatie verwerken (als het doel is het genereren van hypothesen of doelen voor verder onderzoek). Men kan ook ‘doen alsof’ de invloeden genegeerd kunnen worden. Eventueel kan men bij de interpretatie van de objectieve scores rekening houden met ongewenste invloeden.

Bij een dergelijke objectieve benadering offeren we iets op van het unieke van de persoon en de situatie, maar we reduceren daarbij de onbetrouwbaarheid, waardoor de vergelijkbaarheid toeneemt.

Hoe kunnen de antwoorden gescoord worden?

Er wordt onderscheid gemaakt tussen de scoring van open vragen en van meerkeuze-items. Ook wordt er ingegaan op het gebruik van de toevalscorrectie.

Hoe kunnen reacties op items met een open-vraagvorm gescoord worden?

Reacties op open vraag kunnen verbaal en non-verbaal zijn. Een voorbeeld van een non-verbaal antwoord is dat aan kinderen wordt gevraagd om door een doolhof naar het eindpunt te komen (test uit de RAKIT). Bij deze vorm is er sprake van een grote subjectiviteit en lage interbeoordelaarsbetrouwbaarheid. Dit kan men ondervangen met een zo goed mogelijk coderingssysteem dat ten eerste volledig en ten tweede duidelijk en ondubbelzinnig is. Bijvoorbeeld en checklist, een lijst waarop wordt bijgehouden welke eigenschappen wel of niet aanwezig zijn.

Er zijn echter ook vrije-antwoordentests met een grote betrouwbaarheid, zoals de TAT. Het is niet zo dat een grote interbeoordelaarsovereenstemming automatisch betekent dat er sprake is van een betere validiteit; overeenstemming is wel noodzakelijk, maar niet voldoende voorwaarde voor validiteit. De checklist is te beschouwen als een ‘test’ en moet aan dezelfde voorwaarden voldoen.

Hoe kunnen reacties op geprecodeerde items gescoord worden?

Belangrijk hier zijn de accuraatheid (zo goed mogelijk) en de efficiëntie (zo snel en goedkoop mogelijk) bij de scoring. Bij de keuze-antwoordenvorm kent men drie manieren van scoring:

1. Handscoringsmethode. Correctoren tellen het aantal goede en foute antwoorden en vergelijken dat met de correct ingevulde sleutel. Het nadeel is dat het veel tijd kost en er worden veel fouten gemaakt.

2. Zelfscoringsmethode. Is sneller en efficiënter dan de eerste, maar het materiaal is wel duurder. Hierbij wordt het antwoordformulier onder een tweede vel geplaatst, waarop een aantal cirkeltjes staan die precies vallen onder plaatsten waar het goede antwoord op het antwoordformulier moet worden aangestreept. Zo wordt de score direct op het doordrukformulier geregistreerd.

3. Machinescoring. Dit is de snelste methode van verwerking, waarbij een antwoord op een computer gegeven wordt. De computer berekent automatisch of het antwoord goed of fout is en kan een terugkoppeling geven. De gegevens kunnen meteen worden toegevoegd aan het gegevensbestand die naast informatie over de onderzochte ook informatie kan geven over de test zelf en de onderzochte groep, zoals verdelingen, spreidingen, rangordes etc.

Wat is de toevalscorrectie en hoe kan het uitgevoerd worden?

Toevalscorrectie is alleen nodig bij de keuze-antwoordenvorm en ter ondervanging van het bezwaar dat de onderzochte slechts door te raden hoog scoort. Het aantal goede antwoorden door kennis (X_C) kan berekend worden door van het totale aantal goed (X) het deel af te trekken dat door gissen goed was: het aantal fout (k-X) gedeeld door A-1. De formule voor toevalscorrectie is:

(X_C = gecorrigeerde score, X = aantal goed, k = aantal items, k-X = aantal fout, A = aantal antwoordmogelijkheden).

De correctieformule bij niet-ingevulde vragen berust op hetzelfde idee. Naar verwachting zou bij blind gissen een deel van die items goed zijn, dat wordt opgeteld bij het aantal ‘goed’:

(X_f = aantal 'fout', k-X-X_f = aantal niet-ingevulde items).

Er zijn vier bezwaren tegen deze correctieformules:

1. De formules zien eruit alsof we precies weten wat correct beantwoord is, maar in het echt is er geen scherpe lijn tussen zeker weten en puur gissen. Door partiële kennis kan de werkelijke giskans hoger zijn dan de blinde giskans (ondercorrectie door de formule), of bij een erg verleidelijke afleider is de giskans juist kleiner (overcorrectie). Eigenlijk gelden de formules alleen voor iemand die niets van de stof af weet.
2. Iemand kan ook een foutief antwoord geven door verkeerde informatie of verkeerd inzicht. Het is dan onrechtvaardig dat er via de formule door deze fout punten van de goede antwoorden afgetrokken worden.
3. X_C heeft een grotere variantie dan X: de gecorrigeerde score (X_C), die gebaseerd is op tweekeuze-items, heeft een 4x zo grote variantie als de ongecorrigeerde score (X) en dus een 2x zo grote standaarddeviatie. Dat heeft een ongewenst effect op andere berekeningen; als men de gecorrigeerde testscore optelt bij andere testscores (bijvoorbeeld bij intelligentietests) krijgt de test met de gecorrigeerde scores een 2x zo groot gewicht, zonder dat dit te rechtvaardigen is.
4. Bij een lineaire relatie tussen X_C en X geldt dat de correlatie tussen X_C en X gelijk is aan 1: dus r(X_C, X) = 1. Dit gegeven heeft drie belangrijke consequenties:
   • De ordening van personen en de afstand tussen personen volgens X_C is dezelfde als die volgens X; de giscorrectie heeft daarvoor geen gevolgen. Maar sommige personen kunnen daardoor wel onder de aftestgrens vallen, terwijl dat op basis van de ongecorrigeerde testscore niet was gebeurd. Voor het individu kan de giscorrectie dus grote gevolgen hebben. Een oplossing daarvoor is het aanpassen van de aftestgrens.
   • De correlatie van de ongecorrigeerde testscore (X) en een andere testscore (Y) is gelijk aan de correlatie tussen X_C en Y. Dat impliceert dat men met beide scores evengoed criteriumscore Y kan voorspellen; de gecorrigeerde score is hiervoor dus net zo geschikt als de ongecorrigeerde score.
   • De betrouwbaarheid van X en X_C is gelijk. Maar dat geldt niet voor formule, omdat in deze formule de relatie tussen X_C en X niet lineair is.

Conclusie: in het algemeen wordt geadviseerd correctieformules niet te gebruiken. Bij de keuze-antwoordenvorm is het beter het aantal goede antwoorden te tellen. De instructie aan de respondenten moet zijn dat men beter alle antwoorden kan invullen, ook als ze het niet weten, omdat gissen rendabeler is dan niets invullen. Een positief bijeffect hiervan is dat door deze instructie een uniforme antwoordstrategie wordt bevorderd; verschillen tussen scores komen dan niet vanwege het verschil in wel of niet durven gissen. En als iedereen deze strategie volgt, is de giscorrectie op individueel niveau overbodig. Wel moet de aftestgrens aangepast worden. Voorbeeld: k = 32 en A = 4: iemand kan door gissen 8 vragen goed hebben, dus dit moet als ondergrens genomen worden. Bij een gewenst kennispercentage van 60% moet de aftestgrens zijn: 8 + 0.6(32 – 8) = 22.4 (in plaats van 19.2).

De Groot en Van Nearssens bespraken alternatieve scoringsprocedures: als bij alle respondenten de optimale antwoordstrategie duidelijk is (gissen als je het niet weet), dan neemt de betrouwbaarheid en validiteit van de gecorrigeerde testscore niet significant toe boven dat van de ongecorrigeerde testscore. De beste scoringsprocedure in de praktijk is dus simpelweg het tellen van het aantal goede antwoorden.

Moeten itemscores gewogen worden?

Een cruciale vraag is of alle vragen even zwaar wegen. Uit onderzoek blijkt dat weging niet nodig is omdat het ten eerste bijzonder extra veel werk vergt en ten tweede blijkt uit correlatie-onderzoek een hoge correlatie tussen gewogen- en niet gewogen totaalscores. Het is dus beter om langere testen te maken, waardoor de betrouwbaarheid toeneemt, en goed na te denken over de inhoud van de items, waardoor de validiteit toeneemt.

Welke invloed heeft het gebruik van de computer gehad op het testen?

Veel tests kunnen ook per computer afgenomen worden (zoals de NEO-persoonlijkheidsvragenlijst). De onderzochte krijgt op het scherm een stimulus of item te zien en moet reageren via het toetsenbord, waarna de volgende verschijnt. De respons wordt direct gecodeerd en na afloop volgt de testscore plus eventuele andere informatie (zoals scores op de deeltests of normen). Er wordt onderscheid gemaakt tussen de technologische en de wetenschappelijke bijdrage van de computer aan de testpraktijk.

1. Technologische bijdragen. Afneming, opslag en administratie van items, administratie van testgegevens en psychologische rapportage.
2. Wetenschappelijke bijdragen. Inhoudelijke psychologische veranderingen en psychometrische veranderingen door het gebruik van de computer.

Welke technologische bijdragen en veranderingen had de computer op het testen?

Administratieve veranderingen. Het gegevensbestand is door de computer geautomatiseerd en de terugkoppeling van de resultaten gebeurt snel. Tevens is een test in de computer eenvoudig te veranderen.

De itembank. In een itembank kan men een grote verzameling items aanleggen en opslaan, dat is voornamelijk nuttig in het onderwijs (zoals een tentamenbank). Behalve het item zelf worden er ook andere gegevens opgeslagen, zoals psychometrische gegevens over de moeilijkheid, de kwaliteit van de afleiders, administratieve gegevens, het onderwerp waar het item over gaat en of het gaat om kennis of inzicht.

Het geautomatiseerde systeem van Nitko en Hsu (1984) voor leerkrachten op scholen. Het systeem bestaat uit drie componenten: (1) een bestand met gegevens van leerlingen en van schoolklassen, (2) een onderdeel van itemanalyse en (3) de mogelijkheid om zelf een itembank te maken en de vorige te veranderen. De drie onderdelen kunnen met elkaar communiceren.

On-line testing van Baker. Dat is een test waarbij de leerling kan zelf bepalen of hij de stof beheerst en de computer vraagt om een toets. Het nadeel hiervan is dat er surveillance nodig is om te voorkomen dat items uitlekken of dat iemand anders de toets maakt.

Een andere toepassing in het onderwijs is het diagnostisch toetsen (McArthur & Choppin, 1984). Deze test ontdekt deficiënties in deelvaardigheden, waar aan gewerkt zou kunnen worden (bijvoorbeeld wiskundige problemen waarbij diverse vaardigheden nodig zijn om een probleem op te kunnen lossen).

Een andere technologische verandering is de vorm van de aangeboden items. Het kan nu via bewegende beelden op de computer en men kan kijken hoe de proefpersoon daar op reageert.

Welke wetenschappelijke bijdragen en veranderingen had de computer op het testen?

Het meten van intelligentiecomponenten. Hunt en Pell (1985) menen dat de computer ingezet kan worden bij de meting van intelligentiecomponenten zoals individuele verschillen in ruimtelijk-visueel redeneren, geheugen en aandacht en ook bij individuele verschillen in leerpotentieel.

Een probleem door het gebruik van computers bij het testen van personen kan zijn dat men door testangst en door ervaring met computers verschillen krijgt in testprestatie. Dit is te ondervangen door veel te oefenen met computers. Toch blijft er een verschil bestaan, vergelijkbaar met verschillen in taalbeheersing.

Uit onderzoeken naar de verschillen in testprestatie bij het testen met computers en met de conventionele methoden blijkt dat deze verschillen niet groot zijn. Toch is het raadzaam de normen van conventionele tests niet zomaar toe te passen bij computergestuurde tests.

Er zijn een aantal verschillen tussen conventionele en computergestuurde tests. Het is onmogelijk om bij computergestuurde tests items over te slaan zonder een toets in te drukken (‘passive omitting’) hierdoor ontstaat er een andere verdeling van itemscores dan bij conventionele tests. Ook is er een verschil in presentatie en vormgeving. Deze factoren lijken weinig invloed te hebben op de testprestaties.

Wat is adaptief testen?

Adaptief testen is testen op maat. Iedere respondent krijgt een test op zijn of haar niveau. Dat levert meer informatie op over het niveau en de test zal niet te moeilijk of te makkelijk zijn, waardoor het minder frustrerend is. Het idee berust op de item-responstheorie. Als de moeilijkheid van het item en het niveau van de persoon samenvallen, is de meting het meest nauwkeurig; dan is de subjectieve kans op een positief antwoord 0.5 (middelmatige moeilijkheid: de kans op een goed antwoord is even groot als de kans op een fout antwoord).

Het afstemmen van items op het niveau van de persoon gaat als volgt: de respondent krijgt één of meerdere items die in de populatie een gemiddelde moeilijkheid hebben, op basis van zijn itemscores maakt de computer een eerste schatting van de meetwaarde van die persoon. Het volgende item wordt zo gekozen dat de moeilijkheid samenvalt met deze meetwaarde. Op basis daarvan en van de eerste schatting wordt een nieuwe schatting gemaakt (met een iets grotere nauwkeurigheid). Op basis van die schatting wordt het volgende items gekozen. Dit gaat door tot er een meetwaarde geschat is die een goede nauwkeurigheid heeft, dan is de testsessie klaar. Deze stapsgewijze bepaling van iemands meetwaarde heeft een aantal kenmerken:

1. De schatting van iemands meetwaarde komt met iedere stap dichter bij de gezochte waarde, en de moeilijkheid en meetwaarde komen steeds meer overeen.
2. De schatting is nauwkeuriger als er meer items zijn gepresenteerd – als men lang genoeg door gaat, is het zelfs perfect (praktisch niet haalbaar, maar dat hoeft geen probleem te zijn).

Om achteraf de scores van verschillende respondenten te kunnen vergelijken is een itembank nodig van ten minste 150 à 200 items. Metingen binnen de item-responstheorie zijn onafhankelijk van het moeilijkheidsniveau van de test (ze kunnen daarvoor gecorrigeerd worden). De voorwaarde is dat de itembank helemaal moet voldoen aan de eisen van de item-responstheorie.

De klassieke standaardtest is een slecht meetinstrument voor personen met extreme waarden; ze worden onnauwkeurig getest. Terwijl bij adaptief testen iemand wel items krijgt op zijn of haar niveau. Volgens Weiss (1985) meet een adaptieve test even nauwkeurig als een standaardtest als het ongeveer een half maal de lengte van een standaardtest heeft (vuistregel).

Drie toepassingen van adaptief testen binnen de onderwijsevaluatie zijn (1) het bepalen of iemand geslaagd is, (2) of iemands prestatie binnen de grenzen van een specifiek interval ligt en (3) of iemand in een specifiek leerstofgebied voortgang heeft geboekt (Weiss & Kingsburry, 1984).

Op welke manieren kunnen de scores bewerkt worden en wat zijn normen?

Ruwe score

De gewone basisscore van iemand noemen we de ruwe score, dat is de som van de scores X op alle k items g

Bewerkte score

De ruwe score heeft op zichzelf weinig betekenis, maar moet bewerkt worden om betekenis te krijgen. Er zijn drie soorten bewerkte scores:

1. Gebaseerd op een vergelijking met een absolute standaard.
2. Gebaseerd op een deling (door bijvoorbeeld leeftijd of schoolklas): ervan onafhankelijk gemaakt.
3. Gebaseerd op de relatieve positie in een referentiegroep: genormeerde scores, waarvan er twee soorten zijn, namelijk (1) gebaseerd op een rangorde van de ruwe scores, zoals percentielen, en (2) gebaseerd op het gemiddelde en de spreiding van de ruwe scores, zoals standaardscores.

Normen

Niet bij elke bewerkte score is er sprake van een norm. Soms kunnen bewerkte scores afhankelijk zijn van de prestaties van anderen, zonder dat er sprake is van een testnorm, bijvoorbeeld in een klas. Een norm is een referentiekader voor de evaluatie van de ruwe scores, gebaseerd op de verdeling in de populatie. Het kader wordt geschat op basis van een representatieve steekproef. Uit deze definitie blijkt dat:

1. Normen afhankelijk zijn van de normeringssteekproef die gebruikt is.
2. Door normering hebben toevalligheden van de groep geen invloed op de beoordeling van het individu.
3. De prestatie van het individu kan los van de groep beoordeeld worden door normen (bijvoorbeeld de CITO geeft aan waar iemand staat in de populatie, niet in zijn klas).

Het gebruik en de berekening van normen is niet noodzakelijk. Men kan soms ook een eenvoudigere vorm van bewerkte scores gebruiken, zoals rangschikking of het percentage goede antwoorden. Dit is handig bij het kiezen uit een groep sollicitanten. Bovendien kan men soms ruwe scores gebruiken. Met name als het gaat om het verband tussen test- en criteriumscores zijn er geen bewerkte scores nodig.

Er is een vloeiende overgang van de vergelijking binnen een onderzochte groep naar het gebruik van normen. Als de onderzochte groep groter wordt en meer op de populatie lijkt, lijkt het meer op vergelijken met een norm. De twee belangrijke punten bij het gebruik van normen bij het normerings- of testonderzoek zijn (1) dat de kenmerken van de onderzochte groep vermeldt moeten worden en (2) dat er rekening gehouden moet worden met veranderingen in de populatie, met een mogelijk normherziening als gevolg. Dat laatste geldt ook voor vertaalde testen: meestal verliezen normen bij een testvertaling hun waarde.

Hoe kunnen de testprestatie vergeleken worden met een absolute standaard?

De prestatie van een persoon wordt in de eerste instantie niet vergeleken met de prestatie van anderen, maar met een absolute maatstaf die gebaseerd is op psychologische of onderwijskundige analyse van kennis, inzicht of vaardigheden. Men noemt deze vorm van meten ook wel de 'criterion-reference measurement', het absoluut meten. Daartegenover staat de 'norm-reference measurement', het normatief meten.

Het is niet zo goed bruikbaar bij het vergelijken van proefpersonen, zoals binnen de psychologie veel gebeurt. Vergelijkingen met een absolute standaard komt met name voor binnen onderwijskunde. Daar is men meer bezig met het beoordelen in welke mate welke leerlingen een bepaald doel hebben bereikt (hoeveel kennis en vaardigheid ze hebben verworven). Dat is onafhankelijk van hoe de medeleerlingen gepresteerd hebben.

Absoluut meten is arbitrair en discutabel als men niet eerst de doelen van het proces dat men bij de onderzochte wil evalueren geanalyseerd heeft, en of dat wel op een betrouwbare manier getest kan worden.

Wat zijn verhoudingsnormen en hoe kan dat toegepast worden?

De testscores worden gedeeld door een andere variabele en als zodanig onafhankelijk gemaakt van de betreffende variabele, bijvoorbeeld IQ is de Mentale Leeftijd gedeeld door de Chronologische Leeftijd vermenigvuldigd met 100. 

De mentale leeftijd wordt bepaald door een test, een kind moet opdrachten maken in oplopende moeilijkheid. In theorie maakt een kind tot aan een bepaalde mentale leeftijd de opdrachten goed en daarna lukt het niet meer. Maar in de praktijk begint een kind steeds meer fouten te maken of slaat een lastige vraag over. De laatste leeftijd waarop in de test nog geen fouten worden gemaakt, noemt men de basale leeftijd.

Hierbij maken we wel een aantal kritische kanttekeningen:

1. De mentale leeftijd is een testscore en geen leeftijdsmaat. De chronologische leeftijd is eigenlijk ook geen leeftijdsscore maar de verwachte testprestatie van iemand op die leeftijd. Het gaat dus om de vergelijking met de prestaties van anderen. Men gaat er bovendien vanuit dat er boven de vijftien jaar geen verschillen meer zijn tussen de verschillende leeftijden.

2. Het IQ-begrip is geen constante factor. Want het blijkt dat:

   • Sommige vragen afhankelijk zijn van zowel vorming en scholing als van intelligentie.

   • Bij sommige kinderen de lichamelijke en fysiologische groei (die invloed heeft op de psychologische groei) niet parallel loopt aan de gemiddelde intelligentiegroei.

   • Leermogelijkheden, motivatie en emotionele bereidheid invloed hebben op intelligentie en op de verschillen tussen leeftijdsgenoten.

3. Normaal blijft men bij het berekenen van het IQ boven de hoogste leeftijd waarop de test nog onderscheidt, steeds delen door de topleeftijd (meestal 15, 16 of 17 jaar). Maar op hogere leeftijd nemen intellectuele prestaties af, en er is geen correctie daarvoor.

4. Er is geen sprake van een evenredige toename van spreiding bij hogere leeftijden. Een achterstand van een jaar op zesjarige leeftijd is twee keer zo erg als een jaar achterstand op twaalfjarige leeftijd.

Conclusie: Ondanks deze bezwaren heeft intelligentie wel waarde als ontwikkelingsbegrip, via intelligentie kan men vaststellen of een kind voor of achter is op leeftijdsgenoten.

Wat zijn vergelijking en normen gebaseerd op een rangorde?

Rangorde

De eenvoudigste manier om de testprestaties tussen individuen te analyseren, is door middel van rangordening. Een bepaalde score voor een bepaalde positie wordt gebaseerd op de groep waar men in zit. Er is geen sprake van een norm. Het nadeel is dat het niets betekent buiten de bewuste groep.

Percentielscores en percentiele normen

Percentielscores zijn zeer populair en kennis van groepsgrootte is niet vereist. Er zijn 99 punten (percentielen) die een scoreverdeling opdelen in 100 groepen van gelijke grootte, elk 1% van de waarneming. Bijvoorbeeld iemand met een ruwe score waarbij het de percentiel score 0.87 hoort, heeft een percentiel rang van 87, dat wil zeggen dat 87% van de testscores van de normgroep daarbeneden ligt. De bekendste percentielen zijn: P₅₀ (mediaan), P₂₅ (eerste kwartiel, Q1) en P₇₅ (derde kwartiel, Q3).

Een probleem is dat bij een relatief grote groep van onderzochten met dezelfde ruwe score er weinig differentiatie mogelijk is in de percentielscores. Dit kan men oplossen via lineaire interpolatie: bijvoorbeeld 21% van de getesten heeft een ruwe score van 66 of lager en 27% heeft een ruwe score van 67 of lager. Dan heeft 6% een ruwe score gelijk aan 67. De percentielscore die bij deze ruwe score hoort is dan als volgt te berekenen: 21 + 0.5 (27-21) = 24.

Door scores aan te duiden in percentielscores is men niet meer afhankelijk van de absolute groepsgrootte maar wel van niveau, spreiding en toevallige kenmerken van de groep. Percentiele normen daarentegen zijn niet afhankelijk van groepskenmerken. De voordelen percentiele normen zijn:

• Denvoudig en snel te berekenen.
• Gemakkelijk toe te passen.
• Inzichtelijk en ook te begrijpen voor niet-deskundigen.

Een nadeel van percentielscores is dat het gaat om een ordinale schaal waardoor er (1) geen deelbewerkingen mogelijk zijn (er mogen met percentielscores geen gemiddelden en varianties berekend worden) en (2) het zinloos is de frequentieverdelingen van percentiele en ruwe scores te vergelijken (alle frequentieverdelingen van percentielscores zijn gelijk en rechthoekig van vorm).

Percentielen verdelen het aantal scores in 100 groepen, decielen verdelen de scores in 10 gelijke klassen en vigintielen: verdelen de scores in 20 gelijke klassen

Rangordescores en -normen zijn daar bruikbaar waar men snel een beeld wil hebben van de relatieve positie van de onderzochte in een groep of in de populatie. Ze hebben teveel tekortkomingen voor wetenschappelijk onderzoek.

Wat zijn vergelijking en normen gebaseerd op gemiddelde en spreiding?

Standaardscores en -normen hebben niet dezelfde bezwaren als percentiele normen, namelijk de ordinale schaal en de onvergelijkbaarheid. Er is een verschil tussen standaardscores (ruwe scores onderverdeeld in standaardscore-eenheden) en standaardnormen (bij een representatie van een populatie).

Standaardscores of z-scores

Een standaardscore geeft aan hoeveel standaardafwijkingen (is een spreidingsmaat) een score boven of onder het gemiddelde ligt. Alle oorspronkelijke scores worden uitgedrukt in afwijkingen van het gemiddelde (de teller van de formule). Deze afwijkingen worden uitgedrukt in eenheden van de oorspronkelijke standaarddeviatie; door ze te delen door deze standaarddeviatie (de noemer van de formule):

(z = standaardscore, X = ruwe score, X = gemiddelde, S_X = standaarddeviatie).

Van de ruwe score (X) wordt het gemiddelde (X̄) afgetrokken: de afwijkingsscore. De afwijkingsscore wordt gedeeld door de standaarddeviatie van X (S_X). Er blijft dan een positief of negatief getal over:

• Negatieve standaardscores: ruwe scores die onder het gemiddelde liggen.
• Positieve standaardscores: ruwe scores die boven het gemiddelde liggen.

Omdat men soms kleine of negatieve getallen lastig vindt, kun je met lineaire transformatie de scores transformeren zodat het gemiddelde op 100 of 50 ligt en de spreiding op 10 of 20 (als gevolg van lineaire transformatie verandert alleen het gemiddelde en/of de standaarddeviatie en niet de onderlinge afstand tussen de scores of de vorm van de scoreverdeling). Standaardscores behouden dezelfde verdelingskenmerken als ruwe scores (behalve dus het gemiddelde en de standaarddeviatie).

Genormaliseerde standaardscores

Genormaliseerde standaardscores worden verkregen uit niet-lineaire transformaties die de verdeling van X dusdanig vervormen dat er wel een normaalverdeling ontstaat: sommige score-eenheden worden uitgerekt, anderen ineengedrukt. Zo ontstaat een verdeling met percentages die afgeleid zijn uit de eigenschappen van een normaalverdeling:

• 34% van de groep valt tussen X̄ en (X̄ + 1S_X) en tussen X̄ en (X̄ – 1S_X) (binnen 1 standaarddeviatie).

• 13.5% valt tussen (X̄ + 1S_X) en (X̄ + 2S_X) en tussen (X̄ – 1S_X) en (X̄ – 2S_X) (tussen 1 en 2 standaarddeviaties).

• 2.5 % valt tussen (X̄ + 2S_X) en (X̄ + 3S_X) en tussen (X̄ – 2S_X) en (X̄ – 3S_X) (tussen 2 en 3 standaarddeviaties).

Constructie: uitzoeken welke ruwe scores de percentages aangeven die horen bij de standaardscore-eenheden in een normaalverdeling. Deze ruwe scores worden omgezet in genormaliseerde standaardscores. Deze normalisering suggereert een normaalverdeling, ook al gold dat niet voor de ruwe scores – soms kan deze kunstmatige ingreep nauwelijks gerechtvaardigd worden. Een uitzondering hierop is als men weet uit eerder onderzoek (met een grotere steekproef) dat de testscores bij benadering normaal verdeeld zijn. Dan kan men hiermee steekproefonregelmatigheden gladstrijken.

Bezwaar: normalisering is vaak problematisch omdat het niet strookt met de werkelijkheid. Hypothetische begrippen (zoals intelligentie) zijn anders dan meetbare begrippen (zoals lengte en gewicht) die wel normaal verdeeld zijn: een hypothetische eigenschap is afhankelijk van de meetmethode: de test beïnvloedt de vorm van de verdeling. Met ingrepen is de verdeling dan wel normaal te maken, maar dat is geen bewijs dat intelligentie ook normaal verdeeld is.

Rechtvaardiging: vanwege het gemak en de bruikbaarheid. De testscores hebben geen verdere uitleg nodig, scores zijn vergelijkbaar etc. Het gebruik ervan veronderstelt een intervalschaal (met gelijke eenheden): dit onderscheidt ze ten opzichte van andere bewerkte scores (maar dit gemak is niet altijd een sterk argument voor deze transformatie).

Overige genormaliseerde standaardscores

1. T-scores: Men gaat uit van een gemiddelde van vijftig een spreiding van tien. Veel tests zijn op deze manier genormaliseerd (op advies van de APA).

2. Stanines: Er is niet (zoals bij T-scores) sprake van een exacte overeenkomst met een bepaalde ruwe score maar ze vertegenwoordigen een breedte van een halve standaarddeviatie. Ze lopen van 1 tot 9 en het midden van de 5e stanine komt overeen met het gemiddelde van de verdeling. De toekenning gebeurt op basis van een tabel. Het gebruik ervan is aantrekkelijk, omdat het aantal mogelijke scores beperkt is en vanwege de associatie rapportcijfers. Maar, rapportcijfers lopen van 1 tot 10 en het cijfer 6 staat voor een ‘voldoende’, terwijl op de stanineschaal 5 het gemiddelde is. Sommigen vinden de stanineschaal te grof is, met name in het midden van de verdeling.

3. Deviatie-IQ: Er is geen sprake van een quotiënt maar van standaardnormen met een gemiddelde van honderd. Dus de mentale leeftijd wordt niet met de chronologische leeftijd vergeleken, maar de testprestaties worden per leeftijdsklasse verwerkt tot genormaliseerde standaardscores, zoals bijvoorbeeld bij de WAIS.

Na de klassieke testtheorie kwam de item-responstheorie, een klasse van aanverwante modellen, waaronder die van Lord, Rasch en Birnbaum. De klassieke testtheorie is nuttig, want men heeft er ervaring mee, bovendien is het makkelijk te begrijpen en levert het praktisch bruikbare resultaten op. Hoewel de moderne testtheorie gedomineerd wordt door de item-responstheorie, gaan nog veel tests gaan via de principes van de klassieke testtheorie.

De item-responsmodellen hebben meeteigenschappen die onderdeel zijn van die modellen. Deze modellen kunnen gecontroleerd worden door statistische methoden. Als het model dan een goede beschrijving van de scores geeft, kan deze toegepast worden in de praktijk. Dit heet ‘meten bij implicatie’. In de klassieke testtheorie zijn de metingen populatie-afhankelijk. Bij item-responsmodellen is er sprake van populatie-onafhankelijk meten. Dit betekent dat de betrouwbare score, en dus ook de totaalscore, afhankelijk zijn van het moeilijkheidsniveau van de gebruikte test. In de klassieke context maakt iedereen dezelfde test, zodat het moeilijkheidsniveau van de test constant wordt gehouden. Zo kunnen verschillen tussen geteste personen verklaard worden aan de hand van hun verschillen in niveau.

Wat is populatie-onafhankelijkheid? Als we beschikken over een grote verzameling items, die allemaal dezelfde eigenschap meten en we ervan uitgaan dat nagegaan is dat het item-responsmodel past bij de testgegevens, dan maakt het voor de vergelijking van de meetwaarden van de personen niet uit wat het niveau van de tests was (adaptief testen).

Naast theoretische voordelen biedt de item-responstheorie praktische toepassingen die met de klassieke testtheorie nog niet mogelijk waren.

Welke principes en begrippen worden gebruikt in de item-responstheorie?

Score op item g: X_g

Het gaat met name om modellen voor dichotome items (geven bijvoorbeeld aan of een antwoord goed of fout is). Er zijn twee soorten antwoorden:

1. Het positieve antwoord: itemscore is gelijk aan 1, X_g = 1;
2. Het negatieve antwoord: X_g = 0.

Er bestaan ook item-responsmodellen voor items met drie of meer geordende scores, maar die zijn complexer.

Meetwaarde van persoon i: θ_i (thèta)

De item-responstheorie uit dat van kans dat persoon i met meetwaarde θ_i een specifieke respons geeft op item g. Deze kans wordt, behalve door kenmerken van personen (meetwaarde θ_i), ook bepaald door kenmerken van het item (zoals moeilijkheid en discriminerend vermogen). Met een vaste waarde van θ zijn de kansen op een positief en een negatief antwoord samen 1. Andere uitkomsten zijn er niet.

Succeskans: P(X_g = 1|θ)

De succeskans is de kans op een positief antwoord. Deze kans wordt bepaald door kenmerken van zowel personen (meetwaarde θ_i) als items (moeilijkheid δ_g en discriminerend vermogen α_g). Een kans van bijvoorbeeld 0.70 op een item betekent dat iemand in 70% van de onafhankelijke replicaties het goede antwoord geeft.

Item-responsfunctie

In de item-responstheorie wordt de succeskans opgevat als een functie van de te meten psychologische eigenschap. Over de vorm van de functie zijn een aantal dingen te zeggen:

1. De succeskans is een monotoon niet-dalende functie van de schaal waarop de functie wordt gemeten. Dit betekent dat de functie stijgt of constant is.

2. Ten tweede is de succeskans over grote intervallen van de schaal vrijwel constant laag of hoog. Er is een kritisch gebied waar de helling relatief steil is en waar de succeskans dus snel toeneemt. In dit kritische gebied zijn personen met verschillende meetwaarden goed te onderscheiden.

Het algemene model

Drie kenmerken van de items bepalen de exacte vorm van de item-responsfunctie:

1. Pseudokansniveau γ_g (gamma): personen met een lage meetwaarde hebben een succeskans die groter is dan nul. Bij meerkeuze-items kan men altijd blind gissen. De blinde giskans op een positief antwoord is bij een vierkeuze-item 0.25. In de praktijk kan de giskans lager zijn, omdat men vaak voor aantrekkelijke maar foutieve antwoorden kiest bij gissen. Vandaar dat Hambleton en Swaminathan (1985) pleiten voor de term pseudokansniveau in plaats van giskans. Bij open vragen is het pseudokansniveau natuurlijk gelijk aan nul.

2. Moeilijkheid δ_g (delta): de curve heeft een specifieke locatie ten opzichte van de schaal. Items rechts zijn moeilijker, de succeskans wordt daar kleiner.

3. Discriminerend vermogen α_g (alfa): hoe steiler de curve in het kritisch gebied, hoe groter het aantal personen dat een lage of een hoge succeskans hebben en hoe scherper de verdeling van personen op de θ-schaal in tweeën wordt gedeeld. Kleine veranderingen in meetwaarde θ hebben grote veranderingen in de succeskans tot gevolg.

Als de itemkenmerken bekend zijn, kan men voor een specifieke meetwaarde θ de succeskans op het item bepalen.

Welke modellen zijn er in de item-responstheorie?

De diverse item-responsmodellen zijn bijzondere versies van het algemene model. Deze modellen hebben allen als uitgangspunt dat er een monotoon niet-dalend verband bestaat tussen de succeskans op een item en de schaal waarop de psychologische eigenschap wordt gemeten. Ze verschillen in de keuze van de specifieke wiskundige functie voor de item-responsfunctie.

Sommige modellen zijn strenger, met andere woorden ze leggen veel meer structuur aan op het antwoordgedrag van personen en aan patronen van itemscores. Andere modellen zijn minder streng en geven een grotere vrijheid aan antwoordgedrag en gegevensstructuur. De strengere modellen zijn van betere kwaliteit maar zijn vaak praktisch niet toepasbaar, bij de minder strenge modellen is precies het omgekeerde het geval.

De connotatie ‘streng’ en ‘zwak’ verwijst naar de mate waarin modellen restricties opleggen aan antwoordgedrag. De modellen worden besproken in volgorde van streng naar minder streng.

Wat is het Rasch-model?

Het Rasch-model is het strengst van de item-responsmodellen en wordt ook wel het één-parameter logistisch model genoemd.

De meeteigenschappen van het Rasch-model zijn:

1. Moeilijkheidsparameter. De items mogen verschillen in moeilijkheid.
2. Géén pseudokansniveauparameter. Bij elk item dat aan de eisen van het model voldoet, nadert de kleinste succeskans tot nul. Gissen naar een positief antwoord is niet mogelijk, de pseudokansniveauparameter is gelijk aan nul. Als gissen wel een positieve score oplevert is het Rasch-model niet geschikt voor de analyse van de gegevens.
3. Géén discriminatieparameter. Het discriminerend vermogen van alle items uit een test die aan het Rasch-model voldoen is gelijk.
4. Metrische schaal. De eigenschappen van de schaal waarop men meet zijn afhankelijk van de keuze van het type Rasch-model. Er zijn alleen transformaties toegestaan die géén invloed op de succeskans hebben. De eigenschappen van de schaal zijn afhankelijk van de gekozen versie. Men kan kiezen voor: (1) ratioschalen (meting die plaatsvindt op een antilogaritmische schaal met ratio-eigenschappen), (2) verschilschalen (meting op een logaritmische schaal die verschiltransformaties toelaat) of (3) meting op intervalniveau.

Populatie-onafhankelijkheid: een belangrijk kenmerk van de meting volgens het Rasch-model is de populatie-onafhankelijkheid van de meetwaarden. Dit betekent:

• Personen zijn te vergelijken, onafhankelijk van de moeilijkheidsgraad van de items die gebruikt zijn.
• Items zijn te vergelijken zonder afhankelijk te zijn van de personen die aan de meting hebben deelgenomen.

Kanttekening: populatie-onafhankelijkheid geldt alleen maar voor deelpopulaties die gevormd kunnen worden uit een totale populatie. Appels kunnen ook hier niet met peren worden vergeleken, maar goudrenetten wel met golden delicious in de totale populatie van appels.

De eigenschap van het Rasch-model is dat voor elke persoon met hetzelfde aantal items goed (X) dezelfde θ-waarde wordt geschat (personen met alles goed of alles fout doen om technische redenen niet mee). Conclusies die dan uit de geschatte θ- en δ_g-waarden getrokken kunnen worden zijn:

1. De θ-waarden staan op een andere schaal dan X: de θ-schaal is lastiger te interpreteren, maar nuttig vanwege het meetniveau en de populatie-onafhankelijkheid. Voor rapportage is het handiger θ om te rekenen naar een bekende schaal (zoals schoolcijfers), of om met ruwe scores of percentielen te werken.

2. De θ-scores kunnen zowel positief als negatief zijn: omdat de procedure zo is uitgevoerd dat het gemiddelde van de θ’s gelijk is aan 0 (arbitrair gekozen – de kleinste θ had ook als 0 gekozen kunnen worden), heeft het teken (+ of -) van de θ-waarde geen inhoudelijke betekenis.

3. De standaardmeetfout per θ-waarde varieert per gemiddelde θ-waarde: dit in tegenstellig tot de klassieke testtheorie; zo is duidelijk dat voor extreem hoge en lage θ-waarden de nauwkeurigheid het kleinst is, en in het midden van de schaal het grootst. De 90%-betrouwbaarheidsintervallen variëren ook met θ.

4. De betrouwbaarheidsintervallen zijn relatief lang: de geschatte meetwaarden dienen dus ver uiteen te liggen wil er sprake zijn van een significant verschil. En dus is er groot aantal items nodig.

Wat zijn modellen met twee of drie itemparameters?

Deze modellen zijn op te vatten als veralgemeniseringen van het Rasch-model (of het Rasch-model als speciaal geval van deze twee modellen) en zijn dus minder streng. Als het Rasch-model een adequate verklaring geeft voor de testgegevens, dan zijn ook deze modellen bruikbaar. Andersom is dat niet het geval.

Wat is het Birnbaum-model?

Dit model is het strengst en wordt ook wel het twee-parameter logistisch model genoemd, omdat naast de moeilijkheid ook het discriminerend vermogen in de formule is opgenomen. 

Meeteigenschappen van het Birnbaum-model zijn:

1. Discriminerend vermogen. Als de items van de test aan de eisen van dit model voldoen dan hebben ze over het algemeen een verschillend discriminerend vermogen.
2. Moeilijkheidsparameter. Items mogen verschillen in moeilijkheid (net als bij Rasch-model).
3. Géén pseudokansniveau. Net als het Rasch-model nadert de succeskans tot nul als het item voldoet aan de eisen van het model. Analyse volgens dit model is dus niet mogelijk bij gegevens die verkregen zijn met items waarbij personen het antwoord kunnen raden (giskans > 0).
4. Intervalschaal schaal. Meting vindt plaats (evenals bij het Rasch-model) op een metrische schaal, waarop intervallen serieus worden genomen. De eenheid en het nulpunt van de meting kunnen arbitrair worden gekozen.

Populatie-onafhankelijkheid: meting volgens Birnbaum is evenals bij het Rasch model populatie-onafhankelijk. Het geeft wel meer problemen dan bij het Rasch-model, omdat de meting van personen wel onafhankelijk is van het item maar niet van het discriminerend vermogen. De keuze van een bepaalde deelpopulatie heeft gevolgen voor de ordening van de succeskansen. Deze ordening is bij het Rasch-model populatie-onafhankelijk. In dit model verschilt deze ordening per deelpopulatie.

Het kiezen van een minder streng model levert verlies aan meeteigenschappen op. Bij dit Birnbaum-model kunnen alleen personen populatie-onafhankelijk worden gemeten en items niet.

Wat is het drie-parameter logistisch model?

In dit model worden weer minder restricties opgelegd aan het testgedrag, vergeleken met het Rasch- en Birnbaum-model. Er zijn drie itemparameters opgenomen: moeilijkheid, discriminerend vermogen en pseudokansniveau, waarin items uit dezelfde test mogen variëren.

Het Rasch-model is een speciaal geval van deze formule; door γ = 0 aan te nemen voor alle items en door alle discriminatieparameters te normeren op 1 (α = 1). Door alleen γ = 0 aan te nemen krijg je het Birnbaum-model.

Kenmerken van dit model zijn:

• Wel meting op de intervalschaal.
• Meetwaarden van personen zijn populatie-onafhankelijk te bepalen indien bekend is wat de populatie-afhankelijke itemkenmerken zijn.
• Itemkenmerken zijn gebonden aan een vaste populatie van personen.

Wat zijn de modellen volgens Mokken?

Volgens Mokken zijn de relatief strenge modellen niet gerechtvaardigd omdat er over veel psychologische eigenschappen te weinig kennis bestaat. De modellen leggen teveel beperkingen op aan de testgegevens. Bij het Rasch-model kunnen items alleen variëren in moeilijkheid, terwijl zij in werkelijkheid ook op andere kenmerken zullen verschillen. Het drie-parameter logistisch model vereist dat voor respondenten met hoge θ-waarden de kans op het goede antwoord naar 1 nadert, maar sommige items kunnen zo moeilijk zijn, dat ook deze respondenten het fout hebben. Alle drie de modellen veronderstellen eerst een lage vrijwel constante meetwaarde, daarna snel stijgend en dan een constante waarde die dicht bij 1 ligt, maar dat hoeft niet bij alle (psychologische) eigenschappen zo te werken.

Er zijn twee Mokken-modellen: het model van monotone homogeniteit en het model van de dubbele monotonie.

Wat is het model van monotone homogeniteit?

Dit is het minst restrictieve model van de twee Mokken-modellen en is een verzameling van items waarvan ieder item een beroep doet op dezelfde eigenschap (homogeniteit). Tevens kan het antwoordgedrag op ieder item door middel van een monotone functie worden beschreven.

Er zijn geen restrictie op het antwoordgedrag van de proefpersonen op de items door middel van een specifieke responsformule (dat is wel het geval bij de voorgaande modellen) omdat er over veel psychologische begrippen nog te weinig kennis bestaat. De enige restrictie is dat de item-responsfuncties monotoon niet-dalend zijn. Het antwoordgedrag van een persoon op een item is een resultante van persoon en item. Er is geen exacte specificatie van de wijze waarop dit antwoordgedrag wordt bepaald. Het antwoordgedrag moet afspiegeling zijn van de psychologische eigenschap die wordt gemeten op de θ-schaal: als θ toeneemt, neemt ook de succeskans toe, maar zonder restricties aan hoe die toename precies verloopt.

De meeteigenschappen van dit model zijn:

1. De items kunnen variëren in moeilijkheid, discriminerend vermogen en pseudokansniveau.

2. Personen kunnen worden geordend op θ met behulp van hun totaalscores op X. De meetwaarde θ kan niet met dit model geschat worden (wel met de drie voorgaande modellen), daarom is het fijn dat personen wel op θ geordend kunnen worden. Dat kan theoretisch ongeacht testlengte k, maar praktisch wordt de betrouwbaarheid lager bij minder items.

3. Meting van personen geschiedt op een ordinale schaal. De verschilschaal (Rasch-model) en intervalschaal (Birnbaum-model) raken we hiermee kwijt. Maar de ordinale schaal is in veel toepassingen voldoende (zoals bij een sollicitatieprocedure).

4. Vanwege de zwakke vooronderstellingen is er minder verlies van items, dit leidt tot hogere betrouwbaarheid van X.

5. Itemparameters θ, δ, en andere itemparameters kunnen niet geschat worden. Wel kan de p-waarde (proportie 1-en) berekend worden; hoe groter de p-waarde, hoe gemakkelijker of populairder het item.

Populatie-onafhankelijkheid: de ordening van personen is populatie-onafhankelijk. Het maakt niet uit of de test wordt samengesteld uit een itemdomein dat verenigbaar is met de eisen van het model van monotone homogeniteit, de ordening blijft dezelfde. De ordening van items naar moeilijkheid is wel populatie-afhankelijk.

Rasch en Birnbaum-modellen zijn speciale gevallen van dit model. De item-responscurve worden niet door een specifieke functie vastgelegd wat wel het geval is bij Rasch en Birnbaum-modellen.

Wat is het model van dubbele monotonie?

Dit is een model dat wel leidt tot populatie-onafhankelijke ordening van zowel personen als items: het is een speciaal geval van het model van monotone homogeniteit. De eisen van het model van dubbele monotonie zijn:

• De item-responsfuncties zijn monotoon niet-dalend.
• De functies mogen elkaar niet snijden: de functies mogen elke denkbare vorm hebben, maar niet dalend zijn en elkaar niet snijden. Dat lijkt op het Rasch-model (is ook stijgend en niet niet snijdend), maar is dan wat vrijer.

Meeteigenschappen van dit model zijn:

• Ordinale schaal. Populatie-onafhankelijke ordening van zowel personen als items; personen kunnen met behulp van X worden geordend op θ.
• De p-waarden van items liggen ook op een ordinale schaal: de ordening van items naar afnemende p-waarde correspondeert met toenemende moeilijkheid.

Populatie-onafhankelijkheid: de ordening van personen is populatie-onafhankelijk en de ordening van items is populatie-onafhankelijk (items kunnen geordend worden met behulp van hun p-waarden). Maar de testscores X en de p-waarden zijn niet vergelijkbaar; personen kunnen wel met elkaar op een schaal vergeleken worden en items ook, maar personen en items kunnen niet onderling vergeleken worden.

Hoe zijn de item-responsmodellen onderling aan elkaar gerelateerd?

Het Rasch-model is een speciaal geval van het Birnbaum-model en dat is weer een speciaal geval van het drie-parameter logistisch model. Ze veronderstellen alle drie dat items uit een test dezelfde eigenschap meten, en elk heeft een eigen formule waarmee wordt aangegeven wat het verband is tussen de succeskans op een item en de schaal (θ) waarop de psychologische eigenschap wordt gemeten: een monotoon stijgend verband. Het model van monotone homogeniteit veronderstelt ook dat dit verband monotoon is, maar zonder verdere restricties aan de vorm. Dat maakt de bovenstaande drie modellen speciale gevallen van het model van monotone homogeniteit.

Van algemeen naar specifiek: model van monotone homogeniteit → drie-parameter logistisch model → Birnbaum-model → Rasch-model.

Testgegevens die met een specifiek model verklaard kunnen worden, kunnen ook met een algemener model verklaard worden. Andersom geldt dat niet altijd.

Het model van dubbele monotonie is een speciaal geval van het model van monotone homogeniteit (voegt er een extra restrictie aan toe). Het Rasch-model is een speciaal geval het model van dubbele monotonie (veronderstelt niet alleen dat items niet snijden, maar ook dat ze parallel zijn).

Van algemeen naar specifiek: model van monotone homogeniteit → model van dubbele monotonie → Rasch-model.

Het Venn-diagram laat de relatie tussen de modellen zien. Als een ellips geheel binnen een andere ellips valt is dit model een speciaal geval van het andere model. Als de ellipsen elkaar overlappen kunnen er deelverzamelingen van items gekozen worden met itemparameters, waarvan beide modellen een verklaring kunnen geven. Als de ellipsen een uniek deel hebben kan alleen van items die in dit unieke deel vallen, dat specifieke model een beschrijving geven.

Hoe kan met de item-responsmodellen gemeten worden?

Wanneer de testtheorie toegepast wordt op de gegevens van de test dan heeft dit tot gevolg dat personen en eventueel ook items op een schaal worden afgebeeld. De item-responstheorie heeft de volgende eigenschappen:

1. Meten bij implicatie:
   • De schaaleigenschappen volgen uit het specifieke item-responsmodel (en hoeven dus niet te worden aangenomen, zoals bij klassieke testtheorie: meten bij fiat). Bij de Rasch en Mokken-modellen gelden de theoretisch afleidbare schaaleigenschappen in de praktijk ook. Dit komt omdat het empirisch te onderzoeken is of een model een goede verklaring geeft van het antwoordgedrag.
2. Het type meting:
   • Mokken-modellen: meting op ordinale schaal.
   • Birnbaum, drie-parameter logistisch en Rasch-modellen: meting op een metrische schaal (interval-, verschil en rationiveau).
3. Ordening:
   • Birnbaum, drie-parameter logistisch en Rasch-modellen: items en personen worden op dezelfde schaal afgebeeld.
   • Mokken-modellen: vanwege de ordinale meting aparte ordening van personen en items.
4. Populatie onafhankelijkheid:
   • Rasch-model: zowel de meting van personen als items zijn populatie-onafhankelijk.
   • Birnbaum en drie-parameter logistisch model: alleen de meting van personen is populatie-onafhankelijk.
   • Mokkens model van monotone homogeniteit: ordening van personen is populatie-onafhankelijk.
   • Mokkens model van dubbele monotonie: ordening van personen en items is populatie-onafhankelijk.

Wat is de betekenis van metrische schalen en hoe kan het gebruikt worden?

Meting met behulp van een metrische schaal (ratio-, interval- of verschilschaal) moet niet direct in psychologische termen worden vertaald. In het praktische gebruik van een testscore hebben deze schaaleigenschappen geen absolute betekenis (iemand heeft niet 2x zoveel van een bepaalde eigenschap). Er zijn een aantal bewerkingen van meetwaarden om een schaal van handige interpretaties te voorzien (Eggen, Kelderman, 1987):

1. De schaal kan worden omgezet naar het gemiddelde en de spreiding die kenmerkend zijn voor de normgroep. Door een bepaalde verdeling van de scores in de normgroep kan een specifieke score hierbinnen meteen geïnterpreteerd worden.

2. De meetwaarden kunnen worden gerelateerd aan één of meer populatie-onafhankelijke referentiepunten die de mogelijkheid bieden voor een zinnige inhoudelijke interpretatie.

3. De omzetting in percentielscores.

4. De omzetting van meetwaarden in succeskansen en daarvan afgeleide schaaltypen. ‘Odds’ is de verhouding tussen de kans op een positief antwoord en de kans op een negatief antwoord op hetzelfde item voor een vaste meetwaarde.

5. De laatste bewerking is het omzetten van de schaal uit de item-responstheorie in de schaal van de klassieke testtheorie (omzetting van de θ-schaal in de schaal van de betrouwbare T-score).

Hoe kan de nauwkeurigheid van de meting gewaarborgd worden?

Het is belangrijk zowel bij de klassieke testtheorie als bij de item-responstheorie dat de scores van personen betrouwbaar ten opzichte van elkaar of van een normscore kunnen worden onderscheiden. Hierin is de item-responstheorie een verfijning van de klassieke testtheorie.

In de klassieke testtheorie wordt de precisie van de meting uitgedrukt in de standaardmeetfout. Het uitgangspunt hierbij is dat deze constante standaardmeetfout voor een test op ieder scoreniveau gebruikt kan worden. Dit is echter in de praktijk niet altijd zo; een test meet de psychologische eigenschap niet op de hele schaal overal even precies. Dat wil zeggen dat een test geschikter kan zijn voor de ene persoon dan voor de ander, dat de test preciezer meet voor de één dan voor de ander.

Lokale betrouwbaarheid: een te gemakkelijke of moeilijke test geeft voor de meting van θ_i weinig informatie: het meetinstrument en het te meten object passen niet bij elkaar. Wanneer de test goed bij de persoon past, dan is θ_i nauwkeuriger geschat. Er kan hiervan een informatiefunctie worden gemaakt. Hoe groter de informatiefunctie, hoe nauwkeuriger de meting.

Informatiefunctie

Er kan voor ieder afzonderlijk item en voor de gehele test een informatiefunctie worden bepaald. Deze functies hebben bij bepaalde waarden op de schaal hun maximum: daar meet de test of het item het nauwkeurigst en is het optimaal informatief. Hoe groter de waarden van de informatiefunctie, des te nauwkeuriger de meting.

• Bij de Rasch en Birnbaum-modellen mag een informatiefunctie wel, omdat ze aannemen dat de schattingen van persoons- en itemparameters beschikbaar zijn voor de schatting van de informatiefunctie. Ieder item uit de test levert een onafhankelijke bijdrage tot de precisie van de meting van een persoon. Men werkt hier volgens de principes van het adaptief testen. Men meet zo nauwkeurig mogelijk door aan proefpersonen die items voor te leggen die qua moeilijkheid zoveel mogelijk gelijk zijn aan zijn of haar niveau.

• Bij Mokken-modellen mag een informatiefunctie niet omdat zij niet uit gaan van schattingen van persoons- en itemparameters.

Hoe kan de item-responstheorie praktisch gebruikt worden?

Wat is een itembank en hoe kan het gebruikt worden?

Bezwaren tegen het gebruik van standaardtests:

1. Weinig inhoudsvaliditeit. De standaardtest geeft in geringe mate het inhoudelijke kennis of vaardigheidsdomein weer en prestaties op verschillende tests zijn niet goed vergelijkbaar.
2. Geen standaardpopulaties. Standaardtests veronderstellen standaardpopulaties, maar in de praktijk ontstaan er veel veranderingen in de populatie.
3. Individualisering van het leerproces. Iedereen leert anders en in een ander tempo, daardoor is niet iedereen op een gegeven tijdstip even ver gevorderd.
4. Problemen bij het meten van ontwikkelingen en veranderingen, zoals geheugeneffecten. Verandering meten kost minimaal twee meetmomenten, de tweede meting is echter géén onafhankelijke replicatie.
5. Vloer- en plafondeffecten. Bijvoorbeeld een test is bij de tweede meting te gemakkelijk geworden (plafondeffect).

De problemen van standaardtests kan men verkleinen door een groot domein van items te maken die men gebruikt om nieuwe tests te maken. Men noemt dit domein een itembank. Een itembank is 'een relatief grote verzameling van gemakkelijk toegankelijke testvragen'. Relatief groot verwijs naar het feit dat er veel meer items zijn dan in een standaardtest. Met gemakkelijk toegankelijk bedoelt men dat de items gemakkelijk te selecteren en op te nemen zijn in een test.

Van der Linden (1983) noemt het samengaan van de itembank en item-responstheorie het moderne complex van theorie en toepassing van tests. Hiertegenover staat het klassieke complex van standaardtests en de klassieke testtheorie. Het samengaan van de itembank en de item-responstheorie is mogelijk vanwege de populatie-onafhankelijkheid van metingen.

Populatie-onafhankelijkheid heeft tot gevolg:

• Dat items uit een itembank op dezelfde schaal kunnen worden afgebeeld als ze voldoen aan het desbetreffende item-responsmodel. Bovendien kan men meetwaarden aan hen toekennen, dit noemt men calibreren. Gecalibreerde items van verschillende tests die hetzelfde psychologische begrip meten kan men vervolgens afbeelden op een gemeenschappelijke schaal, men noemt dit het equivaleren van itemkenmerken.
• Dat ongeacht de keuze van de items, dezelfde meetwaarde wordt geschat. De meetwaarde is populatie-onafhankelijk, maar de nauwkeurigheid of betrouwbaarheid van de schatting is dat niet (is afhankelijk van de gebruikte items).
• Dat testscores van verschillende tests met elkaar vergeleken kunnen worden. Dit noemt men ook equivalering van testscores.

Twee methoden om items in een bank op te slaan zijn:

1. Items opslaan naar onderwerp of plaats in het curriculum. Nadelen: er moeten steeds weer nieuwe categorieën gemaakt worden als nieuwe items niet passen in de bestaande categorieën. Items zijn slechts per categorie oproepbaar en men kan de itemkenmerken niet onbeperkt combineren.
2. Items rangschikken op basis van één of meer sleutelwoorden. Deze manier van opslaan is veel flexibeler dan de eerste en men kan er meer mee.

Behalve inhoudelijke informatie kan men in een itembank ook technische informatie opnemen, zoals informatie over moeilijkheid, discriminerend vermogen en pseudokansniveau.

Hoe kan een test geconstrueerd worden op basis van een itembank?

Metingen gebaseerd op tests uit de itembank hoeven niet beter te zijn dan die gebaseerd zijn op een standaardtest. Voor een specifieke toepassing is het vooral lastig om de geschikte items uit de itembank te selecteren. Er kunnen aan zowel aan de te selecteren items als de uiteindelijke test een aantal eisen worden gesteld, als we willen dat de test zo nauwkeurig mogelijk meet, over:

1. De samenstelling van de test qua onderwerp.
2. De bovengrens voor het aantal te selecteren items (in verband met de testtijd).

Het is moeilijk om uit de itembank die deelverzameling items te halen die aan alle eisen voldoen, zeker als het een grote itembank betreft.

Om een preciezer beeld van het probleem van itemselectie te krijgen, kan men een testinformatiefunctie (ook wel doelinformatiecurve genoemd) construeren. Er wordt hierbij een grensscore (aftestgrens, cesuur) bepaald: deze score bepaalt de grens tussen bijvoorbeeld wel of niet slagen voor toets. De test moet nauwkeurig rond de grensscore scoren, met andere woorden de functiewaarden moeten in en rond de grensscore groot zijn. Degene die de test construeert moet beslissen wat de minimumwaarde van de informatiefunctie in en rond de grensscore moet zijn.

De som van de iteminformatiefuncties is gelijk aan de testinformatiefunctie. Men probeert nu bij de itemselectie, de items zó te selecteren dat het oppervlak onder de doelinformatiefunctie met zo min mogelijk iteminformatiefuncties helemaal afgedekt wordt.

Wanneer tests na elkaar geconstrueerd worden treedt het probleem op dat een item geselecteerd kan zijn voor de eerste test hoewel dit item beter in de tweede test had gepast. Het item kan echter niet voor beide tests gebruikt worden.

Als er onnauwkeurigheden geconstateerd worden op een schaal dan kan op basis van een doelinformatiecurve een bestaande test veranderd worden door items uit de itembank te selecteren en aan de test toe te voegen.

Hoe kan men adaptieve tests maken met een itembank?

Adaptief testen is pas mogelijk als men beschikt over een itembank. Op basis van de opgeslagen itemparameters en de persoonsparameters van een specifiek persoon kan men items voor de persoon selecteren. Voorafgaand hieraan moet men onderzocht hebben of het antwoordgedrag van de proefpersoon op de items waaruit de adaptieve test wordt samengesteld, voldoet aan de eisen van het item-responsmodel. Hierbij kunnen problemen ontstaan vanwege de strenge eisen van de modellen en de praktische vereisten van de toepassing. Als een test valide is, moeten alle aspecten van het te meten kenmerk gedekt worden. Het probleem is echter dat item-responsmodellen veronderstellen dat alle items hetzelfde meten.

Het kiezen van items verschilt per model. Bij het Rasch-model en het Birnbaum-model zal men het item kiezen dat in moeilijkheid zo dicht mogelijk bij de geschatte persoonsparameter ligt. Bij het drie-parameter logistisch model is het meest geschikte volgende item afhankelijk van een combinatie van de drie itemkenmerken tezamen.

In plaats van steeds één voor één items te kiezen en berekeningen daarop te doen, kan men ook steeds twee of meer items aanbieden en dan pas berekeningen uitvoeren. Dit kan via:

• Two-stage testing: eerst iedereen dezelfde korte test van middelmatige moeilijkheid laten maken, en dan voor het tweede stadium tests van uiteenlopend moeilijkheidsniveau klaarleggen; welke test men krijgt hangt af van de prestatie op test 1. Is vooral handig als men respondenten aan een categorieën wil toewijzen (zoals laag, middelmatig of hoog). Door de eerste schifting door middel van een voortest wordt er in de tweede fase nauwkeuriger gemeten.
• Multi-stage testing: er zijn diverse andere varianten mogelijk tussen two-stage en adaptief testen.

Deze vormen zijn minder nauwkeurig dan de item-voor-item aanpak maar ze kunnen met weinig hulpmiddelen worden uitgevoerd.

Voordelen van adaptief testen:

1. Een nauwkeurige meting per proefpersoon.
2. De proefpersonen krijgen tests op hun niveau, waardoor er minder concentratieverlies of frustratie is.
3. De testprocedure is geautomatiseerd en objectief. Hierdoor hebben testleiders geen kans om onbedoeld respondenten te helpen of te ontmoedigen. En scoringsfouten zijn uitgesloten.
4. Efficiënter. Het heeft een korte testtijd en er is een snelle terugkoppeling van testresultaten mogelijk.
5. Testprestaties verkregen door middel van verschillende tests kunnen met elkaar vergeleken worden.

Een groot nadeel bij het adaptief testen is dat het niet eenvoudig is om grote itembanken te construeren waarvan alle items testgedrag oproepen dat met behulp van één van de item-responsmodellen kan worden beschreven. Als de reacties niet helemaal passen binnen het item-responsmodel is dit geen ramp, omdat er altijd wel enig verschil bestaat tussen een model en de empirische gegevens. Het is wel belangrijk te weten hoe groot het verschil is, zodat men geen erge missers maakt bij het trekken van conclusies en het nemen van beslissingen.

Andere nadelen zijn de hoge kosten (met name bij grootschalige toepassingen) en dat het lastig is om psychologische begrippen te operationaliseren.

Wat is vraagonzuiverheid en hoe kan het onderzocht worden?

Als men mensen uit verschillende populaties met elkaar moet vergelijken, is het belangrijk zich af te vragen of personen uit de ene populatie systematisch bevoordeeld of benadeeld worden omdat de test in de verschillende populaties op verschillende wijzen functioneert. Het onderzoek hiernaar noemt men het onderzoek naar vraagonzuiverheid of vraagpartijdigheid. Bij vraagonzuiverheid ontstaan er verschillen in testscores tussen populaties. Deze verschillen moeten worden toegeschreven aan variatie in eigenschappen die men niet bedoelde te meten (onbedoelde eigenschappen).

Er is sprake van vraagonzuiverheid wanneer personen met dezelfde θ-waarde verschillende succeskansen hebben, er zijn dan verschillende item-responsfuncties van het item zijn in beide populaties. Als er sprake is van een zuiver (goed functionerend) item dan hebben personen uit verschillende populaties met dezelfde θ-waarde dezelfde kans om het item goed te beantwoorden. De item-responsfunctie van het item is in dat geval in beide groepen gelijk.

Men gaat er eigenlijk vanuit dat twee personen met dezelfde θ-waarde, afkomstig uit verschillende populaties, dezelfde succeskans op een specifiek item moeten hebben. Is dit niet het geval dan bepalen andere factoren de testprestatie.

Er zijn verschillende methoden om vraagonzuiverheid te onderzoeken:

1. Itemkenmerken vergelijken. Als de item-responsfunctie in twee groepen gelijk is, dan heeft het in beide groepen dezelfde moeilijkheid, hetzelfde discriminerende vermogen en hetzelfde pseudokansniveau. Deze drie itemparameters leiden tot verschillende vraagonzuiverheid. Als alleen de moeilijkheid verschilt, betekent dit dat de succeskansen voor personen uit de ene groep altijd groter zijn dan de succeskansen voor personen uit de andere groep. Als alleen het discriminerend vermogen verschilt dan worden in beide groepen sommige personen benadeeld.
2. Het oppervlak tussen de item-responsfuncties berekenen: hoe groter dit oppervlak, hoe sterker de onzuiverheid.
3. Nagaan of de succeskansen per θ-waarde gelijk zijn: als ze gelijk zijn is er sprake van zuiverheid, en als ze niet gelijk zijn is er onzuiverheid.

Het geven van een inhoudelijk-psychologische verklaring van statistisch gebleken onzuiverheid is noodzakelijk. Drie onderzoeksstrategieën voor de verklaring van vraagonzuiverheid zijn:

1. Inspectie van partijdige items naar opvallende kenmerken, een ad-hoc strategie. Nadeel: het kan leiden tot speculatie.
2. Het leggen van een verband tussen eigenschappen van personen enerzijds en kritische kenmerken van partijdige items en vergelijking met onpartijdige items anderzijds. Nadeel: correlatie is geen causaliteit.
3. Experimenteel onderzoek naar de oorzaken van vraagonzuiverheid.

Wat betekenen afwijkende scorepatronen en hoe kan het onderzocht worden?

Soms wijken individuen af van anderen uit dezelfde populatie, wat niet logisch is gezien hun θ-waarde en itemkenmerken. In dat geval bevat de θ-waarde niet alle informatie over het individu en er is extra informatie te verkrijgen uit het patroon van de itemscores. Voorbeelden van situaties waarin afwijkende scores te verwachten zijn:

1. Bij studietoetsen. De item-responsmodellen voorspellen dat het percentage goede antwoorden afneemt naarmate de items moeilijker worden. Maar door gissen kan iemand toch hoog scoren en door een slechte voorbereiding kan iemand een gemakkelijker item missen. Hierdoor krijgt men een scorepatroon waarin goede en foute antwoorden gelijkmatig over gemakkelijke en moeilijke items verdeeld zijn. Ook door bedrog en fraude (afkijken en spieken) kan men een afwijkend patroon krijgen; opvallend veel goede antwoorden bij moeilijke items ten opzichte van de makkelijke items.
2. Het onderzoek van Van der Flier in de populatie van Tanzaniaanse en Keniaanse leerlingen met twee verbale redeneertests. Na correctie van de afwijkingen bleken de Keniaanse kinderen betere testscores te hebben.
3. Onderzoek naar deelvaardigheden die noodzakelijk zijn voor het oplossen van een probleem, maar die door de leerling onvoldoende worden beheerst. Door het de herkenbaarheid van het afwijkende patroon kunnen we de oorzaak van fouten opsporen.
4. Een proefpersoon die over goede vaardigheden beschikt maar weinig ervaring heeft met het invullen van antwoorden op een formulier voor automatische scoring, waardoor de antwoorden op de verkeerde plek ingevuld worden (voorbeeld van Hulin).

De verschillende methoden die zijn voorgesteld om afwijkende scorepatronen te onderzoeken gaan uit van het principe dat als men iemands meetwaarde en de itemkenmerken van alle items in de test kent, men de kans op een specifieke score op een gegeven item kan berekenen. Vervolgens kan men de kans op een gevonden patroon van itemscores berekenen en kan men bepalen of de gevonden patronen te verwachten zijn.

Persoon-responsfunctie

De persoon-responsfunctie is het spiegelbeeld van de item-responsfunctie: het geeft de succeskans van een persoon met een gegeven θ-waarde als functie van de moeilijkheid van items. Vier voorbeelden van persoon-responsfuncties:

1. Monotoon dalend: als de item-responsfuncties van de k items elkaar niet snijden (Rasch, dubbele monotonie) neemt de persoon-responsfunctie monotoon af als de items moeilijker worden. De succeskans neemt af en kan niet toenemen.
2. Horizontaal over de hele linie: de succeskans is niet afhankelijk van de moeilijkheid, blijkbaar heeft de persoon zich niet goed voorbereid.
3. In het begin relatief laag: de gemakkelijke items waren relatief moeilijk, de persoon had in het begin mogelijk last van testangst.
4. Aan het eind relatief hoog: na een aanvankelijke daling stijgt de functie bij moeilijke items. Dat kan duiden op bedrog of de persoon kende de moeilijke items al (item exposure).

Onderzoek naar vraagonzuiverheid en onderzoek naar afwijkende scorepatronen gaan hand in hand. Als het item onzuiver is, is de persoon afwijkend. Het is raadzaam onzuivere items te verwijderen en te vervangen door zuivere items. Afwijkende personen moeten dan herwaardeerd worden met betrekking tot hun prestatie. Net als bij onderzoek naar vraagonzuiverheid moeten statistische afwijkingen inhoudelijk-psychologisch worden verklaard, maar het onderzoek richt zich in dit geval op personen in plaats van op items. Verklaringen kunnen hier ook variëren van speculatie tot een gecontroleerd experiment.

Welke speciale onderwerpen zijn ook belangrijk?

Hoe werkt de item-responstheorie voor polytoom gescoorde items?

In persoonlijkheidsvragenlijsten worden vaak rating-scale items gebruikt, met drie of meer geordende antwoordcategorieën; een hogere score betekent een hogere positie op de schaal van de eigenschap. Item-responsmodellen voor dergelijke scores bepalen een responsfunctie voor elke score die op een item mogelijk is. De kans op een specifieke itemscore wordt voor iedere score apart gemodelleerd.

De kans op de laagste score is groot voor respondenten met lage θ-waarden en neemt af als de θ-waarde toeneemt. Er is voor elke score een locatie op de θ-schaal waar de kans op die score het hoogst is. Elke itemscore heeft bij elke θ-waarde een positieve kans, maar die kansen verschillen, zodat per θ-waarde meestal één score het meest waarschijnlijk is.

Item-responsmodellen voor polytome functies zijn veel ingewikkelder, er moet ook bepaald worden of een model past bij de gegevens en het schatten van de itemkenmerken is lastiger.

Hoe verhouden de klassieke testtheorie en de item-responstheorie zich tot elkaar?

Sommige auteurs zien klassieke testtheorie en item-responstheorie als elkaars tegenovergestelde. Andere auteurs menen dat ze elkaar aanvullen.

Voordelen van de item-responstheorie ten opzichte van de klassieke testtheorie zijn:

1. De item-responsmodellen kunnen als nulhypothese op de testgegevens worden getoetst: past een model bij de gegevens, dan wordt het model niet verworpen en gelden de eigenschappen van het model voor de gegevens. Bij de klassieke theorie kan het passen van het model niet goed worden onderzocht.
2. Personen worden populatie-onafhankelijk gemeten waardoor testprestaties van verschillende tests voor dezelfde eigenschap op dezelfde schaal afgebeeld kunnen worden. In de klassieke theorie zijn de metingen populatie-afhankelijk.
3. De betrouwbaarheid van de meting varieert over de schaal, zo kan men erachter komen dat een test voor de ene persoon geschikter is dan voor de ander. In de klassieke theorie wordt de betrouwbaarheid op de hele schaal even groot verondersteld.

De praktische voordelen van de klassieke testtheorie:

1. Het is eenvoudiger en daardoor beter toegankelijk.
2. Het is maar de vraag of de validiteit van de test zoveel minder is.
3. De klassieke testtheorie ‘werkt’ bij testconstructie bijna altijd; item-restcorrelaties kunnen worden gebruikt om eventueel items weg te laten en zo de rest betrouwbaarder te maken.
4. De toenemende betrouwbaarheid bij een toenemend aantal items is erg gunstig.

De strenge item-responsmodellen verwerpen soms veel items, maar de vooronderstellingen van de klassieke testtheorie kunnen vaak niet empirisch gecontroleerd worden; de item-responstheorie is wel controleerbaar en dus kwetsbaarder.

In Nederland wordt de klassieke testtheorie nog het meest gebruikt, behalve bij de grootschalige CITO. In de VS wordt de item-responstheorie vaker gebruikt (ook voor psychologisch meten).

Wat is de rol van de item-responstheorie in de psychologische theorievorming?

Is statistisch gebleken dat er sprake is dan vraagonzuiverheid of afwijkendheid van scores, dan is er een psychologische verklaring nodig om het te begrijpen. In een bepaalde benadering binnen de psychometrie zet men niet alleen testprestaties om in meetwaarden, maar wordt er ook naar een psychologische verklaring gezocht voor de totstandkoming van de testprestatie: het cognitieve oplossingsproces. Het zijn de ‘psychologische’ onderwerpen uit de item-responstheorie (vraagonzuiverheid, afwijkendheid, cognitieve oplossingsproces) die acceptatie van deze theorie zullen bevorderen.

Wanneer er een keuze moet worden gemaakt tussen verschillende alternatieven, vindt er voor die keuze altijd een zekere beoordeling plaats. Dit hoofdstuk zal in gaan op de vraag welke bijdrage een test aan dit beslissingsproces kan leveren.

De waarde van een test valt uiteen in twee delen. De wetenschappelijk waarde van een test wordt bepaald door de wetenschappelijk waarde van de te meten eigenschap. De praktische waarde van een test hangt af van het succes van de beslissingen die met behulp van de test kunnen worden genomen.

De test moet een bijdrage leveren aan een beoordeling of beslissing, om deze bijdrage te kunnen beoordelen moet gekeken worden naar de kans op succes en de waardering van dat succes. Deze kansen en waarderingen verschillen per beslissingssituatie.

Er wordt altijd beoordeeld en op basis daarvan beslist, de vraag is wat een test hieraan kan toevoegen. In een situatie zonder test is er vaak ook al redelijk wat informatie beschikbaar voor het maken van een ‘juiste’ beslissing. Daarom moet er bij het vaststellen van de praktische waarde van een test niet worden vergeleken met een random keuzeproces (aldus Cronbach en Gleser). Beter is om de situatie met test te vergelijken met de a-prioristrategie (het totaal aan voorspellingsmogelijkheden zonder de test).

Dit wordt ook wel ‘incremental validity’ genoemd: de waarde van een test wordt bepaald door de toevoeging die een test geeft aan het a-prioriniveau van voorspellingsmogelijkheden. Hoe onafhankelijker de test is van de reeds beschikbare informatie, des te groter diens waarde dus is.

Overigens moet worden gesteld dat er voor een aantal (vaak zeer eenvoudige) functies de ‘antecedent probability’ of ‘base rate’ (het gehalte geschikte personen in de bevolking) zeer groot is. Een random toewijzing, dus zonder gebruik van een test, zal in deze gevallen adequaat genoeg zijn. Een test zal hier daarom van weinig toevoegende waarde zijn.

De praktische waarde van een test kan niet los worden gezien van het beslissingsproces zelf. We zullen hieronder daarom de verschillende soorten beslissingen, de meest voorkomende beslissingen in de testtheorie, en de beslissingsprocedure bij een ‘open vraag’ bespreken.

Welke indelingsprincipes (taxonomie) zijn er met betrekking tot het nemen van beslissingen over mensen?

Een beslissing bestaat altijd uit de volgende drie componenten:

1. Eén of meer individuen waarover de beslissing wordt genomen.

2. Twee of meer behandelingen waar men bij de beslissing uit moet kiezen (het woord ‘behandeling’ moet ruim opgevat worden).

3. De informatie met behulp waarvan de beslissing kan worden genomen.

Wanneer er bepaalde vaststaande regels worden gevolgd bij het nemen van een beslissing, is er sprake van een beslissingsstrategie. Deze bestaat meestal uit de volgende cyclus: ‘nader onderzoek – tests – informatie – informatieverwerking’. Deze cyclus kan diverse malen worden herhaald, net zo lang totdat er genoeg informatie beschikbaar is voor het maken van een definitieve beslissing.

Vaak komen de normatieve en de empirische, feitelijke strategie niet met elkaar overeen. Niet alle beslissingsstrategieën worden even duidelijk en consequent toegepast. Extra informatie, gevoelsmatige ideeën, slordigheden en inconsequenties sluipen in de beslissingsstrategie en hebben invloed op de uiteindelijke beslissing.

Beslissingen kunnen worden opgedeeld aan de hand van drie principes: (1) het onderscheid tussen individueel en institutioneel, (2) de onderlinge relatie van de alternatieven en (3) beslissingen die met behulp van univariate informatie genomen worden. Deze principes worden hieronder besproken.

1. Het onderscheid tussen individuele en institutionele beslissingen

Individuele beslissingen. De uitwerking van een beslissing is per persoon verschillend, de waarde van een bepaalde beslissing moet dan ook voor ieder individu apart worden bekeken. Bij individuele beslissingen gaat het om eenmalige beslissingen waarbij volledig rekening wordt gehouden met de persoon waarvoor of waardoor de beslissing wordt genomen. Bijvoorbeeld: beroepskeuze, schoolkeuze of keuze voor een studiepakket. Het rendement van de beslissing verschilt per individu.

Institutionele beslissingen. Bij institutionele beslissingen is er sprake van een waardesysteem dat voor alle te nemen beslissingen opgaat. Er is een bepaalde reeks beslissingsregels voorhanden die geldend is voor meerdere beslissingen tegelijk. Er kan hierdoor in een keer een groot aantal gelijksoortige beslissingen worden genomen. Omdat het hier niet om een eenmalige beslissing gaat, maar om meerdere, kan er worden gesproken over een gemiddeld rendement. Het totale rendement van een institutionele beslissingsstrategie valt samen met het gemiddelde rendement van de op zichzelf staande beslissingen. Voorbeelden van institutionele beslissingen zijn: rijexamen, toelatingsprocedures voor scholen, plaatsing bij een bedrijf of therapiekeuze in een kliniek.

2. De onderlinge relatie tussen de verschillende keuzemogelijkheden

De onderlinge relatie tussen de verschillende keuzemogelijkheden is van invloed op de keuze voor een bepaalde test. Er zijn twee mogelijkheden:

1. Univariaat. Wanneer er alleen sprake is van een kwantitatief verschil (niveauverschil) tussen de mogelijkheden, en ze qua aard dus niet van elkaar verschillen, is dezelfde informatie voor beide mogelijkheden toereikend. Het variëren van de norm is dan voldoende. Deze beslissing wordt univariaat genoemd; wanneer er alleen sprake is van een niveauverschil, kan worden volstaan met één schaaldimensie. Een voorbeeld van dit type beslissing is de keuze tussen verschillende schoolniveaus.

2. Multivariaat. Er wordt gesproken van multivariate informatie als de alternatieven kwalitatief van elkaar verschillen. Naast een eventueel niveauverschil is er nu ook sprake van een structureel verschil. Bijvoorbeeld het verschil tussen opleidingen, beroepen, en stoornissen. Bij zulke kwalitatief verschillende alternatieven is een differentiële voorspelling noodzakelijk. Dit is een voorspelling die berust op een multivariate analyse. Voorbeelden van testinformatie die multivariaat van aard is, zijn profielscores, verschilscores en scorepatronen.

3. Onderscheid binnen univariate beslissingen

Beslissingen die met behulp van univariate informatie zijn genomen, kunnen vervolgens weer in twee subgroepen worden onderverdeeld: de keuze voor één enkele behandeling (treatment), of de keuze tussen meerdere mogelijkheden. In het eerste geval gaat het om de keuze tussen ‘wel’ of ‘niet’, deze beslissingen worden dichotoom genoemd. In het tweede geval gaat het om het indelen in verschillende klassen.

Deze driedeling brengt ons tot de volgende taxonomie van beslissingen:

Hierbij kunnen nog een aantal onderscheidingen worden gemaakt:

1. In het bedrijfsleven en in de schoolse praktijk kan een beslissingen zowel univariate als multivariate gevolgen hebben: plaatsing voor een bepaald niveau heeft indirect ook gelijk een zekere selectie tot gevolg.

2. Er kunnen zich een tweetal complicaties voordoen inzake plaatsingsmogelijkheden. Het aantal plaatsen dat ingevuld kan worden kan te weinig zijn (numerus fixus) of te veel (lerarentekort). In zulke gevallen hangt de beslissing niet alleen af van de geschiktheid van de kandidaten, maar ook van de beschikbaarheid/vraag van de treatments.

3. Bij plaatsingsbeslissingen maakt het verschil of het gaat om een variabele of een vaststaande behandeling. Gaat het om een statische, van tevoren vaststaande behandeling, of is er binnen de behandeling nog mogelijkheid tot bijstellen?

4. Een laatste onderscheid wordt gemaakt naar de vraag of de beslissingen in één fase plaatsvindt (‘single stage’ of ‘non-sequential decisions’) of meerdere fasen in beslag neemt (‘sequential decisions’). Een veelvoorkomend voorbeeld van dit laatste is het vooronderzoek.

Wat is het enkelvoudige selectie- c.q. afwijzingsmodel?

Enkelvoudige selectie, ofwel het klassieke geschiktheidonderzoek. Met deze test wordt onderzocht of een individu wel of niet aan de eisen voldoet en dus wel of niet toegelaten kan worden. Deze vorm van selectie wordt ook wel het afwijzingsmodel genoemd, omdat het er eigenlijk omgaat de ongeschikte individuen uit te selecteren. Een enkelvoudige selectie is een institutionele beslissing, op basis van univariate informatie.

Hoe gaat enkelvoudige selectie bij het gebruik van een enkele test?

Hoe hoog moet de correlatie met het criterium minimaal zijn zodat de test zinvol is in het selectieproces? De effectiviteit hangt af van meer factoren dan alleen van de validiteit van de test; soms is een lage correlatie toch nuttig of een heeft hoge correlatie toch weinig waarde.

De resultaten van individuen in een selectieprocedure zijn onder te verdelen in vier groepen.

1. Positieve missers (A): individuen die door hun testscore als onvoldoende beoordeeld zijn, maar het in de praktijk een voldoende criteriumscore behalen. Worden onterecht afgewezen.
2. Positieve treffers (B): individuen die door hun testscore als voldoende beoordeeld zijn, en in de praktijk ook voldoen aan de kritische criteriumscore. Worden terecht geselecteerd.
3. Negatieve treffers (C): individuen die door hun testscore als onvoldoende beoordeeld zijn, en het in de praktijk, dus met hun criteriumscore ook niet redden. Worden terecht afgewezen.
4. Negatieve missers (D): individuen die door hun testscore als voldoende beoordeeld zijn, maar in de praktijk het niet redden (onvoldoende criteriumscore). Worden onterecht geselecteerd.

Hieruit kunnen verschillende maten worden berekend:

• De selectieratio is het percentage dat wordt aangenomen (positief bevonden kandidaten):
• De toevalskans (‘antcedent probability’ of ‘base rate’) is het percentage geschikte individuen wanneer de selectie random plaatsvindt, of iedereen wordt aangenomen:
• De succesratio is het aantal positieve treffers, ofwel het percentage succesvolle individuen binnen de geselecteerde groep:
• Uit deze berekeningen kan afgeleid worden of het percentage succesvolle kandidaten na de selectieprocedure hoger ligt dan na een aselecte toelating.

De succesratio bepaalt de effectiviteit van de selectie. Het is daarom belangrijk om te weten waardoor de succesratio bepaald wordt:

1. De succesratio wordt bepaald door de validiteit van de test. Ofwel de correlatie van de test en het criterium. Hoe hoger de correlatie, hoe minder fouten er bij de selectieprocedure gemaakt zullen worden, en dus hoe groter de succesratio.

2. De succesratio is ook afhankelijk van de toevalskans. Hoe groter de toevalskans, hoe groter de succesratio. Voor de toevalskans is enerzijds de kwaliteit van het aanbod bepalend en anderzijds de strengheid van de criteriumprestaties.

3. Ook de selectieratio is van invloed op de succesratio. Wanneer er meer mensen kunnen worden afgewezen, wordt de succesratio kleiner.

Deze drie verbanden hebben voor de daadwerkelijk beslissing en de evaluatie daarvan een aantal vervelende gevolgen. De absolute waarde van de validiteit van een test heeft op zichzelf weinig betekenis, er moet ook met andere factoren, zoals toevalskans en selectieratio rekening gehouden worden. Zes gevolgen hiervan zijn:

1. Het selecteren van ongeschikte kandidaten. Dit hoeft niet aan de test te liggen, maar kan ook het gevolg zijn van een kwalitatief slecht aanbod, of een kwantitatief laag aanbod.

2. Er is nog een tweede reden waarom fouten in de selectie niet altijd aan de test te wijten zijn. In het beslissingsproces spelen naast de subjectiviteit van de test en de testpsycholoog, ook die van de opdrachtgever een rol. Ook hij speelt een rol bij het bepalen van de selectievoorwaarden (de kritische testscore). De volgende zaken kunnen hierbij van invloed zijn: het niveau van het aanbod, de grote van de vraag, welke succesratio nastrevenswaardig is, hoeveel risico men wil nemen dat een ongeschikte persoon aangenomen wordt en de noodzaak tot het vullen van de vacatures.

3. Een bepaalde validiteit heeft niet steeds dezelfde waarde voor een beslissing. Wanneer een toevalskans extreem groot is, heeft zelfs een valide test weinig tot geen positief effect. Omdat de meeste kandidaten aan de criteria voldoen, kan de test de succesratio nauwelijks verhogen, maar wel verlagen. Selectie met behulp van een test leiden in dit soort gevallen namelijk tot het afwijzen van een relatief groot aantal geschikte individuen. Omgekeerd geldt dus ook dat als er maar weinig geschikte kandidaten zijn, zelfs een test met een relatief lage validiteit toch een grote bijdrage kan leveren door veel ongeschikte kandidaten af te wijzen

4. Wanneer de selectieratio hoog is ten opzicht van de toevalskans, moet de validiteit erg groot zijn om tot een goede selectie te kunnen komen. Voor het vaststelen van de succesratio, de toevalskans, de validiteit en de selectieratio kan gebruik worden gemaakt van de tabellen van Taylor en Russell, indien drie van de vier bekend zijn.

5. Het verhogen van de aftestgrens (er worden dan minder mensen geselecteerd) heeft een positieve invloed op de succesratio. Er worden dan namelijk minder mensen onterecht geselecteerd. Dit heeft echter ook tot gevolg dat er meer mensen onterecht worden afgewezen. Er bestaat dus een problematische relatie tussen positieve (A) en negatieve (D) missers. Het beleid inzake de aftestgrens wordt bepaald door de volgende factoren:

   • Er zijn situaties waarin het aannemen van ongeschikte mensen ernstige gevolgen heeft.

   • Er zijn daarentegen ook situatie waarin het risico tot het aannemen van negatieve treffers graag genomen wordt, om de kans tot het vinden van die ene persoon met die specifieke eigenschap te vergroten. Het gaat hierbij dan om een relatief zeldzame eigenschap die vooraf moeilijk vastgesteld kan worden.

   • Als laatste bestaan er situaties waarin zowel de positieve als de negatieve missers zoveel mogelijk vermeden moeten worden. Zaak is in deze om de verticale kritische testlijn zo te plaatsen dat de uitkomst van (A+D) zo laag mogelijk is.

6. Het vraag en aanbodprobleem. Wanneer er relatief veel mensen zijn, kan er streng worden geselecteerd en zal dit leiden tot veel positieve missers en maar weinig negatieve missers. Omgekeerd zal er bij te weinig kandidaten, afhankelijk van de ernst van de vacature, minder streng geselecteerd worden. Dit leidt tot minder positieve missers, maar wel tot meer negatieve missers. Ook al zijn de waarden van de verschillende beslissingsuitkomsten bekend, dan nog is het vaststellen van de beste aftestgrens erg moeilijk. De invoering van tests bij selecties met een erg kleine toevalskans maken de beslissingsstrategie vaak niet effectiever. Meehl en Rosen stelden zelfs dat het gebruik van tests in situaties met een gemiddelde validiteit maar een lage toevalskans, het maken van fouten bij de selectie zelfs kan vergroten. Hiervan is sprake in bijvoorbeeld de klinische psychologie.

Utiliteit van een testprocedure

Utiliteit is de opbrengst van de selectieprocedure. We gaan uit van een situatie waarin een hogere criteriumscore wordt gewaardeerd met een hogere utiliteit. De netto-utiliteit (ΔU) per onderzochte kan berekend worden met de formule: [9.1] (S_U = standaarddeviatie utiliteit, r_XU = correlatie tussen predictor en utiliteit, ξ(X’) = ordinaat (één van de twee coördinaten van een bepaald punt), C = gemiddelde kosten van de procedure per onderzochte).

Deze formule is gebaseerd op de lineaire regressie van utiliteit U op predictor X, waarbij de helling van de regressielijn wordt bepaald door de coëfficiënt S_Ur_XU. De netto-utiliteit wordt bepaald door vier factoren:

1. De standaarddeviatie van de utiliteitsscores (S_U) zegt iets over of een betere of slechtere prestatie veel of weinig uitmaakt voor de organisatie; als een kleine toename in criteriumprestatie voor de organisatie toch van grote waarde is, zal de nuttigheid van het testonderzoek ook groot zijn, en kan een minder valide test toch voor een utiliteitstoename zorgen.

2. De correlatie tussen test en utiliteit (r_XU) en tussen test en criterium is lineair gerelateerd aan het nuttige effect van de test. De bijdrage van de test aan de utiliteit is recht evenredig met zijn validiteit: een test met correlatie 0.60 is tweemaal zo nuttig als een test met correlatie 0.30.

3. De selectieratio is van invloed op de utiliteit; de nuttigheid van het testonderzoek is per persoon maximaal bij een maximale ordinaat (‘hoogte’) onder de normaalcurve.

4. Bij een bepaalde spreiding in criteriumscores, validiteit en selectieratio kan berekend worden of de kosten van het testprogramma opwegen tegen het uiteindelijke rendement van de selectieprocedure.

Hoe gaat enkelvoudige selectie bij het gelijktijdig gebruik van diverse tests?

Zeker in gevallen wanneer het gaat om een heterogeen criterium is het niet mogelijk om een goede voorspelling te geven op basis van een enkele test. Beter is het om deze gevallen gebruik te maken van een testbatterij; een verzameling van tests die bij voorkeur allemaal zo hoog mogelijk correleren met het criterium, maar zo min mogelijk met elkaar. Er zijn verschillende procedures om afzonderlijke tests te combineren.

Procedure van gewogen samenstelling (compensatorisch)

De verschillende test kunnen grofweg op twee manieren worden gecombineerd om tot een goede selectie te komen.

1. Ten eerste kan dit op een actuarische, ofwel statistische manier. Hierbij worden de successcores zorgvuldig gewogen en de succeskansen berekend.

2. De tweede manier is niet-statistisch, maar gevoelsmatig van aard. Het gaat om een intuïtief proces van wegen en voorspellen, die per situatie erg kan verschillen.

De strijd tussen deze twee methoden is na vele onderzoeken beslecht in het voordeel van de actuarische methode (Meehl kwam overigens al eerder tot deze conclusie). De actuarische methode is nauwkeuriger, zorgt voor de minste missers en leidt dus tot de beste selectie. Dat kan verklaard worden doordat bij de intuïtieve methode vooroordelen, stereotypen en ongeverifieerde veronderstellingen ook een rol spelen (naast ervaring en kennis).

Procedure van veelvoudige minimumscore c.q. multiple cut-off procedure (conjunctief)

Bij deze procedure wordt voor elke afzonderlijke test een kritische testscore vastgesteld. Een kandidaat wordt dus alleen geselecteerd indien hij op alle test voldoende heeft gescoord. Compensatie is hierbij dus niet mogelijk. De veelvoudige minimumscore is in tegenstelling tot de gewogen samenstelling (die is compensatorisch) conjunctief.

Combinatie van compensatorische en conjunctieve methode

Een combinatie van beiden is echter ook mogelijk, dan is binnen bepaalde minimumgrenzen de relatie compensatorisch.

Hoe kan de selectie opgesplitst worden in een of meerdere fasen?

In het geval van een grote groep kandidaten is het vaak effectiever om trapsgewijs te testen. Er vindt dan een voorselectie plaats die de toevalskans voor het definitieve onderzoek doet toenemen. Deze voorselectie dient valide te zijn met betrekking tot het criterium. Vooral bij een groot aanbod is een middelmatig valide test vaak al voldoende voor het doen toenemen van de toevalskans.

De sequentiële beslissingsmodellen kunnen ook wat ingewikkelder van aard zijn. Bij een eerste eenvoudige screening worden de meest ongeschikte en de meeste geschikte kandidaten geselecteerd. Vervolgens vinden er nog een aantal testen plaats om de minder duidelijke kandidaten al dan niet te selecteren. Het voordeel van trapsgewijs testen is dat het veel tijd en geld kan besparen, zonder dat dit ten koste gaat van het selectieproces. Cronbach en Gleser toonden aan dat er verschillende sequentiële strategieën mogelijk zijn, waarvan de effectiviteit per situatie kan variëren. Met name in het geval van complexe onderzoeken (groots, kostbaar, moeilijk of vervelend voor de betrokkenen) zijn sequentiële strategieën erg toereikend.

Wat zijn plaatsingsbeslissingen en hoe kunnen ze worden genomen?

Bij de tot nu toe besproken beslissingsstrategieën ging het om de keuze tussen het aannemen of afwijzen van de kandidaten. Bij plaatsing gaat het echter om de keuze tussen verschillende alternatieven. Ook hierbij kan er onderscheid worden gemaakt tussen kwantitatief en kwalitatieve verschillende mogelijkheden, en dus tussen univariate en multivariate informatie.

Hoe verloopt de plaatsing bij een niveauverschil?

De besliskunde is de leer die zich bezighoud met het vinden van de meest adequate beslissingsstrategieën. Hierbij spelen twee elementen een rol.

1. Allereerst wordt de kans berekend op het behalen van de verschillende alternatieven. Deze kans wordt bepaald door de correlatie tussen test en criterium.

2. Ten tweede wordt rekening gehouden met de waarden van de beslisser. Het toekennen van waarden aan de verschillende mogelijkheden is vaak erg lastig, maar noodzakelijk voor het komen tot de beste beslissing.

De besliskunde is relevant voor zowel individuele (waarde wordt door het individu bepaald en kan per persoon verschillen) als institutionele beslissingen (waarde wordt door de organisatie bepaald en is constant voor veel beslissingen).

De beste beslissing is de beslissing met het meeste rendement (E). Stel dat we beschikken over de volgende informatie:

• P(A) = de kans op het behalen van alternatief A
• P(-A) = de kans op het niet behalen van alternatief A
• W(A) = de waarde voor het behalen van alternatief A
• W(-A) = de waarde voor het niet behalen van alternatief A

Het optimale rendement (E) van de beslissing voor A is dan: E (rendement) = P(A) * W(A) + P(-A) * W(-A).

Er zijn een aantal relaties tussen het beslissingsrendement en de testprestatie:

1. Parallellie: rendementen voor twee plaatsingen nemen even snel toe, maar de ene is altijd hoger dan de andere. Er moet gekozen worden voor de hoogste.

2. Samenvallen: rendementen voor twee plaatsingen vallen samen en nemen even snel toe. Het maakt niet uit welke gekozen wordt.

3. Lineair kruisen: de rendementsfuncties snijden elkaar, als de testscore beneden een bepaald punt valt, moet gekozen worden voor de ene; als de score erboven valt, moet gekozen worden voor de ander.

4. Niet-lineair kruisen: de rendementsfuncties snijden elkaar twee keer omdat de ene niet lineair is. Het hangt van het punt op de x-as af voor welke plaatsing gekozen moet worden.

Bij 1 en 2 is de keuze voor een bepaalde plaatsing onafhankelijk van de testscore, maar bij 3 en 4 hangt het van de hoogte van de testscore af bij welke het rendement het grootst is.

In vele gevallen is dit optimale rendement echter niet haalbaar. Soms kan slechts een beperkt aantal mensen worden opgenomen in een bepaald alternatief. Omgekeerd moeten sommige functies zo snel mogelijk worden ingevuld, omdat dit anders ernstige gevolgen heeft. Aan deze twee beperkingen kan nog worden toegevoegd dat er vaak een bepaalde discrepantie bestaat tussen de waardesystemen van de verschillende partijen inzake de beslissing (bijvoorbeeld school en leerling). Deze beperkingen leiden vaak tot niet bevredigende beslissingen. Vaak wordt in zulke gevallen de beslissing op gevoel genomen. Dit is echter niet nodig. Men hoeft zich niet perse het totale rendement ten doel te stellen, maar kan ook streven naar de maximaal mogelijke winst, of naar een zo klein mogelijk verlies.

Hoe verloopt de plaatsing bij kwalitatieve verschillen?

Op zich lijkt deze beslissing erg op de hiervoor besproken beslissing: de waarde van de verschillende keuzes moet worden vastgesteld, en de kans op succes moet worden berekend, waarna het verwachte rendement volgens de gegeven formule berekend kan worden.

Het verschil zit hem in de manier van testen, dus in het berekenen van de kans op succes. Bij beslissingen tussen alternatieven met een niveauverschil kan men met één test volstaan. Wanneer alternatieven kwalitatief van elkaar verschillen, is dit niet meer mogelijk. Er moet dan gebruik worden gemaakt van twee verschillende tests, die elk zo goed mogelijk correleren met hun eigen criterium. Om goed te kunnen bepalen voor welk alternatief de kandidaat meer geschikt is, moet men zich richten op de verschillen die er bestaan tussen de criteria. Het gaat er dus om een differentiële voorspelling te doen.

Niet langer is voor de waarde van de test de correlatie met het te meten criterium van belang, maar ook de mate van de differentiële validiteit. Deze laatste vorm van validiteit wordt bepaald door de samenhang tussen de score van eigenschap X en het verschil van de twee criteriumscores (Y₁ – Y₂).

De volgende formule wordt hiervan gegeven: [9.2] (r = correlatie; S = standaardafwijking).

Uit deze formule is af te leiden dat r groter wordt naarmate het verschil tussen de correlaties r(X,Y₁) en r(X,Y₂) groter is.

Wanneer er een restrictie aan het aantal te plaatsen personen wordt verbonden, wordt de kwalitatieve plaatsing een moeilijke aangelegenheid. Men grijpt in dit soort gevallen dan ook vaak terug op irrationele, gevoelsmatige beslissingen. Soms lijken zulke beslissingen op de ‘cut en fit method’ van Ghiselli. Bij deze methode wordt eerst de kandidaat met de hoogste testscore op de voor hem meest adequate positie geplaatst. De overige kandidaten worden vervolgens verdeeld over de rest van de functies.

Soms worden er ogenschijnlijk onlogische beslissingen genomen bij keuzeproblemen. Dit heeft vaak alles te maken met het belang dat aan de verschillende functies wordt gehecht. Is functie A veel belangrijker dan functie B, dan zal men zich hoofdzakelijk richten op het zo optimaal mogelijk invullen van functie A, zonder zich erg druk te maken over de consequenties daarvoor voor functie B. Wanneer het niet veel haast heeft een vacature in te vullen, kan er zelfs besloten worden enige tijd te wachten met de hoop of het zicht op een ‘betere’ populatie.

Hoe kunnen individuele beslissingen genomen worden?

Individuele beslissingen zijn beslissingen die worden genomen voor of door individuen met een eigen persoonlijk waardesysteem, waardoor deze beslissingen een uniek karakter hebben. Ook hierbij gaat het om kansen en waarderingen. Het verschil met institutionele beslissingen is dat de evaluatie van de resultaat individueel is en per individu kan verschillen. Ook hierbij kan het om kwantitatief of kwalitatief verschillende alternatieven gaan, het onderscheid is de aard van de informatie die gebruikt wordt. Bij kwalitatief verschillende alternatieven moet die informatie een hoge differentiële validiteit hebben. Ook bij individuele beslissingen kan een rationeel beslissingsmodel gebruikt worden.

Voorbeeld 1. Een persoon moet beslissen om functie E wel of niet te accepteren. De kans op succes is 0.60 en de kans op falen is 0.40. Ook de waarde van succes of falen is belangrijk: falen is 3x zo ernstig als succes. De berekening is dan: E (rendement) = 0.60 * 1 + 0.40 * -3 = -0.60. Het verwachte rendement is negatief: hij kan de functie beter niet nemen. Maar een ander persoon, met een kleinere kans op succes, namelijk 0.45, die de functie zo graag wil dat de waarde van succes 2x zo groot is als van falen, kan de functie toch accepteren. De berekening is dan: E (rendement) = 0.45 * 2 + 0.55 * -1 = 0.35.

Voorbeeld 2. Een kwalitatieve keuze tussen technische opleiding F en commerciële opleiding G. De kans op succes in F is 0.80 en de kans op slagen in G is 0.60. De waarde voor succes voor F is 10 en de waarde voor G is 15, de negatieve waarde bij falen is te verwaarlozen. De kosten voor de studies (moeite, tijd en kosten) moeten ook gewaardeerd worden in termen die vergelijkbaar zijn met de waarde voor succes: voor F is dat 2 en voor G is dat 4. De berekeningen zijn:

• E_F (rendement F) = 0.80 * 10 – 2 = 6.
• E_G (rendement G) = 0.60 * 15 – 4 = 5.

Opleiding F heeft het grootste verwachte rendement en is de beste keuze.

Voorbeeld 3. Een schoolkeuze, waarbij in overweging genomen wordt het wel of niet halen van een diploma en de mogelijkheid dat slechts enkele klassen met succes doorlopen worden. De volgende kansen komen uit het testonderzoek:

• Havo-diploma 0.20, slechts 3 klassen 0.30 en hooguit 1 klas 0.50.
• VMBO-diploma 0.10, slechts 3 klassen 0.20 en hooguit 1 klas 0.70.

De waardering van de verschillende mogelijkheden is:

• Havo-diploma 15, 3 klassen 5, 1 klas 2.
• VMBO-diploma 10, 3 klassen 2, 1 klas 1.

Als de kostenfactor te verwaarlozen is, zijn de verwachte rendementen te berekenen:

• E_havo (rendement havo) = 0.20 * 15 + 0.30 * 5 + 0.50 * 2 = 5.5.
• E_VMBO (rendement VMBO) = 0.10 * 10 + 0.20 * 2 + 0.70 * 1 = 2.1.

De keuze voor havo is in dit geval het best.

Drie opmerkingen bij deze drie vereenvoudigde voorbeelden:

1. De exacte kansbepaling is meestal niet zo eenvoudig als hier wordt gesuggereerd.
2. Ook de waardering is niet eenvoudig, maar een psycholoog kan daar wel bij helpen.
3. Binnen een keuze moet er vaak met meer mogelijkheden, variaties en schade/kostenposten rekening worden gehouden dan in de voorbeelden.

Wat de voorbeelden wel laten zien is dat ook elementen uit het individuele beslissingsproces te analyseren zijn en dat door deze rationele aanpak de mogelijkheden en moeilijkheden duidelijker worden.

Hoe kunnen beslissingen bij open vragen genomen worden?

Tot nu toe zijn er beslissingen besproken waarbij sprake was van slechts een beperkt aantal alternatieven. Bij open vragen gaat het om een onbeperkte veelheid aan mogelijkheden. Voordat tot het beslissingsproces wordt overgaan, is het bij open vragen erg belangrijk de vraag of het probleem goed te analyseren. Soms blijkt namelijk dat het wel degelijk om een gerichte vraag gaat, of dat het probleem een heel ander gebied behelsd (bijvoorbeeld niet de psychologie maar de pedagogiek). Ook kan het zijn dat de vraag nog te vaag is om met een oplossing te kunnen komen, of dat de verwachtingen met betrekking tot de oplossing niet reëel zijn.

Het daadwerkelijke beslissingsproces kan het beste worden opgedeeld in verschillende fasen:

1. De eerste testfase heeft tot doel het grote aantal mogelijkheden in te perken tot een beperkt aantal of een gerichte aanname. Voor deze eerste fase is een test nodig die een grote aantal mogelijkheden kan bestrijken; betrouwbaarheid is in deze nog niet heel belangrijk.
2. Voor de tweede testfase is dit dat wel. Hierin moet namelijk gekomen worden tot een beslissing tussen de reeds beperkte keuzes, of tot toetsing van de gericht aanname.

Het verschil tussen de tests in de eerste en tweede fase is door Cornbach en Gleser uitgelegd met behulp van de informatietheorie. Het is een algemeen verschijnsel dat kwaliteit ten koste gaat van kwantiteit. Een test kan niet én over bandwijdte én over zuiverheid beschikken. Ook bij het informatieproces gaat het een ten koste van het ander. Wanneer langs een kanaal meerdere boodschappen tegelijk worden gezonden, zal men weliswaar meer horen (grote bandwijdte), maar zal hetgeen dat overkomt minder zuiver zijn. Stuurt men slechts één boodschap langs een kanaal, dus zal deze zeer zuiver ontvangen worden, maar is de bandwijdte erg klein.

Er bestaat dus een spanning tussen bandwijdte en zuiverheid. Voor het opstellen van een test betekent dit dat er telkens moet worden afgewogen wat meer nastrevenswaardig is. Voor sommige tests staat vooral de zuiverheid voorop (tests omtrent een definitieve conclusie en klassieke testbenaderingen, zoals intelligentietests). Voor andere is dat juist de bandwijdte (diagnostische methoden als observatietest, open-vraaginstrumenten).

Om de zuiverheid bij tests waar de bandwijdte in eerste instantie voorop staat toch enigszins te handhaven, zijn er een aantal criteria ontwikkeld:

• Het proces van afname moet goed gestandaardiseerd zijn, en het verwerkingssysteem moet in voldoende mate objectief zijn.
• De test moet genoeg items bevatten om voldoende spreiding in de testprestaties op te kunnen leveren.
• Van de relevante populaties moeten de specifieke normgegevens bekend zijn.
• De kenmerken die worden beoordeeld moeten worden opgenomen in een theorie over een psychologisch ‘construct’. Hierin worden de kenmerken geoperationaliseerd.

De brede-bandtechniek is onmisbaar (in de eerste fase) bij een open vraag. Om tot een definitieve uitspraak (tweede fase) te kunnen komen, moet er echter een gericht toetsingsonderzoek plaatsvinden.

Bij het uitvoeren van brede-bandtests voor exploratieve doeleinden is de psycholoog van grote invloed. Toch zijn er een aantal richtlijnen die een goed en efficiënt testgebruik kunnen bevorderen:

• Bij het ontwikkelen van hypothesen moet maximaal worden aangesloten bij reeds beschikbare gegevens uit de literatuur of de eigen ervaring.
• Bij het vormen van hypothesen moet altijd gebruik worden gemaakt van impliciete en expliciete theorieën. Hierbij is het belangrijk dat men zich baseert op empirisch gegronde theorieën, en dus niet op onduidelijke metafysische theorieën.
• Men moet zich niet baseren op slecht geconstrueerde projectietests, waarvan de testtechnische kwaliteit ondermaats is.

Wat kan hierover besloten worden?

Bij beslissingen over personen is de praktische waarde van de test ondergeschikt aan het belang en de waarde van deze beslissingen. Er zijn méér criteria belangrijk dat alleen de validiteit en betrouwbaarheid.

Wat zijn de definitie, kenmerken en toepassingen van de test? - Chapter 2

Welke indelingen, onderscheidingen en begrippen zijn er omtrent testtheorie? - Chapter 3

Hoe worden items opgebouwd en reacties gekwantificeerd in tests en vragenlijsten? - Chapter 4

Hoe worden tests afgenomen en verwerkt? - Chapter 5

Wat is betrouwbaarheid? - Chapter 6

Welke nieuwe ontwikkelingen zijn er in de testtheorie en constructie? - Chapter 7

Wat is de validiteit en betekenis van een test? - Chapter 8

Wat is de validiteit en betekenis van een test? - Chapter 9