Wat zijn de definitie, kenmerken en toepassingen van de test? - Chapter 2

Wat is een test?

Welke onderdelen bevat een test?

Een verantwoorde en gepubliceerde test bestaat doorgaans uit drie onderdelen: testmateriaal, testformulieren en een testhandleiding.

Testmateriaal

Het testmateriaal is afhankelijk van de soort test. Het testmateriaal bij een schriftelijke intelligentietest zal bijvoorbeeld bestaan uit een boekje met opgaven die opgelost moeten worden. Als de individuele prestaties van een persoon getest moeten worden, kunnen er legpuzzels, tekenpapier of bouwstenen als testmateriaal gebruikt worden. Soms is het geen materiaal in de strikte zin van het woord, zoals een onderwerp voor een vrije discussie.

Testformulieren

Testformulieren worden gebruikt om de resultaten van de test op te schrijven om hieruit conclusies of interpretaties te kunnen trekken. Ze kunnen worden ingevuld door de testleider (bij observatietests) of door de geteste persoon zelf (bij vragenlijsten).

Testhandleiding

Een testhandleiding geeft aan hoe de test gebruikt dient te worden. Een goede testhandleiding moet aan de volgende vier eisen voldoen:

1. Een goede testinstructie. Er moet duidelijkheid zijn over de gang van zaken tijdens de test. Dit wordt bereikt door de testprocedure, uitleg, proefopgaven etc.

2. De verwerkingsprocedure. Dit zijn de instructies over hoe de test (numeriek) gescoord en verwerkt dient te worden. Daarvoor zijn de sleutels van de opgaven nodig: aanwijzingen welke antwoorden (on)juist zijn of (contra)indicatief voor een bepaald verschijnsel en hoe deze antwoorden van scores voorzien moeten worden.

3. Normtabellen. Hiermee worden de scores vergeleken met die van de representatieve normgroep. Dat is een voorwaarde voor nadere interpretatie en evaluatie van de testprestatie.

4. De wetenschappelijke kwaliteit van de test. Hierbij gaat het om de betrouwbaarheid van de test, wat de test betekent en wat het voorspelt.

Wat is een eerste omschrijving van een test?

Bij een test gaat het om een systematisch onderzoek met een bepaald doel. Het doel kan zijn het voorspellen, classificeren of beschrijven van een individu in vergelijking met andere mensen.

Welke kenmerken heeft een test waardoor het onderscheiden kan worden van het voorwetenschappelijk oordeel?

Een psychologische test is een systematisch onderzoek van gedrag met behulp van speciaal geselecteerde vragen of opgaven, met de bedoeling inzicht te krijgen in een kenmerk van de onderzochte in vergelijking met anderen. Men heeft niet altijd een test nodig om zich een oordeel te vormen over menselijk gedrag. Een psychologische test gebruiken is pas dan gerechtvaardigd als het een juister beeld oplevert dan het voorwetenschappelijk oordeel, of als het een verbetering of een aanvulling hierop kan betekenen en als de kosten of ethische bezwaren niet onoverkomelijk zijn. Het gebruiken van een psychologische test heeft zes voordelen (kenmerken) boven het voorwetenschappelijk oordeel:

1. Efficiëntie.
2. Standaardisatie.
3. Normering van de testresultaten.
4. Het principe van objectiviteit.
5. De eis van betrouwbaarheid.
6. Validiteit en de betekenis van een test.

Efficiëntie

In het dagelijks leven zijn veel situaties die een oordeel kunnen verschaffen over bijvoorbeeld de intelligentie van een persoon. Het probleem is echter dat men moet wachten tot deze situaties zich voordoen. Daarnaast is intelligentie in het alledaagse contact tussen mensen een ‘bijproduct’ en komt daarmee niet tot z'n recht (men is er niet zo mee bezig). Intelligentietests daarentegen zijn speciaal samengesteld, niet afhankelijk van toeval en storende invloeden kunnen geweerd worden binnen de testsituatie.

Standaardisatie

Bij een psychologische testafname streeft men ernaar de test op precies dezelfde manier, onder precies dezelfde condities bij iedereen af te nemen. Dit is het standaardiseren van de situatie en is nodig voor de vergelijkbaarheid van de resultaten. Een test kan meer of minder beantwoorden aan de eis van standaardisatie. Als er geen standaardisatie aanwezig is er geen sprake van een test. Standaardisatie maakt een test betrouwbaar en vergelijkbaar. In de praktijk is de inhoud en de situatie steeds verschillend.

Normering

Om de resultaten van personen te vergelijken, is het nodig om te weten hoe groot de afstand tussen de resultaten ongeveer is. Dat moet zo exact mogelijk worden geschat, want door exactheid kan men kleinere verschillen vaststellen. In de praktijk kunnen we een schatting maken van wie intelligenter is dan wie, maar de vraag is hoeveel intelligenter. Bij grote verschillen maakt zo'n schatting niet zoveel uit, maar juist bij kleine verschillen is het nodig een exact instrument te hebben. De eenvoudigste vorm van normering is het vaststellen van een rangorde van zeer goede tot zeer slechte prestaties. De normen worden vastgesteld op een groep proefpersonen (een steekproef).

Vaak kunnen de afstanden tussen testscores in de normering worden opgenomen; dat kan weergegeven worden in een discrete verdeling. Deze discrete verdeling kan benaderd worden met een normaalverdeling, maar eerst moet worden vastgesteld of dat wel redelijk is (met statistische toetsen, zoals de Kolmogorov-Smirnov-toets). Is het redelijk, dan kan men een geschikt gemiddelde en een geschikte standaarddeviatie kiezen en de schaal van de testscores omzetten naar die onder de normaalverdeling met het gekozen gemiddelde en spreiding. Daarmee verandert de schaal, maar houden de personen dezelfde rangorde. Het omzetten naar een normaalverdeling wordt meestal gedaan als de steekproef uit een normaal verdeelde populatie komt en men steekproeffouten wil ‘gladstrijken’. Nieuwe verdelingskenmerken (gemiddelde en standaarddeviatie) kiezen doet men om een ‘handige’ schaal te krijgen (bijvoorbeeld intelligentie heeft een gemiddelde van 100 en de standaarddeviatie is 15).

Behalve dat normering nuttig is voor het interpreteren van resultaten, is het een noodzakelijke voorwaarde voor het gebruik van een test. Soms kan men wel een test gebruiken die niet genormeerd is, bijvoorbeeld in experimenteel onderzoek. Maar eigenlijk heeft men bij alle tests normen nodig, dus ook bij observatietests en projectieve technieken.

Objectiviteit

Met objectiviteit wordt bedoeld dat wie het onderzoek ook doet, het resultaat steeds hetzelfde moet zijn, en dat openheid, reproduceerbaarheid van de test en evaluatie mogelijk zijn. Als men twee personen onafhankelijk van elkaar dezelfde test laat doen onder dezelfde omstandigheden, dan kan men de resultaten met elkaar vergelijken met behulp van bijvoorbeeld correlatie-onderzoek en kan men de procedure op haar objectiviteit toetsen. Dit wordt interbeoordelaarsbetrouwbaarheid genoemd. De interbeoordelaarsbetrouwbaarheid kan uitgedrukt worden in een statische maat die afhankelijk is van het soort gegevens dat beschikbaar is:

1. Rangcorrelatie (als beide beoordelaars een rangorde produceren).
2. Product-momentcorrelatie (als de beoordelingen niet alleen een rangorde vormen, maar de afstanden tussen de plaatsen op de rangorde ook betekenis hebben).
3. Cohen’s kappa (als de personen ingedeeld worden in categorieën, is er geen rangorde of afstand, maar kan de mate waarin de beoordelaars tot dezelfde indeling komen berekend worden).

Het berekenen van Cohen’s Kappa gaat als volgt. Bereken de kans dat persoon A en persoon B het bij een aselect gekozen proefpersoon met elkaar eens zijn: P₀. Dan bekijk je wat de statistische onafhankelijkheid is; dit is de overeenstemming die er zou zijn als de beoordelaars hun eigen frequentieverdeling aanhouden. Makkelijker gezegd, dit is de toevalskans: P_t. Dan bereken je Cohens Kappa met de volgende formule:

(P₀ = overeenstemmingskans, P_t = toevalskans).

Het is mogelijk bij observatietests en projectietests een verantwoorde mate van objectiviteit te bereiken door:

• Het waarneembare gedrag te beschrijven en niet te interpreteren. Dit verhoogt de objectiviteit en verlaagt de subjectiviteit. Observatie- en projectietests worden vaak niet als volwaardige tests gebruikt, men gebruikt hen voor het verkrijgen van ideeën en voor het creëren van hypothesen.
• Registratie in plaats van evaluatie van het gedrag. Door inbreng van de verwerker worden de resultaten subjectiever.
• Een duidelijk voorgeschreven verwerkingsprocedure.
• Objectiviteit als de grondhouding van de wetenschapsbeoefenaar. Dus geen invloeden van buitenaf, van bijvoorbeeld de maatschappij, de organisatie, de onderzoeker etc.

Betrouwbaarheid

Als we een meting nog eens doen op dezelfde manier, dan moet de uitkomst gelijk zijn aan de uitkomst van de eerste meting. Dit is beter mogelijk bij een lengtemeting dan bij een intelligentiemeting. Eigenlijk is het niet mogelijk om twee onafhankelijke metingen te verkrijgen in de psychologie. Metingen moeten onder dezelfde condities plaatsvinden (standaardisatie), maar toevalsinvloeden zijn niet door standaardisatie te ondervangen. Betrouwbaarheid is wenselijk en zelfs noodzakelijk omdat meetresultaten herhaalbaar moeten kunnen zijn; het moet niets of nauwelijks iets uitmaken wanneer iemand getest wordt.

Validiteit

Een goede test heeft een vaststaande psychologische betekenis. Dat wil zeggen dat de betekenis aan de praktijk getoetst is. Er is dus geen plaats voor fenomenologische beschrijvingen en alternatieve verklaringen. Valide testen kunnen niet zomaar overal toegepast worden; het moet altijd gebaseerd zijn op empirisch onderzoek waarin de bedoelde samenhang is aangetoond.

Hoe kunnen eigenschappen gemeten worden door middel van tests?

Welke meetniveaus en toegestane operaties zijn er?

In de praktijk gebruikt men de termen ‘testen’ en ‘meten’ door elkaar. Door middel van tests kunnen we allerlei eigenschappen meten. Van ‘meten’ is sprake zodra getallen volgens een consistente procedure aan objecten worden toegekend. Dit leidt tot de vier bekende meetniveaus. De vier meetschalen, van laag naar hoog, zijn de nominale schaal, ordinale schaal, intervalschaal en de verhoudingsschaal.

De nominale schaal

Op deze schaal gebruikt men getallen om categorieën te onderscheiden en objecten in te delen. Er is geen sprake van een rangorde, het gaat slechts om de verschillende getallen. Op de nominale schaal is geen enkele rekenkundige bewerking mogelijk. Er zijn wel berekeningen die aangepast zijn aan het nominale niveau (bijvoorbeeld Cohen’s kappa).

De ordinale schaal

Bij deze schaal is er sprake van een rangorde, dus van meer of minder. Getallen worden gebruikt om categorieën of objecten te ordenen. Ook hier mogen niet alle rekenkundige bewerkingen uitgevoerd worden, maar het is wel mogelijk om een rangorde met een andere rangorde te vergelijken: de rangcorrelatie.

De intervalschaal

Bij deze schaal is er niet alleen een rangorde van minder of meer, maar ook de afstanden tussen de verschillende posities zijn belangrijk en hebben betekenis. De afstanden tussen de verschillende posities zijn trouwens gelijk. Een intervalschaal heeft geen absoluut nulpunt, maar een arbitrair nulpunt (zoals bijvoorbeeld temperatuur); de verhoudingen tussen de afstanden blijven gelijk als je het nulpunt verschuift. Er zijn wiskundige berekeningen toegestaan; lineaire transformaties van het type Y = a + bX (ondanks dat het nulpunt met factor a is verschoven en de eenheid met factor b is vermenigvuldigd, blijven de verhoudingen gelijk).

Men gaat er vaak te makkelijk vanuit dat testscores op intervalniveau worden gemeten, maar dat wordt vaak niet empirisch ondersteund. Maar het is wel handig om intervaleigenschappen te veronderstellen, omdat dan rekenkundige bewerkingen kunnen worden uitgevoerd. Een eenmaal gekozen schaal moet verder gehandhaafd blijven worden om verwarring te voorkomen.

De verhoudingsschaal (ratioschaal)

Alle rekenkundige bewerkingen zijn hier toegestaan omdat er sprake is van een gelijke afstand tussen de verschillende posities op de schaal en van een absoluut nulpunt. Voorbeelden hiervan zijn lengte en gewicht.

De genoemde schalen zijn de hoofdsoorten; ze geven aan welke numerieke transformaties zijn toegestaan – namelijk diegene die de betekenis van de vergelijking van meetwaarden behouden. Binnen de psychologie zijn er weinig metingen op een verhoudingsschaal; hoogstens op een intervalschaal en meestal is de ordinale schaal voldoende. Er zijn ook verschillende tussensoorten mogelijk, zoals de verschilschaal, waarop transformaties van het type Y = a + X zijn toegestaan: scores op de X-schaal mogen met constante a worden vermeerderd of verminderd (negatieve a).

Welke opvattingen zijn er over meten?

In de psychologie was lang het probleem dat men eigenschappen niet rechtstreeks kan meten. In de 19e eeuw stond de fysica model voor het meten in de psychologie; het ideaal was psychologische eigenschappen meten zoals bijvoorbeeld het begrip ‘lengte’ wordt gemeten. Maar dit ideaal was te hoog gegrepen en ging er ook aan voorbij dat ook veel fysische eigenschappen (net als psychologische) niet direct observeerbaar zijn. In de fysica loste men dat op door middels experimenten de relaties tussen objecten te verhelderen, zodat men vervolgens voor die eigenschap een bruikbare schaal kon kiezen. Eenheden zoals Becquerel en Ohm zijn niet direct observeerbaar (radioactiviteit en weerstand), maar schalen die het resultaat zijn van theorievorming en experimenten. In de psychologie zijn theorieën en begrippen altijd abstracter en diffuser gedefinieerd, en in experimenten is het gedrag van proefpersonen minder goed te manipuleren. Hierdoor kunnen hooguit zwakke of matige verbanden worden gevonden in experimenten, die vaak ook nog eens niet goed repliceerbaar zijn. Dus kunnen er hooguit arbitraire schalen worden gevonden.

De oplossing van Stevens hiervoor is het operationalisme: de meting als uitkomst van de procedure. Hierdoor wordt de test gelijkgesteld aan de uitkomst en is bijvoorbeeld intelligentie datgene ‘wat de test meet’. Een testconstructie is dan pure technologie en staat los van de psychologische theorievorming. Er was hierdoor minder aandacht voor psychologische metingen; theorie- en kennisvorming bestonden nog nauwelijks. Operationalisme werd omarmd omdat men hiermee verlost was van het lastige problemen van ‘meten volgens het fysische model’. Maar dat is in feite ontkenning van het meetprobleem. Testontwikkeling werd zo een technologisch recept zonder wetenschappelijke bijdrage. Dat is onjuist: het meten van psychologische eigenschappen en het onderzoek naar de betekenis van testscores leveren juist een wetenschappelijke bijdrage.

De wetenschap kan niet zonder betrouwbare en valide metingen. Ondanks de kritiek op het operationalisme, is de schaalindeling van Stevens erg bruikbaar. Het wijst erop dat men weliswaar alles met getallen kan doen, maar dat het de betekenis van getallen is, die bepaalt welke bewerkingen erop zijn toegestaan. Bovendien dwingt het ertoe goed na te denken over welke bewerkingen en conclusies wel of niet met de meetwaarden te verantwoorden zijn.

Wat is de gangbare procedure voor het meten van psychologische eigenschappen?

Behalve dat men bij het operationalisme testen gelijk stelt aan meten, is het ook zo dat men het scoren van tests gelijk stelt aan het meten. In feite gaat het hier echter om ‘tellen’, meten wordt het pas als men conclusies trekt over een bepaalde eigenschap op basis van het aantal tellingen.

Er zijn vier stappen die nodig zijn om te komen tot een meting:

1. De identificatie van de te meten eigenschap.
2. Operationalisering van de eigenschap.
3. Onderzoek en kwantificering van reacties.
4. Terugkoppeling naar de theorie.

Identificatie van de te meten eigenschap

Daarbij moet men vaststellen wat de achterliggende theorie is over de te meten eigenschap en alternatieve theorieën in kaart brengen. Zonder onderbouwing is zinvolle meting onmogelijk – dan wordt de eigenschap namelijk datgene wat de test meet. Het heeft geen validering of voorspellende waarde. Er zijn een aantal problemen bij het identificeren van de eigenschap en de keuze van de theorie:

• Er is te weinig theorievorming over veel psychologische eigenschappen.

• Eigenschappen worden vaak beschreven in algemene en abstracte termen, waardoor het lastig is dit gedrag te herkennen.

• Sommige psychologische eigenschappen zijn niet altijd waarneembaar in gedrag.

• Voor sommige eigenschappen is het lastig een test te bedenken waarmee het bedoelde gedrag kan worden opgeroepen.

• Het grootste probleem zijn eigenschappen met een onduidelijke of dubieuze theoretische status. Veel eigenschappen komen op en verdwijnen weer, zonder empirische onderbouwing.

Operationalisering van de eigenschap (‘operationalisering’ is anders dan het ‘operationalisme’)

Operationalisering is het specificeren van de operaties die nodig zijn om de eigenschap te meten. Psychologische eigenschappen zijn echter hypothetische begrippen en dus niet direct waarneembaar, waardoor de operaties het niet rechtstreeks kunnen meten. Er is dus nog een extra stap nodig van de meetoperaties naar de eigenschap zelf. Er zijn twee stappen nodig om te komen tot een operationalisatie:

1. Het definiëren van de gedragingen die kenmerkend zijn voor de bedoelde eigenschap.

2. Stimuli (items) afstemmen aan deze gedragingen, zodat ze die reacties uitlokken die een indicatie geven van de bedoelde eigenschap.

Onderzoek en kwantificering van reacties

De kwalitatief gegeven reacties (verbaal of gedrag) worden geregistreerd en moeten gekwantificeerd worden (omgezet naar getallen). Bij een item heeft één antwoord vaak een hoger niveau op een achterliggende eigenschap, deze krijgt een hogere numerieke waarde (score).

Terugkoppeling naar de theorie

De uitkomsten van statistische analyse hebben gevolgen voor de theorie over de gemeten uitkomst; het kan aanvullende ondersteuning geven voor deze theorie. Zo’n theorie bestaat meestal uit een nomologisch netwerk: een theorie ter verklaring van waarneembare verschijnselen, waarbinnen de gemeten eigenschap een plaats heeft.

Deze procedure sluit aan bij de statistische methoden om tests te construeren en meeteigenschappen vast te stellen.

1. Klassieke testtheorie: nadruk op betrouwbaarheid.

2. Item-responstheorie: nadruk op hoe de testprestatie tot stand komt.

3. Representational measurement: er is alleen sprake van een meting als de formele relaties tussen de testscores overeenkomen met de relaties die in de empirie bestaan.

Voorbeeld: als Jan een hogere testscore heeft dan Piet op een test die pretendeert ruimtelijk inzicht te meten, dan moet er dus een aantoonbare relatie bestaan tussen het ruimtelijk inzicht van Jan en Piet, dat zo duidelijk is dat je kunt concluderen dat Jan een hoger niveau heeft dan Piet. Helaas zijn veel psychologische eigenschappen niet waarneembaar; ruimtelijk inzicht is niet direct waarneembaar, behalve met een test. Representational measurement is dus geen geschikte methode voor het meten van psychologische (hypothetische) eigenschappen. Toch heeft het wel tot belangrijke inzichten geleid over het meten in de psychologie.

Wat is de definitie van een test?

Een test wordt als volgt gedefinieerd: 'Een test is een systematische classificatie- of meetprocedure, waarbij het mogelijk wordt een uitspraak te doen over één of meer empirisch-theoretisch gefundeerde eigenschappen van de onderzochte of over specifiek niet-testgedrag, door uit te gaan van een objectieve verwerking van reacties van hem/haar, in vergelijking tot die van anderen, op een aantal gestandaardiseerde, zorgvuldig gekozen stimuli'. Een test is dus een systematische meetprocedure om uitspraken te doen over een individu, die reageert op gestandaardiseerde stimuli in vergelijking met de reactie van anderen.

Welke toepassingsmogelijkheden zijn er?

Er zijn drie toepassingsmogelijkheden van de psychologische test, namelijk (1) de beoordeling van individuen, (2) de beoordeling van groepen en (3) de beoordeling van situaties en methoden.

Beoordeling van individuen

De beoordeling van individuen kan op zes verschillende manieren, afhankelijk van het doel van het onderzoek:

1. Criterium

Als er sprake is van een criterium waaraan het individu wel of niet kan voldoen. De test correleert met het criterium. Bijvoorbeeld wel of niet een bepaalde opleiding volgen.

2. Meerdere criteria

Als er een keuze gemaakt moet worden uit meerdere criteria die verschillen qua niveau en/of kwaliteit. Bijvoorbeeld het kiezen van een studierichting. De test moet niet alleen correleren met het criterium, differentiatie moet dan ook mogelijk zijn.

3. Onderlinge verhoudingen van testscores bij één persoon (ipsatieve scores)

Als men iemands zwakke en sterke punten en zijn interesses wil weten, is de onderlinge verhouding van de verschillende scores in een testserie belangrijk, niet hun hoogte. Met ipsatieve scores wordt bedoeld dat de testscores van één persoon met elkaar vergeleken worden en niet met een externe standaard.

4. Ontwikkelingen van een persoon

Als men de ontwikkeling van een persoon wil volgen wordt hetzelfde onderzoek met hetzelfde individu herhaald op een ander tijdstip. Het doel is om erachter te komen of de persoon zich op een bepaald gebied ontwikkeld heeft. Bijvoorbeeld een longitudinaal onderzoek. Het gaat hier ook om interne vergelijking.

5. Beschrijving van het onderzochte

Als er een beschrijving van de onderzochte gegeven moet worden, bijvoorbeeld in de hypothesevormende fase van een individueel onderzoek. Er zijn verschillende mogelijke vormen van beschrijvingen:

• Een intern rapport: de psycholoog geeft een subjectieve beschrijving van het gedrag van de onderzochte of een beschrijving van de testprestaties.
• Een extern rapport: een verklarende beschrijving aan bijvoorbeeld de ouders van de onderzochte, het kan ook pedagogische adviezen en psychologische uitspraken bevatten.

6. Counseling

Counseling is een niet-directieve vorm van therapie. Het testonderzoek wordt gebruikt als startpunt (stand van zaken) en van daaruit gaat de hulpverlener samen met de cliënt de problemen van de cliënt analyseren, bewust maken en herformuleren.

Hoe kunnen groepen beoordeeld worden?

Bij de beoordeling van groepen worden de verschillen tussen de groepen onderzocht. Het gaat hier voornamelijk om vergelijkend onderzoek. Men is geïnteresseerd in de grootte van het verschil van een bepaalde eigenschap tussen groepen. Dit is vaak een voorstadium voor het individuele onderzoek. Eigenlijk is individueel onderzoek altijd gebaseerd op onderzoek tussen groepen (vanwege de normen).

Hoe kan de invloed van situaties en methoden beoordeeld worden?

Met methoden bedoelt men bijvoorbeeld behandeling, opleiding en beïnvloeding en met situaties bijvoorbeeld stress of participatief leiderschap. Een manier is om bij groepen dezelfde methoden in verschillende situaties te gebruiken en dan te kijken naar de resultaten. Of men gebruikt in de dezelfde situatie andere methoden. Het gaat dan niet zozeer om groepsverschillen maar om de situaties en de methoden. Voorbeeld: een schoolvorderingstoets is zowel een evaluatie van het kennisniveau van individuele leerlingen als van het functioneren van de docent.

Averechtse diagnostiek (Hofstee, 1969) is dat als een test een bepaalde correlatie heeft met een criterium, men dit kan gebruiken om voorspellingen te doen over de kansen op criteriumsucces, maar deze correlatie zegt ook heel veel over het criterium zelf.