Begrippenlijst van Testtheorie: Inleiding in de theorie van de psychologische test van Drenth en Sijtsma - 4e druk

Test

Systematisch onderzoek van gedrag met het doel inzicht te krijgen in een psychologisch kenmerk van degene die onderzocht wordt in vergelijking tot anderen, door middel van geselecteerde vragen. Er sprake van efficiëntie, standaardisatie, normering, objectiviteit, betrouwbaarheid en validiteit.

Efficiëntie

Het niet afhankelijk zijn van het moment waarin het gedrag zich voordoet.

Standaardisatie

Het mogelijk maken van vergelijkingen tussen testprestaties door middel van het standaardiseren van de condities en invloeden op die testprestatie; de onderzochten worden getest in maximaal gelijke omstandigheden.

Normering

Het mogelijk maken van vergelijkingen tussen testprestaties door het vaststellen van een rangorde, bijvoorbeeld van zeer goed tot zeer slecht.

Objectiviteit

Het resultaat hetzelfde moet zijn, ongeacht wie het onderzoek doet. Openheid en reproduceerbaarheid van de test en evaluatie moeten mogelijk zijn.

Cohens Kappa

Maat voor overeenkomst tussen beoordelaars.

Betrouwbaarheid

Als een test op verschillende moment dezelfde score oplevert, heeft deze een hoge betrouwbaarheid.

Validiteit

De test meet wat het beoogt te meten. Alternatieve verklaringen zijn weerlegd.

Nominale schaal

Het gebruik van getallen om categorieën te onderscheiden en objecten in te delen. Er zijn geen rekenkundige operaties mogelijk.

Ordinale schaal

Er is sprake van een rangorde. Niet alle rekenkundige operaties kunnen toegepast worden, maar het is wel mogelijk om rangordes te vergelijken.

Intervalschaal

Er is sprake van een rangorde, waarbij de afstanden tussen de verschillen een positieve betekenis hebben. Er is sprake van een arbitrair nulpunt en de verhouding van afstanden tussen meetwaarden blijft constant.

Verhoudingsschaal

Er is sprake van een rangorde met betekenis van de afstanden tussen de verschillen en een absoluut nulpunt. Alle rekenkundige bewerkingen zijn toegestaan.

Operationalisme

Als een meting gelijk gesteld wordt aan de uitkomst van een test. Deze opvatting zorgde ervoor dat men minder aandacht ging besteden aan theorievorming en kennisvorming.

Operationalisering

Het toelichten van de operaties die nodig zijn om de eigenschap te meten. Hiervoor moet gedrag worden vastgesteld dat typisch is voor een eigenschap en vervolgens moeten stimuli hierop afgesteld worden.

Representational measurement

Er kan alleen sprake zijn van een meting als de relaties tussen testscores overeenkomen met de relaties in wetenschappelijk onderzoek over datgene waarover maatwaarden iets zeggen.

Averechtse diagnostiek

Als een test een bepaalde correlatie heeft met een criterium, kan men dit gebruiken om voorspellingen te doen over de kansen op criteriumsucces, maar deze correlatie zegt ook heel veel over het criterium zelf

Tests voor prestatieniveau

Tests voor prestatieniveau gaan uit van de maximale prestatie van de onderzochte persoon; er is een duidelijk norm voor goed en fout.

Test voor gedragswijze

Tests voor gedragswijze gaan over hoe iemand iets doet; er is geen duidelijk goed of fout.

Enkelvoudige algemene niveautests

Leiden tot een enkele indicatie van intelligentie. Er zijn drie deelcategorieën: individuele ontwikkelingstests, individuele intelligentietests voor volwassenen en algemene collectieve intelligentietests.

Individuele ontwikkelingstest

De intelligentiescore wordt vergeleken met die van leeftijdsgenoten.

Individuele intelligentietests voor volwassenen

Deze test is gericht op het vaststellen van het intelligentieniveau als dit niveau niet meer toe- of afneemt.

Collectieve algemene intelligentietest

Deze tests kunnen groepsgewijs worden afgenomen.

Veelvoudige algemene niveautests

Zorgen voor een nadere differentiatie, en niet slecht voor een enkele indicatie. Er zien twee typen: testbatterijen voor intelligentiefactoren en testbatterijen voor geschiktheden.

Testbatterijen voor intelligentiefactoren

Hebben als doel dat elke deeltest één dimensie van intelligentie meet, bijvoorbeeld 'word fluency' of 'reasoning'.

Testbatterijen voor geschiktheden

Meet de vermogens die iemand in staat stellen om aan een maatschappelijk taak of schooleis te voldoen. Het gaat vooral om leergeschiktheid.

Speciale niveautests

Toegespitst op een bepaald aspect van de begaafdheid. Er zijn drie typen: tests voor speciale intelligentiefactoren, tests voor speciale geschikheden en tests voor speciale niet-intelligentiefactoren

Tests voor speciale intelligentiefactoren

Tests die uitsluitend eigenschappen als ruimtelijk inzicht, numerieke vaardigheid of woordkennis meten.

Tests voor speciale geschiktheden

Tests voor leergeschiktheden, zoals geheugentests en concentratietests, en tests voor werkgeschikheden, zoals tests voor geschiktheid als piloot.

Tests voor speciale niet-intelligentiefactoren

Gaat om capaciteiten of vaardigheden, waarvan de meting belangrijk kan zijn voor diagnose of functie in de maatschappij. Bijvoorbeeld: motoriektests of gehoortests.

Vorderingentests

Meten in hoeverre de onderzochte het doel van een opleiding heeft bereikt.

Observatietests

De informatie komt van een onafhankelijke beoordelaar die de onderzochte observeert; er is dus sprake van indirecte gegevens. Er zijn twee typen: individuele observatietests en groepsobservatietests.

Individuele observatietests

Slecht één persoon wordt geobserveerd.

Groepsobservatietests

De beoordeling van een groep mensen die gezamenlijk een opdracht uitvoeren.

Somato-fysiologische methoden

Geven een indicatie van psychologische kwaliteiten door middel van het meten van lichamelijk kenmerken of processen. Er zijn twee soorten: morfologische methoden en fysiologische methoden.

Morfologische methoden

Zuiver somatische kenmerken worden onderzocht als indicaties voor persoonlijkheid.

Fysiologische methoden

Hiertoe worden gerekend: biochemische indices, elektro-encefalogram, hersenscanners, elektrocardiogram, metingen van bloeddruk en bloedvolume, registratie van oogbeweging en meting van elektrodermale verschijnselen.

Zelfbeoordelingen

De respondent beoordeelt zijn eigen functioneren. Er zijn verschillende soorten: interessetests, waarde- en attitudetests, biografische vragenlijsten en persoonlijkheidsvragenlijsten.

Interessetests

Meten interesses om zo een school- of werkkeuze te ondersteunen.

Waarden- en attitudetests

Meten waarden en attitudes.

Biografische vragenlijsten

Gaan over het leven van de onderzochte persoon.

Persoonlijkheidsvragenlijsten

Zijn gericht op het meten van veel aspecten van de persoonlijkheid.

Kwalitatieve prestatietests

De onderzochte krijgt een opdracht, waarbij het gaat om de wijze waarop de opdracht wordt uitgevoerd om zo inzicht te krijgen in persoonlijkheid of een klinisch syndroom. Er zijn twee soorten: niveautests voor gedragswijze en projectieve techniek.

Niveautests voor gedragswijze

Hier vallen onder: experimentele tests, motoriektests, intelligentietests voor klinisch gebruik, karaktertests en cognitieve stijlen.

Projectietests

Er wordt een ambigue opdracht weergegeven, waarop de onderzochte vrij mag reageren. Er zijn zes soorten: perceptietests, interpretatietests, expressietests, constructietests, associatietests en keuzetests.

Individuele tests

Er is een individuele relatie tussen testleider en onderzochte. De testleider formuleert de vragen en legt de antwoorden vast.

Groepstesten

Er is sprake van een groep en de testleider geeft slecht een instructie, surveilleert en verzamelt voltooide opgaven.

Snelheidstests

Meet hoe snel de onderzochte kan werken, door uit te gaan van een vaste tijd waarin zo veel mogelijk vragen moeten worden beantwoord.

Prestatietests

Kenmerkt zich door opgaven die variëren in moeilijkheidsgraad.

Directe tests

Als de betekenis van de test bekend is aan de onderzochte.

Indirecte tests

Als de betekenis van de test onbekend is aan de onderzochte.

Items

De stimuli waarop de respondenten reageren. Items zijn de basiselementen van tests.

Theoretische opdracht

Voorbeeld van een item om cognitieve vaardigheden te meten.

Stelling

Voorbeeld van een item om opinies, persoonlijkheidstrekken, houdingen en voorkeuren te meten. De respondent moet aangeven in hoeverre hij het wel of niet eens is met de stelling.

Vraag

Voorbeeld van een item om opinies, houdingen en voorkeuren te meten.

Praktijkproef

Voorbeeld van een item om vast te stellen of de respondent in staat is tot een vaardigheid.

Stam

De uitspraak in een meerkeuzevraag (exclusief antwoorden).

Gesleutelde respons

Het goede antwoord bij meerkeuzevragen.

Afleiders

De foute antwoorden bij meerkeuzevragen.

Rangschikking

De respondent moet de keuzemogelijkheden in een bepaalde volgorde plaatsen, bijvoorbeeld juistheid of voorkeur.

Toeschrijving

Combineren van twee begrippen uit rijtjes, ook wel matching.

Likert-items

Items met vijf antwoordmogelijkheden.

Kwantificering

Het omzetten van een kwalitatief reactie naar een getal, bijvoorbeeld 1 (goed antwoord) en 0 (fout antwoord).

Dichotoom item

Als een item twee antwoordcategorieën heeft, bijvoorbeeld goed en fout.

P-waarde

De relatieve frequentie op het goede antwoord.

A-waarden

De relatieve frequenties op het foute antwoord.

Polytoom item

Als een item drie of meer antwoordcategorieën heeft.

Testangst

Angst voor de gevolgen van een slechte testprestatie. Iets anders dan 'angstigheid' als persoonlijkheidstrek.

Positieve faalangst

Bevorderlijk voor prestatie.

Negatieve faalangst

Nadelig voor prestatie.

Handscoring

Correctoren tellen het aantal goed en aantal fout gemaakte vragen met behulp van een sleutel.

Zelfscoring

Meestal wordt hierbij een tweede vel onder het antwoordformulier geplaatst, met cirkels bij het goede antwoord. De antwoorden van de respondent drukken door op dit vel. De corrector hoeft alleen nog te kijken of de cirkeltjes overlappen.

Machinescoring

Op speciale antwoordformulieren moet het juiste antwoord worden aangegeven. Een computer kijkt het vervolgens na.

X_c

Op gokken gecorrigeerde testscores. Het aantal goede antwoorden dat door kennis tot stand is gekomen.

Itembank

Een grote verzameling items, die kan worden opgeslagen op de computer.

On-line testing

De leerling bepaalt zelf het moment waarop hij in staat is tot het maken van de toets.

Adaptief testen

Iedere respondent krijgt een test die is aangepast naar zijn niveau. Hiervoor moeten de items voldoen aan de eisen van de item-responstheorie (hoofdstuk 7).

Klassieke benadering van testen

Iedereen krijgt dezelfde test gerepresenteerd. Er is geen sprake van optimaal geschikte items, waardoor extreem hoge of lage meetwaarden onnauwkeurig zijn.

Ruwe score

Basisscore, heeft weinig betekenis. Kan staan voor verschillende dingen: aantal goede antwoorden, aantal foute antwoorden, de soms van de scores op de rating scales of het aantal mislukte pogingen op een handvaardigheidstest.

Norm

Referentiekader voor de evaluatie van de ruwe scores, gebaseerd op de verdeling in de populatie.

Vergelijking met absolute standaard

Er wordt geen gebruik gemaakt van scores van anderen, maar van een absolute maatstaf, die gebaseerd is op psychologische of onderwijskundige analyse van kennis, inzicht of vaardigheden.

Verhoudingsnormen

De testscores worden gedeeld door een andere variabele, bijvoorbeeld de berekening van het IQ door de mentale leeftijd te delen door de chronologische leeftijd.

Standaardscores

Als ruwe scores worden omgerekend naar standaardscores, door X (ruwe score) te verminderen met het gemiddelde en vervolgens te delen door de standaarddeviatie.

Z_x

De standaardscore. Verminder X met het gemiddelde en deel dat vervolgens door de standaarddeviatie.

S_x

De standaarddeviatie.

Genormaliseerde standaardscores

Worden verkregen uit niet-lineaire transformaties, die de verdeling van X vervormen tot een normaalverdeling.

Overige standaardscores

Onder andere t-scores, stanines en deviatie-IQ.

Betrouwbaarheid

De mate van herhaalbaarheid van metingen; in hoeverre variëren de testscores, als de test onder dezelfde condities bij dezelfde persoon wordt afgenomen?

T_i

Systematisch deel van de testscore van persoon i, varieert niet per herhaling (dus geen j). Staat voor true score.

E_ij

Toevallig deel van de testscore van replicatie j en persoon i. Staat voor error, ofwel meetfout.

R_xx'

Betrouwbaarheid van testscore binnen een populatie. Is gelijk aan de verhouding van de varianties van betrouwbare score en geobserveerde score, dus het systematische deel van de variantie.

Parallelvormmethode

Als er twee inwisselbare maar niet identieke tests worden afgenomen.

Paralleltestbetrouwbaarheid

De correlatie tussen parallelle tests.

Test-hertestmethode

Het afnemen van dezelfde test, nadat er een behoorlijke tijd is verstreken.

Test-hertestbetrouwbaarheid

De correlaties tussen de scores van twee afnames van dezelfde test.

Leereffect

Als iemand door oefening anders (meestal beter) presteert op een test.

Splitsingsmethode

Eén test wordt afgenomen, die in twee helften is gesplitst met evenveel items. Per helft wordt de ruwe score bepaald en kan via de Spearman-Brown-formule de betrouwbaarheid berekend worden.

Interne-consistentiemethode

Eén test wordt afgenomen, waarna alle covarianties en de variantie van de ruwe score worden berekend. Aan de hand daarvan kan de betrouwbaarheid worden gemeten.

Cronbachs alfa

Bekendste coëfficiënt van interne consistentie.

Gestratificeerde alfa-coëfficiënt

De betrouwbaarheid van een totaalscore gebaseerd op heterogene delen van de test.

Universum

Het totaal van voorwaarden die men hanteert bij het generaliseren.

Meten bij implicatie

Als de meeteigenschappen van een model ook in praktische toepassingen van de test gelden. Kenmerk van een item-responsmodel.

Meten bij fiat

Als wordt aangenomen dat bepaalde eigenschappen geldig zijn, maar dit niet kan worden aangenomen. Kenmerk van het klassieke testmodel.

Populatie-onafhankelijk meten

Als het niveau van de test losstaat van de vergelijking van meetwaarden tussen personen.

Populatie-afhankelijk meten

Als de betrouwbare score (en dus totaalscore) afhankelijk is van hoe moeilijk de gebruikte test is.

Item-responstheorie

Zorgt ervoor dat we uitspraken kunnen doen over de kans dat persoon i met meetwaarde θ_i een respons geeft op item g.

Succeskans

Kans op een positief antwoord. Aangeduid als P(X_g = ɪІθ)

Monotoon niet-dalend

De functie stijgt of is constant, kenmerk van de formule voor succeskans.

Pseudokansniveau

Kans dat op item g het goede antwoord wordt gegeven door mensen met een zeer lage meetwaarde, θ. Aangegeven door P(X_g = ɪІθ) = γ_g.

Locatieparameter

Het punt op de θ-schaal dat halverwege ligt tussen het pseudokansniveau en de maximale succeskans. Ook wel de moeilijkheidsparameter.

Kritisch gebied

Als de helling vrij stijl is en dus succeskans dus snel toeneemt. Personen zijn goed van elkaar te onderscheiden, wat hun succeskans op het item betreft.

Rasch-model

Strengste van de item-responsmodellen, ook wel het een-parameter logistische model. Voor zeer kleine θ-waarden is de succeskans vrijwel gelijk aan nul en de pseudokansniveauparameter komt niet voor. Alle items hebben hetzelfde discriminerend vermogen en de metingen zijn populatie-onafhankelijk.

Birnbaum-model

Veralgemenisering van het Rasch-model. Het model laat toe dat de items in een test verschillen in discriminerend vermogen. Items mogen variëren in moeilijkheid en voor lage θ-waarden is de succeskans vrijwel gelijk aan nul. De metingen zijn populatie-onafhankelijk, maar de moeilijkheids- en discriminatieparameters kunnen niet populatie-onafhankelijk bepaald worden.

Drie-parameter logistisch model

Een model met drie parameters, het pseudokansniveau is hieraan toegevoegd. Meetwaarden van personen zijn alleen populatie-onafhankelijk te bepalen als de afhankelijke itemparameters bekend zijn.

Model van monotone homogeniteit

Valt onder de modellen van Mokken. De modellen zijn wel monotoon niet-dalend, maar hebben verder gen beperkingen. Ze vertonen dus meer schommeling dan de eerdere modellen. De ordening van personen is populatie-onafhankelijk.

Model van dubbele monotonie

Valt onder de modellen van Mokken, is een speciaal geval van het model van monotone homogeniteit. De item-responsfuncties zijn monotoon niet-dalend. Daarbij mogen ze elkaar niet snijden. De ordening van personen in populatie-onafhankelijk.

Lokale betrouwbaarheid

Het informatiegehalte van een item voor de schatting van θ. Op het maximum van de informatiefunctie geeft het item de meeste informatie.

Itembank

Relatief grote verzameling van gemakkelijk toegankelijke testvragen.

Doelinformatiefunctie

Functie waarin de minima worden weergegeven die voor de maker van de test nog acceptabel zijn. De waarden moeten groot zijn bij θ₀, de zelf bepaalde grensscore.

Adaptief testen

Iedere respondent krijgt een test die past bij zijn niveau. Hiervoor moeten de itemparameters zijn opgeslagen, zodat ze aansluiten bij de persoonsparameter θ

Vraagonzuiverheid

Gaat over de vraag in hoeverre de betrouwbaarheid en validiteit van items in het geding zijn als de test wordt gebruikt in verschillende populaties. De item-responsfuncties van een item verschilt bij personen met dezelfde θ-waarde uit andere populaties.

Zuiver item

Er is geen sprake van vraagonzuiverheid; als personen uit verschillen groepen maar met dezelfde θ-waarde dezelfde kans hebben om een vraag goed te beantwoorden.

Item exposure

Als de persoon-responsfunctie relatief hoog is aan het einde. De persoon kende de moeilijkste items al.

Validiteit

De mate waarin de test aan het eigen doel beantwoordt.

Predictieve validiteit

Sluit aan bij het doel van het voorspellen van criteriumgedrag. De centrale vraag is: hoe goed is het criterium te voorspellen?

Begripsvaliditeit

Sluit aan bij het doel van het meten van een eigenschap. De centrale vraag is: in hoeverre wordt het psychologische begrip getest?

Predictive validity

In welke mate de voorspellingen worden bevestigd.

Concurrent validity

Men vergelijkt testresultaten met een gelijktijdig beschikbaar criterium.

Content validity

Ook wel inhoudsvaliditeit. Er wordt gekeken hoezeer de inhoud van de test een universum van situaties, kennisinhouden of vaardigheden weergeeft, waarover met betrekking tot de onderzochte conclusies moeten worden getrokken.

Construct validity

Kijkt naar welke psychologische eigenschappen door de test worden gemeten.

Synthetische validiteit

Kijkt naar onderdelen van het criteriumgedrag en niet naar het criterium als geheel.

Congruent validity

Ook wel soortgenootvaliditeit. Geeft aan in hoeverre de test correleert met andere testen die hetzelfde zouden moeten meten.

Face validity

Ook wel indrukvaliditeit. Geeft aan in hoeverre de relatie tussen de test en hetgeen gemeten duidelijk lijkt.

Incremental validity

Gaat over in hoeverre voorspellingen met behulp van de test beter zijn dan voorspellingen op basis van al aanwezige informatie.

Conceptuele criterium

Concretisering van het organisatiedoel in termen van resultaten.

Criteriummaat

Afgeleid van conceptuele criterium. Expliciete, duidelijke uitspraken met betrekking tot het criteriumgedrag.

Criteriumgedrag

Waarneembaar gedrag dat belangrijk is voor het conceptuele criterium.

Variatiebeperking

Ook wel restriction of range. Gevolg van het wegselecteren van bepaalde groepen proefpersonen (bijvoorbeeld met een lage score).

Suppressor variabele

Een variabele die het niet-relevante deel bij de voorspelling van Y onderdrukt.

Moderatorvariabelen

Een variabele die zelf niet of nauwelijks hoeft te correleren met een

criteriumscore Y, maar die wel de relatie van andere variabelen met Y beïnvloedt.

Kruisvalidering

Ook wel cross validation. Het voorspellingsmodel wordt gecontroleerd

Trekvalidering

Gaat over de vraag in hoeverre testgedrag kan worden verklaard door een persoonlijkheidstrek of geschiktheid, los van psychologische theorieën.

Nomologische validering

Gaat om de vraag in hoeverre het testgedrag verklaard kan worden door een psychologische theorie.

Confirmerende validering

Om een hypothese te bevestigen.

Discriminante validering

Om alternatieve hypotheses te verwerpen.

Factoranalyse

Gebruikt om een groot aantal variabelen te verminderen, dus het samenvatten van informatie.

Factor

Gewogen som van itemscores of testscores. Er zijn drie soorten: algemene factoren (hangen samen met vrijwel alle tests), groepsfactoren (vertegenwoordigen een kleiner deel van tests), en specifieke factoren (horen bij één test).

Sociale wenselijkheid

Als respondenten niet eerlijk antwoord geven, maar dat invullen wat ze sociaal wenselijk achten. Kan zowel individueel als op groepsniveau plaatsvinden.

Antwoordtendenties

Neiging tot een bepaald keuzepatroon, los van waar de vragen over gaan.

Instemtendentie

Overmatig instemmen met de richting van de vraag.

Positievoorkeur

Als een bepaalde positie de voorkeur heeft, bijvoorbeeld steeds negatief.

Semantische interpretatie

Variatie door iemands opvatting over de antwoordcategorieën, bijvoorbeeld als iemand steeds 'soms' antwoord waar een ander 'zelden' kiest.

Sequentietendentie

Als iemand kiest over een bepaalde verdeling bij het antwoorden, of zich houdt aan bepaalde regels, bijvoorbeeld niet te vaak hetzelfde antwoord achter elkaar.

Snelheidstendentie

Neiging tot snel antwoord.

Precisietendentie

Neiging tot precies antwoord. Ongeveer het tegenovergestelde van snelheidstendentie.

Uitvoerigheidtendentie

Neiging tot een uitvoerig antwoord, vooral bij vrije-antwoordentests.

Gistendentie

Neiging tot gissen.

Voorkeur voor formele kenmerken

Neiging om te kiezen op basis van formele kenmerken, bijvoorbeeld steeds het meest ingewikkelde antwoord.

Antecedent probability

Het percentage geschikte personen in de populatie

Individuele beslissingen

Er wordt gedacht vanuit het individu dat de beslissing moet nemen.

Institutionele beslissingen

Er wordt een groot aantal soortgelijke beslissingen genomen. Bijvoorbeeld de toelatingsprocedure voor een school of het examen voor een rijbewijs.

Univariate informatie

Als informatie op één dimensie past.

Multivariatie informatie

Als de keuzealternatieveren niet op één dimensie passen en dus van aard verschillen.

Enkel treatment

Gebaseerd op niet/wel

Verschillende alternatieven

Indelen in twee of meer klassen.

Enkelvoudige selectie

Als er in het onderzoek wordt gekeken naar één criterium met twee mogelijkheden: voldoen of niet voldoen aan de eisen. Hoort bij het afwijzingsmodel: het gaat om het weren van zo veel mogelijk ongeschikte kandidaten.

Selectieratio

Aangenomen kandidaten.

Toevalskans

Aantal geschikte kandidaten bij toeval.

Succesratio

Aantal succesvolle kandidaten.

Veelvoudige minimumscore

Bij deze procedure wordt voor elke afzonderlijke test een kritische testscore vastgesteld.