College: Item responstheorie

Sheetnotes 19/20

Welke onderwerpen worden behandeld in het hoorcollege? 
In dit hoorcollege wordt de item responstheorie toegelicht. De bijbehorende literatuur is H7 van Mastering Modern Psychological Testing. 

Welke onderwerpen worden besproken die niet worden behandeld in de literatuur? 
In het boek wordt deze theorie slechts kort toegelicht. Dit hoorcollege is een uitgebreide aanvulling hierop. 

Welke recente ontwikkelingen in het vakgebied worden besproken?
Er worden geen recente ontwikkelingen besproken. 

Welke opmerkingen worden er tijdens het college gedaan door de docent met betrekking tot het tentamen?
Er worden geen opmerkingen gemaakt over het tentamen.

Welke vragen worden behandeld die gesteld kunnen worden op het tentamen?
Er worden geen tentamenvragen behandeld. 

Hoorcollege aantekeningen 19/20

Belangrijk onderscheid tussen klassieke testtheorie en item responstheorie, is dat item respons theorie de nadruk legt op de losse items en de klassieke testtheorie gebruikt de testscores. 

Klassieke meetmodel

Dit is een meetmodel voor een testscore die wordt bepaald wordt door een ware score en door toevallige fouten. Hierbij horen betrouwbaarheid en validiteit. De KTT is een theorie over testscores, waardoor het weinig informatief is over afzonderlijke items. De resultaten van de schatting van de betrouwbaarheid is afhankelijk van de populatie. De toevallige meetfout is onafhankelijk van het niveau van de respondenten. In de KTT kun je het meetniveau niet statistisch toetsen. Vooral in de middengroepen zal de test het meest betrouwbaar zijn, waardoor de uitersten groepen minder zorgvuldig gemeten worden. De KTT is een inefficiënte manier om te testen, omdat alle respondenten de hele test moeten maken. 

Item responstheorie

Het is een theorie over itemscores in plaats van testscores. Schatting van psychometrische kenmerken van items en testscore is onafhankelijk van de populatie (sample free/sample independent). Nauwkeurigheid van schatting (= betrouwbaarheid) kan binnen IRT variëren tussen respondenten. Aannames over model zijn statistisch toetsbaar (‘meten bij implicatie’). Op IRT gebaseerde tests maken beoordeling ontwikkeling beter mogelijk, je bent niet afhankelijk van de hele test. Schatting vaardigheid is onafhankelijk van verzameling items. 

Item responsmodel

De itemscore wordt bepaald door een latente variabele T (latente trek of latente klasse, Theta). Dit is een factormodel voor discrete en ordinale itemresponsen. Behalve de invloed van de latente trek, is er ook een invloed van toevallige fouten op de itemscore. Latente trek = continu kenmerk. Latente klasse = categorisch kenmerk. 

Items responsfunctie

De item responsfunctie laat de relatie zien tussen een bepaald kenmerk (latente trek) en de succeskans op een item. Voor elk item is er een unieke relatie tussen het kenmerk dat je wilt meten en de kans op het goed beantwoorden van de vraag. Elke item heeft dus zijn eigen item responsfunctie. Uit elke functie kun je de gok kans, discriminerend vermogen en moeilijkheid afleiden. Item characteristic curve (ICC) = item responsfunctie. Het soort item bepaald hoe een item responsfunctie eruit gaat zien. Bij preferentiegegevens, waarbij het item een houding of attitude meet, heeft de curve een maximum. Bij dominantie gegevens, waarbij vaardigheden worden gemeten, heeft de curve een s-vorm. 

Soorten gegevens

Je kan onderscheid maken tussen de inhoud van de items:

• Dominantie gegevens = items over (cognitieve) vaardigheden. Afvinken of iets wel of niet goed doet. Met als voorbeeld rekenvaardigheid. 
• Preferentie gegevens = items over houding, gedrag of attitudes. Voorbeeld houding over pepernoten in de winkel met als item ‘pepernoten mogen pas na 1 november in de winkel liggen’ met als antwoordmogelijkheden ‘eens’ of ‘oneens’. 

Je kan onderscheid maken tussen de mogelijke antwoordcategorieën:

• Continu of discreet
• Geordend of niet geordend
• Polytoom of dichotoom

In dit college bespreken we slechts de dichotome dominantiegegevens. Hierbij zijn er twee antwoordmogelijkheden: 1 voor een goed of bevestigend antwoord of 0 voor een fout of ontkennend antwoord. 

Dominantie gegevens

Probabilistisch model (Mokken, Rasch, Birnbaum) = kans op succes, je weet niet zeker of iemand de vraag goed beantwoord wanneer hij een goede vaardigheid heeft. Dit model begint net iets boven 0, dit reflecteert de gok kans = zonder vaardigheid is er nog steeds een kans dat je de vraag goed hebt. De curve is een monotoon niet dalende curve = de succeskans neemt toe, maar zal nooit 1 woorden en nooit dalen. De succeskans zit tussen de 0 en de 1. De helling is aan de uiteinden minder steil en in het middendeel meer steil.

Het deterministisch model (Guttman) stelt dat je na een bepaald niveau vaardigheid de kans 100% is dat je de vraag goed beantwoord. De items zijn ééndimensionaal = er is één vaardigheid bepalend op je respons. Dit model heeft een soort stap of sprong functie. Dit is een heel streng model met een soort grenswaarde.  

Parameters items responsfunctie

Er zijn verschillende item responsfuncties per item. Er zijn kenmerken voor verschillen in de vorm en verschillen in locatie. De parameters zijn: gamma = gok kans, delta = moeilijkheid en alfa = helling = discriminatie.

• Gok kans = kans op goed antwoord bij zeer lage waarde van latente trek. Gok kans is afhankelijk van aantal alternatieve bij meerkeuzevragen. Bij open vragen is de gok kans 0.
• Moeilijkheid = item moeilijkheid is waarde op latente trek waarvoor geldt dat de succeskans midden tussen de gok kans en P = 1 ligt. Het geeft de locatie van item responsfunctie op de Theta schaal. 
• Discriminatie = maximale discriminatie heeft een item responsfunctie gelijk aan het deterministisch model. Een minimaal discriminerend item heeft een horizontale item responsfunctie. Discriminatie parameter is de steilheid van de functie op het punt van het omslagpunt. Hoe steiler de helling of hoe groter de hoek, hoe beter het item discrimineert. 

Aannames item responsmodellen

Gemeenschappelijke aanname is dat binnen een test de itemresponsen worden bepaald door ée1n latente trek (een dimensionaliteit). Waaruit volgt dat items globaal afhankelijk zijn = correlatie tussen twee items binnen de populatie is positief. En ook lokaal onafhankelijk zijn = de correlatie tussen de items is 0 bij homogene subpopulaties (= personen met gelijke Theta).  

Model specifieke aannamen zijn afhankelijk van het model (Guttman, Mokken) en hebben extra aannamen over de parameters van de item responsfunctie. 

Controle aannames

Deze aannames kunnen getoetst worden. De globale afhankelijk kan getest worden door de test af te nemen bij een heterogene populatie. Hierbij moet er een positieve samenhang zijn tussen twee items binnen de hele groep. 

De lokale onafhankelijk kan getest worden door de test af te nemen bij een steekproef uit de homogene subpopulatie. Hierbij moet de kans op het ene item onafhankelijk zijn van een ander item. De kansen op antwoordpatronen liggen vast. Controle is mogelijk door de verwachte proporties en de geobserveerde proporties te vergelijken. 

Beoordeling Guttman model (deterministisch model)

Dit model stelt dat bij bepaalde Theta je kan aannemen of iemand een item goed of fout maakt. Gegeven een bepaalde Theta mag het niet zo zijn dat men het moeilijke item goed heeft, maar het makkelijke item fout. 

Mokkenmodellen

De aannames bij het mokkenmodel met een monotone homogeniteit zijn: een dimensionaliteit (globale afhankelijkheid en lokale onafhankelijkheid) en succeskans P is een monotone niet-dalende functie. Bij mokkenmodel met dubbele monotonie wordt nog gesteld dat de items responsfuncties elkaar niet mogelijk snijden. 

Beoordelen lokale onafhankelijkheid = items mogen niet met elkaar samenhangen in een homogene subpopulatie. Van twee dichotome items stel je een antwoordpatroon op, door de succeskansen van elke antwoordmogelijkheid met elkaar te vermenigvuldigen. Bij de toetsing vergelijk je de geobserveerde antwoordpatronen met de verwachte antwoordpatronen. 

Beoordelen monotone homogeniteit = voor alle items neemt de succeskans toe bij hogere latente trek. Dit controleer je door niveaugroepen te maken. Deze niveaugroepen zijn gebaseerd op personen met gelijke restscore (= testscore – score item g).  Voor elke niveaugroep bepaal je de kans op succes op het item. Als je al deze scores weergeeft in een item responsfunctie, moet de curve stijgend zijn. 

Deze aannames toets je omdat we op basis van een testscore mensen willen ordenen. Wanneer de monotone homogeniteit niet wordt aangenomen, kunnen we niet ordenen. Daarom moeten alle item responsfunctie elkaar niet snijden bij dubbele monotonie.

Beoordeling dubbele monotonie = niet snijden van item responsfuncties. Bepaal voor alle personen de restscore (testscore – score item g). Bepaal voor subgroepen (dezelfde restscore) de kans op item g goed en item h goed. Teken de item responsfunctie voor item g en item h. Vergelijk de ordening items voor elke groep met ordening in hele steekproef. Toets schending aannamen monotonie naar delta. 

Wanneer aan al deze voorwaarden is voldaan kan je de personen ordenen op totaalscore van de test en de items ordenen onafhankelijk van de Theta. 

Betrouwbaarheid

De informatiefunctie geeft weer hoe informatief een item is voor een betreffende latente trek. Hoe meer informatief, hoe meer betrouwbaar. Hoe informatief een item is, is af te lezen aan de steilheid van de curve. De somscore van de informatie van items van de test vertelt iets over hoe informatief deze items samen zijn voor de latente trek. De hoogste informatiewaarde geeft aan voor welke Theta waarde de test het meest informatief/onderscheidend is.