College: Betekenis testscores en Itemanalyse

Sheetnotes 19/20

Welke onderwerpen worden behandeld in het hoorcollege? 
In dit hoorcollege wordt de betekenis van testscores besproken aan de hand van een aantal transformaties en er wordt uitleg gegeven over itemanalyse. De literatuur die hierbij hoort is H3 en H7 van Mastering Modern Psychological Testing.

Welke onderwerpen worden besproken die niet worden behandeld in de literatuur? 
Alle onderwerpen komen terug in de literatuur.

Welke recente ontwikkelingen in het vakgebied worden besproken?
Er worden geen recente ontwikkelingen besproken.

Welke opmerkingen worden er tijdens het college gedaan door de docent met betrekking tot het tentamen?
Bij stanines en normaliserende transformaties hoef je slechts de begrippen te kennen voor het tentamen, niet de gehele inhoud.

Welke vragen worden behandeld die gesteld kunnen worden op het tentamen? 
Er worden geen tentamenvragen behandeld. 

Hoorcollege aantekeningen 19/20

Soorten tests

Tests voor prestatieniveau = maximum performance tests (kennis, vaardigheden, competenties) 
 - Snelheidstest (in beperkte tijd zo veel mogelijk beantwoorden)
- Niveau test (opgaven in oplopende moeilijkheid zonder tijdsdruk)
Tests voor gedragswijzen = typical response tests (gedrag, houding, persoonlijkheid)
Binnen beide tests is er nog een onderscheid tussen objectief en subjectief. 

Theoretisch bereik testscore = aantal mogelijke testscores die behaald kunnen worden. Geobserveerd bereik testscore = bereik van scores die behaald zijn in de steekproef.

Intra-individuele beoordeling = scores bekijken voor individu zelf. Inter-individuele beoordeling = score vergelijken met anderen.

Interpretatie testscores

Norm referenced beoordelen = vergelijken testscore binnen groep/populatie (relatief meten). Hierbij horen percentiescores.  
Criterium referenced beoordelen = vergelijking testscore met vooraf gestelde maatstaf of standaard (absoluut meten). Hierbij hoort percentage correct of mastery testing. 

1. Bepalen van verdeling van testscores in populatie.
2. Bepalen van standaard voor beoordeling (transformeren).

Transformeren = het omzetten van ruwe testscores naar gestandaardiseerde scores met als doel: beschrijven, vergelijken en beoordelen.

Transformaties

Lineair:
1. Standaard z-transformatie: z-score
2. Lineaire transformatie: IQ-score en T-score

Niet lineair:
3. Percentielscore transformatie: percentielscore en percentiel
4. Stanines
5. Normaliserende transformatie: normale z-score

Standaard z-transformatie

Voorwaarde: als eigenschap in populatie theoretisch normaal verdeeld is en testscores ook empirisch normaal verdeeld is, dan kun je ruwe scores transformeren naar z-scores. Hoeveel standaardafwijkingen je afligt van het gemiddelde = z-score. Negatieve z-scores zijn scores onder het gemiddelde. Een z-score van 2 of 3 is al erg extreem. Overschrijdingskansen kun je vinden door middel van z-scores = percentage mensen met zelfde score of hoger. Deze waarden vind je in een z-tabel.

Kenmerken:
- Ruwe testscores moeten minimaal een interval meetniveau hebben
- Ruwe testscores moeten normaal verdeeld zijn

Gevolgen:
- Interval meetniveau blijft na transformatie interval
- Vorm van de verdeling blijft ongewijzigd
- Na transformatie is M = 0 en SD = 1

Lineaire transformatie

Als een eigenschap in populatie theoretisch normaal verdeeld is en de geobserveerde testscores ook normaal verdeeld zijn kan je z-scores lineair transformeren. Hierbij bereken je van de ruwe score eerst de z-score en daarna transformeer je deze z-scores naar het gewenste gemiddelde en gewenste standaardafwijking.  
IQ-score heeft M = 100 en SD = 15
T-score heeft M = 50 en SD = 10

Kenmerken:
- Ruwe testscores moeten minimaal een interval meetniveau hebben
- Ruwe testscores moeten normaal verdeeld zijn

Gevolgen:
- Interval meetniveau blijft na transformatie interval
- Vorm van de verdeling blijft ongewijzigd
- Na transformatie is M = a en SD = b

Percentielscore

Het omzetten van ruwe scores in percentielscores. Een testscore is per definitie een discrete waarde, terwijl het begrip continu is. Mensen met dezelfde score worden ingedeeld in dezelfde categorie, maar het hoeft niet zo te zijn dat deze mensen werkelijk hetzelfde niveau hebben. Een score van 7 wordt behaald door 6 mensen, dit wordt gemeten van een score van 6,5 tot 7,5. Cumulatieve frequentie is hoeveel mensen hebben dezelfde score of lager. Percentielscore = mensen die dezelfde score hebben of lager. Hierbij moet rekening gehouden worden dat de helft van de personen daadwerkelijk onder de score van 7 zitten. Hierbij zijn dat drie mensen tussen 6,5 en 7 en drie mensen tussen 7 en 7,5. 

Kenmerken:
- De testscores hebben minimaal ordinaal meetniveau
- Voor berekenen percentielscores heb je alle scores van de groep nodig
- Geen voorwaarde voor verdeling van de scores

Gevolgen:
- Transformatie resulteert in homogene verdeling
- Betekenis van de intervallen tussen opeenvolgende percentielscores is ongelijk; ordinaal meetniveau
- Gemiddelde en standaardafwijking van percentielscores hebben geen betekenis

Let op. Er is een verschil tussen percentielscores en percentiel. 

Stanines

Lineaire transformatie van standaard normaal verdeelde testscores in negen even grote groepen. Min of meer intervalschaal. Deze wordt niet meer gebruikt.

Normaliserende transformatie 

Als eigenschap in populatie theoretisch normaal verdeeld, maar de testscores voldoen hier niet meer aan. Door middel van normaliserende transformatie wordt de verdeling meer normaal gemaakt. Deze wordt ook niet meer gebruikt. 

Itemanalyse

Hoe we individuele items binnen een test beoordelen. Communiteit geeft informatie hoe goed een item de factor representeert. Betrouwbaarheid geeft aan hoe goed items binnen een factor passen. Hoe dragen individuele items bij aan het betrouwbaar onderscheiden van personen = item discriminatie. Het niveau van moeilijkheid van de items = item moeilijkheid = proportie van de respondenten dat het item goed heeft beantwoord = p-waarde. Hoe hoger de item moeilijkheid, hoe makkelijker het item. Hoe goed een item past binnen het geheel = item totaal correlatie. Binnen aanbod van antwoordalternatieven het goede antwoord het meest aantrekkelijk moet zijn = distracter analysis. 

Sheetnotes 15/16

Welke onderwerpen worden behandeld in het hoorcollege? 
In dit hoorcollege worden de onderwerpen transformaties, interpretaties, normering en itemanalyse besproken. Dit is te koppelen aan de literatuur van H1, 2 en 3 van Mastery Modern Psychological Testing.

Welke onderwerpen worden besproken die niet worden behandeld in de literatuur?
Alle onderwerpen komen aan bod in de literatuur.

Welke recente ontwikkelingen in het vakgebied worden besproken?
Er worden geen recente ontwikkelingen besproken.

Welke opmerkingen worden er tijdens het college gedaan door de docent met betrekking tot het tentamen?
Er worden geen opmerkingen gemaakt over het tentamen.

Welke vragen worden behandeld die gesteld kunnen worden op het tentamen? 
Er worden geen tentamenvragen behandeld.

Hoorcollege aantekeningen 15/16

Soorten tests

1. Tests voor prestatieniveau (maximum performance tests) Dichotoom = twee keuzemogelijkheden (0 of 1).

• Cognitieve capaciteiten
• Intelligentie
• Kennis en inzicht
• Vaardigheden

Bijv. gokverslaving: score op 12 vragen, met 2 antwoordcategorieën (0 en 1), max. score = 12.

2. Tests voor gedragswijzen (typical response tests)
Objectieve test: helemaal mee eens – helemaal niet mee eens.
Projectieve test: inktvlek, zeggen wat je er in ziet.

• Gedrag
• Houding
• Persoonlijkheid

Bijv. rekentest van 100 opgaven, taaltest van 25 opgaven (0 = fout, 1 = goed).
Ruwe testscores (X). Om de scores te kunnen gebruiken moet je een normgroephebben om te kunnen vergelijken (norm referenced / criterum referenced).

3. Snelheidstest (speed test)
In beperkte tijd zo veel als mogelijk opgaven van zelfde moeilijkheid beantwoorden.

4. Niveau test (power test)
Opgaven in oplopende moeilijkheid zonder tijdsdruk.

Interpretatie testscores

Normgericht (norm referenced)

• Vergelijking testscore binnen de groep of populatie
• Relatief meten

Criteriumgericht (criterion referenced)

• Vergelijking testscore met vooraf gestelde maatstaf of standaard
• Absoluut meten

Normering

• Bepalen van verdeling van testscores in populatie.
• Bepalen van standaard voor beoordeling.

Transformeren

Het omzetten van ruwe testscores naar gestandaardiseerde scores met als doel: vergelijken en beoordelen.

Standaard z-transformatie: z-score
Als eigenschap in populatie theoretisch normaal verdeeld en testscores ook empirisch normaal verdeeld is. Transformeren ruwe scores op een test naar z-scores:

Z_j = standaard z-score voor persoon j
X_i = testscore van persoon j = gemiddelde X

SD_X = standaardafwijking X
X= ruwe score
X_ = gemiddelde ruwe score
SD_x = standaardafwijking ruwe score

SD_ss = gewenste standaardafwijking
X_ss = gewenst gemiddelde

Kenmerken z-scores

• gemiddelde = 0, standaardafwijking = 1
• z-score = 0, betekent dat iemand dezelfde testscore heeft als het gemiddelde van de groep
• z-score = 1, betekent dat iemand zijn testscore één standaardafwijking boven gemiddelde van de groep ligt
• Intervalschaal blijft na transformatie intervalschaal
• Vorm van verdeling blijft ongewijzigd
• Naar z-getransformeerde ruwe scores inter- en intra-individueel vergelijkbaar
• Assumptie: De testscores zijn (bij benadering) normaalverdeeld.

Lineaire transformative: IQ-score / T-score
Als eigenschap in populatie theoretisch normaalverdeeld en testscores ook normaalverdeeld. z-scores lineair transformeren.

Percentielscore transformatie: Percentielscore / Percentiel
Percentiel is de waarde van een testscore waarvoor geldt dat een bepaalde proportie (.25, .50, .90) in de groep (of populatie) dezelfde of lagere testscore heeft.

Voor berekenen percentielscore heb je alle scores van de groep (populatie) nodig. Percentielscore transformatie is voor variabelen van ordinaal, interval en ratio meetniveau. Percentielscore transformatie is een niet-lineaire transformatie en is mogelijk voor alle soorten verdelingen (normaal, bi-modaal, homogeen). De vorm van de verdeling wijzigt bij percentielscore transformatie: ruwe scoreverdeling wordt afgeplat tot homogene verdeling. Betekenis van de intervallen tussen opeenvolgende percentielscores is niet gelijk → ordinaal meetniveau. Bereken geen gemiddelde of standaardafwijking van percentielscores. Percentielscore is niet gelijk aan percentiel.

Stanines (dit hoef je niet te kunnen)
Lineaire transformatie van standaard normaal verdeelde
testscores in negen even grote groepen, min of meer intervalschaal

• Zijn niet precies (score vertegenwoordigt een klasse).
• De intervalschaal voor stanines is discutabel. Liever niet gebruiken

Normaliserende transformatie: Normale z-score (deze hoef je ook niet te kunnen)
Als eigenschap in populatie theoretisch normaal verdeeld, maar testscores niet normaal verdeeld → normaliserende transformatie

• Kenmerken die niet normaal verdeeld zijn: gezichtsvermogen, concentratie, criminaliteit, reactiesnelheid.
• Een niet lineaire transformatie verandert de vorm van de verdeling.
• Het resultaat is een verdeling van normale z-scores.
  Liever niet gebruiken.

Stappen voor normaliserende transformatie

1. Bepaal ruwe score persoon i
2. Bepaal percentielscore van i (niet afronden)
3. Zoek in tabel bijbehorende z-score
4. Ken die z-score aan persoon i toe (normale z-score)
   cf2 = cumulatieve frequentie bij klassemidden
   cp2 = cumulatieve proportie bij klassemidden

Itemanalyse

Personen betrouwbaar onderscheiden (onderscheid voldoende / onvoldoende wel of niet verdiend)

• Beoordelen kwaliteit hele test.
  - Betrouwbaarheid (betrouwbaarheidsanalyse)
  - Validiteit (validiteit onderzoek)

• Beoordelen karakteristieken van afzonderlijke items.
  - Item moeilijkheid (item difficulty)
  - Item discriminatie (item discrimination)

• Beoordelen relatie afzonderlijke items en hele test.
  - Item-total correlatie (item totalcorrelation)
  - Analyse afleiders (disctracter analysis)

pi = p-waarde = itemmoeilijkheid = de proportie van de respondenten dat het item goed heeft beantwoord. pi = aantal goed / gedeeld door fout.

Hoge p-waarden: dragen niet bij aan differentiatie.
Lage p-waarden: mogelijk te moeilijk of een vraag buiten leerstof. 

Discriminerend vermogen

• Hoe goed discrimineert of differentieert een item?
• Hoe goed kunnen we met een item respondenten onderscheiden?

Item-totaalcorrelatie (Item-total correlation): Lineaire samenhang (r_g,x) tussen afzonderlijk item (g) en testscore (X).
Item-restcorrelatie (Item-rest correlation): Lineaire samenhang (rg_,(X-g)) tussen afzonderlijke item (g) en score op test minus het item (X - g).
Afleiders analyse (Distracter analysis): Voldoen alle antwoordalternatieven?