College 10: Itemanalyse en transformaties
Itemanalyse; het doel van deze analyse is het verkrijgen van een optimale test (of schaal); met zo weinig als mogelijk items zo’n hoog mogelijke betrouwbaarheid voor testscore. De scores die je toekent kan je ordenen. NB. Dit zonder verlies van inhoudsvaliditeit. Het is de volgende procedure
Factoranalyse ter beoordeling van eendimensionaliteit. Je wilt een selectie van items.
Selecteer items voor schaal
Codeer items in zelfde richting. Een hoge code, betekent veel van het kenmerk.
Betrouwbaarheidsanalyse met Cronbach’s alfa voor schatting betrouwbaarheid. Geeft een
betrouwbaarheid van de hele schaal, maar ook van de afzonderlijke items.
Itemanalyse voor selecteren items voor schaalscore. Hierdoor komen we tot een definitieve selectie, dus een definitieve schaal.
Selectiecriteria test-items
Het doel van prestatieniveautest: personen betrouwbaaronderscheiden. Er zijn dus veel verschillende scores nodig, die we dan weer kunnen ordenen. Je wilt de optimale score krijgen.
Criteria itemselectie
Hoe?
realiseer een test met de grootste spreiding testscores:
kies voor items die ‘goed’ differentiëren
kies voor items die onderling ‘sterk’ samenhangen
Met wat?
Itemcorrelatie:
Voor elk item is er een correlatie met alle overige items.
Is er een samenvattende maat voor de correlatie van item i met alle overig
items? Dan maak je gebruik van:
Item-totaalcorrelatie (Item-total correlation). Dit is de hele test.
Correlatie ri,x tussen item (i) en testscore (X). —> rit - waarde
Item-restcorrelatie (Item-rest correlation). Dit is de correlatie met het item en de overige items.
Correlatie ri,(X-g) tussen item (i) en score op test zonder item (X - g). —> rit - waarde
Bij de SPSS output kijken bij: corrected item-total correlation.
Resultaat itemselectie : Gevolgen procedure itemselectie:
Een zo betrouwbaar als mogelijke test.
Globaal een zo goed als mogelijk differentiërende test.
Een test die nauwkeurig meet in midden van verdeling:
maakt differentiatie voor middengroepen goed mogelijk.
Cronbach’s alfa (coëfficiënt alpha)
de Cronbach’s alfa is een procedure voor het schatten van de betrouwbaarheid, met Likert achtige schalen.
Populaire methode betrouwbaarheidsschatting testscore.
Voor items met meer dan twee geordende categorieën.
Voor homogene set van items (eendimensionaal).
Kuder-Richardson 20 (KR-20)
Speciaal geval van Cronbach’s alfa
Voor dichotome items (positief = 1, negatief = 0; goed =
1, fout = 0). Je kan alleen maar 0 of 1 toekennen.
Voor homogene set van items (eendimensionaal).
Itemmoeilijkheid p
Prestatieniveautest met dichotome items 0 = negatief/fout 1 = postief/goed
Itemmoeilijkheid pi
De proportie van de respondenten dat het item positief/goed heeft beantwoord. Het is het aantal mensen die 1 hebben gescoord. Hoe hoger de moeilijkheid, hoe makkelijker het item. Dus hoe populairder het item.
pi = p-waarde = itemmoeilijkheid
Transformaties
Interpretatie testscore
Normgericht (norm referenced)
vergelijking testscore binnen de groep of populatie —> relatief meten, dus vergelijken groep.
We verzamelen dan alle informatie van de groep of populatie (normgroep) —> norm referenced beoordelen
Criteriumgericht (criterion referenced)
Normering:
Bepalen van verdeling van testscores in populatie. (Voor normgericht)
Bepalen van standaard voor beoordeling, wat vastgelegd is door deskundige (crtiteriumgericht)
Transformeren: Het omzetten van ruwe testscores naar gestandaardiseerde scores met als doel: beschrijven, vergelijken en beoordelen van de scores.
Prestatieniveautests (we beoordelen iemand obv scores, waarbij we de maximale prestatie willen)
voor vaststellen van maximaal mogelijke ‘prestatie’. Je wilt zo goed mogelijk zijn.
voor onderscheiden van prestatieniveaus of ontwikkeling
voor beschrijven van verdeling kenmerk in de populatie. Dus groepskenmerken.
(Lineaire) transformaties
Standaard z-transformatie Levert z-scores op. M = 0 (gemiddelde van 0), SD = 1 (standaardafwijking van 1)—> lineaire transformatie
2) Standaard score transformatie score met bepaalde/gewenste M en SD Voorbeelden: IQ-score, T-score —> lineaire transformaties
Percentielscore transformatie
Percentielscore (percentile rank)
Percentiel —> niet lineaire transformatie. Ze hebben geen interval meetniveau meer
Standaard z-transformatie
Standaard z-transformatie: Als een eigenschap in populatie theoretisch normaalverdeeld en de geobserveerde testscores (steekproef) zijn ook normaalverdeeld: —> ruwe testscores naar zscores transformeren. Stoornissen zijn niet normaal verdeeld bijvoorbeeld.
Voorwaarden transformatie:Ruwe testscores minimaal interval of ratio meetniveau (interval heeft dezelfde betekenis, ratio 0 punt. En 0 is ook een afwezigheid van het kenmerk)
Ruwe testscores (bij benadering) normaal verdeeld. (Loopt van -3 tot 3).
Gevolgen transformatie:
Interval meetniveau blijft na transformatie interval.
Vorm van de verdeling blijft ongewijzigd.
Na transformatie: gemiddelde = 0 en standaardafwijking = 1
Standaard score
Voorwaarden transformatie:
Gevolgen transformatie:
Intervalschaal blijft na transformatie intervalschaal.
Vorm van verdeling blijft ongewijzigd.
Na transformatie: gemiddelde = a, standaardafwijking = b, die beide gewenst zijn.
Lineair getransformeerde scores hebben een gemiddelde en standaardafwijking naar wens:
Z-scores (0, 1) zijn positief of negatief met decimalen.
T-scores (50, 10) zijn positief en zonder decimalen.
IQ-scores (100, 15) zijn positief en zonder decimalen.
Percentielscoring
Het omzetten van ruwe scores in percentielscores. Hierbij minder beroep op normaalverdeling.
Percentiel is de waarde van een testscore waarvoor geldt dat een bepaalde proportie (.25, .50, .90) in de groep (of populatie) dezelfde of lagere testscore heeft. Kijk dia 39.
Voorwaarden transformatie:
De testscores hebben minimaal ordinaal meetniveau. Dus een lager meetniveau.
Voor berekenen percentielscores heb je alle scores van de groep (populatie) nodig.
Geen voorwaarde voor verdeling scores. Het is een toepassing die bijna altijd kan.
Gevolgen transformatie:
Transformatie resulteert in homogene verdeling, dus niet in een normale verdeling.
Betekenis van de intervallen tussen opeenvolgende percentielscores is ongelijk —> ordinaal meetniveau.
Gemiddelde en standaardafwijking van percentielscores hebben geen betekenis.
- Let op. Er is een verschil tussen percentielscore en percentiel.
Tests voor prestatieniveau (maximum performance tests): Kijken naar kennis en vaardigheden (achievement) en naar competenties (aptitude)
We hebben hierbij 2 soorten:
1. Snelheidstest (speed test) In beperkte tijd zo veel als mogelijk opgaven van zelfde moeilijkheid beantwoorden.
2. Niveau test (power test) Opgaven in oplopende moeilijkheid zonder tijdsdruk.
Test voor voor gedragswijzen (typical response tests)
Meet gedrag, houding en persoonlijkheid. Het zijn vaak (likert) schalen voor gedrag, kenmerken, symptomen of attitudes.