Samenvatting testtheorie en testgebruik jaar 2

Samenvatting testtheorie

H2

Aspecten psychologische test

• Efficiente (geen storende factoren)
• Standaardisatie
• Normering
• Objectiviteit (inter-beoordelaars à Cohens Kappa)
• Betrouwbaarheid
• Validiteit en betekenis

H3

Soorten tests

• Prestatieniveau (enkelvoudig algemeen, meervoudig algemeen, speciaal, vordering)
• Gedragsniveau (observatie, somato-fysiologisch, zelfboordeling, kwalitatieve prestatie)

H4

Items: goed of slecht à relatieve frequentie

• Goed: p-waarde
• Fout: a-waarde

H5 afname en verwerking

Standaardisatie-eisen situatie (groep, snelheid)

• Houden aan instructies
• Omgevingsinvloeden voorkomen
• Geen storingen
• Goede controle (niet spieken)

Toevalscorrectie meerkeuze: Xc = X – (k-X / A-1) (A = aantal antwoordmogelijkheden)

Adaptief testen: testen op maat

Norm: referentiekader ruwe scores, gebaseerd op verdeling populatie

Absoluut meten (criterion-reference measurement): vergelijken absolute maatstaaf

Normatief meten (norm-reference measurement): vergelijken normale verdeling

H6 betrouwbaarheid

Klassieke testtheorie: testscore (X) = ware score (T) + meetfout E

E à voor alle pp gelijk

Betrouwbaarheid meten

• Herhaalde meting
  • Parallel
  • Test-hertest
• Eenmalige meting
  
  • Splitsing (Spearman-Brown)
  • Interne consistentie
    
    • Alfa à ondermaat betrouwbaarheid à geen goede maat
      
      • Beter: factoranalyse, item-response modellen

Standaardmeetfout: schatting T à ruwe score (X)

Standaardschattingsfout: schatting T à ruwe score (X), gemiddelde X, betrouwbaarheid pop

Correlatiecoëfficiënt: validiteit à kan beperkt worden door betrouwbaarheid

Minder variantie betrouwbare T bij vaste E à mindere betrouwbaarheid

H7 nieuwe ontwikkelingen

Item-responsmoddelen: populatie-onafhankelijk (score afhankelijk moeilijkheid)

Rasch (1 parameter)

• Alle items discrimineren zelfde mate (kruisen niet)
• Personen & items populatie onafhankelijk

Birnbaums (2 parameter)

• Alle items hebben eigen discriminatie à kruisen
• Delta blijft zelfde (moeilijkheidsparameter à wanneer kans goed 0.5 is)
• Personen populatie onafhankelijk

Birnbaums (3 parameter)

• Alle items hebben eigen discriminatie
• Delta: waarde waarop kans item goed is (1+ gamma)/2
• Personen populatie onafhankelijk

Klassieke testtheorie: Standaard Error gelijk

Item-response theorie: Standaard Error niet gelijk

• Adaptief toetsen
• Informatiefunctie à midden hoogste informatie à laagste SE

Mokken (nonparametrisch)

• P-waarde à moeilijkheid
• Totaalscore ipv theta

Monotone mokkenmodel

• IRF mogen kruisen (2/3PL)
• Ieder item à zelfde eigenschap (homogeen)
• Ordening personen populatie-onafhankelijk

Dubbele monotonie

• IRF mogen niet kruisen (1PL)
• Populatie-onafhankelijk zowel personen als items
• Ordering personen en items populatie-onafhankelijk

H8 validiteit

Doelen testonderzoek

• Voorspellen à predictieve validiteit
• Begrijpen à begripsvaliditeit

• Predictive validity: overeenkomen gegevens later tijdstip
• Concurrent validity: vergelijken gelijktijdig beschikbaar criterium
• Content validity: universum, oordelen (subjectiviteit klein door verschillende beoordelaars)
• Construct validity: welke psychologische constructen worden gemeten
• Synthetische validiteit: functie-elementen à hele functie
• Congruent validity: correlatie test die zelfde eigenschap meten
• Face-validity: indruk dat er relatie bestaat zonder onderzoek
• Incremental validity: toegevoegde waarde boven kennis die we hebben

Betrouwbaarheid criterium en relevantie omgekeerd evenredig

Validatie-onderzoek à schatting lineaire correlatie (Pearson-product-moment correlatie)

Betekenisonderzoek (combi verbeelding en systematische analyse)

• Structuuronderzoek
• Relatie-onderzoek

Multitrek-multimethode-matrix

• B – betrouwbaarheid à monotrek-monomethode
• V – confimerende validiteit à monotrek-hetereomethode
• M – methodevariantie à heterotrek-monomethode
• D – eigenschappen à hetero-heteromethode

• V > D
• V > M
• M = D

H9 beslissing

Beslissingen

• Individueel en institutioneel (beroepskeuze, rijexamen)
  • Institutioneel: gemiddeld rendement
• Relatie alternatieven (welk schoolniveau, profielscores)
  
  • Univariaat: kwantitatief verschil
  • Multivariaat: kwalitatief verschil (en eventueel kwanitatief) à differentiele voorspelling (multivariate analyse)
• Univariate informatie
  
  • Dichotoom
  • Indelen in verschillende klassen

Klassieke geschiktheidonderzoek (enkelvoudige selectie): wel/niet aan eisen voldoen à institutioneel

• Positieve missers (A): test voldoende, praktijk onvoldoende
• Positieve treffers (B): test voldoende, praktijk voldoende
• Negatieve treffers (C): test onvoldoende, praktijk onvoldoende
• Negatieve missers (D): test onvoldoende, praktijk voldoende

Succesratio (B) à effectiviteit selectie (validiteit, toevalskans, selectieratio)