Sheetnotes 15/16

Welke onderwerpen worden behandeld in het hoorcollege? 
In dit hoorcollege wordt het onderwerp validiteit besproken. De bijbehorende literatuur is H2 en H5 uit Mastery Modern Psychological Testing.

Welke onderwerpen worden besproken die niet worden behandeld in de literatuur?
De onderwerpen uit dit hoorcollege komen overeen met de literatuur. 

Welke recente ontwikkelingen in het vakgebied worden besproken?
Er worden geen recente ontwikkelingen besproken.

Welke opmerkingen worden er tijdens het college gedaan door de docent met betrekking tot het tentamen?
De begrippen die gebruikt worden in de COTAN worden ook gebruikt op het tentamen

Welke vragen worden behandeld die gesteld kunnen worden op het tentamen? 
Er worden geen tentamenvragen behandeld.

Hoorcollege aantekeningen 15/16

Vorige week: standaardmeetfout (betrouwbaarheid). Vandaag: standaardschattingsfout (validiteit).

In COTAN staan begrippen die ook in het tentamen gebruikt gaan worden.

Betrouwbaarheid is een noodzakelijke, maar niet voldoende voorwaarde voor de validiteit van een test. Als een test onbetrouwbaar is is deze ook niet valide, maar dit geldt niet andersom.

De testscore X bestaat uit: ware score, systematische fout en de toevallige fout.

• Betrouwbare meting: grote ware score, kleine toevallige fout, systematische fout ongeveer gelijk.
• Valide meting: grote ware score, kleine toevallige fout èn kleine systematische fout.

Soorten validiteit

1. Inhoudsvaliditeit (content validity)
   In hoeverre representeert inhoud van de test het gehele inhoudsdomein?

   ▪ Indruksvaliditeit(facevalidity):oordeelvandeskundigen,geen testafname nodig.

2. Begripsvaliditeit (construct validity)
   Hoe goed representeren items van een test een psychologisch construct dat niet direct geobserveerd kan worden?

• Interne structuur (homogeniteit, verwachte dimensies)
• Externe structuur
  ▪  Convergente validiteit
  ▪  Divergente validiteit
  ▪  Nomologisch netwerk (samenhang die je wel en niet verwacht in kaart gebracht)

3. Criteriumvaliditeit (criterion validity)
Hoe hoog correleren testscores met het concreet criterium?

• Verleden (postdictie)
• Test voor stoornis en mate van traumatische beleving in het verleden.
• Heden (paradictie)
• Test voor kennis op bepaald gebied, en een vaardigheid op dit gebied. (simulator /echt)
• Toekomst (predictie)
• Geschiktheidstest voor een baan en het succes bij deze baan.

Beoordelen criteriumvaliditeit: toetsen van theoretisch verwachte samenhang tussen testscore en criterium.
Validiteitscoëfficiënt r_xy: correlatiecoëfficiënt voor samenhang testscore X en criterium Y.

Gebruiksdoelen testscores

1. Beschrijven
2. Classificeren
3. Voorspellen
4. Verklaren
5. Indiceren

Soorten validiteitsbewijs

 1. Testinhoud (test content)

• deskundigen oordeel
• indruksvaliditeit (face validity)
• Relaties met andere variabelen (externe structuur)
• test-criterium
• besliskundige modellen
• convergente (wel samenhang) en discriminante relaties (geen samenhang)
• multitrait-multimethod analyse
• onderzoek bij groepen

2. Interne structuur
     - Factoranalyse (HC4)
3. (Antwoordproces)
4. (Gevolgen testafname)

Cohens Kappa

Analyses voor validiteitsonderzoek

1. Factoranalyse

2. Vergelijken van groepen (t-toets, ANOVA)

3. Berekenen van samenhang met tests voor (niet) verwante constructen: r, rho, tau, eta, phi, Cramer's V

4. Multitrek-multimethode analyse
   Meerdere constructen (trekken) tegelijkertijd meten met verschillende methoden

   Berekenen:

   • Betrouwbaarheid van tests

   • Correlaties tussen verschillende tests

Weergeven in een MTMM = MultiTrait-MultiMethod matrix
Voor de beoordeling van de begripsvaliditeit moet je alle betrouwbaarheden en correlaties bestuderen.
Diagonale scores moeten hoog zijn: hoge samenhang.

5. Multiple regressieanalyse

Doelen:

• Beoordeling criteriumvaliditeit: Hoe goed zijn we in staat om met de test het criterium te voorspellen?: Selectie van tests voor een voorspelling
• Met welke selectie van tests kan ik het criterium optimaal voorspellen?
• Voorspellen: Geef een intervalschatting met een bepaalde waarschijnlijkheid.

• Interpretatie van coëfficienten

b-coëfficiënt

• één eenheid verandering in X geeft, bij overige X-variabelen constant, zoveel eenheden toename in
• gebruik voor voorspellen Y

Beta 

• gestandaardiseerde b-coëfficiënt
• gebruik voor beoordelen relatieve belang van X-variabelen bij voorspelling van Y

(interval)schatting Y

Standaardschattingsfout (S Y.X): Standaardafwijking van schattingsfouten (residuen)