Collegeverslagen diagnostiek en testtheorie

Deze samenvatting is gebaseerd op collegejaar 2012-2013

College 1: Wat is diagnostiek?

Definitie

Diagnostiek is een systematische procedure voor het verzamelen van data om kenmerken af te leiden. Dit betekent dat het een besluitvormingsproces is, en dat is iets anders dan ‘testen’. Testen kan wel deel uitmaken van diagnostiek, maar is gericht op één aspect dat met een gestandaardiseerd instrument wordt gemeten. Diagnosticeren bestaat uit het afnemen van verschillende tests, het doel is om een groter geheel van gedrag van een individu in kaart te brengen.

De Engelse term voor diagnostiek is ‘assessment’, niet te verwarren met assessment enkel in de context van personeelswerving, zoals dat in het Nederlands vaak gebruikt wordt.

Diagnostiek heeft raakvlakken met ieder mogelijk werkveld van psychologen en alle richtingen hebben ermee te maken. Het kan gaan om het diagnosticeren zelf, maar ook om het lezen van rapporten van diagnoses, het beoordelen van rapporten, het gebruiken van onderzoek waaraan diagnostiek te pas is gekomen of het ontwikkelen van diagnostische instrumenten.

Instrumenten ontwikkelen

Het is belangrijk dat er goede instrumenten zijn om te gebruiken voor diagnosticeren. Er zijn veel criteria waaraan zo’n instrument moet voldoen: validiteit, betrouwbaarheid, objectief, goed voorspellingsvermogen, te gebruiken op empirische wijze.

De eerste stap bij het ontwikkelen van een testintstrument is het vaststellen van het doel. Wat wil je meten, wat wil je bereiken? Waarop wil je bijvoorbeeld selecteren bij een sollicitatieprocedure?

Vervolgens is het zaak om de theorie te gaan onderzoeken. Wat is er bekend over datgene wat gemeten moet worden? Is er al empirische evidentie?

Tot slot kan het instrument gekozen worden. Wat voor methode past het beste bij het doel? Is het uitvoerbaar? Is één instrument voldoende of zijn meerdere metingen beter?

Typen instrumenten

Het type instrument dat gebruikt wordt is afhankelijk van het doel. Er zijn verschillende mogelijkheden.

Ten eerste de test. Een test kan verschillende vormen aannemen, van open vragen tot meerkeuze en van taken die vaardigheden testen tot het beoordelen van vragen over persoonlijkheid. Voorbeelden zijn intelligentietests, attitudetests, en tests voor neuropsychologisch functioneren.

Daarnaast kan een simulatie, zoals een rollenspel, gedaan worden. Hierbij wordt een situatie nagebootst om gedrag te testen. Dit is handig bij een test voor sociale vaardigheden of communicatie.

Een andere mogelijkheid is het interview, dat vooral past bij het onderzoeken van beleving tegenover feitelijkheden.

In sommige gevallen is observatie in een natuurlijke setting het meest accuraat, bijvoorbeeld bij kinderen of interactie in relaties.

Tot slot kan er om een portfolio gevraagd worden, een verzameling van producten die een persoon zelf vervaardigd heeft.

Omgaan met tests

Ook aan degene die de test afneemt worden eisen gesteld. Het is belangrijk dat een testafnemer kennis heeft van de theorie en een achtergrond op het gebied van onderzoek heeft. Ook vaardigheden omtrent het gebruiken van tests zijn essentieel. Omgaan met de cliënt en het toepassen van de test op de cliënt moeten volgens ethische en sociale regels correct zijn. Zorgvuldigheid is ook een belangrijke eigenschap, omdat de testresultaten betrouwbaar moeten zijn.

Dit is allemaal afhankelijk van de testafnemer, los van de test zelf!

College 2: Itemselectie, transformaties en normen

Criteria voor testbeoordeling

Het NIP, Nederlands Instituut voor Psychologen, heeft een beoordelingssysteem voor psychologische tests, de COTAN. Deze bestaat uit zeven belangrijke punten:

• Uitgangspunten van de testconstructie
• Kwaliteit van het testmateriaal
• Kwaliteit van de handleiding
• Normen
• Betrouwbaarheid
• Begripsvaliditeit
• Criteriumvaliditeit

Punt 4, normen, vereist dat er standaardscores gebruikt worden om testscores te beoordelen. Op deze manier kunnen ze met elkaar vergeleken worden en zijn ze niet losstaand.

Soorten tests

Eerst is het nodig om in te gaan op verschillende soorten tests. Voor iedere soort test zijn er namelijk andere normen.

Een eerste soort is de test voor prestatieniveau (maximum performance). Zo’n test betreft cognitie en vaardigheden en gaat erom het hoogst mogelijke niveau van een individu vast te stellen. Vaak is de test in de vorm van goed/fout-vragen.

Een tweede soort is de test voor gedragswijzen (typical response). Dit soort tests wordt gebruikt om persoonlijkheid of gedrag te meten, meestal met antwoorden op een Likert-schaal.

Bij prestatieniveau-tests is er nog onderscheid tussen snelheidstests (speed tests) en niveautests (power tests). Een snelheidstest bevat vragen van dezelfde moeilijkheidsgraad, waarvan er zoveel mogelijk in beperkte tijd beantwoord moeten worden. Niveautests gaan juist om vragen van verschillende moeilijkheidsgraden, meestal oplopend, om te kijken tot welke moeilijkheidsgraad er correct geantwoord wordt.

Testscores

Testscores kunnen op verschillende manieren geïnterpreteerd worden. Dit is waar normen een rol gaan spelen. Het doel van normen is om testscores te vergelijken en zo de scores betekenis te geven. Hiervoor moeten ruwe scores getransformeerd worden naar standaardscores. Met de standaardscores kunnen scores van een individu vergeleken worden met de verdeling van testscores binnen een populatie. De populatie waarmee vergeleken wordt, is de normgroep.

Het vergelijken van scores gaat over het algemeen op één van de volgende twee manieren:

• Normgericht, waarbij de criteria voor scores worden vastgesteld op basis van de scores van de gehele normgroep. Dit is relatief meten.
• Criteriumgericht, waarbij de scores worden vergeleken met van te voren vastgestelde normen. Dit is absoluut meten.

Transformaties

Scores kunnen op een aantal manieren gestandaardiseerd worden.

• De standaard z-transformatie

De z-transformatie wordt gebruikt wanneer ruwe scores normaalverdeeld zijn. De z-score specificeert de plek van een individuele score binnen een normaalverdeling, en daardoor is de score gerelateerd aan de normgroep. Bij de z-verdeling is het gemiddelde 0 en de standaardafwijking is 1. Bij de z-score hoort ook een percentielscore: de proportie in de normaalverdeling die gelijk is aan of lager dan de betreffende z-score.

De formule voor de z-transformatie is:

Z = Xi-Ẋ/SDx

Waarbij Xi de individuele score is, Ẋ het gemiddelde en SDx de standaardafwijking.

• Andere lineaire transformaties

De z-transformatie is een vorm van een lineaire transformatie. Dat is een transformatie waarbij er een verschuiving plaatsvindt, omdat de waarden van het gemiddelde en de standaardafwijking veranderen (gestandaardiseerd worden). De vorm van de verdeling blijft echter altijd behouden, evenals de intervalschaal.

Voorbeelden van andere lineaire scores zijn de T-score (gemiddelde 50, standaardafwijking 10) en IQ-score (gemiddeld 100, standaardafwijking 15).

• Percentielscore

De percentielscore geeft aan welke proportie van de populatie lager of gelijk aan de individuele score scoort. Het voordeel is dat de percentielscore geschikt is voor alle vormen van verdelingen, dus niet alleen voor normaalverdelingen. Wel is vereist dat alle individuele testscores bekend zijn.

De formule is:

Pi = 100 x (CFi – ½ fi)/N

Hierbij is CFi de cumulatieve frequentie van de klasse waarin het individu valt, fi is de aparte frequentie van de klasse waar het individu in valt, en N is het aantal individuen in de groep.

• Stanines

Stanines zijn negen standaard categorieën waar de scores in geplaatst worden. Het is een lineaire transformatie en de categorieën zijn van gelijke grootte. Het probleem is dat de groepen aan de uiteinden een veel groter bereik kunnen hebben, als de hoogste en laagste scores ver uit elkaar liggen.

• Normaliserende transformatie

Deze transformatie wordt gebruikt als de verdeling van een variabele in theorie normaalverdeeld is, maar de resultaten van de test niet. Er wordt dan getransformeerd naar een normaalverdeling door van de ruwe scores percentielscores te maken (wat kan voor alle vormen verdelingen), en van de verdeling van percentielscores z-scores te maken (want het percentiel is de proportie in de z-verdeling die gelijk aan of lager dan de z-score is).

Itemanalyse

Itemanalyse is het beoordelen van de kwaliteit van afzonderlijke items op een test. Ieder item heeft invloed op de kwaliteit van de totale test, dus om een goede totale kwaliteit te verkrijgen, wordt ieder item afzonderlijk geanalyseerd. Als de kwaliteit van de items (en dus van de test) goed is, kan de test personen op een betrouwbare manier onderscheiden.

Er zijn een aantal manieren om items te testen.

De eerste is itemmoeilijkheid testen. Dit is afhankelijk van de inhoud van het item. Het kan getest worden door te berekenen hoeveel personen het item goed beantwoorden in verhouding tot het totaal. Hiervoor wordt een formule gebruikt:

Pg = aantal goed/totaal aantal

De P-waarde reflecteert dus de moeilijkheid. Hoe hoger de P-waarde, hoe meer mensen het item goed hebben beantwoord, dus hoe makkelijker het item.

De tweede manier is discriminerend vermogen testen. Het discriminerend vermogen is het verschil in prestatie tussen de groep die het beste presteert (topgroep) en de groep die het slechtst presteert (bottomgroep). De formule is:

D = Pt – Pb

Pt is de P-waarde die apart voor de topgroep berekend is, en Pb voor de bottomgroep.

Het discriminerend vermogen kan ook berekend worden door middel van een correlatie. Eén mogelijkheid is de item-totaalcorrelatie, waarbij de samenhang tussen de score op het betreffende item G en de totaalscore X berekend wordt (r (g, x)). Een andere mogelijkheid is om de item-restcorrelatie te berekenen, de samenhang tussen de score op item G en de score op de rest van de items (r (g, x-g).

Tot slot kan er een afleidersanalyse gedaan worden. Alle alternatieve antwoorden (incorrecte antwoordmogelijkheden) moeten evenveel afleiden. Er wordt dus gekeken hoe vaak ieder alternatief antwoord gekozen wordt, en of deze meer gekozen wordt door de bottomgroep dan door de topgroep. Wordt een alternatief nooit gekozen, of juist vaker door de topgroep, dan is de afleider niet goed.

College 3: Betrouwbaarheid

Betrouwbaarheid

Het vijfde punt van de beroepscode van COTAN is betrouwbaarheid. Betrouwbaarheid kan gedefinieerd worden als de mate waarin een score consistent is. Consistentie wordt groter naarmate toevallige fouten tijdens het testen kleiner worden. Een manier om consistentie te vergroten, is de operationalisatie zo specifiek mogelijk te maken. Hoe specifieker de operaties die nodig zijn om het construct te meten, hoe betrouwbaarder de testscore.

Klassiek meetmodel

Er zijn verschillende modellen om de score op een test mee te beschrijven. Het klassieke meetmodel is daar één van, en hierin wordt testscore X bepaald door de ware score T en toevallige meetfout E. Het meetmodel wordt weergegeven met de volgende formule:

X = T + E

Er zijn twee manieren waarop de ware score beïnvloed kan worden, namelijk door systematische fouten en door toevallige fouten. Een systematische fout heeft invloed op de validiteit van een testscore, terwijl een toevallige fout effect heeft op de betrouwbaarheid.

De ware score is theoretisch gezien het gemiddelde van de score van een persoon als er oneindig veel testafnames gedaan worden. Het is echter nooit zo dat er helemaal geen meetfouten zijn.

Bij het berekenen van de betrouwbaarheid wordt daarom gebruik gemaakt van de standaardmeetfout, dat is de standaardafwijking van de (theoretische) verdeling van testscores, oftewel het gemiddelde van alle meetfouten.

De standaardmeetfout heeft drie eigenschappen. Ten eerste is het gemiddelde van alle meetfouten nul. Daarnaast is er geen correlatie tussen de ware score en toevallige meetfout. En tot slot is er ook geen correlatie tussen de meetfouten die op iedere test gemaakt worden.

Betrouwbaarheidscoëfficiënt

De maat die gebruikt wordt om betrouwbaarheid te berekenen, is de betrouwbaarheids-coëfficiënt. De betrouwbaarheidscoëfficiënt is gebaseerd op de aanwezigheid van testvariantie. Net als de testscore bestaat de testvariantie deels uit variantie van de ware score T en deels uit variantie die door toevallige fouten tot stand komt, E. De formule om de testvariantie te berekenen is:

S²x = S²T + S²E

De formule voor de betrouwbaarheidscoëfficiënt is:

rxx’ = S²T / S²x

Omdat de verdeling van testscores echter theoretisch is, is de variantie van ware scores onbekend. Daarom wordt gebruik gemaakt van schattingen.

Methoden voor het schatten van betrouwbaarheid

Er zijn verschillende manieren waarop de betrouwbaarheid geschat kan worden. Voor iedere situatie of soort test is één van deze manieren de best passende.

De eerste manier is de test-hertestmethode. Hierbij wordt de test twee keer afgenomen op verschillende momenten, en vervolgens wordt de correlatie tussen de twee afnames berekend. Deze correlatie is de schatting voor betrouwbaarheid.

De tweede manier is de paralleltestmethode. De schatting voor betrouwbaarheid wordt hierbij gedaan door twee equivalente tests af te nemen. Dat de tests equivalent zijn, houdt in dat ze in principe hetzelfde meten op dezelfde manier, maar de inhoud is net een beetje anders. Alle items in de ene test worden vervangen door gelijkwaardige items in de andere test. Als het mogelijk is om een goede equivalente test op te stellen, is dit een heel goede methode. Het probleem is dat dit bijna niet voorkomt.

Een andere manier is de split-halfmethode. De test wordt in tweeën verdeeld, meestal door middel van random assignment van de items. De betrouwbaarheidscoëfficiënt wordt berekend met de volgende formule:

roo’ = (2 · rh1h2) / (1 + rh1h2)

Hierin is rh1h2 de correlatie tussen de twee helften.

Om de betrouwbaarheid van de hele test te berekenen, wordt de Spearman-Brownformule voor testverlenging (of verkorting) gebruikt:

rxx’ =  (v · roo’) / (1 + (v-1) · roo’)

De verlengingsfactor (‘v’ in de formule) wordt berekend door het nieuwe aantal items door het oude aantal items te delen.

De laatste manier om de betrouwbaarheid te schatten is om het gemiddelde van alle split-halfs te nemen. Voor dichotome tests is er  de KR-20 formule, en voor tests met meerdere antwoordmogelijkheden kan Cronbach’s alfa gebruikt worden. In principe is deze methode ideaal, omdat er rekening wordt gehouden met allerlei factoren, waaronder de lengte van de test. Een beperking is echter dat de items inwisselbaar moeten zijn voor elkaar, dus allemaal van gemiddelde moeilijkheid moeten zijn. Daarom kan ook deze methode niet altijd gebruikt worden voor een goede schatting van betrouwbaarheid.

Invloeden op betrouwbaarheid

Er zijn drie belangrijke factoren die invloed hebben op de betrouwbaarheid van een test.

Allereerst is de lengte van de test van invloed. Hoe langer de test, hoe betrouwbaar de testscore. Immers, met meer items wordt een groter deel van het domein van het construct dat getest wordt meegenomen.

Daarnaast is de samenstelling van de groep die getest wordt bij de betrouwbaarheidsmeting van invloed. Een heterogene groep (veel verschillen tussen individuen) geeft een hogere betrouwbaarheidsschatting dan een homogene groep. Een homogene groep heeft namelijk minder variantie, wat voor een lagere waarde van de betrouwbaarheidscoëfficiënt zorgt.

Tot slot is een tijdslimiet een factor die van invloed kan zijn. Bij dichotome tests treedt een overschatting van de betrouwbaarheid op, doordat er meer overeenkomst is in het aantal fouten dat gemaakt wordt tussen individuen, ongeacht het niveau van het individu. Een item waar een individu niet aan toe komt binnen de tijd, wordt fout gerekend. Bij meerkeuzevragen geldt het omgekeerde: er is een onderschatting van de betrouwbaarheid bij een tijdslimiet.

Betrouwbaarheidsinterval

Het bepalen van de locatie van de ware score, wordt gedaan door een betrouwbaarheids-interval te bepalen. Hierbij zijn de z-score van het betrouwbaarheidsinterval, de geschatte betrouwbaarheidscoëfficiënt en de standaardmeetfout nodig.

De formule is:

Tj = Xj ± z 1 – ½ α · SE

Hierin is SE te schatten met de formule:

SE = Sx · √(1 - rxx’)

College 4: De diagnostische cyclus

Impliciete en expliciete theorievorming

Wanneer iemand een probleem heeft, worden daar oplossingen voor gezocht. Meestal begint iemand bij vrienden of familie. Deze mensen gebruiken alledaagse beschrijvingen en verklaringen van gedrag, waarnaar verwezen wordt met impliciete theorievorming. Deze theorievorming is niet gebaseerd op wetenschappelijk onderzoek, maar op eigen ideeën die iedereen heeft over de oorzaken van het probleem. Mensen komen aan deze ideeën door eigen ervaringen, maar ook door informatie die bijvoorbeeld via media of een eigen opleiding verkregen wordt. De informatie is dus niet per definitie verkeerd. Het is de basiskennis van cliënten, en leidt tot verwachtingen die een cliënt van psychologen heeft.

Wanneer iemand zelf, of met hulp van bekenden, niet tot een goede oplossing van het probleem komt, gaat de psycholoog een rol spelen. Ook een psycholoog gaat op zoek naar verklaringen voor het probleem, maar dan via expliciete theorievorming. Dit is theorievorming op basis van empirisch getoetste kennis. Deze kennis komt tot stand door het gebruik van psychologische meetinstrumenten.

Zowel voor impliciete als expliciete theorievorming zijn er valkuilen waar aan gedacht moet worden. Bij impliciete theorievorming wordt er bijvoorbeeld gekeken vanuit een subjectief gezichtspunt, er wordt gesimplificeerd en overgegeneraliseerd aan de hand van ervaringen uit de eigen omgeving en er wordt vaak gezocht naar bevestiging voor de geopperde verklaring.

Dit laatste punt is ook één van de valkuilen bij expliciete theorievorming. Er is de neiging om een hypothese te verifiëren, terwijl het beter is om te kijken of er bewijs voor falsificatie is. Daarnaast wordt er vaak onvoldoende rekening gehouden met de base rate van het voorkomen van een bepaalde stoornis. De kans dat een stoornis als ADHD werkelijk het geval is, is veel kleiner dan vaak gedacht wordt. Bij professionele hulpverleners is er ook vaak sprake van een subjectieve weging, onbewust worden eigen waarden meegenomen in het diagnostisch proces. Ook het primacy-, recency- en availability-effect kunnen een rol spelen. Informatie die als eerste en als laatste verteld wordt, blijft beter hangen en weegt daardoor zwaarder mee in het besluitvormingsproces. Ook stoornissen waar de hulpverlener veel mee te maken krijgt, worden als mogelijk probleem gezien doordat er veel associaties met zo’n probleem zijn van de kant van de hulpverlener.

Het is belangrijk om fouten zo minimaal mogelijk te houden, zodat er niet over-gediagnosticeerd wordt of op een verkeerde manier.

Hypothesetoetsend model

Bij het stellen van een diagnose wordt gebruik gemaakt van het toetsen van hypothesen. Het model dat hiervoor gebruikt wordt, de diagnostische cyclus, is gebaseerd op de empirische cyclus van De Groot. De stappen die in de empirische cyclus doorlopen worden, zijn: observatie van het probleem, inductie (het formuleren van theorieën), deductie (het voorspellen vanuit de hypothese), toetsing en evaluatie (of de onderzoeksvraag is beantwoord). Deze cyclus is vertaald naar de diagnostiek voor een individueel persoon.

Een model dat op de empirische cyclus lijkt, is de regulatieve cyclus van Van Strien. Deze is meer gericht op verandering. De stappen die in deze cyclus doorlopen worden, zijn: probleemstelling, diagnose (observatie, operationalisering en toetsen in één fase), het opstellen van een plan voor interventie, het uitvoeren van de interventie, en tot slot de evaluatie (of de interventie heeft gewerkt).

Diagnostische cyclus

In de praktijk wordt gebruik gemaakt van de diagnostische cyclus.

De eerste stap is de aanmelding. Na aanmelding wordt informatie verzameld over de reden van aanmelding, en als deze reden ernstig genoeg is, wordt een diagnostisch onderzoek gestart. Dit onderzoek bestaat uit verschillende onderdelen.

Het eerste onderdeel is de klachtanalyse. Er wordt gekeken wat het gedrag is dat door de cliënt als probleem ervaren wordt. Vanuit deze informatie wordt de hulpvraag geformuleerd: het soort hulp waar de cliënt naar vraagt. Het resultaat van de klachtanalyse is de verhelderende diagnose; er is nu duidelijk wat de cliënt als probleem ervaart.

Het tweede onderdeel is de probleemanalyse. In deze fase wordt het probleem op empirische wijze gedefinieerd. Er wordt dus vanuit de hulpverlener gekeken of het probleem dat door de cliënt ervaren wordt, werkelijk een psychisch probleem is. Het probleemgedrag wordt geordend in passende categorieën, bijvoorbeeld cognitief, sociaal, emotioneel probleemgedrag en lichamelijke problematiek. Er wordt op basis hiervan een ernsttaxatie gedaan, waarbij de vraag is of er objectief gezien sprake is van een probleem. Criteria die gebruikt worden zijn bijvoorbeeld de classificaties van DSM. Het resultaat van de probleemanalyse is de onderkennende diagnose. Deze is belangrijk om wetenschappelijke oplossingen te zoeken.

Het derde onderdeel is de verklaringsanalyse. Hierin wordt gekeken wat de oorzaken van het probleem zouden kunnen zijn. Er worden hypothesen opgesteld over mogelijke oorzaken, er wordt gekeken op welke manier de hypothesen getest kunnen worden en vervolgens worden de toetsen uitgevoerd. Het resultaat is een verklarende diagnose.

Het vierde onderdeel is de indicatieanalyse, waarin een voorstel van interventie geformuleerd wordt. Dit is de indicerende diagnose.

Het is niet noodzakelijk om alle analyses toe te passen, dat is afhankelijk van de vraag van de cliënt en van informatie die al dan niet beschikbaar is uit eerder onderzoek. Ook is het denkbaar dat tijdens het proces stappen terug gedaan worden, dus om bijvoorbeeld opnieuw een verklaringsanalyse te doen als de verklarende diagnose niet toereikend blijkt te zijn.

Tot slot, als alle benodigde diagnoses gesteld zijn, wordt een advies gegeven aan de cliënt over de aanpak van het probleem. Belangrijk is om ook afspraken te maken over dat wat de hulpverlener kan bieden en wat niet.

College 5: Validiteit

Definitie van validiteit

Validiteit is de afwezigheid van systematische fouten. Een systematische fout is een discrepantie tussen datgene wat beoogd wordt te meten en wat er daadwerkelijk gemeten wordt, die consistent voorkomt. Iedere testafname heeft dus dezelfde mate van systematische fout.

Validiteit staat in verband met betrouwbaarheid, omdat betrouwbaarheid noodzakelijk is voor een valide meting. Echter is het niet voldoende; een betrouwbare meting is niet gegarandeerd een valide meting.

Validiteit gaat over de interpretatie van een score op een test, niet over de test zelf. De testscore bestaat, volgens het klassieke meetmodel, uit de ware score + fout. In het klassieke meetmodel bestaat de fout slechts uit toevallige fouten. In werkelijkheid bestaat de fout deels uit toevallige fout, en deels uit systematische fout.

In deze termen kan betrouwbaarheid gedefinieerd worden zo min mogelijk toevallige fout. Validiteit kan worden gedefinieerd als zo min mogelijk toevallige fout én zo min mogelijk systematische fout.

Typen validiteit

Validiteit is in principe één concept, maar het bewijs voor validiteit kan uit verschillende bronnen verkregen worden. De soorten validiteitsbewijs zijn:

• Testinhoud
• Relaties met andere variabelen
• Interne structuur
• Antwoordproces
• Gevolgen van de testafname

Toch wordt ook nog veel gesproken van typen validiteit, de gerelateerd zijn aan de verschillende bronnen voor validiteitsbewijs.

Inhoudsvaliditeit

Inhoudsvaliditeit geeft antwoord op de vraag: representeert de inhoud van de test het gehele testdomein?

De bron is de beoordeling van de test door deskundigen. Vaak wordt de inhoudsvaliditeit beoordeeld tijdens het ontwikkelen van de test. Het is namelijk niet nodig om de test af te nemen bij de populatie. De kern is dat de inhoud van de items past bij het construct. De items moeten relevant zijn, en de gehele inhoud van het construct moet gereprestenteerd worden.

Beoordelaars kunnen verschillen van mening over de testscores. Om de mate van overeenstemming, of de interrater reliability, te meten, wordt Cohen’s kappa gebruikt:

Kappa = (Po-Pe)/(1-Pe)

Hierin is Po de geobserveerde overeenstemming, en Pe de verwachte overeenstemming (op basis van kans) tussen de beoordelaars.

Begripsvaliditeit

Begripsvaliditeit geeft antwoord op de vraag of de test het construct representeert dat niet direct geobserveerd kan worden. Er moet dus samenhang zijn met variabelen die wel direct gemeten kunnen worden, waarmee het construct volgens verwachting zal samenhangen.

Dit kan gecontroleerd worden door de interne structuur en de externe structuur te analyseren. Interne structuur wordt geanalyseerd met factoranalyse, dat in een later college uitgebreid aan bod zal komen.

Externe structuur kan gemeten worden door middel van convergente en divergente validiteit. Convergente validiteit houdt in dat de test samenhangt met tests die hetzelfde construct meten; divergente validiteit betekent dat de test niet samenhangt met tests die een ander construct meten. Dit wordt gemeten door correlaties tussen tests te berekenen.

Een manier om dit te doen is het gebruiken van een multitrait-multimethod model (MTMM). Er worden tegelijkertijd meerdere constructen op meerdere tests gemeten, en de onderlinge correlaties worden in een matrix weergegeven.

Op de hoofddiagonaal van zo’n matrix staan de correlaties tussen twee metingen van hetzelfde construct met dezelfde methode (monotrait-monomethod). Dit is de betrouwbaarheid van een test.

Op de subdiagonalen staat de samenhang van verschillende methoden die dezelfde trek meten (monotrait-heteromethod). Deze zouden hoog moeten zijn, omdat ze hetzelfde construct meten.

De rest van de correlaties zou laag moeten zijn. Dit zijn de heterotrait-heteromethod correlaties, en de heterotrait-monomethod correlaties. Als een heterotrait-monomethod correlatie hoog is, zou dit kunnen duiden op een methode-effect: de invloed van de methode op de testscore.

Criteriumvaliditeit

Criteriumvaliditeit beantwoordt de vraag of de testscore een goede voorspeller is voor een specifieke variabele (criterium) die niet direct door de test wordt gemeten, maar wel gerelateerd is aan het construct dat gemeten wordt.

Er wordt gebruik gemaakt van scores in het verleden, heden en in de toekomst.

Om criteriumvaliditeit te meten, wordt gebruik gemaakt van de validiteitscoëfficiënt. Dit is de correlatie tussen de testscore en het criterium.

Er zijn verschillende factoren die invloed kunnen hebben op de grootte vande validiteitscoëfficiënt.

Ten eerste heeft een lage betrouwbaarheid invloed. Hiervoor kan gecorrigeerd worden met correctie voor attenuatie. De formule voor correctie voor attenuatie is:

C-rxy = rxy / (√rxx · √ryy)

Ook de keuze van de correlatiemaat kan invloed hebben. Er zijn verschillende manieren om een correlatie te berekenen (bijvoorbeeld Pearson of Spearman). De methode is bepalend voor de mate van samenhang.

Daarnaast is de samenstelling van de steekproef van invloed. Een heterogene groep zorgt voor meer spreiding, en spreiding heeft invloed op de correlatie.

Ook kan er sprake zijn van contaminatie. Contaminatie betekent dat de afname van de test invloed kan hebben op de score op het criterium. Als er een predictief onderzoek gedaan wordt, dus het criterium wordt afgenomen op een later moment dan de test, kan er bijvoorbeeld een leereffect optreden en wordt de validiteit overschat.

Tot slot kan er sprake zijn van restriction of range. Dat betekent dat de groep die getest wordt niet representatief is voor de populatie, doordat er impliciete of expliciete selectie optreedt door de afname van de eerste test.

Regressieanalyse

Met regressieanalyse kan de criteriumvaliditeit beoordeeld worden. De vraag is hoe goed de test kan voorspellen, en regressieanalyse geeft een vergelijking waarin de mate van voorspellende waarde weergegeven wordt.

Multipele regressie wordt gebruikt om de voorspellende waarde van verschillende onafhankelijke variabelen op een afhankelijke variabelen te berekenen.

De multipele correlatiecoëfficiënt (r) is de samenhang tussen onafhankelijke en afhankelijke variabelen. Deze wordt gebruikt in de formule voor multipele regressie.

De multipele determinatiecoëfficiënt (r²) weergeeft de proportieverklaarde variantie door de onafhankelijke variabelen.

Het opstellen van de multipele regressievergelijking kan met behulp van SPSS-output. De B-coëfficiënten staan per onafhankelijke variabele weergegeven.

De vergelijking ziet eruit als volgt:

Y = b0 + b1X1 + b2X2 + b3X3

Hierin is b0 de constante waarde, de Xi staat voor iedere onafhankelijke variabele en de bi voor iedere bijbehorende coëfficiënt.

Om de invloed van de onafhankelijke variabelen te vergelijken, moet de gestandaardiseerde beta-coëfficiënt gebruikt worden (vergelijken kan alleen met gestandaardiseerde waarden).

Een tweede functie van regressieanalyse is het berekenen van een betrouwbaarheidsinterval. De puntschatting is de waarde van Y (de afhankelijke variabele) die berekend wordt met de (multipele) regressievergelijking. De intervalschatting wordt berekend met behulp van de standaardschattingsfout. De standaardschattingsfout is de gemiddelde fout bij de voorspelling van het criterium op basis van de test. Hij wordt berekend door de volgende formule:

Sy =√( (Σ(Y-Ŷ)²)/(n-2))

Hierin is de teller de som van residuen.

De intervalschatting is dan:

Y ± z 1 – ½ α · SY

College 6: Diagnostiek van intelligentie

Intelligentie

De definitie van intelligentie wordt nog altijd bediscussieerd onder psychologen. Enkele mogelijke definities zijn:

• Aan de hand van dat wat de test meet
• Het vermogen om doelgericht te handelen, rationeel te denken en effectief met de omgeving om te gaan
• De totaalsom van alle cognitieve processen

Prestatietests

Intelligentie wordt vooral gemeten aan de hand van prestatietests.

In Nederland wordt bijvoorbeeld de Cito Eindtoets op bijna alle scholen in groep 8 afgenomen. Dit is een maat voor het doorverwijzen naar het niveau op het voortgezet onderwijs. Met de Cito Eindtoets wordt echter vooral getest wat er geleerd is op de basisschool, het is dus niet een directe meting van intelligentie.

Een andere mogelijke toets is het Periodiek Peilingsonderzoek in groep 8. Dit is ook een test voor dat wat geleerd is.

Perspectieven op intelligentie

Grofweg kan intelligentie op twee manieren worden bekeken: volgens individuele verschillen of volgens de ontwikkelingsbenadering.

Bij individuele verschillen gaat het om het vergelijken van personen. Spearman conceptualiseerde intelligentie als algemene factor (g) met verschillen op specifieke gebieden. Wechsler ontwikkelde een schaal om g te meten, waarbij de uitkomst van de test één waarde was. Tegenwoordig wordt de Wechsler intelligentietest nog steeds gebruikt als herziene versie, maar hierbij worden ook waarden op subschalen gebruikt om intelligentie op verschillende gebieden te onderscheiden. De Wechslerschaal is echter niet ontworpen om scores op subschalen te verkrijgen, en dit is daarom in feite niet juist.

Volgens Thurstone bestaat intelligentie uit verschillende factoren, waarbij voor iedere factor een andere mate van intelligentie mogelijk is. Onder de factoren vallen verbaal begrip, woordvlotheid, cijferen, geheugen, waarnemingssnelheid, ruimtelijk inzicht en redeneren.

Horn en Cattell hebben een belangrijke theorie over intelligentie ontwikkeld: het onderscheid tussen fluid en crystallized intelligence waarbij fluid intelligence staat voor abstractie en het vermogen om nieuwe problemen op te lossen, terwijl crystallized intelligence staat voor het kunnen toepassen van geleerde kennis.

De verschillende theorieën liggen ten grondslag aan instrumenten om intelligentie te meten. Bij iedere intelligentietest is het belangrijk om te bedenken op welke theorie deze is gebaseerd, zodat de scores op de juiste manier geïnterpreteerd kunnen worden.

Bij de ontwikkelingsbenadering gaat het om vaste verwachtingen voor het niveau op een bepaalde leeftijd. Een voorbeeld van een theorie die bij de ontwikkelingsbenadering past, is die van Piaget. Volgens hem verloopt de ontwikkeling van cognitieve vaardigheden in vaste stadia.

Intelligentietests

Belangrijk bij intelligentietests is het standaardiseren van scores. De afname moet betrouwbaar zijn zodat de resultaten goed vergeleken kunnen worden. Bovendien wordt de score op een test vaak gebruikt om beslissingen te nemen of voorspellingen te doen, waarbij betrouwbaarheid van de scores cruciaal is.

Daarom zijn de metingen ook op systematische wijze ontworpen, en is de scoring objectief.

Bij het interpreteren moet altijd bedacht worden dat de score een indicatie is, meestal met een 95% betrouwbaarheidsinterval. Dit betekent dat de score nooit helemaal precies is. Bij het nemen van beslissingen moet dit in overweging genomen worden.

Voorbeelden van intelligentietests zijn:

• Wechsler schalen: bedoeld om algemene intelligentie te bepalen. Er zijn subtests op verbale en performale schaal. Daarnaast is de test individueel, dus tijdens de afname kan er goed geobserveerd worden en aanpassingen kunnen gedaan worden aan de hand van wat de geteste zegt.
• Raven Progressieve Matrijzen: bedoeld om algemene intelligentie te bepalen. Het grote voordeel is dat de test snel af te nemen is en dus een goede methode is om snelle indicaties te verkrijgen. Echter is de test beperkt tot slechts één type taak.
• Differentiële Aanleg Test: bedoeld om aptitude te meten. Deze wordt gebruikt op de middelbare school voor studierichting- en beroepskeuze. Er worden tests gedaan op de gebieden redeneren, synoniemen en blokpatronen.

Informatieverwerkingstheorieën

Het staat nog in de kinderschoenen, maar tegenwoordig wordt er steeds meer uitgegaan van informatieverwerkingstheorieën – de manier van representeren en verwerking van informatie. Tests gebaseerd op informatieverwerkingstheorieën bestaan bijvoorbeeld uit tests voor executieve processen, geheugen en metacognitie (bewustzijn van eigen gedachteprocessen).

College 7: Factoranalyse

Factoranalyse

Factoranalyse is een methode om relaties onder items van een test te onderzoeken. De doelen zijn:

• Het beoordelen van dimensionaliteit van de test, of het onderzoeken van het aantal theoretisch veronderstelde dimensies, of factoren, van een test. Als er verondersteld wordt dat er een aantal factoren bestaan, wordt hier een hypothese over opgesteld. Het testen of die teruggevonden worden is confirmerende factoranalyse.
• Het exploreren van onderliggende factoren is het uitvoeren van een factoranalyse zonder vooraf opgestelde ideeën. Dit wordt gedaan door middel van de datareductiemethode; er wordt een analyse uitgevoerd om tot het kleinst mogelijke aantal zinnige factoren te komen. Dit is een explorerende factoranalyse.

Een factoranalyse bestaat in de kern uit drie stappen: het bepalen van het aantal factoren, het interpreteren van de factoren en het beoordelen van de kwaliteit ervan.

Factormodel

Het model voor een factoranalyse bestaat uit:

• Geobserveerde variabele X
• Gestandaardiseerde score z
• Factorlading a
• Unieke invloed U

De unieke invloed U wordt alleen gebruikt bij een PFA factoranalyse. Bij een PCA factoranalyse worden alleen de hoofdcomponenten geanalyseerd en wordt geen rekening gehouden met unieke invloeden, of met de error term.

Bij PCA is de factorvergelijking:

F = a1 · z1 + a2 · z2 + a3 · z3…

Dit is een gewogen vergelijking op basis van de factorladingen. Voor een specifieke factor (F) kan de factorscore voor een individu berekend worden, waarbij de bijdrage van ieder item aan de hand van de factorlading gewogen wordt.  De factorlading is de correlatie van het item met de factor. Hoe hoger de correlatie, hoe meer invloed die heeft op de factorvergelijking. Voor een factorscore worden alle factorladingen gebruikt, ook die van items die meer invloed op een andere factor hebben. Als geselecteerd wordt op items met de meeste invloed, wordt gesproken van een schaalscore.

Bij PAF is de factorvergelijking hetzelfde, maar dan met de toevoeging van U voor ieder item.

Bepaling van het aantal factoren

Het doel van factoranalyse is met zo weinig mogelijk factoren zo veel mogelijk spreiding verklaren. Het maximaal aantal factoren is gelijk aan het aantal items op een test.

De eerste geselecteerde factor verklaart testvariantie.

Iedere volgende geselecteerde factor verklaart een kleiner deel, restvariantie. Er worden net zo lang extra factoren geselecteerd, tot de restvariantie niet meer verklaart dan een individueel item.

Het eerste criterium waarop geselecteerd wordt is eigenwaarde. Eigenwaarde is de verklaarde variantie in alle items door een factor. De eigenwaarde is dus een eigenschap van een factor. De formule voor eigenwaarde is:

λ = Σa²

De eigenwaarde is dus de som van alle gekwadrateerde factorladingen (van ieder item op de factor).

Het eigenwaarde-criterium is: alle factoren met een eigenwaarde groter dan 1 worden geselecteerd. Een eigenwaarde van 1 is namelijk de variantie die verklaard wordt door een afzonderlijk item. Als de eigenwaarde groter is dan 1, betekent dit dat er meer verklaard wordt door de factor dan door een individueel item.

Het tweede criterium waarop geselecteerd wordt is het scree-plot. Dit is een grafiek waarin de factoren (op de x-as) tegen eigenwaarde (op de y-as) worden afgezet. Er zijn grofweg twee lijnen doorheen de trekken. Op basis hiervan kan een beslissing genomen worden met het knik-criterium: alle factoren boven de knik (het snijpunt tussen de lijnen) worden geselecteerd. Dit zijn er doorgaans minder dan het aantal factoren geselecteerd op basis van het eigenwaarde-criterium, omdat factoren die maar iets groter zijn dan 1 nog op de lijn onder de knik vallen. Het aantal factoren wordt dus gereduceerd tot het aantal zinvol te onderscheiden factoren.

Het laatste criterium is de interpretatie van de factoren. De vraag is of de inhoudelijke betekenis van de statistisch bepaalde factoren zinvol is met betrekking tot het doel van de test. De methode die hiervoor gebruikt wordt is rotatie van de factoroplossing. Hierbij worden de assen geroteerd terwijl de positie van de factorladingen onderling hetzelfde blijft. Het doel is om de assen beter door de clusters van factorladingen te laten gaan. Ladingen veranderen als gevolg hiervan, waarbij meestal de lading op de ene factor veel hoger is dan op de andere.

Er zijn twee mogelijkheden voor rotatie:

• Orthogenale rotatie, waarbij de assen en dus de factoren loodrecht op elkaar blijven staan, maar wel gedraaid worden. De factoren blijven hierbij ongecorreleerd.
• Oblique rotatie, waarbij de assen ten opzichte van elkaar ook veranderen. Er is hierbij samenhang tussen de factoren mogelijk.

Het is wenselijk om simpele structuur te behouden, wat inhoudt dat:

• Op iedere factor veel items met zwakke factorlading voorkomen
• Weinig items met sterke factorlading voorkomen
• Elk item op slechts één factor een sterke lading heeft.

De interpretatie van factorladingen na rotatie, is dat de factorlading ofwel een correlatie tussen item en factor is, ofwel (bij oblique rotatie) een partiële regressiecoëfficiënt.

De keuze van het soort rotatie is afhankelijk van de eigenschappen van de factoren. Meestal is orthogenale rotatie het meest eenvoudig, maar soms is oblique rotatie duidelijker (wordt de simpele structuur beter gerealiseerd).

Beoordelen van de kwaliteit van de factoroplossing

Het belangrijkste aandachtspunt bij het beoordelen van de kwaliteit van de factoroplossing is de hoeveelheid spreiding die verklaard wordt door een factor, de proportie verklaarde variantie. De kwaliteit is matig bij een proportie verklaarde variantie van 30% en goed bij een proportie verklaarde variantie van 50%.

Daarnaast is de communaliteit van een item, de proportie verklaarde variantie in een afzonderlijk item door verschillende factoren, belangrijk.

De proportie verklaarde variantie door een factor wordt berekend door de eigenwaarde van de factor door het toaal aantal items te delen:

λ / k

De communaliteit (h²) wordt berekend door de som van gekwadrateerde factorladingen (van het item met iedere factor).

h² = Σa²

Als hieruit blijkt dat er items zijn die slecht gerepresenteerd worden, dus door geen enkele geselecteerde factor voldoende verklaard worden, dan moeten deze nader onderzocht en eventueel herzien worden.

College 8: Diagnostiek bij kinderen en jeugd

Specifieke kenmerken

Bij kind- en jeugdpsychologie gelden een aantal kenmerken die gevolgen hebben voor de diagnostiek.

Allereerst zijn kinderen nog in ontwikkeling. Dat betekent dat normen voor gedrag verschuiven met de leeftijd. Er zijn periodes van heel snelle ontwikkeling, waarbij de normen voor gedrag dus ook heel snel verschuiven. Daarom is het gebruikelijk om de diagnostische tests te herhalen op korte termijn.

De ontwikkeling maakt het ook belangrijk om voorlopers van problemen te signaleren. Als dit gebeurt, kan voorkomen worden dat ernstiger problemen ontwikkelen. Kinderen leren nog veel en dus is hun gedrag goed vormbaar.

Wel geldt als moeilijkheid die aan ontwikkeling kleeft dat kinderen nog niet altijd in staat zijn accurate informatie te geven. Dit geldt zeker voor zeer jonge kinderen die nog niet goed kunnen praten, lezen of schrijven. Daarom is er altijd nauwe samenwerking met scholen en ouders.

Het tweede kenmerk is dat er uitgegaan wordt van een transactioneel model. Dat wil zeggen dat er een wisselwerking is tussen kind en omgeving. Niet alleen interne, maar ook externe factoren zijn van invloed op de ontwikkeling en problemen van het kind. Er moet dus rekening gehouden worden met de opvoeding, de ouders, de leerkracht, de klasgenoten en vrienden van het kind. De behandeling moet hier op gericht worden als er belangrijke invloed door één of meer factoren op het probleem is. Niet alleen het kind zelf, maar ook de omgeving moet aangepakt worden.

Tot slot zijn er juridische overwegingen. De belangrijkste hierbij is de beslissingsbevoegdheid van de ouder (of verzorger). De ouder moet altijd toestemming geven voor behandeling. Dit betekent, ondanks dat het kind prioriteit heeft, dat de professionele relatie van de behandelaar voor een groot deel gericht is op de ouder. Vooral voor kinderen onder de 12 jaar is dit van belang. Tussen de 12 en 16 is er toestemming nodig van zowel ouder als kind, en boven de 16 jaar mag het kind zelfstandig beslissen. Wel moet rekening gehouden worden met het cognitieve ontwikkelingsniveau van het kind. Sommige kinderen van 16 kunnen beschouwd worden als onvoldoende bevoegd, waarbij besloten kan worden dat er toch beslissingsbevoegdheid bij de ouder ligt.

Ingewikkelde situaties komen, helaas vaak, voor bij gescheiden ouders. Er is dan toestemming van beide ouders nodig, wat niet eenvoudig is als er nog conflicten spelen of één van de ouders niet bereikbaar is. In principe is er wettelijk sprake van gezamenlijk gezag, maar er zijn enkele uitzonderingssituaties waarbij één ouder het gezag heeft. Dit staat vastgelegd in het gezagsregister.

Andere situaties zijn dat het testen betrekking heeft op de school van het kind en de school toestemming moet geven om behandelingsaspecten door te voeren of resultaten bekend te maken. De uitdaging voor de psycholoog is om iedereen te overtuigen van het belang van het kind bij de toestemming.

Diagnostische besluitvorming

In de diagnostische cyclus zijn de volgende punten van belang:

• Er wordt gesproken van handelingsgerichte diagnostiek. Dit betekent dat de focus ligt op wat het probleem is en wat voor informatie daarbij nodig is.
• Bij de intake of klachtenanalyse geldt dat ouders een belangrijke positie als mede-informant innemen, en vaak ook de leerkracht. Zoals besproken is de toestemming van de ouders altijd nodig.
• De probleemanalyse is niet specifiek verschillend van andere vakgebieden. Er wordt clustering en ernstaxatie toegepast, hetgeen wel in een ontwikkelingskader gebeurt.
• Bij de verklaringsanalyse wordt gebruik gemaakt van het transactioneel model. Verklaringen worden dus voornamelijk gezocht in omgevingsfactoren. Dit heeft invloed op de instrumentkeuze; er wordt in grote mate gebruik gemaakt van observatie.
• Bij de indicatie-analyse, of het behandelplan, wordt aanpak op verschillende gebieden gespecificeerd. Ook wordt er onderscheid gemaakt tussen veranderbare en niet veranderbare factoren bij ontwikkelingsstoornissen als autisme, om de interventie zo effectief en haalbaar mogelijk te maken.

College 9: Psychologisch testen bij arbeid en organisatie

Testen in het veld van Arbeids- en Organisatiepsychologie

In het veld van Arbeid en Organisatie staan een aantal punten van aandacht centraal.

Voor de kwaliteit van testen is vooral de criteriumvaliditeit van belang. Één van de meest voorkomende doelen is het voorspellen van prestatie in de praktijk.

Ook wordt er veel gebruik gemaakt van tests in selectieprocedures, waarbij opnieuw voorspellende waarde goed moet zijn.

Criteria die veelal gebruikt worden zijn task performance, het presteren op specifieke taken, en career advancement, hoe ver iemand op carrièregebied komt. Vooral de eerste blijkt belangrijk te zijn voor werkprestatie en productiviteit. Andere criteria zijn contextual performance, waaronder helpgedrag en het delen van kennis, en counterproductive behaviours, zoals handelen uit eigenbelang en taken op anderen afschuiven.

Naast criteriumvaliditeit is uiteraard het construct dat gemeten wordt van belang, dus de begripsvaliditeit moet ook altijd voldoende zijn.

Voordelen van het gebruik van tests

Het belangrijkste voordeel van het gebruik van psychologische tests is de wetenschappelijke basis.

Er zijn een aantal klassieke predictoren voor werkprestatie, uit onderzoek van Schmidt en Hunter. Hierop zijn tests in selectieprocedures gebaseerd.

Intelligentietests blijken de beste predictoren voor goede werkprestaties. Intelligentie gaat samen met het oppikken van werkgerelateerde kennis en vaardigheden, en leidt zo tot betere prestaties.

Interviews worden het meest gebruikt, maar afhankelijk van gestructureerde of ongestructureerde basis is of dit een goede voorspeller is.

Een andere vorm van testen is een work sample. Dit is een representatieve verzameling van taken die gelijk zijn aan vaardigheden die nodig zijn in het werkveld.

Hierop lijkt een assessment centre, maar het verschil is dat hierbij simulaties van werk worden gebruikt in plaats van werkelijke taken. Daardoor is het een minder goede voorspeller. Een simulatie neemt namelijk geen lange termijn mee. De simulatie is anders dan de werkelijkheid, en dat is een probleem.

Wat steeds meer gebruikt wordt, is de situational judgement test. Dit blijkt een goede voorspellende methode te zijn. Het houdt in dat er een situatie voorgelegd wordt aan de sollicitant, die vervolgens moet uitleggen hoe er mee om te gaan.

Ook integriteitstests worden veel gebruikt, en blijken werkprestatie te voorspellen.

Tot slot komen persoonlijkheidstests, veelal gebaseerd op de Big Five, veel voor bij selectieprocedures. Vooral consciëntieusheid is van voorspellende waarde, maar de complexiteit van persoonlijkheid is een modererende factor.

College 10: Diagnostiek in het praktijkveld neuropsychologie

Kenmerken van neuropsychologie

Neuropsychologie lijkt in veel opzichten op het veld van klinische psychologie, maar er zijn een aantal specifieke onderscheidende kenmerken.

Allereerst is er bij neuropsychologie sprake van een andere patiëntenpopulatie, namelijk die met neurologische aandoeningen. Het gaat dus om medisch verklaarbare klachten.

Daarnaast is neuropsychologie bij uitstek het veld waarbij in multidisciplinair verband wordt gewerkt. Er is nauw contact met artsen en verpleging die de patiënten behandelen.

Ook is psychometrisch onderzoek een belangrijk product van de neuropsychologie. Taken om cognitieve vaardigheden te testen komen hier vandaan.

Tot slot heeft neuropsychologie een belangrijk verband met andere wetenschapsgebieden. De werking van de hersenen is namelijk van toepassing op veel meer dan psychologie alleen en er is ook in de bètawetenschappen veel interesse in.

Diagnostisch proces: aanvraag

De aanvraag is de eerste stap in het diagnostisch proces. Gewoonlijk komt de aanvraag van een arts en niet van de patiënt zelf; het gaat om een verwijzing.

Belangrijk bij het bepalen of de behandeling begonnen wordt zijn de vragen of het probleem van toepassing is bij neuropsychologie of eigenlijk thuishoort bij een ander gebied, of de vraag beantwoord kan worden, of er subvragen zijn en het om een symptoom gaat, en vooral of er toetsbare hypothesen te vormen zijn.

Anamnese en heteroanamnese

Bij de anamnese wordt een beeld gevormd van de klachten van de patiënt en van de patiënt zelf. Het basisprincipe is gelijk aan de anamnese bij klinische psychologie, maar er zijn een aantal verschillen.

Ten eerste wordt er gesproken van een patiënt in plaats van een cliënt.

Daarnaast is er altijd een reason to encounter: het is altijd zeker dat er iets aan de hand is, omdat een patiënt alleen via verwijzing bij een neuropsycholoog terecht komt. Omdat het om een verwijzing gaat, is het ook niet altijd vanzelfsprekend dat de patiënt er vrijwillig zit en behandeld wil worden.

Wat belangrijk is, is om rekening te houden met de verwachting van de patiënt. Is de verwachting een goede of slechte uitkomst? Voor sommige patiënten is het een opluchting als er een afwijking in de hersenen blijkt te zijn, als verklaring voor problemen in het gedrag of functioneren. Voor anderen is de aanwezigheid van hersenafwijkingen een klap. Er kan dus sprake zijn van angst voor slecht nieuws, maar ook van angst voor goed nieuws: wat als er geen verklaring op neurologisch gebied is voor disfunctioneren?

De intake is gericht op het cognitieve functioneren. Vanzelfsprekend wordt rekening gehouden met bijvoorbeeld omgevingsfactoren, maar deze worden als minder belangrijk beschouwd bij een neuropsychologisch probleem.

Naast de anamnese (met de patiënt zelf) is het wenselijk een heteroanamnese af te nemen, een intake met de partner of ander familielid van de patiënt. Deze kan meer informatie geven. Het doel is streven naar volledigheid, en het is daarom handig om de partner apart te spreken en ook samen met de patiënt, waarbij interactie tussen patiënt en partner geobserveerd kan worden voor aanvullende informatie.

Testonderzoek

Bij testonderzoek is het doel om te onderzoeken wat er aan de hand is. Dit is alleen zinvol wanneer er duidelijke, toetsbare hypothesen zijn opgesteld. Meestal wordt gebruik gemaakt van taakjes voor het testen van cognitief functioneren, waarbij functies van specifieke gebieden getest kunnen worden. Niet alleen de testscores zelf zijn belangrijk; ook observatie van het gedrag tijdens het uitvoeren van de test kan waardevolle informatie opleveren.

Wat essentieel is bij testonderzoek, is het gebruiken van kennis om het onderzoek bij te stellen. Dit gebeurt vanuit het principe van de empirische cyclus: hypothesen opstellen, toetsen en evalueren, en vanuit de evaluatie verdergaan met het onderzoek.

Standaard testen bestaat niet. Het is afhankelijk van de toestand van de patiënt.

College 11: Diagnostiek in de klinische psychologie

Diagnose

Diagnostiek begint altijd met een aanmelding. Als de patiënt zich zelf aanmeldt is dit in de eerste lijn, een huisarts of eerstelijnspsycholoog. Deze is toegankelijk voor iedereen. Is de patiënt doorverwezen naar een specialist door een eerstelijnshulpverlener, dan komt de patiënt in de tweede of derde lijn. Deze is bedoeld voor ernstiger gevallen waarvoor specialistische behandeling nodig is die niet in de eerste lijn geboden kan worden.

De focus in diagnostiek ligt altijd op de behandeling van de klachten. Daarom is het ook belangrijk om allereerst lichamelijke oorzaken uit te sluiten, maar daar wordt meestal in de eerste lijn al naar gekeken.

In de diagnose komen een aantal dingen aan bod:

• Classificatie: wat is er aan de hand en wat is de ernst?
• Verklarende analyse: welke factoren liggen ten grondslag aan de klachten of houden ze in stand?
• Evaluatie: is behandeling nodig, en zo ja, is het helpend?

Dit is de diagnostische cyclus die doorlopen wordt, die is al in een eerder college uitgebreid aan bod gekomen.

Kenmerken klinische psychologische diagnostiek

Bij klinische psychologie zijn een aantal dingen onderscheidend in het diagnostisch proces.

Allereerst is diagnostiek een eerste stap van behandeling. Behandeling is dus de focus.

Daarnaast is de psycholoog aangewezen op de samenwerking met de patiënt. Zijn of haar bereidheid tot medewerking is dus bepalend. Ook de relatie tussen behandelaar en patiënt dragen hieraan bij.

Tot slot is er sprake van een spanningsveld tussen enerzijds de plicht van de behandelaar voor verantwoorde zorg en  anderzijds het recht van de patiënt op zelfbeschikking. Dit kan soms bemoeilijkt worden door de psychopathologische stoornis.

De relatie tussen behandelaar en patiënt kan geoptimaliseerd worden door de klinische vaardigheden die de behandelaar heeft. Dit zijn kennis en ervaring van en met psychopathologische stoornissen, het scheppen van een accepterende sfeer, en het bieden van perspectief voor de patiënt.

Onderzoeksopzet

Het testen van een patiënt begint met de anamnese: het beschrijven van de ontwikkeling van de klachten, de voorgeschiedenis, sterke kanten en kwetsbaarheden en de ernst van de klachten van de patiënt door de patiënt.

Er moet inzicht verkregen worden op verschillende niveaus: klachten, copingstijl, persoonlijkheid, en aanleg, temperament of vroege ervaringen zijn mogelijke niveaus die getest moeten worden.

Het is belangrijk om relevante vragen op te stellen.

Vervolgens moeten de instrumenten gekozen worden. Deze moeten betrouwbaar en valide zijn. Het is ook goed om te kijken of er gestandaardiseerde tests beschikbaar zijn, tests met relevante normgroepen, en verschillende typen tests. Ieder testtype geeft andere soorten informatie (intelligentie, neuropsychologisch, persoonlijkheid, projectief) en in totaal komt een zo volledig mogelijk beeld tot stand. Zo kan ook een goed antwoord op de onderzoeksvraag gegeven worden.

College 12: Beslissend testen

Testgebruik

Binnen de psychologie worden veel beslissingen genomen in onzekerheid. Testtheorie biedt manieren om beslissingen in een kader te plaatsen en zo een beeld te scheppen van de zekerheid of onzekerheid waarmee een beslissing genomen wordt.

Het nemen van onzekere beslissingen heeft zijn weerslag op criteriumvaliditeit. Om dit te omschrijven, worden de sensitiviteit en specificiteit van een test berekend. Deze moeten optimaal zijn, en daarvoor wordt een techniek met ROC-curves gebruikt. De sensitiviteit, specificiteit en ROC-curves zullen in dit college besproken worden.

Signaal Detectie Theorie

De signaal detectie theorie heeft betrekking op het nemen van beslissingen op basis van testscores en grenswaarden. Een grenswaarde of cut-offscore kan bepaald worden met behulp van deze theorie.

Volgens de signaal detectie theorie is er altijd een verschil tussen de verdelingen van scores op een test voor een klinische en niet-klinische groep (bijvoorbeeld, het kan ook om twee andere groepen gaan die op een bepaalde variabele verschillen).

De verdelingen zijn verschillend, maar overlappen ook voor een deel. Daardoor zijn er altijd testscores die zowel in de verdeling van de klinische als in de verdeling van de niet-klinische groep kunnen vallen. Hierdoor zijn er vier soorten beslissingen die genomen kunnen worden:

• Ware positieven: correct positief gediagnosticeerde individuen
• Valse positieven: foutief positief gediagnosticeerde individuen
• Ware negatieven: correct negatief gediagnosticeerde individuen
• Valse negatieven: foutief negatief gediagnosticeerde individuen

Deze scores kunnen ook weergegeven worden in een uitkomstenmatrix, die eruit ziet als volgt:

Hierbij is de ‘gouden standaard’ een test die perfect zou meten welke individuen tot de klinische groep behoren en welke niet, oftwel, de ware verdeling in de populatie/steekproef. De diagnose volgens de test is dat wat beoordeeld wordt. In cel ‘a’ staat de frequentie hits (ware positieven). In cel ‘b’ staat de frequentie valse positieven. In cel ‘c’ staat de frequentie misses (valse negatieven). En in cel ‘d’ staat de frequentie correct rejections (ware negatieven).

Sensitiviteit en specificiteit

Uit de uitkomstenmatrix kunnen verschillende waarden berekend worden.

De sensitiviteit is de kans op een positieve diagnose gegeven dat het individu daadwerkelijk tot de klinische groep behoort. Sensitiviteit kan ook omschreven worden als de proportie correct positief gediagnosticeerden (volgens de test) uit de klinische groep (volgens de gouden standaard). De formule is:

P (D+, C+) = a / (a + c)

Voor het maken van deze berekening is het belangrijk dat er een aselecte steekproef uit de populatie gebruikt wordt. Anders kan er een vertekend beeld ontstaan.

De specificiteit is de kans op een negatieve diagnose gegeven dat het individu niet tot de klinische groep behoort. Dit is dus de proportie correct negatief gediagnosticeerden (volgens de test) uit de niet-klinische groep (volgens de gouden standaard). De formule is:

P (D-, C-) = d / (b+d)

Predictieve waarde

De predictieve waarde is een ander concept dat gebruikt wordt om de proporties van ware en valse scores te omschrijven. Er zijn twee soorten predictieve waarde.

De positieve predictieve waarde is de proportie positieve gevallen die daadwerkelijk positief gediagnosticeerd is. Met andere woorden, de proportie ware positieven uit het totaal aantal positieve diagnoses. De formule is:

P (C+, D+) = a / (a + b)

De negatieve predictieve waarde is de proportie negatieve gevallen die negatief gediagnosticeerd is. Dit is dus de proportie ware negatieven van het totaal aantal negatieve diagnoses. De formule is:

P (C-, D-) = d / (c + d)

Invloeden op sensitiviteit, specificiteit en predictieve waarde

Bij het berekenen van de waarden is het belangrijk om in acht te nemen wat voor steekproef er wordt gebruikt om de statistiek te berekenen. Het moet een aselecte steekproef zijn, want een selecte steekproef kan een vertekend beeld geven.

Ook de prevalentie is van belang, en dit is gerelateerd aan de manier waarop de steekproef is genomen. De prevalentie in de algemene populatie kan anders zijn dan de proportie klinische gevallen in een steekproef. Het is dus altijd belangrijk om dit na te trekken.

Predictieve accuratesse

De predictieve accuratesse is de kans dat iemand die daadwerkelijk tot de klinische groep behoort, een positieve diagnose krijgt. Deze kans kan worden berekend aan de hand van de sensitiviteit, prevalentie en selectieratio.

Selectieratio is de proportie individuen in de populatie die een positieve diagnose krijgt, dus zowel de ware als valse positieven (cel a + b). De formule voor selectieratio is:

P (D+) = (a + b) / n

Hierbij is n het totaal aantal individuen in de populatie. Ook hier geldt weer: een aselecte steekproef is van groot belang.

Selectieratio kan ook berekend worden aan de hand van een andere formule:

Sensitiviteit x prevalentie + (1 – specificiteit) x (1 – prevalentie)

De predictieve accuratesse wordt berekend volgens de regel van Bayes:

Sensitiviteit x (prevalentie / selectieratio)

= P (D+, C+) x (P (C+) / P (D+))

De predictieve accuratesse is een antwoord op de vraag met hoeveel zekerheid een beslissing genomen kan worden. Predictieve accuratesse is afhankelijk van een aantal factoren, namelijk de kwaliteit van de test (specificiteit en sensitiviteit), de prevalentie van een stoornis of andere variabele in de algemene populatie, en selectieratio. Omdat prevalentie van invloed is, kan het zijn dat een betrouwbaar instrument een geringe predictieve accuratesse heeft als de prevalentie zeer laag is.

Grenswaarde bepalen

Bij het nemen van beslissingen is het van belang een goede grenswaarde te bepalen. De invloed van de grenswaarde is groot: hoe strenger de grenswaarde, hoe kleiner de proportie ware positieven en hoe groter de proportie ware negatieven.

Ook over het bepalen van de grenswaarde moet een beslissing genomen worden. Bij het nemen van een beslissing over de grenswaarde is er sprake van het subjectieve nut: hoe ernstig is het om valse positieven of juist valse negatieven te krijgen? Hoe belangrijk is het om een correcte beslissing te nemen? De afweging kan gemaakt worden met behulp van een opbrengstmatrix, maar deze komt in dit college niet aan de orde.

De meest wenselijke situatie heeft een hoog percentage ware positieven en een laag percentage valse positieven, oftewel een hoge sensitiviteit en hoge specificiteit (of lage omgekeerde specificiteit).

Om de grenswaarde met de optimale balans tussen sensitiviteit en omgekeerde specificiteit te vinden, wordt gebruik gemaakt van de ROC-curve. Dit staat voor Receiver Operating Characteristic curve en is een grafiek waarin de sensitiviteit en omgekeerde specificiteit tegen elkaar worden afgezet voor alle mogelijke grenswaarden.

Door deze curve wordt een diagonale lijn getrokken van rechtsonderin de grafiek naar links bovenin de grafiek. Het snijpunt van de ROC-curve en de diagonaal is de optimale grenswaarde.

Om vervolgens de kwaliteit van de test te bepalen, wordt de AUC (Area Under Curve) gebruikt. Hoe groter de AUC, hoe beter het onderscheid tussen groepen gemaakt wordt door de test. De minimale waarde is .50, hoe dichter de AUC hierbij ligt, hoe slechter de kwaliteit. De maximale AUC is 1.00, dan is er perfect onderscheid en een optimale sensitiviteit en specificiteit.