De controverse 'klinische versus statistische predictie’ opnieuw bekeken: The state of the art - Ter Laak & De Goede - 2004 - Artikel

Inleiding

Er bestaat een controverse tussen twee soorten voorspellingen van psychologische tests die in 1954 aan het licht werd gebracht door Meehl’s artikel, bijpassend genaamd ‘klinische versus statistische predictie’. De controverse draait om het verschil tussen de idiografische en de nomothetische methode van het beschrijven en voorspellen van gedrag. De idiografische methode is klinisch (intuïtief) en betreft de studie van gedrag dat het individu uniek maakt; de nomothetische methode is statistisch (mechanisch) en is de studie van groepen om zo algemene conclusies te kunnen trekken over hun gedrag. Binnen de historische context betreft het hier de scheiding tussen geesteswetenschappen (ieder persoon is uniek) en de wetenschap (een mens is slechts een willekeurig onderdeel van het grotere geheel). Het huidige artikel gaat in op de stand van zaken tegenwoordig. Aan het eind van het artikel wordt geconcludeerd dat uit onderzoeken is gebleken dat de statistische voorspelling het heeft gewonnen. Hoewel de superioriteit van deze methode is aangetoond, is de controverse echter gebleven.

Het diagnostische proces bestaat uit drie componenten: theorievorming en constructen, de afbeelding daarvan in een testtheoretisch of statistisch model, en psychologische meetinstrumenten. Het begin van diagnostiek ligt bij de theorievorming. Echter, waar je ook begint, er is altijd sprake van een tweestrijd tussen de twee benaderingen. Als de therapeut antwoord geeft op de hulpvraag van de cliënt moet hij/zij meerdere bronnen van informatie integreren. De manier waarop dat gedaan wordt is al jaren (en ook hedendaags) een strijdpunt tussen de klinische intuïtieve en de statistisch mechanische benadering.

De controverse

Het verschil tussen de twee types diagnostici

Een klinisch georiënteerde diagnosticus verklaart zijn/haar voorspelling van gedrag vanuit de individuele dynamiek van de persoon. Dit past bij de idiografische benadering, die een theorie tracht te ontwikkeling voor elke cliënt om op grond daarvan het gedrag te begrijpen, beschrijven en voorspellen. Een statistisch georiënteerde diagnosticus gebruikt bij het voorspellen van gedrag liever gegevens die berusten op empirisch onderzoek: wat is er bekend over dit specifieke probleem bij dit type personen? Dit past bij de nomothetische benadering, omdat statistische grootheden uit representatieve steekproeven (zoals gemiddelden en correlaties) worden gebruikt om het gedrag van het individu – als onderdeel van een steekproef – te begrijpen, beschrijven en voorspellen. De nomothetische benadering zegt hiermee niet dat wetenschap gaat over individuen (scientia non est individuorum), maar over een representatieve steekproef van personen!

Achtergrondinformatie van de controverse

De twee methodes (klinisch vs statistisch) zijn elkanders uitersten op de volgende dimensies:

1. Persoon: uniciteit versus inwisselbaarheid. Dit betreft een verschil in opvatting over de aard van de persoon. De klinisch georiënteerde diagnosticus stelt hierbij geen standaardvragen, maar volgt de eigen dynamiek van de dialoog, waardoor dit niet herhaalbaar is. Deze subjectieve informatie wordt gecombineerd met objectieve bronnen van informatie waarbij de integratie geschiedt op basis van de eigen ervaring en theorieën, waarna een advies wordt geformuleerd. De clinicus heeft dus de vrijheid om informeler en flexibeler te werk te gaan. Bij de statistisch georiënteerde diagnosticus zijn er wel standaardvragen en wordt een formule gebruikt om alle informatie te integreren. Deze formule drukt een kans uit, waarop het advies wordt gebaseerd.

2. Deterministisch versus probabilistisch. Volgens Einhorn (1986) zien klinisch georiënteerde diagnostici gedrag, gevoel en cognitie van een individu als uiting van een onderliggend causaal proces, wat deze groep diagnostici deterministen maakt. Ze zijn hiermee uit op perfecte voorspelbaarheid, omdat zij het verleden zodanig reconstrueren dat de huidige gedragingen bijna onontkoombaar zijn. Doordat statistisch georiënteerde diagnostici daarentegen fouten accepteren en hier rekening mee houden, maken zij juist minder fouten. Zij gaan uit van kansen – aangezien kennis altijd onvolledig is – wat hen probabilistisch maakt. Statistische voorspellingen zijn immers nooit perfect aangezien gedrag, gevoel en cognitie worden bepaald door veel meer factoren dan ooit in een model kunnen worden weergegeven.

3. Geesteswetenschappelijk versus natuurwetenschappelijk. Dit verwijst naar het onderscheid tussen het beschrijven van complexe eenheden (idiografisch, geesteswetenschappelijk) versus het vinden van wetten die voor alle personen gelden (nomothetisch, natuurwetenschappelijk).

Allport voelt zich aangetrokken tot de idiografische methode en ziet, net als Hermans (1988), op abstract theoretisch niveau geen verschil tussen de twee methodes. We gaan uit van algemene wetten waar we generalisaties op baseren, terwijl we rekening houden met nuanceringen (in specifieke situaties, en/of bij specifieke personen), hetgeen ‘contextualisering’ heet. In sommige gevallen kan er sprake zijn van een vreedzame co-existentie, bijvoorbeeld, er zijn bijna evenveel huisartsen als alternatieve genezers in Nederland die vreedzaam samenleven. Dat gaat niet op voor de klinische versus statistische predictie waarbij de belangen van betrokkenen blijkbaar wel in het geding komen. Vanaf de jaren ’50 spreken de twee partijen elkaar aan op elkanders “gebreken” (zie tabel 1, blz. 22). Zo zou de statisticus niet van mensen houden en de clinicus bang zijn voor formules.

Het verloop van de controverse

Allport uitte in 1943 zijn bezwaar tegen het louter gebruik van statistische voorspelling. Je kunt immers niet klakkeloos stellen dat als 7 van de 10 mensen elke week naar de bioscoop gaan, dat iemand 7/10^e kans heeft om naar de film te gaan: dit is afhankelijk van attitudes, hobby’s en de gehele context om de persoon heen. De klinische predictie is hiermee veel flexibeler. Sarbin pakte in 1944 deze controverse op. Zijn standpunt is dat de clinicus (met de intuïtieve aanpak) hooguit gelijk zou kunnen spelen met de statisticus, indien de clinicus ook statistische methodes gebruikt. Een clinicus die alleen uitgaat van de intuïtieve aanpak verliest het zeker van de statisticus. Sarbin stelde dat er op kwalitatief niveau geen verschil bestaat tussen de methodes. Tien jaar later, in 1954, bracht Meehl’s zijn ‘klinische versus statistische predictie’ uit. In tegenstelling tot Sarbin stelt Meehl dat er wel degelijk een kwalitatief verschil is tussen de klinische en statistische predictie: de clinicus hanteert een werkwijze waarbij de gegevens “in het hoofd” worden geïntegreerd om tot een predictie te komen, terwijl de statisticus een statistische formule gebruikt. Het resultaat van deze twee werkwijzen is niet gelijk aan elkaar, ook al beschikken de therapeuten over dezelfde gegevens. N.a.v. deze beschrijving van werkwijzen kon er empirisch onderzoek gedaan worden naar welke van de twee werkwijzen superieur zou zijn: tussen 1954 en 2000 zijn er dan ook meerdere metastudies verschenen.

Welk type predictie kwam als winnaar uit de bus?

Volgens Meehl (1954) is de statistische methode 19 van de 20 keer beter dan de klinische methode. Veel vervolgstudies hebben ook de superioriteit van de statistische methode ondersteund. Clinici blijven echter protesteren dat er altijd een klinisch oordeel nodig is, ook nadat formules zijn gebruikt. Je kunt immers niet zeggen: gaat u maar voor 68% naar VWO en voor 32% naar de HAVO. Deze critici beargumenteren dat ook de clinicus het kansbegrip hanteert en er geen deterministische uitspraken worden gedaan. Volgens hen is een vergelijking tussen methodes dan ook niet zinvol, maar moet er sprake zijn van een complementaire aanpak. Sawyer (1966) heeft 45 studies verzameld met 75 vergelijkingen tussen de twee werkwijzen. Hij concludeert dat de statistische predictie in 68% van de gevallen beter is dan de klinische. Het combineren van klinische gegevens aan de hand van een formule verslaat het louter klinisch combineren (3:1). De statistische werkwijze leidt tot minder fouten. Holt (1970) relativeert de conclusie en wijst op het ontbreken van een kruisvalidatie (“crossvalidation”). Eén manier waarop hij de conclusie relativeert is door te stellen dat er veel verschil is tussen de ervaring van de clinici: de beste formule van de statistische methode is vergeleken met het resultaat van de gemiddelde clinicus, en niet met die van de beste clinicus. Dawes, Faust en Meehl (1993) hebben de predicties met elkaar vergeleken door te kijken naar verschillende domeinen. De statistische predictie komt als beste uit de bus bij voorspellingen op de domeinen: onderwijs, crimineel gedrag, en fysiek en psychisch welzijn. Ten slotte hebben Grove en collega’s (2000) een belangrijke metastudie uitgevoerd. Gezien de vele successen die de statistische predictie al heeft behaald, is hun resultaat verrassend: 47% van de studies blijkt in het voordeel van de statistische procedure, 47% leidt tot een gelijk resultaat, en in 6% van de gevallen is de klinische predictie beter. Beide benaderingen verdienen hiermee een plaats, maar als er een formule voorhanden is, wordt het aangeraden om die te gebruiken.

Wat denkt de clinicus van de statisticus en andersom?

Bezwaren tegen de statistische predictie

De diagnoses van statistisch georiënteerde diagnostici bevatten minder valse positieven en valse negatieven (dus minder fouten in haar algemeenheid). Klinisch georiënteerde diagnostici hebben desalniettemin kritiek op de statistische predictie, vanwege:

1. De beperkte geldigheid van de onderzoeksgegevens.

2. De versimpeling van het probleem of hulpvraag van de patiënt(e).

3. De gepaarde hoge kosten.

4. De beperkte waarde van de modellen als weergave van de werkelijkheid.

Bezwaren tegen de klinische predictie

Statistische diagnostici noemen veel “argumenta ad hominem” tegen clinici: argumenten die niet over de inhoud gaan, maar meer over de persoon. Enkele van deze argumenten zijn:

1. De klinisch georiënteerde diagnosticus is onbekend met de statistiek.

2. De clinicus is bang voor het verlies van werk (de formule zou het voorspellende werk uit handen nemen van de clinicus).

3. Hij/zij wil niet veranderen en houdt krampachtig vast aan een stroming.

4. Hij/zij vindt het onmenselijk en niet ethisch om te voorspellen a.d.h.v. een formule.

5. Hij/zij weigert in te zien dat de computer beter menselijke problemen kan oplossen.

Oordeelsfouten van clinici en statistici

Waarom houden mensen vaak vast aan een standpunt, zelfs wanneer empirisch bewijs dat niet langer rechtvaardigt? Dit heeft te maken met onze manier van informatieverwerking. Bar-Hillel en Wagenaar (1993) stellen dat mensen altijd moeite hebben met het begrijpen van toeval, zelfs training in statistiek helpt niet om toeval te begrijpen en kennis erover te benutten. Algemeen genomen hechten mensen meer waarde aan gegevens die hun hypothese ondersteunen, dan aan gegevens die deze tegenspreken.

De visie van clinici op het gebruik van afbeelding m.b.v. statistische modellen

Het meest gebruikte lineaire regressiemodel is de multipele regressie. Klinisch georiënteerde diagnostici hebben kritiek op regressietechnieken, omdat zij zichzelf niet zien als simpele “optellers” van waarden op variabelen. Voordat zij een oordeel maken, maken ze complexe combinaties van de gegevens waardoor ze rekening kunnen houden met interacties tussen variabelen. Dit klinkt logisch: een gemiddeld IQ met gemiddelde motivatie leidt waarschijnlijk tot een hoger resultaat dan een heel lage intelligentie en een zeer hoge motivatie. De lineaire combinatie is hier niet de beste voorspeller, daar ze beiden hetzelfde gemiddelde zouden hebben. Ganzach (1995) stelt dan ook dat in bepaalde gevallen de interactie wel degelijk een rol speelt. N.a.v. bezwaren op het gebruik van regressiemodellen voor de klinische diagnose zijn alternatieven opgekomen om informatie van een cliënt te integreren:

• “Process-tracing” modellen: ontworpen door ervaren clinici hardop te laten denken bij het vormen van hun klinische oordeel (en zo hun redenering volgen). A.d.h.v. deze protocollen worden regels ontleend die andere diagnostici kunnen helpen.

• De zelfconfrontatie methode (ZKM; Hermans, 1974): de cliënt is “medeonderzoeker” en de diagnosticus is “de helper”. De cliënt wordt gevraagd zogenoemde waardegebieden op te noemen: zaken die direct voor de cliënt van belang zijn (bijvoorbeeld: meer tijd besteden aan de studie). Daarna wordt gevraagd welke affecten hiermee gepaard gaan. De medeonderzoeker krijgt de uitslag van de berekening van de affecten bij de bijbehorende waardegebieden voorgelegd.

Het hypothesen toetsend model (HTM)

Het hypothesen toetsend model, oftewel HTM, is in Nederland en België algemeen aanvaard om het diagnostische proces (gestructureerd) vorm te geven. Het HTM lijkt in de praktijk echter minder populair te zijn dan we denken, vanwege de omslachtige werkwijze. Er zijn drie alternatieve werkwijzen van het HTM:

1. Toulmin’s argumentatiemodel (1958): gaat over het bevestigen, uitstellen of ontkennen van een uitspraak over een cliënt zijn/haar gedragingen. Het is simpeler dan het HTM en er wordt niets echt getoetst. De argumentatie volgens Toulmin bestaat uit de volgende stappen:

   1. Claim: er wordt een bewering gemaakt.

   2. Data: er zijn gegevens nodig om de bewering te funderen.

   3. “Warrant”: er moet kunnen worden gerechtvaardigd dat de aanwezigheid van bepaalde kenmerken (data) werkelijk leidt tot de bewering.

   4. Als stap c. niet lukt, is de claim van tafel. Als dit wel lukt moet nadere onafhankelijke informatie worden ingewonnen (“backing”).

   5. Als stap d. lukt, wordt gekeken of de claim kan worden genuanceerd (“qualified”) of weerlegd (“rebuttal”).

2. Het handelingsgericht diagnostisch model (Beukering et al., 2001): dit is niet echt een vervanging van het HTM, maar wel een aanvulling erop. Dit model stelt dat te veel aandacht wordt geschonken aan kenmerken ‘in’ de cliënt: om de cliënt recht te doen moet er gekeken worden naar de (mislukte) interactie tussen de cliënt en de omgevingsfactoren.

3. De verhaalstructuur (Witteman, 2002): dit model staat minder ver van de praktijk af en is makkelijker te gebruiken bij het diagnosticeren dan het HTM, maar kost veel tijd. Het betreft een speciaal geval van een mentaal causaal model waarin de klacht gezien wordt als het resultaat van coherente (verbonden) gebeurtenissen.

Waar heeft de controverse ons nu gebracht?

De controverse heeft geleid tot verschillende werkwijzen van klinisch en statistisch georiënteerde diagnostici. Verder lijkt er een neiging te zijn om voorspellingen te bagatelliseren: volgens Holt is maar 5% van het werk voorspellend van aard. Volgens Sarbin (1986) is de klinische hulpverleningssituatie een “status aparte”: de wetten van statistische predictie zijn daar niet relevant omdat het niet gaat om het voorspellen van specifieke uitkomsten, maar om het vormen van een coherent en zinvol verhaal waarmee de cliënt verder kan. Er wordt daarmee niet gezocht naar de historische waarheid (aan te tonen a.d.h.v. statistiek), maar de verhalende waarheid. Een gunstig gevolg van de controverse is het verkregen inzicht in de inhoud en de structuur van het klinische en het diagnostische oordeel.