Artikelsamenvatting bij Why “what works” won’t work: Evidence-based practice and the democratic deficit in educational research van Biesta - 2007

Waar gaat het artikel van Biesta over?

Dit artikel is een kritische analyse over het idee van op bewijs gebaseerde manier van werken op het gebied van onderwijs. Er wordt beschreven hoe het is gepromoot en geïmplementeerd en hoe er spanningen zijn tussen wetenschappelijke en democratische controle over het onderwijs. Drie verschillende assumpties worden onderzocht en beschreven:

1. De mate waarin het onderwijs vergeleken kan worden met geneeskunde;
2. De rol van kennis in professioneel gedrag, met een focus op het soort epistemologie dat past bij de professionele praktijk;
3. De verwachtingen over de praktische rol van onderzoek dat impliciet is in het idee over het op bewijs gebaseerde manier van werken

Internationaal is het idee dat onderwijs op bewijs gebaseerd moet zijn steeds belangrijker geworden. Echter is hier ook veel kritiek op, met name met betrekking tot de kwaliteit en relevantie van onderzoek in het domein van onderwijs. Zo werd er gesteld dat onderzoek niet duidelijk is, dat het methodologische gebreken heeft, en dat onderzoek vaak gebaseerd was op politieke motieven. Deze kritiekpunten kwamen niet alleen van beleidsmakers en educatieve beoefenaars, ook onderwijsonderzoekers waren kritisch. Eén onderzoeker gaf aan dat onderzoek in het domein van onderwijs niet heeft geleid tot relevante kennis dat onderwijs een op onderzoek-gebaseerd beroep kan maken. Dit kritiekpunt stelt dus dat er een dubbele transformatie moet plaatsvinden: onderwijs-gerelateerd onderzoek moet dus transformeren, zodat het onderwijs zelf kan transformeren.

Deze roep voor transformatie van onderwijsonderzoek en het onderwijs zelf heeft in Engeland geleid tot verschillende initiatieven die allen het doel hadden om het gat tussen onderzoek, beleid, en praktijk te verkleinen. Voorbeelden hiervan zijn het idee dat bevindingen in onderwijsonderzoek gesynthetiseerd moeten worden, bijvoorbeeld door middel van het uitvoeren van systematische reviews en het beter beschikbaar maken van onderzoek. Ook willen sommigen dat onderzoek vooral experimenteel is, omdat dit als enige kan leiden tot conclusies over “wat nou echt werkt”. Ook in Amerika is er discussie over de kwaliteit en de impact van onderwijsonderzoek. Dit heeft een groter impact gehad dan in Engeland. Volgens sommigen hebben deze discussies zelf geleid tot een revolutie waarin de wetten met betrekking tot het sponseren van onderzoek werden veranderd. Zo kwam er een ‘gouden standaard’ van randomized controlled trials (RCT’s) voor de methoden van onderzoek binnen onderwijsonderzoek. In lijn met de situatie in Engeland kwam er dus een nadruk op onderzoek dat causale verbanden kon aantonen.

Voorstanders van op bewijs gebaseerd onderwijs stellen dat het belangrijk is dat onderwijsonderzoek zich op dezelfde manier ontwikkelt als onderzoek binnen geneeskunde, landbouwkunde, transportatiekunde, en technologie. Volgens deze voorstanders is het feit dat er binnen deze gebieden zo veel goede ontwikkelingen zijn het gevolg van dat deze gebieden op onderzoek gebaseerd zijn en vooral gebaseerd zijn op RCT’s. Sommige voorstanders gaan zó ver dat zij stellen dat alles wat niet op onderzoek is gebaseerd moet worden verbannen. Volgens het Manifesto for Evidence-Based Education is onderwijs veel te belangrijk om af te laten hangen van andermans mening en is bewijs belangrijker dan iemand zijn of haar mening. Tegenstanders van het idee van op onderwijs gebaseerd onderzoek vragen zich af of op een op-bewijs gebaseerde manier van werken wel past bij het onderwijs en of er wel echt een vergelijking gemaakt kan worden tussen onderwijs en geneeskunde. In dit artikel wordt hier dieper op ingegaan.

Hoe wordt bewijs toegepast in het onderwijs?

Het idee van het op een bewijs-gebaseerde manier van denken heeft zijn wortels in de geneeskunde. Dit heeft zich toen vertaald naar andere gebieden. Het model van professionele actie binnen het op bewijs-gebaseerde manier van werken is gebaseerd op het idee van ‘effectieve interventies’. Professionele actie wordt gezien als een interventie en er wordt geprobeerd om de effectiviteit van deze interventies te onderzoeken. Het is dus de bedoeling dat er wordt onderzocht ‘wat werkt’. Dit soort onderzoek is gebaseerd op experimenteel onderzoek en vooral RCT’s. Dit idee over professionele actie als een interventie suggereert dus dat een op bewijs gebaseerde manier van werken afhangt van een causaal model van professionele actie. In andere woorden heerst dus het idee dat een professional iets doet (een behandeling, een andere vorm van een interventie) met het doel om een specifiek doel te behalen. Een effectieve interventie is een interventie waarin er een sterke relatie is tussen de interventie (de oorzaak) en de uitkomsten (de effecten). Effectiviteit is echter een instrumentele waarde: het refereert naar de kwaliteit van een proces, maar zegt niks over het doel. Het heeft dus geen nut om het te hebben over ‘effectief onderwijs’, want de vraag moet altijd zijn: effectief voor wat?

Deze assumpties zijn geldig in de geneeskunde, maar passen niet zo zeer bij het onderwijs. Ten eerste is er dus de rol van causaliteit. In vergelijking met de geneeskunde, waarin een patiënt ziek is en er een zo best mogelijke behandeling moet worden bepaald, is een student niet ziek en is het bieden van onderwijs geen behandeling voor de ziekte. Het onderwijs is dus geen proces van fysieke interactie, het is een proces van symbolische interactie. Onderwijs heeft alleen effect op een student wanneer deze student het onderwijs interpreteert en probeert te begrijpen wat hen wordt onderwezen. Onderwijs is dus geen causale technologie en daarom past een op causaal-bewijs gebaseerde manier van werken niet binnen dit gebied.

Ten tweede is er de assumptie van professionele actie. Binnen het op onderzoek gebaseerde onderwijs heerst het idee dat onderwijs gezien kan worden als een technologisch proces waarin er een duidelijke demarcatie is tussen middel – doel. Daarbij hoort het idee dat de doelen gegeven en duidelijk zijn en dat de enige vraag die heerst is hoe deze doelen behaald kunnen worden, dus welke middelen hiervoor geschikt zouden zijn. Er zijn echter twee problemen bij het denken op deze manier. Ten eerste, zelfs als men het meest effectieve middel zou vinden, betekent dit niet altijd dat men zich ook op deze manier zou gedragen. Onderzoek heeft namelijk aangetoond dat de meest belangrijke factor met betrekking tot prestaties op school, de thuisomgeving van een kind is, en vooral in de vroege kinderjaren. Dit zou betekenen dat de meest effectieve manier om kinderen hun succes op school te verhogen het veranderen van hun thuisomgeving is; dus kinderen van hun ouders ontnemen en hen in een ‘ideale omgeving’ plaatsen. Ondanks dat onderzoek aantoont dat dit dus de meest effectieve manier is, is dit dus niet iets wat praktisch haalbaar en zelf gewenst is. Het is dus niet alleen de vraag of iets effectief is, het is ook belangrijk om te bepalen hoe gewenst iets is. Met betrekking tot het onderwijs is het dus belangrijk om ons af te vragen of interventies gewenst zijn en we moeten ons ook altijd afvragen wat de effecten zijn van onze acties. Gebaseerd op deze argumenten kan er dus geconcludeerd worden dat het model van professionele actie niet geschikt is voor het onderwijs. In plaats daarvan moet er een model van professionele actie zijn dat de niet-causale aard van onderwijskundige acties erkent. Er moet dus erkend worden dat onderwijs een morele beoefening is en niet een technische of technologische beoefening. Beoefenaars van onderwijs moeten zich dus niet richten op de effectiviteit van hun acties, maar op de toegevoegde waarde van wat zij doen. Docenten moeten zich dus niet afvragen ‘wat effectief is’, maar ‘wat past bij kinderen in bepaalde omstandigheden’.

Wat is de rol van epistemologie?

De bovengenoemde conclusie betekent niet dat professionele actie binnen het onderwijs niet gebaseerd kan zijn op bewijs vanuit onderzoek. Het is de vraag wat voor soort epistemologie geschikt is voor het adequaat begrijpen van de rol van kennis in professionele actie. Er zijn mensen die denken dat onderzoek ons ‘de waarheid’ zal opleveren en dat deze waarheid getransformeerd kan worden in actie en dat beoefenaars daarom deze waarheid moeten volgen. Er wordt dus niet veel belang gehecht aan concepten zoals ‘reflectie’. Dit wordt dus ook wel de kookboek-benadering genoemd.

Binnen de geneeskunde worden concepten zoals reflectie wel benoemd en wordt er gesteld dat doctoren en clinici hun expertise moeten gebruiken bij het beoordelen van bewijs. Zonder expertise heeft onderzoek geen toegevoegde waarde. Binnen het onderwijs wordt dit dus niet genoemd en is er sprake van sterke epistemologische assumpties zoals dat alleen onderzoek ‘de waarheid’ kan vinden over ‘wat werkt’. Dewey’s theorie over kennis is gebaseerd op een actie-theorie raamwerk waarin weten wordt gezien als ‘een manier van iets doen’. Het is dus een theorie over het weten en niet zozeer over kennis. Een belangrijk begrip binnen deze theorie is ervaring. Hij definieert ervaring als de manier waarop levende organismen verbonden en onderdeel zijn van de wereld. Hij stelde dat er dus sprake is van transactioneel realisme. Volgens Dewey houdt iets weten in dat iemand de relaties kent tussen acties en consequenties en dit is het centrale idee uit Dewey’s transactionele theorie van het weten.

Volgens deze theorie is kennis dus het begrijpen van de relaties tussen onze acties en de consequenties hiervan. Het kan ons dus helpen om meer controle over onze acties te verkrijgen. Zijn ideeën kunnen dus gebruikt worden om een intelligentere benadering op te stellen in andere domeinen. De reden waarom Dewey’s theorie wordt benoemd in deze discussie, is dat het ons helpt te begrijpen wat de rol is van kennis bij actie. Volgens Dewey hoeft men niet alle kennis te hebben om te bepalen hoe zich te gedragen. Het is belangrijk dat we de consequenties van onze acties leren kennen en dat we op basis van deze consequenties ons gedrag aan kunnen passen. Ervaring leidt volgens Dewey dus tot een verandering in habits (gewoonten).

Wij verkrijgen gewoonten door een proces van trial-and-error, dus door te experimenteren. Eigenlijk is experimenteren dus de enige manier waarop we dingen leren: we leren door dingen te doen en vervolgens bekijken we de consequenties van onze acties. Er is echter, volgens Dewey, wel een belangrijk verschil tussen trial-and-error en intelligente actie, waarbij er sprake is van reflectie en denken. Volgens Dewey leren wij, of verkrijgen wij nieuwe gewoonten, in situaties waarin de transactie tussen organisme-omgeving wordt verstoord. Zolang er niks is wat de transactie verstoort, leren wij ook niks. Wanneer er iets fout gaat, dan leren wij ons op een andere manier te gedragen. De conclusie vanuit Dewey’s theorie is dat onderzoek ons alleen aangeeft wat mogelijke relaties zijn tussen acties en consequenties. RCT’s tonen ons dus mogelijke relaties tussen experimentele interventies en gemeten resultaten en bieden ons niet de waarheid over ‘de echte wereld’. Onderzoek kan ons dus aantonen wat heeft gewerkt, maar niet precies wat er nou echt werkt.

Hoe kunnen Dewey’s ideeën worden gebruikt met betrekking tot professionele acties?

Er zijn drie belangrijke aspecten vanuit Dewey’s ideeën. Ten eerste ziet Dewey professionele actie niet als iets dat volgens de kookboek-methode gaat. Het gaat dus niet over het volgen van geteste recepten. In plaats daarvan gaat professionele actie over het adresseren van unieke problemen. Ondanks dat er een structuur, vorm en lengte is van transacties in de echte wereld, kan men er niet van uitgaan deze structuur hetzelfde blijft!

Ten tweede is het belangrijk om te begrijpen dat kennis dat is vergaard uit eerdere situaties (of kennis dat is vergaard door anderen door middel van onderzoek) niet zonder reflectie moet worden gebruikt. Onderzoek moet dus gebruikt worden als een gids om te begrijpen wat het probleem is. Het kan dus gebruikt worden om een probleem op een intelligentere manier te benaderen. Pas wanneer de ideeën in actie worden gezet zal het duidelijk worden of het wel of niet gewerkt heeft.

Volgens Dewey is een technologische visie op professionele actie wel mogelijk, als men maar niet te veel verwacht van onderzoek. Ook is het belangrijk om te onthouden dat elke situatie uniek is. Volgens Dewey is het oplossen van een probleem niet alleen simpelweg het vinden van een oplossing. Het intelligent oplossen van een probleem houdt in dat men niet alleen een oplossing vindt, maar ook doelen opstelt en deze doelen evalueert aan de hand van beschikbare middelen.

De conclusie van Dewey’s idee is dat, in zo wel onze rol als onderzoeker als onderwijzer, wij gegeven probleemdefinities en middelen niet altijd moeten accepteren. In plaats daarvan moeten onderzoekers hypothesen opstellen en testen. Ook moeten definities gezien worden als hypotheses die nog veranderd kunnen worden. Volgens Dewey moeten onderzoekers dus niet alleen experimenteren met betrekking tot de middelen, maar ook met betrekking tot de doelen en de interpretaties van de problemen.

Het verschil met een op onderzoek gebaseerde manier van werken en Dewey’s idee is dat bewijs niet altijd bepaalt hoe men zich moet gedragen. In plaats daarvan is bewijs een soort richtlijn en kan het ons helpen bij het vormen van hypothesen. Onderzoek toont aan wat heeft gewerkt en niet wat er nu zal werken. Deze kennis moet dus als een instrument worden gebruikt voor het uitvoeren van intelligente, professionele actie. Dewey dacht ook dat onderzoek noch professionele actie zich moet richten op de meest effectieve middelen om een bepaald doel te bereiken. Onderzoekers moeten ook onderzoek doen naar de doelen en deze evalueren op basis van de middelen. Men moet zich dus afvragen: welke doelen willen wij behalen?

Wat kan er worden geconcludeerd?

In dit artikel is dus beschreven dat onderzoek binnen het onderwijs verder gaat dan alleen het toepassen van bevindingen. Men moet zich altijd afvragen of de middelen wel passen bij de doelen. Ook kan onderzoek nuttig zijn in dat het aantoont wat heeft gewerkt en niet zozeer wat nu ook zal werken. Kennis over relaties tussen acties en consequenties betekent dat onderzoek zich niet zomaar vertaalt in specifieke acties; het kan wel gebruikt worden om een intelligente probleemoplossingsstrategie te bepalen.

Daarnaast stelt een andere onderzoeker, de Vries, dat onderzoek praktische relevantie kan hebben op een manier dat het ons begrip van de realiteit kan veranderen. Onderzoek kan dus een culturele rol hebben. Zo kan onderzoek onderwijzers helpen om hun praktijk vanuit een andere manier te bekijken. Dit kan helpen om problemen te begrijpen die men eerder niet begreep of om zelfs nieuwe problemen te ontdekken. Verschillende interpretaties kunnen ons dus helpen om nieuwe problemen te zien en om andere mogelijkheden voor actie te ontdekken. Als men de relaties tussen onderzoek, beleid, en praktijk binnen het onderwijs wil verbeteren, dan moet er een benadering komen waarin technische vragen over onderwijs worden beantwoord in relatie tot normatieve, onderwijs-gerelateerde en politieke vragen over wat het doel van onderwijs is. Het gaat dus niet alleen om ‘wat er zou werken’.