1. Inleiding

Het is niet vanzelfsprekend dat interventies positief zijn. Het kan zo zijn dat er geen eenduidige resultaten zijn over een studie. De ene studie kan een positief resultaat uitwijzen, terwijl een ander geen effect uitwijst en weer een andere studie een negatief effect uitwijst. Er bestaan weinig goed uitgevoerde studies die op een betrouwbare manier uitspraak doen over het effect van vroegtijdige orthopedagogische interventieprogramma’s. Dit geldt ook voor effectonderzoek in de jeugdzorg.

Ook op het gebied van onderwijsonderzoek komt men tot de conclusie dat de effectiviteit vaak onvoldoende wetenschappelijk bewezen is.

Een reden voor het gebrek aan kennis hierover is dat effectonderzoek zeer complex is. Er wordt vaak een situatie gecreëerd die ver van de praktijk afstaat bij effectonderzoek. Het komt ook regelmatig voor dat een interventie onvoldoende beschreven is waardoor het niet mogelijk is te onderzoeken.

Het meten van de effecten van preventie blijkt in de onderzoekspraktijk een moeilijke zaak. Onderzoekers zijn het niet altijd eens over de toe te passen methoden en technieken. Tijdens het onderzoek stuit men vaak op een veelheid van problemen.

Het inzetten van interventies die niet goed zijn geëvalueerd kan risico’s met zich meebrengen. Naast verspilling van tijd en moeite kan het ook voor nadelige in plaats van voordelige effecten zorgen. Het opzetten en verrichten van effectonderzoek is naast wetenschap een kunst. Het vergt kennis en creativiteit.

2. Empirische methodologie

Historie van de methodologie

De term methodologie is voor het eerst aanwezig in de 17e eeuw, met name bij de Discours de la méthode van Descartes. De vraag die hij stelde luidt; ‘Hoe kan een mens uit een veelheid van (wetenschappelijke) opvattingen en theorieën de juiste kiezen?’ Deze vraag is nog steeds centraal.

In de 18e eeuw is methodologie synoniem met logica en dialectiek. In deze discipline worden de regels voor het uitvinden van de waarheid en van haar bewijsvoering nagegaan. Kant werkt aan het einde van de 18e eeuw een transcendentale methodenleer uit. Hij verstaat hieronder een geheel van bepalingen van de formele voorwaarden voor een systeem van de zuivere rede.

In de 19e eeuw wordt de methodenleer weer opgevat in de traditionele 18de eeuwse betekenis van logica. Hagenbach maakte een encyclopedie, deze is bedoeld als topografische kaart. De schakel tussen methodologie en de praktijk worden hiermee uitgedrukt.

Pas halverwege de 20e eeuw ontwikkelt de methodologie zich tot een zelfstandig specialisme. Heymans was de eerste die een boek schreef specifiek gericht op methodologie; ‘Inleiding tot de logica en methodologie’.

In 1961 brengt de Groot zijn magnum opus uit. Hij stelt vast dat er geen scherpe grens te trekken is tussen wetenschappelijk en onwetenschappelijk denken, maar dat er wel regels bestaan die onderzoekers in acht dienen te nemen. De Groot is een gedreven pleitbezorger voor onderzoek, gebaseerd op het kwantificeren van kwalitatieve gegevens. Hij komt hiermee regelmatig in conflict met Langeveld.

Het boek van de Groot en daarmee ook de empirische methodologie wordt niet alleen bekritiseerd door meer normatief georiënteerde pedagogen, maar ook door de empirische georiënteerde psychologen. Dit omdat de kennisleer gemist wordt. De Groot vindt dat kennisleer buitengewoon belangrijk is, maar het kan worden gemist als fundament van de methodologie.

Wat is methodologie?

Het woord methodologie is afgeleid van het Griekse meta (na, verder, over), hodos (de weg) en logos (het woord, het geheel van woorden of de leer). Het betekent letterlijk; de leer van de weg waarlangs men tot kennis komt, of de studie van de af te leggen weg. Methodologie is de studie van de wetenschappelijke methoden en technieken.

De ondertitel van het boek is; ‘Methodologische moeilijkheden en mogelijkheden.’ In basis gaat het boek dus over methodologie. Volgens de Groot is methodologie;

´De methodenleer van de empirische wetenschappen is een product van een lange ontwikkeling. door een voortdurend, zich over eeuwen uitrekkend proces van onderlinge uitwisseling – waarin de onderlinge kritiek een belangrijke, productieve rol heeft gespeeld en nog speelt – is het mogelijk geweest normen op te stellen en daarop aansluitende methoden en technieken te ontwikkelen voor het wetenschappelijk onderzoeken en denken… De methodologie omvat niet alleen do’s and don’ts, zij is niet alleen normatief, maar ook descriptief en vergelijkend: bepaalde technieken worden beschreven, met andere vergeleken, in een groter verband gebracht, geëvalueerd, met zekere restricties aanbevolen of afgeraden, enzovoorts. Ditzelfde geldt tot op zekere hoogte ook voor de logica.’

De Groot vergelijkt het wetenschappelijk bedrijf met een schaakspel. De normen van logica en methodologie zijn dan de vastgelegde spelregels. De daarbij aansluitende methoden en technieken vormen tezamen de aanbevolen speelmethoden. Bij dit geheel spelen impliciete normen en gewoonten een rol.

Doel van de wetenschap is het verwerven van kennis. Hierbij wordt niet naar persoonlijke kennis maar naar openbare, expliciete en overdraagbare kennis van de werkelijkheid gestreefd. Een wetenschapper zal niet snel iets als waar aannemen. Wetenschappers zijn gericht op het begrijpen en verklaren. Het uiteindelijke doel is om algemene samenhangen in omvattende, inzichtelijke en logisch samenhangende systemen onder te brengen en te ordenen.

Verklaren en begrijpen

Droysen was de eerste die het onderscheid tussen verklaren en begrijpen introduceerde. Verklaren is in het algemeen het opstellen van wettelijkheden c.q. correlaties. Begrijpen is het duiden van de verschijnselen, het interpreteren van het unieke in de context. Verklaren en begrijpen zijn contextuele benaderingen van de werkelijkheid.

De natuurwetenschappen zijn gericht op verklaren en de gedrags- en maatschappijwetenschappen op begrijpen. Toch is er geen duidelijk onderscheid te maken.

Hermeneutiek en fenomenologie

Hermeneutiek is de leer van de interpretatie. Hermeneutiek is typisch begrijpend (Verstehend), hieraan kleeft het gevaar van de invloed van het subjectieve in het interpretatieproces. Jaspers heeft een analyse gemaakt, niet gebaseerd op experimenteel onderzoek maar wel op persoonlijke ervaringen en op grondig doordenken.

Binnen de Verstehende methode is de fenomenologie een veelvoorkomende algemene methode. Volgens deze methode moeten de verschijnselen zelf spreken. Er wordt geen theorie over geformuleerd.

De empirische methodologie volgens A.D. de Groot

De crux van het boek van de Groot is dat de groei van wetenschappelijke kennis plaatsvindt via een kritisch rationeel proces van theorievorming en hypothesetoetsing, aan de hand van empirische gegevens. Hiermee onderscheidt hij zich van andere opvattingen.

Ten tweede ziet de Groot wetenschap als een proces, dat voortschrijdt en waarin zelden onaanvechtbaar definitieve resultaten worden bereikt. Onze kennis neemt steeds toe, en de graad van zekerheid wordt groter. Maar toch blijkt telkens weer dat gedeeltelijk verworpen wordt wat waar leek.

Verder ziet de Groot wetenschap als een systeem van activiteiten. Dit alles mondt uit in een pleidooi voor de toepasbaarheid en noodzakelijkheid van een empirische cyclus. De empirische cyclus is vooral gericht op theoriegericht onderzoek. Voor meer praktijkgericht onderzoek zijn gelijksoortige cycli ontwikkeld. De bekendste is de regulatieve cyclus van Van Strien.

De empirische cyclus

Als grondschema voor een logisch-methodologisch stramien van wetenschappelijk denken en handelen is de empirische cyclus een veelgebruikte fasering van onderzoek in de empirische wetenschap.

In de empirische cyclus van De Groot worden de stappen weergegeven die binnen een empirisch-wetenschappelijke opvatting genomen worden om kennis over de verschijnselen/werkelijkheden te verwerven. De stappen in de empirische cyclus staan hieronder weergegeven, met een uitleg over wat het inhoudt.

Fase 1; Observatie


• Aan de hand van observaties worden vermoedens ontwikkeld over een bepaald probleem. Tijdens deze fase geldt de vrijheid van ontwerp. Het geeft ruimte tot ontdekken van nieuwe onderzoeksdomeinen. De onderzoeker heeft door de vrijheid van ontwerp ook vrijheid van begripsvorming. Dit is wel een vrijheid in gebondenheid, er worden wel eisen gesteld aan de begrippen. Anders zou iedere onderzoeker zijn eigen begrippen maken en dan zouden verschillende onderzoeken niet met elkaar te vergelijken zijn. In deze eerste fase start ook het inductieproces.

Een onderzoeker zou maar zelden starten met het verzamelen van materiaal zonder enig gezichtspunt. Hypothesen vloeien vaak voort uit een theorie of uit een raamwerk van theorieën.


In de fase van observatie is er altijd ervaringsmateriaal waarover de onderzoeker beschikt. Vaak is er een interpretatie van het materiaal aanwezig die aanleiding kan geven tot het formuleren van een hypothese. Verklaren en interpreteren heeft altijd betrekking op een welomschreven, gesloten verzameling van verschijnselen. Zowel verklaren als interpreteren heeft het over die gesloten verzameling van verschijnselen, het gaat niet buiten die groep kijken.

Hierin onderscheidt de hypothese zich, een hypothese is een open, veronderstelde, meer algemene wettelijkheid. Een interpretatie moet zich volgens De Groot lenen toto een omvorming tot hypothesen, als dit niet mogelijk is dan is het ook geen interpretatie.


In het proces van hypothesevorming is er naast eigen intuïtie ook behoefte aan systematische procedures. Onder systematische methoden voor hypothesevorming rekent De Groot; systematiek van descriptie (registreren, ordenen, groeperen, classificeren), literatuurstudie, empirische exploratie (oriënterend of explorerend onderzoek) en materiaalexploratie.

Fase 2; Inductie


• Inductie wil zeggen dat vanuit het bijzondere naar het algemene wordt geredeneerd. Feiten en ideeën worden via inductie vervat in een theorie, of eventueel in een theoretisch raam. De veronderstelde verbanden tussen de waargenomen verschijnselen worden weergegeven. Op basis van het inductieproces moet duidelijk zijn waar het onderzoek zich op richt, welke eigenschappen van belang zijn en welke relaties of hypothesen tussen eigenschappen worden verondersteld.

De vraag is nu welke logische en methodologische eisen gesteld moeten worden aan de formulering van het resultaat van het inductieproces. Die eisen staan in direct verband met de deductie, de toetsing en de evaluatie. Een duidelijke formulering vooraf is dus belangrijk. De volgende vier principes hebben betrekking op de scherpe formulering vooraf; logische consistentie (een theorie moet als model voor de werkelijkheid vrij zijn van contradicties), economisch principe (een theorie moet zo eenvoudig mogelijk zijn qua vormgeving), toetsbaarheid (een theorie moet tenminste op een aantal punten getoetst kunnen worden), omlijnde empirische referenties (het moet duidelijk zijn op welk gebied de theorie of hypothese betrekking heeft).

De Groot reduceert de vier formuleringseisen tot één, namelijk de eis der toetsbaarheid. In haar brede betekenis omvat de eis van toetsbaarheid ook de eis van logische consistentie, economische eis en de eis van de omlijnde empirische referenties. De onderzoeker heeft een expliciteringplicht. Dit houdt in dat een onderzoeker aan moet kunnen geven op welke wijze de theorie of hypothese kan worden geëxpliciteerd.

Fase 3; Deductie

Deductie wil zeggen van het algemene naar het bijzondere. Eigenschappen worden omgezet in meetbare variabelen en in concrete verbanden of relaties. Verder is deductie het meetbaar maken en het operationeel definiëren van begrippen en het toetsbaar maken van algemene uitspraken door verbijzonderingen in te roepen.

De empirische toetsing van een theorie of hypothese moet geschieden door toetsing van voorspellingen die via deductieve stappen worden verkregen. Dit vraagt om explicitering van die theorie of hypothese. Een algemene theorie wordt uitgewerkt tot een vertakt systeem. Een theorie noemt De Groot een nomologisch netwerk. Er worden in een nomologisch netwerk drie typen uitdrukkingen onderscheiden.
Dit zijn ten eerste theoretische begrippen onderling, ten tweede zijn dit waarneembare variabelen onderlinge en als laatste zijn dit theoretische begrippen en waarneembare variabelen.

De voorspelling is de laatste schakel bij het expliciteren van het nomologisch netwerk van een theorie. De voorspelling legt de schakel tussen een hypothese en tussen de uitkomst van een onderzoek. De methodologische eis die aan een voorspelling wordt gesteld is dat ze strikt verifieerbaar is. Er kunnen drie situaties ontstaan bij strikte verifieerbaarheid van een voorspelling, namelijk; de voorspelling is uitgekomen, de voorspelling is niet uitgekomen of de voorspelling is niet verifieerbaar.

Fase 4; Toetsing


De onderzoeker bakent in deze fase de populatie af, het trekt een steekproef of stelt deze samen, het legt de gang van zaken vast en hij kiest het materiaal.

In het onderzoeksplan wordt de methodologische operationalisering van het toetsingsonderzoek vastgelegd. Een onderzoeksplan bevat; een korte expositie van de theorie, een precieze weergave van de deducties die tot een voorspelling leiden, een beschrijving van de instrumenten, een duidelijke bepaling van de doelgroep, een precieze beschrijving van de wijze waarop men steekproeven wil trekken en een vastlegging van de confirmatiecriteria.

Met behulp van de onderzoeksgegevens wordt nagegaan hoe en in welke de hypothese uit het onderzoeksontwerp wordt ondersteund. Toetsing is dus niet alleen het nagaan of de voorspelling uitkomt, maar ook de toetsing van de hypothese. De computer en de statistiek spelen hierbij vaak een grote rol.

Een belangrijke vraag in de fase van toetsing en evaluatie is hoe de confirmatie van hypothesen en theorieën verloopt. Bij een deterministische hypothese (in de zin van ALLE A’s zijn B) is de hypothese meteen gefalsifieerd als één persoon uit de groep niet voldoet aan B. Bij een deterministische, existentiehypothese (in de zin van er is minstens een A die B is) is het niet mogelijk te falsifiëren. Eén persoon is onvoldoende om de hypothese te bewijzen. Bij een probabilistische hypothese (in de zin van de meeste A’s zijn B, of A heeft 80% kans om B te zijn) is het niet mogelijk te bewijzen, maar is het ook niet mogelijk om te weerleggen.

De Groot sluit zich aan bij Popper, hij stelt dat wetenschappelijk toetsingsonderzoek niet streeft naar het bewijzen van een hypothese of theorie, maar wel naar weerlegging van de hypothese of theorie. Empirisch-wetenschappelijk onderzoek is noodzakelijkerwijs gericht op falsificatie.

Fase 5; Evaluatie

In deze fase vindt een terugkoppeling plaats naar de eerder veronderstelde verbanden. Een evaluatie is tweevoudig; enerzijds is het gericht op feedback, anderzijds is het gericht op feedforward naar potentieel nieuwe, aansluitende onderzoekingen. De enige eis in de evaluatie is de eis van objectief rapporteren.

De regulatieve cyclus van Van Strien

Met de term regulatief verwijst Van Strien naar het nemen van beslissingen, deze cycli is dus meer praktijkgericht. Het planmatig, systematisch handelen in de hulpverleningspraktijk is een belangrijk aandachtsgebied, dit gebied komt in de cyclus van Van Strien aan de orde. De regulatieve cyclus geeft een aantal denkstappen weer, die vertrekken vanuit een theorie die beschrijft hoe mensen in het algemeen probleemoplossend te werk gaan.

Hieronder staan de fasen uit de cyclus beschreven:

• Probleemstelling; in deze fase vindt de onderkenning van het probleem plaats, de nagestreefde doelen en de middelen die hiervoor ingezet worden.

• Diagnose; de probleemsituatie wordt volledig onderzocht en men gaat op zoek naar oorzaken van het probleem. Het is dus een analyse van de bestaande situatie.

• Plan (of ontwerp); mogelijke oplossingen worden besproken. Het plan omvat dus de korte- en langetermijndoelen, de inzet van middelen en methodieken en het formuleren van criteria om te bepalen of het plan effectief is.

• Ingreep; het plan wordt ten uitvoer gebracht.

• Evaluatie; hier wordt nagegaan of het probleem opgelost of verminderd is.

In tegenstelling tot de empirische cyclus is de regulatieve cyclus gericht op het oplossen van één probleem. Kenmerk van beide cycli is dat ze beiden essentiële aspecten van empirisch onderzoek expliciteren. Ze zijn beiden opgebouwd uit fasen en het gaat bij beiden om een stappenplan. Bij de empirische cyclus gaat het om een stramien van denken en handelen met het oog op het verwerven van wetenschappelijk getoetste kennis over de werkelijkheid. Bij de regulatieve cyclus gaat het om een stramien van denken en handelen met het oog op effectiviteit van de geboden hulp of oplossing voor het probleem.

Soms wordt het verschil tussen beide modellen benadrukt, maar de modellen kunnen beter gezien worden als een aanvulling op elkaar. Een goede onderzoeker zou eerst de stappen van de empirische cyclus doorlopen en zal vervolgens overgaan op de regulatieve cyclus.

De bijdrage van De Groot aan de wetenschapsontwikkeling

Een karakteristieke bijdrage van De Groot is dat empirisch onderzoek niet gericht is op het verifiëren, maar op het falsifiëren van een theorie. De wetenschap is een geheel van uitspraken die de onderzoeker in alle voorlopigheid aanhoudt. De sterkste uitspraken hebben het langst de pogingen tot falsificatie doorstaan.

Een tweede karakteristieke bijdrage is dat er minimaal een theoretisch raam aan de onderzoeksgegevens vooraf dient te gaan. Volgens De Groot is een theoretisch raam onmisbaar om tot hypothesevorming te komen.

Een derde karakteristieke bijdrage van De Groot is het wetenschappelijke forum. Dit forum is een open verzameling van alle ter zake doende deskundigen. Het is een discussie tussen deskundigen over de waarheid van een theorie. Het forum werkt als een paradigmawisseling. Wetenschap verandert niet geleidelijk zoals Popper denkt, maar het verandert sprongsgewijs zoals Kuhn denkt.

Typen van onderzoek

De Groot gebruikt één type van empirisch-wetenschappelijk onderzoek, namelijk het toetsingsonderzoek. Het toetsingsonderzoek is volgens De Groot het beste uitgewerkt en het is het meest frequente, maar het is zeker niet het enige type wetenschappelijk onderzoek. Internationaal heeft het toetsingsonderzoek een voorrangspositie opgebouwd.

Naast toetsingsonderzoek zijn er nog een aantal onderzoeken. Ze staan hieronder kort en bondig weergegeven.

• Instrumenteel-nomologisch onderzoek; het maken, standaardiseren en valideren van een instrument. Dit type onderzoek wordt vooral gebruikt wanneer het instrumentarium ontbreekt, onvoldoende valide of onvoldoende uitgewerkt is om vorderingen te kunnen maken in de ontwikkeling en toetsing van bruikbare theorieën, hypothesen en/of methoden.

• Descriptief onderzoek; het is vooral beschrijvend van aard, het streeft niet naar generalisaties. Het is ook niet hypothesevormend of hypothesetoetsend.

• Exploratief onderzoek; is een soort tussenvorm tussen descriptief en toetsingsonderzoek. Er zijn geen scherp gestelde hypothesen vooraf, toetsing is dan ook niet mogelijk op de gebruikelijke wijze.

• Interpretatief-theoretisch onderzoek. Er wordt geen nieuw feitenmateriaal verzameld. Het gaat hier om interpretatie en theoretische evaluatie van een gegeven, gesloten verzameling van bevindingen. Het gaat dan bij dit onderzoek niet om toetsing van een algemene hypothese, maar het gaat om een interpretatie van het feitenmateriaal.

Objectiviteit

Het resultaat van handelen is volgens De Groot objectief wanneer het in overeenstemming is met het gestelde studiedoel. Een onderzoeker mag zich niet laten leiden door persoonlijke opvattingen, gevoelens of belangen.

Een tweede definitie van objectief handelen is het streven naar afwezigheid van subjectiviteit als storende