Artikelsamenvatting bij Naar meer effect: Resultaatgerichte ontwikkeling van interventies van Van Yperen e.a. - 2017

Wat betekent het wanneer een interventie evidence-based is?

Lokale en landelijke politici, andere beleidsmakers, zorgverzekeraars en niet in de laatste plaats cliënten en uitvoerend werkers in instellingen vinden het belangrijk dat risico's en problemen van jeugdigen en hun gezinnen een effectieve aanpak krijgen. Velen van hen vinden dat interventies wetenschappelijk verantwoord meoten zijn en er bewijs voor de effectiviteit op tafel moet liggen. Evidence-based eereken is hierbij het sleutelwoord.

Hierbij is het dus van belang om te bedenken wat we eigenlijk onder evidence-based moeten verstaan en hoe we dit kunnen aantonen.

• Vanuit een praktijkperspectief is het effect van een aanpak bewezen als gestelde doelen worden gerealiseerd en cliënten tevreden zijn.
• Voor beleidsmakers zijn interventies vooral effectief als jeugdige in een samenleving passende ondersteuning krijgen en zich optimaal ontwikkelen tot participerende burgers.
• Vanuit een wetenschappelijk perspectief is een interventie bewezen effectief als het effect door onderzoek is aangetoond, waarbij aannemelijk is gemaakt dat er geen andere factoren in het spel zijn die het effect ook hadden kunnen veroorzaken.

Hoe kunnen we voortdurend interventies blijven verbeteren?

We moeten zoeken naar mogelijkheden om werkwijzen in de praktijk en de wetenschappelijke bijdrage aan de verdere ontwikkeling van die werkwijzen dichter bij elkaar te brengen. Het gaat dus om de samenwerking tussen praktijkwerkers, cliënten, onderzoekers, instellingsfunctionarissen en beleidsmakers om een beweging van meten, spreken en verbeteren in gang te zetten en te houden. Deze beweging zal leiden tot steeds betere resultaten in de praktijk.

• Het meten is erop gericht de in de praktijk uitgevoerde activiteiten en de resultaten ervan zichtbaar te maken.
• Het spreken houdt in dat het gevormde beeld in dialoog met de betrokken partijen betekenis krijgt: herkennen we dit, hoe verklaren we het, wat vinden we ervan en hoe kan het beter?
• Het verbeten gebeurt met inbreng van voorhanden zijnde kennis bij cliënten, praktijk- en beleidsfunctionarissen en wetenschappers, brengt verdere vernieuwing en maakt de interventie beter toepasbaar, effectiever of goedkoper.

Uiteindelijk heeft dit als doel om te leiden tot een effectievere praktijk met betere uitkomsten voor jeugdigen.

Wanneer noemen we een interventie effectief?

Een interventie noemen we effectief als deze aan het doel van de inzet beantwoordt. Om de effectiviteit vast te stellen, schetsen we een ontwikkelingspad dat elke interventie in wezen doorloopt, dat leidt van een impliciet geloof in de effectiviteit naar empirisch bewijs dat dekinterventie het effect heeft veroorzaakt.

Een interventie noemen we evidence-based all het beeld voer de werkzaamheid is gebaseerd op kennis over wat werkt. Die kennis bestaat vaak uit een mix van verschillende bronnen: bewijs uit wetenschappelijk onderzoek (research-based), ervaringskennis van praktijkwerkers (practice-based) en client-based kennis. In de jeugdhulp geldt dat hier nog een vierde bron aan toe te voegen is: namelijk kennis over ethische overwegingen en waarden in het opgroeien en opvoeden van jeugdigen. Het oordeel over wat werkt is hierbij value-based.

Wat weten we uit effectonderzoek?

Werken met effectieve interventies is een cruciale factor in de jeugdsector. Er komen steeds meer internetdatadases met handzame overzichten van de effectiviteit van die interventies. Zo kennis we in Nederland de Databank Effectieve Jeugdinterventies, de databank voor justitiële interventies, en de databank Effectieve Sociale Interventies. In de meeste van deze databanken geldt het experimentele onderzoek als een aanpak om et sterkste bewijs voor effectiviteit aan te dragen. In het onderzoek wordt bij een experimentele en een controlegroep een beginmeting en een eindmeting verricht, waarbij het effect wordt afgelezen aan het verschil tussen deze twee groepen aan het eind van de interventie. 

Wat weten we uit effectonderzoek naar preventieve interventies?

Preventie blijkt in het algemeen te werken, en erin investeren is dus verstandig. In Nederland besteden we jaarlijks tussen de 400 en 450 miljoen euro aan jeugdgezondheidszorg, wat ons 5,6 miljard euro aan besparingen oplevert. Ook lichte vormen van opvoedondersteuning werken kostenbesparend.

Wat weten we uit effectonderzoek naar de jeugdhulp?

Ook jeugdhulpinterventies zijn vrij veel onderzocht, vaak door middel van experimenteel onderzoek. De resultaten van deze onderzoeken laten zien dat die interventies gemiddeld genomen effectief zijn. De effectiviteit drukt met in de wetenschappelijke literatuur vaak aan met behulp van een effect size. Er bestaan meta-analyses die aangeven welke interventies het meest effectief zijn voor specifieke problematiek. 

Wat zijn belangrijke kanttekeningen als we het hebben over de effectiviteit van interventies?

De kennis die de wetenschap levert over de effectiviteit van interventies op het terrein van preventie en jeugdhulp is de laatste jaren enorm toegenomen. Die kennis kan ons helpen de effectiviteit van de preventie en de jeugdhulp te verhogen. Er is alleen één probleem; in de praktijk is er nog niet zo veel van te merken. Er bestaan namelijk een aantal belangrijke kanttekeningen:

• Veel onderzoek naar de effecten van interventies is in het buitenland uitgevoerd, en onderzoek van Nederlandse bodem is schaars.
• Veel van de interventies die experimenteel onderzocht zijn, worden in de praktijk nauwelijks gebeukt. Het aantal bewezen effectieve interventies is daarnaast ook heel gering ten opzichte van het totale aantal interventies.
• In de praktijk uitgevoerde experimentele onderzoeken bij specifieke interventies tonen over het algemeen kleine tot matige effective ten opzichte van de gebruikelijke preventie en jeugdhulp. Er is weinig zicht op de vraag welke groepen het meest baat erbij hebben.
• Ten slotte, veel interventies zijn in de praktijk nog niet genoeg geëxpliciteerd en uitgekristalliseerd om ze aan een goed effectonderzoek te kunnen onderwerpen.

Hoe kunnen we naar meer resultaatgerichte ontwikkeling van interventies (RGOI) gaan?

Het opvullen van de kennislacune is geen doel op zich. Het gaat erom bij te dragen aan een gezond, veilig en kansrijk opgooien van jeugdigen. Om dat goed voor ogen te houden, is er een kwaliteitsmodel geschreven waarin effectieve interventies en de ontwikkeling daarvan helder zijn gepositioneerd. Het model gaat ervan uit dat die interventies ten dienste staan aan een resultaatgericht jeugdbeleid en een effectieve ondersteuning van jeugdigen en opvoeders. Het model bestaat uit zes elementen:

• Het jeugdbeleid van de gemeente is idealiter gebaseerd op een beeld van de staat van de jeugd: hoe gaat het met hen? De gemeente zal op basis van dit beeld ambities formuleren die richting geven aan het jeugdbeleid van de gemeente.
• De ambities moeten zich vertalen in concrete doelen, die betrekking hebben op na te streven maatschappelijke resultaten. We noemen dit de outcome of de maatschappelijke impact.
• Om de ambities waar te maken, spelen de burgers en de jeugdvoorzieningen een belangrijke rol. 
• Om de kans te vergroten dat voorzieningen voor de jeugd bijdragen aan de realisatie van doelen zijn er eisen te stellen aan de input-kant. Het gaat hier dan om bijvoorbeeld de beschikbaarheid van effectieve, evidence-based interventies, het stellen van kwaliteitseisen aan de opleiding en competenties van professionals, en de certificering van de organisaties.
• Om te weten of de ingeschakelde voorzieningen ook goede resultaten boeken, is het in theorie mogelijk om naar de maatschappelijke resultaten te kijken. Maar de relatie tussen de diensten van de voorzieningen en die impact is vaak te diffuus door allerlei factoren die daar doorheen spelen. Daarom monitort en onderzoekt men in de jeugdsector vaak ook in meer directe zin de uitkomsten van de diensten; door te kijken naar de mate van uitval, de tevredenheid van cliënten en de doelrealisatie, en de vermindering van de problematiek.
• Het zesde onderdeel van het model wordt gevormd door cruciale verbeteractie. Het idee achter dit model is dat het ontwikkelen van onderhouden van een effectief aanbod een continu proces is van het meten, bespreken en verbeteren van werkwijzen. 

Het model laat als het gaat om het vullen van de kennislacune met betrekking tot de effectiviteit van interventies twee dingen zien: In de eerste plaats is helder dat deze kennis moet leiden tot betere uitkomsten voor cliënten en tot het realiseren van de beoogde maatschappelijke resultaten. Ten tweede is ook duidelijk dat de kennis over effectieve interventie geen statisch gegeven is, maar een voortdurende ontwikkeling doormaakt in een cyclus waarin bestaande kennis wordt ingebracht en waarin via de meet-, spreek- en verbeterbeweging nieuwe kennis wordt toegevoegd.

Welke twee manieren bestaan er om de kennislacune op te vullen?

In theorie zijn er twee wegen om de kennislacune op te vullen.

• De eerste manier is het top-down en breed in de praktijk implementeren van evidence-based interventies om vervolgens de werkzaamheid van deze brede toepassing te toetsen.
• De tweede manier is het bottom-up ontwikkelen van interventies die de praktijk vandaag de dag gebruikt. Hiermee sluit men aan bij de situatie van dit moment.

Beide wegen zijn van belang en begaanbaar. De wetenschappelijke literatuur over effectonderzoek beveelt meestal de rest weg aan, om zo bij te dragen aan het ontwikkelen van de gewenste evidence-based practice. De tweede weg, beginnen bij wat er is en dat onderbouwen en uitbouwen, is veel minder uitgewerkt, maar kan vergeven aan het 'intussen'. Deze weg wordt naar de mening van de auteurs van dit artikel nog veel te weinig benut om kennis over de effectiviteit van de interventies te verkrijgen. Het gaat hier niet zozeer om het creëren van evidence-based practice, maar om het ontwikkelen van practice-based evidence.

Wat zijn de leidende principes van RGOI?

De resultaatgerichte ontwikkeling van interventies wordt gezien als een gezamenlijk zoekproces van praktijkwerkers, instellingsfunctionarissen en beleidsfunctionarissen, ondersteund door onderzoekers en met actieve betrokkenheid van cliënten. Daarbij worden werkwijzen van de praktijk geëxpliciteerd en theoretisch onderbouwd en via uitkomstenmonitoring en gerichter effectonderzoek empirisch onderzoeken, met het doel preventie en jeugdhulp te verbeteren. RGOI is eruit 'to make things better'. We onderscheiden vier leidende principes bij de resultaatgericht ontwikkeling van interventies.

• Het eerste principe is aansluiting. Het ontwikkelingsniveau van de interventie bepaalt voor een belangrijk deel de te ondernemen activiteiten in het zoekproces. 
• Het tweede principe is inbedding: Bij RGOI is niet alleen de onderzoeker eigenaar van de effectvraag. Alle actoren stellen belang in het expliciteren van werkwijzen, monitoren en verder onderzoeken van uitkomsten in de praktijk. 
• Het derde principe is benutting: De resultaatbepaling van interventies dient niet in de bureaulade te belanden, maar de verzamelde gegevens moeten benut worden.
• Het vierde principe, ten slotte, is samenwerking. Voor de andere drie punten geldt dat elk niveau zijn eigen aansluiten, inbedding en benutting kan verzorgen. Voor RGOI geldt echter dat het gaat om een gezamenlijk zoekproces waarin de niveaus elkaar versterken door samen te werken. 

De vier leidende principes van de resultaatgerichte ontwikkeling van interventies helpen bij het op gang brengen van een meet-, spreke- en verbeterbeweging. Ze zijn te zien als de leidende principes van RGOI, met als doel de doorontwikkeling van interventies.

Hoe vormt praktijkgestuurd onderzoek een ondersteuning voor RGOI?

Idealiter ondersteunt de wetenschap de ontwikkeling van interventies met onderzoek dat dezelfde principes kent als RGOI. Dat wil zeggen dat het onderzoek aansluit bij de staat van ontwikkeling van de interventie, het is ingebed in het primaire proces en de organisatie, het wordt benut voor verbetering van de interventie, waarbij samenwerking de sleutel is tot het succes. Onderzoek dat op deze manier de ontwikkeling van interventies ondersteunt, zal in de meeste gevallen een sterk praktijkgestuurd karakter hebben. Onderzoekers sluiten op RGOI aan door met uiteenlopende onderzoeksmethoden bij te dragen aan het expliciteren van de werkwijzen en het vermeerderen van de kennis over de effectiviteit van de preventie en jeugdhulp. Sommig eivormen van onderzoek bieden door hun bewijskracht meer zekerheid over de causale relatie tussen de interventie en de uitkomsten dan andere onderzoeksvormen.

Wat houdt de effectladder van bewijskracht in?

De effect ladder van bewijskracht onderscheidt vijf niveaus van bewijskracht die de effectiviteit van een interventie op vijf manieren kunnen aanduiden. Bij het startpunt weten we nog weinig van de interventie die in de praktijk van alledag wordt uitgevoerd. Op dit moment noemen we een interventie intuition-based. De effectladder biedt een algemeen methodisch kader voor praktijkgestuurd effectonderzoek.

1. Op het eerste niveau zijn er descriptieve aanwijzingen maar nog geen bewijskracht voor een interventie. Het bewijs is dan voorwaardelijk. Op dit punt is er enkel beschrijvend onderzoek geweest. Op dit niveau gaat de aandacht uit naar de inhoud van de interventie.
2. Op het tweede niveau zijn er theoretische aanwijzingen op basis van literatuuronderzoek. Het bewijs is dan veelbelovend. 
3. Op het derde niveau zijn er eerste empirische aanwijzingen gevonden voor de effectiviteit van een interventie. Het bewijs heet dan doeltreffend.
4. Op het vierde niveau zijn er goede empirische aanwijzingen voor de effectiviteit van de interventie, op basis van veranderings-theoretisch onderzoek. Het bewijs is dan plausibel.
5. Op het vijfde en hoogste niveau is er werkzaam bewijs voor de effectiviteit van een interventie, en zijn er sterk empirische aanwijzingen hiervoor aanwezig op basis van experimenteel onderzoek.

Op elk volgend niveau kan men met meer graden van zekerheid inzicht verkrijgen in de causale relatie tussen de interventie en de uitkomsten. Bij de meeste databanken overheerst de overtuiging dat er pas van effectiviteit gesproken kan worden als er in het onderzoek een vergelijkingsgroep aanwezig is. De auteurs van het huidige artikel vinden dat onwenselijk, omdat de meeste interventies die in de praktijk worden uitgevoerd nog niet zulk bewijs hebben.