Wat is praktijkgestuurd effect? - Veerman - Universiteit Utrecht

H1 Wat is praktijkgestuurd effect?

Praktijkgestuurde perspectief: praktijk van de zorg is de plaats waar de zoektocht naar effecten begint en eindigt, wetenschappelijk onderzoek is de weg om die zoektocht mee te helpen vormgeven.

Zorgaanbieders: moeten hulp bieden die verantwoord kan worden vanuit het oogpunt van effectiviteit en efficiëntie.

Ministerie: zal in de toekomst alleen de effectieve of veelbelovende interventies subsidiëren.

Praktijkperspectief: interventie wordt als effectief gezien als de gestelde doelen worden gerealiseerd en de cliënten tevreden zijn.

Strikt wetenschappelijk perspectief: interventie is pas effectief als is aangetoond dat er geen andere factoren in het spel zijn die het effect ook hadden kunnen veroorzaken.

Methodegestuurde aanpak: tegenovergestelde van een praktijkgestuurde aanpak, focus sterk gericht op de realisering van methodologische eisen waar het ideale effectonderzoek aan moet voldoen.

 Praktijkgestuurd effectonderzoek: type studie aanpassen aan de eisen van de praktijk.

Voorbeelden interventies waarvan uit onderzoek is gebleken dat zij effectief zijn:

• Systematische desensitisatie
• Cognitieve Gedragstherapie
• Oudertraining (PMT)
• Therapeutische aanpakken in de pleegzorg
• Intensieve Pedagogische Thuiszorg
• Multisysteem Therapie

Dit lijkt goed nieuws, maar:

• Het aantal onderzochte interventies is maar een fractie van wat gewoonlijk wordt aangeboden.
• Het geringe aantal interventies dat wel onderzocht is, bestaat ook nog eens voor het grootste deel uit interventies die in de praktijk van de jeugdzorg nauwelijks voorkomen.
• De weinige wel in de praktijk van de zorg uitgevoerde experimentele onderzoeken laten slechts kleine tot matige effecten zien.
• Veel interventies die in de praktijk van de jeugdzorg worden uitgevoerd, zijn onvoldoende geëxpliciteerd om aan een goed effectonderzoek te onderwerpen.

Manieren om meer kennis over de effectiviteit van de jeugdzorg te krijgen:

• Het top down implementeren van de interventies waarvan uit onderzoek is gebleken dat zij effectief zijn (evidence-based practice). Dit impliceert een transport van onderzoeksinterventies vanuit het wetenschappelijke kader naar de klinische praktijk en onderzoek naar het welslagen van de implementatie in deze praktijk.
  • Literatuur over effectonderzoek beveelt deze weg aan.
  • Methodegestuurde benadering: de realisering van eisen waar het effectonderzoek aan moet voldoen staan voorop.
  • Definitie van effect: het verschil tussen de experimentele en de controlegroep aan het eind van de interventie.
• Het bottom-up onderzoeken van interventies die in de dagelijkse praktijk worden uitgevoerd (practice-based evidence).

Definitie van praktijkgestuurd onderzoek van Hermanns: ‘’Onder praktijkgestuurd effectonderzoek verstaan we onderzoek waarin onderzoekers en behandelingsfunctionarissen gezamenlijk optrekken, met het doel informatie te verzamelen waarmee het effect van het praktisch handelen van een individuele behandelingsfunctionaris, een groep behandelingsfunctionarissen, een instelling of groep van instellingen nader verhelderd en getoetst wordt, waardoor vervolgens het werk van de betrokken behandelfunctionarissen of instellingen verbetert en tevens ten opzicht van buitenstanders gelegitimeerd kan worden.’’

Drie kenmerken van praktijkgestuurd effectonderzoek worden gehaald:

• Aansluiting: onderzoek naar het effect van interventies moet aansluiten bij het ontwikkelingsniveau van die interventies
  • Ontwikkelingsniveau: de mate waarin de te onderzoeken interventie een te onderscheiden ‘ding’ is: in hoeverre is hij te omschrijven, onderbouwen en over te dragen?
• Inbedding: onderzoek naar het effect van interventies moet procedureel ingebed zijn in de uitvoering van de interventie
  
  • Gebruik van onderzoeksinstrumenten hoort deel uit te maken van het hulpverlenend handelen.
• Benutting: onderzoek naar het effect van interventies moet niet in de bureaulade blijven liggen, maar de verzamelde gegevens moeten benut worden

Effectladder: praktijkgestuurd effectonderzoek kent verschillende niveaus van zekerheid, die elk ook een bepaalde definitie van effect impliceren > Op deze manier kan de zorgpraktijk zich via het leveren van practice-based evidence gaandeweg ontwikkelen tot een evidence-based practice.

Niveau 1: specificeren onderdelen interventie

• Het doel van de interventie
• De doelgroep van de interventie
• De aanpak
• De randvoorwaarden

Als helder is waar de interventie precies uit bestaat kan beoordeeld worden of dit goede dingen zijn. Hoe duidelijker de interventie in een stappenplan of handleiding uitgelegd kan worden, hoe meer potentie de interventie in zich heeft om effectief te zijn. Het soort onderzoek wat op dit niveau wordt gebruikt is vooral descriptief.

Niveau 2: theoretisch onderbouwen werking interventie

Op dit niveau wordt gekeken hoe het inzetten van de bedoelde interventie de gewenste uitkomst bij de beoogde doelgroep wordt bereikt. Hiermee wordt een interventietheorie geëxpliciteerd die intern een rationale en extern een legitimatie voor het uitvoeren van een interventie geeft. Het formuleren van een goede interventietheorie maakt een interventie veelbelovend.

Niveau 3: het aantonen van gewenste veranderingen bij een interventie

Op dit niveau wordt gekeken of de interventie ook zo wordt uitgevoerd zoals hij bedoeld was. Ook kijkt men er naar of de gewenste uitkomsten zijn behaald en de beoogde doelgroep wordt bereikt. Om dit te kunnen bereiken moet men bedenken welke kenmerken van de doelgroep, interventie en uitkomsten gemeten moeten worden en met welke instrumenten dat gedaan moet worden. Door te gaan meten worden deze concepten (en daarmee de interventietheorie) geoperationaliseerd en worden gegevens verzameld die de houdbaarheid van de theorie mogelijk ondersteunen en zodoende het effectbewijs versterken.

Niveau 4: het aantonen van de causaliteit van een interventie

Op dit niveau moet de causaliteit van de interventie aangetoond worden. Causaliteit impliceert een oorzakelijk verband, een bewijs dat de interventie en niet iets anders tot dit resultaat heeft geleid. Om dit te kunnen bewijzen moet er een vergelijking worden gemaakt met een controlegroep.

Op het eerste niveau gaat het om de specificatie van de inhoud en de context. Het tweede niveau wordt bereikt als men een interventie met behulp van wetenschappelijke en/of klinische inzichten theoretisch weet te onderbouwen. Vanaf het derde niveau wordt er empirische bewijskracht aangevoerd voor de effectiviteit van de interventie. Op het vierde niveau worden de empirisch vastgestelde uitkomsten causaal gerelateerd aan de interventie. Het is van belang dat het onderzoek aansluit bij het niveau van de interventie die het onderwerp is van het onderzoek (aansluitingsprincipe), dat het onderzoek deel uit gaat maken van de zorgpraktijk (inbeddingsprincipe), en dat men met de resultaten van onderzoek wat gaat doen (benuttingsprincipe).

Effectonderzoek dat aan deze principes voldoet wordt praktijkgestuurd effectonderzoek genoemd. Het is niet onaannemelijk dat alleen al het doen van onderzoek naar de effectiviteit van de zorg diezelfde zorg ten goede komt.

Effectiviteit is geen ‘alles of niets’ begrip, maar er zijn graden van effectiviteit te onderscheiden die de evidentie steeds overtuigender maken.

H2 Op weg naar veelbelovend

Een interventie heet ‘Potentieel’ als er een goede beschrijving van de belangrijkste elementen op tafel ligt. Er is sprake van een ‘Veelbelovende’ interventie als deze theoretisch goed is onderbouwd. Als er effectonderzoek is gedaan, kan de interventie als ‘Doeltreffend’ of ‘Werkzaam’ worden aangeduid.

Basiselementen van een interventie met potentie

• Naam van de interventie
• Doel van de interventie
• Doelgroep van de interventie
• Omschrijving van de aanpak
• Randvoorwaarden voor toepassing
• Uitvoerende organisaties
• Overeenkomsten met andere interventies
• Bronvermelding

Doelen moeten worden geformuleerd in eindtermen. De doelen moeten SMART geformuleerd worden: (maak de hoofddoelen zo MART mogelijk, de subdoelen zetten daar de S voor).

• Specifiek: ze hebben betrekking op goed afgebakende vaardigheden
• Meetbaar: mate waarin doel bereikt wordt moet meetbaar zijn
• Aanvaardbaar: het doel wordt door de meeste uitvoerders van de interventies en door cliënten onderschreven
• Realistisch: doel is haalbaar gegeven de inhoud van de interventie
• Tijdgebonden: aangegeven is wanneer doel moet zijn behaald

Doelgroep van de interventie: voor wie de interventie vooral geschikt zal zijn en voor wie niet. Het is gebruikelijk om de doelgroep weer te geven in indicaties (welke typische kenmerken heeft doelgroep) en contra-indicaties (welke kenmerken sluiten cliënten uit van doelgroep).

Aanpak:

• Beschrijving van de methodiek: uitvoeringseisen en kwaliteitsbewaking, belangrijkste kenmerken van het risico/probleem zijn waarop de interventie is gericht, welke mechanismen en factoren risico/probleem veroorzaken, in stand houden, verergeren of juist verminderen.
  • En: beschrijving activiteiten, duur, fasering, beschikbaarheid en locatie.
• Uitvoeringseisen: er wordt een beschrijving gegeven van de specifieke eisen t.a.v. de opleiding en de supervisie van uitvoerend werkers.

Context/Overige (organisatorische) randvoorwaarden: uitvoerende organisaties en overeenkomsten met andere interventies, vermelden van dit soort dwarsverbindingen legt ook verband met gemeenschappelijke kennis over toepassing, effectiviteit en beperkingen

Bronvermeldingen: buitenstaanders hebben de mogelijkheid zelf de literatuur te raadplegen

Stap naar veelbelovendheid

Goede uitleg van het waarom leidt tot het predicaat veelbelovend, met een helder betoog is aannemelijk gemaakt dat de interventie effectief zou kunnen zijn. Bij dat betoog zijn twee zaken van belang: een goede theorie en ondersteunend onderzoek.

Aanpak: theoretische onderbouwing (hoe, wat, waarom). De theorie moet aannemelijk maken dat de interventie effectief is. Expliciete theorie over de belangrijkste kenmerken van het risico of het probleem waarop de interventie is gericht, de met het probleem samenhangende mechanismen en factoren en de daarop gerichte activiteiten van de interventie.

Een goede theorie over een interventie biedt inzicht in twee zaken:

1. de mechanismen en factoren die in het spel zijn (de ontstaanstheorie)
2. de werkzame ingrediënten van de interventie (impact theorie): hoe denkt men de beïnvloeding te plegen, welke interventievorm is daarvoor adequaat?

Onderzoek:

• Onderzoek dat directe aanwijzingen voor de effectiviteit levert: dit zijn resultaten uit studies die betrekking hebben op precies die interventie zoals die hier beschreven is.
• Indirect bewijs
  
  • Beschrijving type en resultaten buitenlands effectonderzoek (indirect bewijs)
  • Beschrijving type en resultaten Nederlands onderzoek naar soortgelijke interventie.

Directe aanwijzingen voor effectiviteit zijn een vereiste om een interventie op het niveau van doeltreffend of werkzaam te mogen plaatsen. Indirecte bewijsvoering kan van nut zijn om de geloofwaardigheid van een onderbouwing op het niveau van veelbelovend te versterken.

Orde in een kluwen van factoren

Orde scheppen in de verschillende risicofactoren wordt de ‘ontstaanstheorie’ van een risico of probleem genoemd. In deze theorie is aangegeven wat de belangrijkste factoren en mechanismen zijn die in het spel zijn. Vervolgens wordt de ontstaanstheorie omgezet in een ‘behandelingstheorie’: geeft aan waar de aangrijpingspunten liggen voor de interventie en hoe die aangrijpingspunten aangesproken kunnen worden.

Beïnvloedbare en niet-beïnvloedbare mechanismen en factoren

• Beïnvloedbare: risico-, oorzakelijke, instandhoudende of versterkende processen en factoren die in de interventie gebruikt kunnen worden om het probleem aan te pakken, omdat ze door de interventie veranderbaar of manipuleerbaar zijn. Worden ‘dynamische factoren’ of ‘mediatoren’ genoemd.
• Niet-beïnvloedbare: “ processen en factoren die niet via de interventie beïnvloedbaar zijn, maar die er wel voor zorgen dat de interventie bij de aanwezigheid van deze factoren gewoonlijk succesvoller of juist minder succesvol verloopt. ‘Moderatoren’.

De focus ligt altijd eerst op de hulpvraag. Deze bepaalt wat er moet gebeuren en dus het uiteindelijke doel van de interventie. Specifieke doelen kunnen betrekking hebben op de mechanismen en factoren die het probleem van de doelgroep veroorzaken, instandhouden, versterken of juist verminderen of die de gewenste situatie helpen bereiken. De doelen geven verantwoording van war belangrijk is om aan te pakken en soms ook in welke volgorde dat moet gebeuren. Doelen kunnen op verschillende manier samenhangen:

1. Als de interventie onvoldoende berekend is op de werking van niet-beïnvloedbare of niet-benutte mechanismen en factoren, dan is de kans groot dat het uiteindelijke effect teleurstelt.
2. Eindresultaat: effect interventie beïnvloede factoren – werking niet-beïnvloede factoren
   
   1. Hoe sterker de werking van de niet-beïnvloedbare factoren, hoe groter het effect van de interventie moet zijn op de beïnvloedbare factoren, wil er een goed eindresultaat volgen.
3. De aanwezigheid van bepaalde factoren kan een reden zijn om een interventie niet bij een cliënt toe te passen.
4. Algemeen (non-specifiek) werkzame ingrediënten zijn onderdelen van een interventie die tot het resultaat bijdragen ongeacht de soort behandeling en doelgroep.
   
   1. Aansluiting bij de motivatie van de cliënt
   2. Goede kwaliteit van de relatie cliënt – behandelaar
   3. Een goede fit van het probleem en de hulpvraag enerzijds en de specifieke invulling van de interventie anderzijds
   4. Goede structurering van de interventie
   5. Uitvoering van de interventie zoals deze uitgevoerd hoort te worden
   6. Professionaliteit
   7. Goede werkomstandigheden van de behandelaar

• Specifiek werkzame ingrediënten zijn de werkzame elementen die alleen gelden voor bepaalde typen interventies, in de context van bepaalde doelen en voor bepaalde doelgroepen.

De algemeen werkzame factoren zijn de basis van een goede hulpverlening. Daarbovenop moet helder zijn welke specifiek werkzame ingrediënten in de interventie zitten. De keuze van de specifiek werkzame ingrediënten is niet vanzelfsprekend, maar afhankelijk van het type probleem dat aan de orde is en de beïnvloedbare mechanismen en factoren die bij de jeugdigen in de doelgroep het aangrijpingspunt vormen voor interventie.

H3 Een kwestie van bewijzen

Bij hulpverlening wordt er van buitenaf ingegrepen in een proces dat zich in ongewenste of ongunstige richting ontwikkelt of dreigt te ontwikkelen. Hulpverlening draait om verandering in de zin van:

• verbetering
• oplossen van onbevredigende situaties
• stopzetten en ombuigen van negatieve ontwikkelingen,
• bevorderen van gewenst gedrag
• versterking van aanwezige krachten

Van oudsher hebben de experimentele onderzoeksmethoden van de natuurwetenschappen het oorzaak-gevolgdenken in de gedragswetenschappen sterk beïnvloed. Causaliteit had daarin een voornamelijk mechanistische betekenis. Inmiddels heeft dit denken plaats gemaakt voor meer genuanceerde en dynamische opvattingen over causaliteit, opvattingen die recht doen aan de grilligheid en de weerbarstigheid van de sociale werkelijkheid.

Kenmerkend voor het hedendaags denken over causaliteit:

• Degene die het effect nastreeft probeert door middel van de interventie, weloverwogen en doelbewust bepaalde gebeurtenissen en processen te beïnvloeden en te sturen. Zijn interventie is gebaseerd op specifieke verwachtingen over de causale relatie tussen zijn ingreep en de gevolgen daarvan.
• Multicausaal: de belangstelling voor het effect gaat verder dan één onafhankelijke variabele (de interventie) die de afhankelijke variabele (het effect) beïnvloed.
• Er wordt expliciet rekening gehouden met de context waarbinnen het onderzoek naar causale verbanden plaatsvindt (het causaal veld).
• Causaliteit heeft een probabilistische betekenis: uitspraken over de relatie tussen oorzaak en gevolg worden gedaan in termen van waarschijnlijkheid en voorwaardelijkheid.

Causale relatie is op te vatten als:

• Een weloverwogen en doelbewuste interventie (onafhankelijke variabele) die,
• met een zekere waarschijnlijkheid een bepaald effect op een afhankelijke variabele produceert, waarbij
• de context waarin de beïnvloeding wordt onderzocht exact gedefinieerd is (causaal veld), en waarbij
• nadrukkelijk rekening wordt gehouden met andere relevante variabelen die in het spel zijn.

Meten: gestandaardiseerde en gesystematiseerde manier van observeren, waarbij de mate waarin het geobserveerde kenmerk of eigenschap zich openbaart, wordt uitgedrukt in een getalsmatige waarde op een indicator (een variabele)

Indicatoren: maken de gewenste uitkomsten zichtbaar of observeerbaar

Betrouwbaar meetinstrument: laat bij herhaald gebruik onder dezelfde omstandigheden telkens dezelfde meetwaarden zien met betrekking tot hetzelfde aspect of kenmerk

Meten van doelrealisatie: vereist dat per jeugdige wordt geregistreerd welke doelen er zijn gesteld en in hoeverre deze zijn bereikt > 0 (onveranderde situatie), 1 (situatie verbeterd) en 2 (doel bereikt) geoperationaliseerd in termen van gedrag, cognities, gevoelens of situaties

Interne validiteit: geldigheid van de conclusies die in het onderzoek worden getrokken over de relatie tussen interventie en effect staat centraal

Externe validiteit: generaliseerbaarheid van onderzoeksbevindingen

Als de interne validiteit van een onderzoek onvoldoende is (bijv. bij onbetrouwbare meetinstrumenten), dan is het aannemelijker dat de gemeten effecten moeten worden toegeschreven aan andere factoren (storende factoren) dan de interventie, bijv.:

• Geschiedenis
• Rijping
• Testgewenning
• Instrumentatie
• Statistische regressie (bijv. plafond-effect)
• Selectieve uitval
• Cliëntselectie
• Behandelaarselectie

Hello-goodbye effect: cliënten geven zichzelf aan begin hoge scores om te laten zien dat problemen heftig zijn en aan eind lage scores omdat ze hulpverlener niet willen teleurstellen

Interventietheorie: legt een consistente, logische en onderbouwde verbinding tussen het te behandelen probleem en de factoren die dat in stand houden enerzijds, en anderzijds de activiteiten die hierin verandering zouden moeten brengen en de resultaten die daarvan, op korte en langere termijn, het gevolg zouden moeten zijn

• Hiermee is goed te bepalen met welke factoren men bij de opzet van een onderzoek rekening moet houden.

Factoren die de interne validiteit van het onderzoek bedreigen zijn door middel van twee methoden onder controle te brengen:

• Designcontrole (vooraf): expliciet rekening houden met de invloed van een aantal bekende storende factoren. De onderzoeker schept zodanige onderzoeksconditie dat de invloed van deze variabelen op de uitkomsten zoveel mogelijk wordt voorkomen of geneutraliseerd.
• Statistische controle (achteraf): in de fase waarin de onderzoeksgegevens worden geanalyseerd, wordt de invloed van storende variabelen gecorrigeerd.

Onderzoeksdesign: bepaald voor grote mate de mate van interne validiteit. Er kan ook meer zekerheid verkregen worden door het onderzoek te herhalen in een andere context. De interventie zou dan identieke resultaten moeten geven. Het experimenteel design (RCT): biedt beste waarborgen voor interne validiteit, deelnemers aan het onderzoek willekeurig toegewezen aan één van in totaal twee groepen. De experimentele groep ontvangt de interventie waarvan men het effect wil vaststellen. De deelnemers zijn, als het kan, onwetend over de onderzoeksgroep waaraan ze zijn toegewezen. Veranderingen die tussen de meetmomenten plaatsvinden worden exclusief toegeschreven aan de interventie.

Het quasi-experimenteel design: deelnemers worden niet willekeurig aan de onderscheiden experimentele condities toegewezen

Non-experimentele designs: controle- of vergelijkingsgroep ontbreekt

Het pre-experimenteel design

Reynolds heeft een werkwijze uitgewerkt om de interne validiteit te beoordelen aan de hand van zes criteria. Naarmate een onderzoek aan meer van deze criteria voldoet, wordt het waarschijnlijker dat de relatie tussen interventie en effect een causale is.

• Consistentie van de relatie: als een bepaalde interventie onder uiteenlopende omstandigheden een consistent patroon van resultaten laat zien, dan mogen we hieruit concluderen dat deze interventie effect heeft.
• Volgorde van gebeurtenissen (in tijd): onafhankelijke variabele komt voor de afhankelijke variabele.
• Statistische relatie: statistisch aantoonbare relatie tussen uitvoering interventie en uitkomsten van ingreep.
• Dosis-respons relatie: hogere dosis vertaalt zich in een gunstiger respons.
• Specificiteit van de relatie: precieze formulering (in interventietheorie) van de veranderingen die als gevolg van de interventie worden verwacht op specifieke gebieden.
• Samenhangend patroon van bevindingen (coherentie): passen de onderzoeksbevindingen bij de interventietheorie? Dit criterium kijkt of onderzoeksbevindingen passen op interventietheorie (goodness of fit).

Opvattingen over nut en noodzaak van het onderzoek bepalen voor een belangrijk deel hoeveel men wil investeren in het onderzoek. Experimenteel onderzoek heeft een grote potentiële bewijskracht, maar heeft als bezwaar dat het een groot beslag legt op mensen en middelen. Ook inhoudelijk zijn er twee bezwaren:

• Ethische overwegingen
• Het realiseren van een zo hoog mogelijke interne validiteit gaat vaak ten koste van de generaliseerbaarheid. Dit wordt ook wel het maxmincon-principe genoemd: het maximaliseren van de effecten door het minimaliseren van storende factoren en het controleren van de interventie.