Samenvatting: Overige teksten effectieve interventies

Deze samenvatting is gebaseerd op het studiejaar 2013-2014.

A. Vermande en Bodden. Interventies en onderzoek naar interventies

Niet voor alle interventies is onderzocht of ze ook helpen, hoewel daar vaak wel van uit gegaan wordt. Echter, onderzoek naar effectiviteit van interventies is lastig. Anderzijds is het uitvoeren van interventies die niet zijn onderzocht risicovol.

De letterlijke vertaling van interveniëren is ‘tussenkomen’. Interventies zijn ten eerste doelgericht. Het doel hierbij is de psychische, sociale en/of cognitieve ontwikkeling van de doelgroep te verbeteren en het voorkomen van het ontstaan van problemen. Ten tweede zijn interventies speciaal; ze horen niet tot de standaard activiteiten van kinderen. Ten derde zijn interventies een vorm van een planmatig project of programma. De doelen zijn nauwkeurig omschreven en kunnen geëvalueerd worden. Ook zijn de activiteiten en randvoorwaarden om de doelen te bereiken goed gedefinieerd, en zijn de activiteiten afgebakend en mogelijk gefaseerd.

Interventies kunnen zowel preventief (promotie en preventie) als behandelend (behandeling en voortgezette zorg) ingezet worden. De verschillende vormen van interventie vormen een continuüm van zorg. De eerste vorm van interventie is promotie, waarbij de versterking van positieve factoren centraal staat. Promotie is gericht op de algemene bevolking. De tweede vorm is preventie, wat opgedeeld kan worden in universele, selectieve en geïndiceerde preventie. Universele preventie is gericht op de algemene bevolking, of een deel daarvan zonder verhoogd risico. De interventie is wenselijk voor iedereen. Voorbeelden zijn de campagnes van SIRE. Selectieve preventie is gericht op groepen die een hoog risico hebben, maar nog (bijna) geen problemen of klachten vertonen. De identificatie van deze risicogroepen is niet gebaseerd op screening, maar op bepaalde risicovolle persoonlijkheidskenmerken (zoals middelengebruik bij ouders). Geïndiceerde preventie is bedoeld voor personen die niet voldoen aan de diagnostische criteria voor een psychische stoornis, maar wel een aantal symptomen hebben. Effectieve promotie en preventie is belangrijk. Enerzijds omdat promotie en preventie problemen kunnen voorkomen, anderzijds omdat zij de vraag naar behandeling en voortgezette zorg verminderen.

De eerste vorm van behandelende interventies is behandeling. Behandeling bestaat uit twee delen; identificatie en reguliere behandeling. Bij identificatie gaat het om het vaststellen van stoornissen of problemen bij mensen of in groepen aan de hand van screening en diagnostiek. Reguliere behandeling is de toepassing van een behandeling bij mensen of groepen bij wie een stoornis of probleem is vastgesteld. De tweede vorm van behandelende interventies is voortgezette zorg. Hieronder vallen langdurige behandeling en nazorg. Doelen hierbij zijn het verhogen van de kwaliteit van leven en vermindering van negatieve gevolgen van de stoornis, voor de persoon en zijn of haar naaste omgeving. Langdurige behandeling is aanvullende behandeling. Hierbij wordt als doel gesteld om de reguliere behandeling te versterken of uit te breiden. Nazorg kan uit verschillende diensten bestaan, waarbij rehabilitatie voorop staat. De doel van rehabilitatie is het verbeteren van het sociale en schoolse of beroepsmatige functioneren van personen.

Een interventie die behandelend bedoeld was, kan ook preventief werken voor andere probleemgebieden. Bijvoorbeeld, de interventie Minder boos en opstandig is gericht op agressief en oppositioneel gedrag in de kindertijd, maar werkt preventief tegen middelengebruik in de adolescentie.

Doordat niet bij alle interventies effectonderzoek is uitgevoerd, is soms onbekend hoe de uitwerking van interventies zal zijn. Interventies kunnen mogelijk voor toename van problemen zorgen. In een groep jongeren die het risico lopen delinquent te worden, kan (beginnende) delinquentie beloond worden door positieve aandacht van groepsleden. Door deze positieve bekrachtiging gaan de jongens meer delinquentie vertonen. Echter, ook individuele interventies kunnen negatieve effecten hebben.

Sommige interventies hebben zowel geen negatief, als geen positief effect. Een interventie kost geld, tijd, moeite en menskracht. Ook heeft deelname aan een ineffectieve interventie een effect op deelnemers. Gedacht kan worden aan demoralisatie, een gevoel van hopeloosheid en een verminderde bereidheid om in de toekomst hulp te zoeken en aanvaarden. In zekere zin is er dan schade van de ineffectieve interventie.

Effectonderzoek geeft antwoord op de vijf W’s. Allereerst Wat: waaruit bestaat de interventie, theoretisch en praktisch? Ten tweede Werkt: welke gewenste en ongewenste effecten heeft de interventie voor wie? Ten derde Wanneer: onder welke omstandigheden (in welke vorm van interventie; individueel, in de groep of een combinatie) treden die effecten het sterkst op? Ten vierde voor Wie: bij welke deelnemers treden de effecten (het sterkst) op? En ten vijfde Waarom: welke mechanismen veranderen door de interventie? Hierbij gaat het om een theoretische verantwoording betreffende risicofactoren en beschermende factoren.

Waaruit bestaat de interventie?

Een interventie moet goed omschreven en onderbouwd zijn. Het moet duidelijk zijn voor welke problemen de interventie bedoeld is. Ook moet de doelgroep specifiek beschreven zijn. De werkwijze of methode van de interventie moet ook duidelijk beschreven zijn. Hierbij kan gedacht worden aan de volgorde, hoeveelheid, duur en intensiteit van de activiteiten. Ook de benodigdheden in mankracht en materialen moet omschreven zijn. Een interventie moet ook praktisch toepasbaar zijn. Dit houdt in dat de interventie makkelijk over te dragen is, zodat hulpverleners de interventie kunnen uitvoeren. Ook moeten de randvoorwaarden duidelijk zijn. Aan de randvoorwaarden moet voldaan worden, wil de interventie een kans van slagen hebben. Ten slotte moet een interventie flexibel zijn, zodat hulpverleners in kunnen spelen op dynamische situaties.

Interventies moeten gebaseerd zijn op duidelijk beschreven modellen voor het ontstaan en perseveren van de problemen waarop de interventies zijn gericht. Als de afstemming tussen de interventie en het probleem niet voldoende is, bestaat de kans dat de interventie geen effect heeft. De modellen zijn gebaseerd op een theoretisch kader of een analyse van protectieve – en risicofactoren. De onderbouwingseis sluit niet uit dat sommige interventies in de praktijk ontstaan en daar ook onderzocht worden.

Ook het effectonderzoek moet aan bepaalde voorwaarden voldoen. Zo is er de eis voor interne validiteit. Er is sprake van interne validiteit wanneer de interventie de eventuele verandering bewerkstelligt. Onderzoeksdesigns die hierbij een rol spelen zijn het quasi-experimentele design en de ‘randomized controlled trial’. In het quasi-experimentele design wordt de interventiegroep vergeleken met een controlegroep. De controlegroep kan bestaan uit kinderen die niet mee doen aan de interventie, een alternatieve interventie volgen, een placebo krijgen of op de wachtlijst staan. Het gebruik van een controlegroep verhoogt de interne validiteit. Een gevaar voor de interne validiteit is het bestaan van significante verschillen tussen condities. Deze kunnen voorkomen worden, door kinderen te matchen en in verschillende condities te plaatsen, zodat vergelijkbare groepen ontstaan. Een andere vorm van een quasi-experimenteel design is het leeftijdscohortdesign. Dit kan bijvoorbeeld op een school, door een groep leerlingen die de interventie gevolgd hebben te vergelijken met leerlingen van dezelfde leeftijd op dezelfde school een jaar eerder.

De voorkeur gaat echter uit naar een randomized controlled trial. Hierbij worden personen random ingedeeld in een interventiegroep en een controlegroep. Wanneer de steekproef groot genoeg is, zorgt random toewijzen voor gelijke groepen. Hierdoor heeft een randomized controlled trial de hoogste interne validiteit.

Personen die participeren in effectonderzoek ontwikkelen een grotere sensitiviteit voor problemen, en gaan daarom ook meer problemen rapporteren. Hier dient rekening mee gehouden te worden in onderzoek, aangezien hierdoor het effect lager wordt gerapporteerd. Onderzoek dient te gebeuren met gebruik van verschillende informanten.

Behandelintegriteit is de mate waarin de hulpverlener zich houdt aan de handleiding of het protocol. Bij een lage behandelintegriteit is de uitvoering van de interventie heel variabel. Een hoge behandelintegriteit betekent dat de behandeling grotendeels op dezelfde wijze plaatsvindt.

Een andere eis aan effectonderzoek is de externe validiteit. Effectonderzoek vindt vaak plaats in onderzoekssettingen. Externe validiteit houdt in dat de manier waarop de behandeling uitgevoerd wordt tijdens het effectonderzoek, hetzelfde is als de manier waarop de behandeling in de praktijk uitgevoerd wordt. Omdat dit niet altijd het geval is, is het van belang ook randomized controlled trials in te zetten om de praktijk te beoordelen.

Er wordt onderscheid gemaakt tussen efficacy en effectiveness. Wanneer het onderzoek uitgevoerd is onder gecontroleerde en geïdealiseerde condities, wordt gesproken over efficacy. Hier is een lage mate van externe validiteit, maar een hoge mate van interne validiteit. Wanneer de interventie effectiever is dan de controleconditie, is er sprake van efficacy. Wanneer het onderzoek is uitgevoerd in de klinische praktijk, is er sprake van effectiveness. Het betreft een goede representatie van de praktijk. Dit waarborgt zowel een hoge interne als externe validiteit. Wanneer blijkt dat de interventie effectiever is dan de controleconditie, wordt gesproken over effectiveness.

Wat werkt?

Om het effect van een interventie te meten, worden meerdere (typen) instrumenten en informanten gebruikt, ook wel uitkomstmaten genoemd. Er kan onderscheid gemaakt worden tussen primaire en secundaire uitkomstmaten. Primaire uitkomstmaten zijn de belangrijkste maten, waar een effect verwacht wordt. Secundaire uitkomstmaten zijn minder relevant. Deze corresponderen met de subdoelen van de interventie waar effect verwacht wordt.

In effectonderzoek wordt gebruik gemaakt van een voor- en nameting, om de effectiviteit te kunnen bepalen. Ook wordt soms een follow-up meting ingelast, waarin beoordeeld wordt of de effecten over langere tijd stand houden. Het kan zijn dat een interventie een groot korte termijneffect heeft, maar nauwelijks een lange termijneffect. Andersom kan het sleeper-effect optreden; hierbij is er nauwelijks een korte termijneffect, maar wel een lange termijneffect.

Het effect van een interventie wordt uitgedrukt als een statistisch significant verschil tussen de interventiegroep en de controlegroep bij de nameting. Wanneer een verschil statistisch significant is, is de klas klein dat het verschil op toeval berust. Ook wordt de effect size gerapporteerd, waarin beschreven wordt hoe sterk het effect is. Voor continue variabelen wordt de cohen’s d gebruikt om de effect size te beschrijven. Voor dichotome variabelen wordt de odds ratio gebruikt. Voor de odds ratio geldt dat een waarde kleiner dan 1 een ongewenst of negatief effect behelst, een waarde van 1 omhelst geen effect, en een waarde van groter dan 1 staat voor een positief effect. Er hoort een betrouwbaarheidsinterval van 95% bij de odds ratio.

Wanneer resultaten statistisch significant zijn, wil dit niet altijd zeggen dat de resultaten ook klinisch significant zijn. Het kan bijvoorbeeld zo zijn dat de problemen wel zijn afgenomen, maar nog steeds in het klinische gebied liggen. Ook kan het zijn dat er een leereffect van de voor- naar de nameting plaatsvindt. Het is daarom aan te raden om voor elke persoon een Reliable Change Index te berekenen. Deze geeft de statistisch significante verandering aan. Klinische significantie beoordeelt of de statistische veranderingen ook veranderingen in het dagelijkse leven betekenen.

Effectonderzoek kan worden opgenomen in een meta-analyse of review. In een review wordt een samenvatting gegeven van verschillende onderzoeken op basis van literatuur. In een meta-analyse worden meerdere onderzoeken opgenomen en opnieuw geanalyseerd.

Wanneer en voor wie?

Een interventie werkt niet voor iedereen hetzelfde. Het is daarom belangrijk om moderatoren op te nemen in de beschrijving van de interventie. Dit houdt in dat beschreven wordt wanneer een interventie effectief is en voor wie. Moderatoren zijn kenmerken die de sterkte en richting van de relatie tussen de interventie en uitkomst beïnvloeden.

Waarom?

De verklarende schakels tussen de interventie en de uitkomst van de behandeling, worden mediatoren genoemd. Deze geven inzicht in de manier waarop de interventie effectief is. Mediatoren kunnen vaak teruggevonden worden in de onderliggende theorie van de interventie. Meerdere meetmomenten zijn nodig om de mediatoren nauwkeurig vast te legen. Wanneer alle mediatoren vastgelegd zijn, kan de interventie aangepast worden zodat alleen de werkzame elementen overblijven.

De effectiviteit van een interventie wordt niet alleen bepaald door de mediatoren. Ook algemeen werkzame factoren spelen een rol. Hierbij kan gedacht worden aan de verwachting van de persoon of zijn tevredenheid. Het is belangrijk deze factoren ook te onderzoek in effectiviteitsonderzoek.

Kosten-baten analyse

Een interventie is, vergeleken met een andere interventie, kosteneffectief wanneer de effectiviteit groter is terwijl de uitvoering van de interventie minder kost. Ook kan het zijn dat de effectiviteit zo veel groter is, dat zelfs een duurdere interventie kosteneffectief is ten opzichte van een andere interventie.

De kosten-baten analyse kan op twee manieren uitgevoerd worden. De eerste wijze is het gebruiken van de uitkomstmaten van het effectiviteitsonderzoek. Bij de tweede manier wordt een nieuwe maat gemaakt, waarbij rekening gehouden wordt met de kwaliteit van leven. Deze maat bevat twee delen; enerzijds de gewonnen of verwachte levensjaren, anderzijds de kwaliteit van deze levensjaren. Wanneer de totale kosten en effecten van verscheidene interventies vergeleken worden, kan bepaald worden welke interventie het meest kosteneffectief is. De kosten-baten analyse is een vorm van input voor de overheid om te bepalen welke interventie geïmplementeerd zal worden.

Erkenning

De Erkenningscommissie (Jeugd)Interventies hanteert vier niveaus van erkenning, aflopend in bewijskracht. Ten eerste ‘kosteneffectief’, ten tweede ‘bewezen effectief’, ten derde ‘waarschijnlijk effectief’, en als laatste ‘theoretisch goed onderbouwd’. Wanneer de beoordeling gegeven is, wordt de interventie opgenomen in de databank effectieve jeugdinterventies van het Nederlands Jeugd Instituut (NJI).

De kwalificatie ‘kosteneffectief’ is nog niet afgegeven door de commissie, wegens gebrek aan onderzoek. De effectiviteit van een kosteneffectieve interventie is voldoende vastgesteld met kwalitatief goed onderzoek. Daarnaast is de verhouding kosten-baten bij een kosteneffectieve interventie goed. De kwalificatie bewezen effectief geeft aan dat de experimentele conditie in een interventieonderzoek hoger scoorde dan de controleconditie. Wanneer de kwalificatie waarschijnlijk effectief gegeven wordt, betekent dit dat er weinig onderzoek gedaan is naar de effectiviteit van een interventie. Echter, uit het onderzoek dat wel gedaan is, blijkt dat de experimentele conditie in het interventieonderzoek beter scoorde dan de controleconditie. Een theoretisch goed onderbouwde interventie, ten slotte, zou mogelijk kunnen werken. Er heeft echter geen onderzoek naar de effectiviteit plaatsgevonden. De interventie is wel duidelijk beschreven, theoretisch onderbouwd en praktisch toepasbaar.

Aangezien de databank niet volledig en up-to-date is, is het voor hulpverleners belangrijk om zelf een inschatting te maken met betrekking tot de effectiviteit van interventies. Een goede richtlijn hierbij is dat een hogere interne en externe validiteit een grotere bewijskracht hebben.

B. Dekovíc. Interventie effecten

Het is mogelijk dat psychosociale interventies schade toebrengen aan de te behandelen persoon. Het schadelijke effect kan inhouden dat de problemen toenemen in plaats van verminderen. Een voorbeeld hiervan is het onderzoek naar de effectiviteit van een interventie bij jongeren die het risico liepen delinquent te worden. Uit het onderzoek bleek dat de adolescenten in de experimentele conditie meer delinquent gedrag vertoonden dan adolescenten in de controleconditie. Deze effecten waren zelfs bij de follow-up, drie jaar later, zichtbaar. Het bleek dat de jongeren positief bekrachtigd werden door groepsgenoten wanneer zij vertelden over hun delinquentie.

Echter, ook individuele interventies kunnen een negatief effect hebben. Zo blijkt uit onderzoek dat justitiële bemoeienis bij jongeren gerelateerd is aan criminaliteit in de jong volwassenheid. Hierbij bleek ook dat hoe intensiever de interventie, hoe extremer de latere criminaliteit. Ook een interventie waarbij huisbezoeken afgelegd werden ter preventie van herhaling van kindermishandeling, was juist gerelateerd aan meer kindermishandeling drie jaar later.

Mede door publication bias, waarbij positieve resultaten wel gepubliceerd worden, maar negatieve resultaten niet, richt onderzoek zich voornamelijk op positieve effecten van interventies en wordt er nauwelijks onderzoek gedaan naar de eventuele negatieve effecten. Onderzoekers zijn voortdurend op zoek naar dat ‘wat werkt’. Informatie over ‘dat wat niet werkt’ wordt niet gepubliceerd, en is daarom grotendeels onbekend bij hulpverleners. Kanttekeningen kunnen ook geplaatst worden bij de analyse van data. Er is een focus op groepsgemiddelden, waarbij individuele verschillen niet zichtbaar zijn.

Er is duidelijk sprake van schade wanneer problemen verergeren na het inzetten van een interventie. Maar ook wanneer een interventie geen effect heeft, is er sprake van schade. Het uitblijvende effect van een interventie kan leiden tot demoralisatie en een gevoel van hopeloosheid bij deelnemers aan de interventie. Dit kan de bereidbaarheid voor het zoeken naar hulp verminderen. Ook is er door het inzetten van een niet-effectieve interventie sprake van een verspilling van tijd, geld, en inzet.

Hoewel er de laatste jaren in Nederland een roep is om ‘evidence-based’ handelen in de praktijk, blijkt dat er nog steeds veel geloof is in interventies waar geen effectiviteitsonderzoek naar gedaan is. Gehoopt word dat de aandacht voor mogelijk negatieve effecten van interventies hier een verandering in aan zal brengen. Het uitvoeren van effectiviteitsonderzoek is niet makkelijk en is intensief. In het effectiviteitsonderzoek moet aandacht besteed worden aan de grootte van de steekproef, de randomisatie over groepen, de integriteit van de interventie, de verschillende uitkomstmaten en follow-up. Echter, deze inspanning moet wel geleverd worden, zodat hulpverleners zekerheid hebben dat wat zij aanbieden aan kwetsbare personen, deze personen daadwerkelijk helpt en niet meer problemen geeft.

C. Van Loon, Van der Meulen, en Minnaert. De uitleg van belangrijke termen (H3)

In verschillende publicaties worden termen vaak verschillend gebruikt. Daarom zullen in dit hoofdstuk deze termen worden gedefinieerd. De termen die gedefinieerd worden, zijn: gedragswetenschappen, interventie of interventieprogramma, effectiviteit van interventies en termen die hieraan gerelateerd zijn, effectonderzoek en effect grootte.

Gedragswetenschappen

Interventies hebben over het algemeen als doel om gedrag en de beleving van gedrag van een persoon te veranderen. Vooral de beleving van gedrag staat centraal. Er is sprake van een transactioneel proces wanneer personen elkaar voortdurend beïnvloeden door middel van hun gedrag.

Gedrag kan ruim en smal gedefinieerd worden. Een ruime definitie van gedrag is bijvoorbeeld; elk, op enige manier observeerbare en instrumenteel realiseerbare, verandering van een object. Een andere definitie zou kunnen zijn: alle activiteiten van een (menselijk) wezen, die waar te nemen en te registreren zijn of tot waarneembare of registreerbare wijzigingen in een bepaalde toestand leiden. Deze definitie wordt in veel werkvelden gebruikt, en zal daarom ook als leidraad voor dit boek gelden.

Interventie of interventieprogramma

Een interventie kan bestaan in een stimuleringsprogramma, training of behandeling. De definitie van een interventie is een juist gedefinieerd en in tijd gefaseerd programma van activiteiten om te komen tot eveneens goed omschreven doelen. Een interventie wordt toegepast in hulpverleningssituaties.

Het Nederlands Jeugd Instituut spreekt van professionele methoden die theoretisch goed onderbouwd zijn en waarnaar effectonderzoek moet zijn geweest. Een interventie in de jeugdzorg is gericht op vermindering, compensatie of draagbaar maken van een probleem of risico in de ontwikkeling van een jeugdig persoon dat een gezonde ontwikkeling naar de volwassenheid (mogelijk) in de weg staat. Daarbij is de interventie gericht op een specifieke doelgroep met problemen, en wordt het geleid door een theoretisch en praktisch doordachte, doelgerichte en systematische werkwijze. De interventie kan zowel op de adolescent als op de omgeving gericht zijn, en is afgebakend in tijd, met een helder omschreven tijdsduur en frequentie.

In de gedragswetenschappen kunnen interventies ook gericht zijn op volwassenen. De definitie van interventies wijkt iets af van de definitie van interventies van het Nederlands Jeugd Instituut. De definitie uit de gedragswetenschappen stelt dat een interventie gekenmerkt wordt door goed omschreven doelen, en gericht is op het oplossen, verminderen of voorkomen van risico’s of problemen. De interventie moet aansluiten bij toepasselijke theorieën en hypothesen, is goed gedefinieerd wat betreft inhoud en doelgroep, en is in de tijd gefaseerd om doelen te bereiken. Ook zijn er vooraf geplande evaluatiemomenten met evaluatiecriteria.

Effectiviteit van interventies en gerelateerde termen

Effectiviteit van interventies wil zeggen dat de interventie werkzaam is en het vooropgestelde doel realiseert. Een multidimensionale definitie van effectiviteit plaatst het begrip op een continuüm. Hierdoor is het mogelijk om verschillende vormen en niveaus van oorzaak-gevolgrelaties te onderscheiden. Impliciete dimensies die hieraan ten grondslag liggen zijn afhankelijkheid, specificiteit en alternatieve verklaringen. Afhankelijkheid verwijst naar de mate waarin een functionele relatie tussen de afhankelijke en onafhankelijke variabele bestaat. Specificiteit refereert aan het bestaan van specifieke, identificeerbare dimensies van de interventie, die een onderscheidbare relatie met de afhankelijke variabele bezitten. Alternatieve verklaringen zijn andere factoren dan de interventie die mogelijkerwijs invloed hebben op de afhankelijke variabele. Tijdens het onderzoek moeten alternatieve verklaringen zo veel mogelijk uitgeschakeld worden. Het ideaalbeeld van de beschreven drie dimensies is een hoge specificiteit, een sterke afhankelijkheid en geen alternatieve verklaringen.

Een andere indeling van effectiviteit beschrijft een effectladder, waarin het begrip effectiviteit en het effectonderzoek aan het ontwikkelingsstadium van de interventie worden gekoppeld. In Niveau 0 (impliciet) wordt gewerkt met impliciete kennis. De interventie is nog niet duidelijk omschreven, maar wordt al wel uitgevoerd. Mogelijk is de interventie effectief, maar het is nog niet overdraagbaar naar anderen. In Niveau 1 (potentieel) is er sprake van goed beschreven interventies. De bewijskracht is descriptief, maar de interventie is goed overdraagbaar. In Niveau 2 (veelbelovend) worden hoopvolle interventie ingedeeld. Deze interventies hebben theoretische bewijskracht, doordat ze onderbouwd zijn met een goede programmatheorie. Dit is het minimale niveau om in de databank Effectieve Jeugdinterventies van het Nederlands Jeugd Instituut te worden opgenomen. In Niveau 3 (indicatief of doeltreffend) bevinden zich interventies met voorlopige bewijskracht. Er is effectonderzoek geweest, maar het is nog niet aangetoond dat het bereiken van de doelen het gevolg is van de interventie. Het hoogste niveau is Niveau 4 (werkzaam of bewezen effectief). Hierin bevinden zich interventies waarvan de gemeten verbeteringen toe te schrijven zijn aan de interventie; er is causale bewijskracht. Er is sprake van een goed omschreven, theoretisch onderbouwde (niveau 1 en 2) en in de praktijk getoetste aanpak (niveau 3), waarvan door middel van een controlegroep is aangetoond dat deze beter is dan géén of een andere interventie (niveau 4).

Een algemene definitie van effect is bijvoorbeeld de mate waarin een doel is behaald als gevolg van de interventie. Een algemene definitie van effectief is dat de interventie werkzaam is en het doel gerealiseerd.

Het resultaat van een interventie is ten eerste de wetenschappelijke rapportage; alle gegevens, feitenmateriaal en conclusies. Het resultaat kan opgedeeld worden in drie vormen. Ten eerste een lopende beschrijving van de onderzoeksuitkomst, ten tweede een beschrijving van de uitkomsten van het onderzoek in statistische termen, en ten derde een hoeveelheid tabellen en grafieken/figuren. Het resultaat van een interventie is moeilijk om nauwkeurig te definiëren. In effectonderzoek wordt de relatie tussen verschillende determinanten en verschillende veranderingen beoordeeld. Resultaat is een neutraler benaming dan effect.

Verandering is gelijk aan ontwikkeling. Ontwikkeling houdt in dat er aan de leeftijd gerelateerde veranderingen in differentiatie en integratie van functies optreden. De mate van doeltreffendheid is niet hetzelfde als de effectiviteit van een interventie. Doelen kunnen na een interventie wel gehaald zijn zonder dat de interventie hier de oorzaak voor is. Het verschil tussen doelmatigheid en effectiviteit is hetzelfde als het verschil tussen efficacy en effectiveness. Efficacy is het resultaat van nauwkeurig wetenschappelijk onderzoek, terwijl effectiveness het resultaat is van onderzoek in de praktijk.

De kosten voor een interventie betreffen niet alleen geld, maar ook benodigde tijd en middelen voor onderzoekers, beleidsmakers, overig personeel en de doelgroep. Voor elke interventie zou ook de kosteneffectiviteit berekend moeten worden. Dit is een kosten-baten analyse van de interventie. Het is dus de relatieve effectiviteit ten opzichte van de kosten. Op deze manier kan een keuze gemaakt worden tussen twee verschillende interventies met dezelfde opzet.

Effectonderzoek

Effectonderzoek is het beantwoorden van de vraag of het beoogde effect van een interventie bereikt is. Het begrip effectonderzoek wordt verschillend gebruikt.

Om verschillende typen onderzoek te benoemen, is het mogelijk een onderscheid te maken tussen onderzoekstypen op basis van het doel van het onderzoek. Hierdoor ontstaan twee typen onderzoek; fundamenteel onderzoek en praktijkgericht onderzoek. Fundamenteel onderzoek is gericht op het ontwikkelen en toetsen van theorieën voor de oplossing van kennisproblemen. Praktijkgericht onderzoek heeft als doel het ontwikkelen, proberen en evalueren van oplossingen voor problemen in de praktijk.

Onderzoek naar effect is een vorm van praktijkgericht onderzoek, omdat oplossingen voor praktijkproblemen, namelijk de interventies, worden geëvalueerd. De evaluatie van een interventie bevat verschillende aspecten. Allereerst wordt gebruik gemaakt van methoden en technieken uit de sociale wetenschappen. Ten tweede wordt een waardeoordeel uitgesproken, en wordt het feitelijk functioneren van de interventie beoordeeld. Ten derde wordt de effectiviteit van de interventie met betrekking tot de doelen beoordeeld. Het doel hiervan is het ontwikkelen van beter gebaseerde en meer rationele beslissingen over de interventie en uiteindelijk bij te dragen aan optimale hulp- en zorgverlening.

De hierboven beschreven evaluatie is een productevaluatie; hierin wordt de input, het proces en de output geëvalueerd. Vaak wordt hierbij gebruik gemaakt van kwantitatieve gegevens. Het is echter ook mogelijk een procesevaluatie uit te voeren. Hierin wordt het verloop van de interventie vergeleken met de theoretische planning. De criteria die gebruikt worden voor de procesevaluatie hoeven niet per definitie ontleend te worden aan de doelen. Wanneer dit wel zo is, leveren procesevaluaties een eerste indicatie over de effectiviteit van een interventie. Deze indicatie is van belang voor de databank Effectieve Interventies van het Nederlands Jeugd Instituut. Bij procesonderzoek wordt vaak gebruik gemaakt van kwalitatieve gegevens.

De uitkomst van productevaluatie is of de interventie wel of niet werkt. De procesevaluatie is nodig om te kunnen beoordelen waarom de interventie wel of niet werkt. Daarom is procesevaluatie een standaard aspect van effectonderzoek.

Een experiment toetst het bestaan van oorzaak-gevolg relaties door het vergelijken van de resultaten bij random toegewezen personen aan het interventieprogramma of de controleconditie. Quasi-experimenteel onderzoek wordt uitgevoerd wanneer random toewijzing aan groepen niet mogelijk is.

Het Nederlands Jeugd Instituut heeft een indeling in vijf typen effectonderzoek gemaakt. Het eerste type is het niet-experimentele kwaliteitsonderzoek. Hierin wordt de kwaliteit van de interventie onderzocht, zonder vergelijking met groepen of personen die geen interventie hebben genoten. Het tweede type is het niet-experimentele veranderingsonderzoek. Dit type onderzoek wordt veelvuldig uitgevoerd. Er vindt een voor- en een nameting plaats, waarin de verandering van personen wordt vergeleken met elkaar of een externe norm. Het derde type onderzoeken zijn casestudies, waarbij maar één persoon de behandeling krijgt. Informatie wordt verzameld voor, tijdens en na de interventie. Het vierde type onderzoek is (quasi-) experimenteel onderzoek. Hierbij wordt de interventie vergeleken met een controlegroep. Het vijfde type onderzoek zijn metastudies of meta-analyses. Hierbij worden de resultaten van verschillende vergelijkbare effectstudies kwantitatief samengevat en opnieuw geanalyseerd. Op deze manier kan een beter gefundeerde uitspraak worden gedaan over de effectiviteit van de interventie.

Alternatieve vormen van onderzoek zijn bijvoorbeeld planevaluatie en responsive evaluation. Bij planevaluatie worden de theoretische plannen geëvalueerd. Bij responsive evaluation is de evaluatie volledig gericht op de gevraagde informatie die belanghebbenden opgevraagd hebben. Deze vorm van onderzoek vermindert de wetenschappelijke objectiviteit.

Effect grootte

Het rapporteren van effect groottes wordt tegenwoordig steeds meer als standaard gezien, en vaak is het een voorwaarde voor publicatie. De effectgrootte is de gestandaardiseerde numerieke index van de grootte van het effect of een relatie, onafhankelijk van de steekproefgrootte. Doordat de effectgrootte niet afhankelijk is van de grootte van de steekproef, levert deze meer informatie op over de relevantie van de resultaten. De effectgrootte die het meest gebruikt word voor een relatie, is R-kwadraat. De meest bekende effectgrootte voor het beschrijven van effect is Cohen’s d.

Poweranalyse is belangrijk in de opzet en interpretatie van een effectstudie. Poweranalyse geeft een schatting of het mogelijk is om het effect van een interventie aan te tonen tijdens onderzoek, en een schatting van de verwachte bevindingen wanneer er geen effect is. Poweranalyse is daarom nauw verbonden met effectgrootte.

D. Van Loon, Van der Meulen, en Minnaert Het ideale effectonderzoek (H4)

Er bestaan drie cruciale vragen die bij elk effectonderzoek gesteld moeten worden. De eerste vraag is of de uitkomst van het onderzoek een invloed heeft op beslissingen die omtrent het programma gemaakt worden. Utilization-focused evaluation is een type onderzoek waarbij dit wel gebeurd. Wanneer er beslissingen genomen moeten worden over het voortzetten, aanpassen of beëindigen van een interventie, is effectonderzoek geïndiceerd. De tweede vraag is of de evaluatie tijdig plaatsvindt, zodat deze bruikbaar is. Ten derde wordt gevraagd of het programma relevant of zwaar genoeg is.

Omdat veel interventies gebaseerd zijn op werkende principes van andere interventies, is het belangrijk dat allereerst onderzocht wordt wat al bekend is, alvorens het onderzoek uitgevoerd wordt.

Een ander punt van aandacht is de Centrale Commissie Mensgeboden Onderzoek (CCMO). Er moet sprake zijn van medisch-wetenschappelijk onderzoek. Dit houdt in dat het onderzoek tot nieuwe inzichten in de wetenschap leidt. Dit is dus afhankelijk van het type interventie. Daarbij moeten deelnemers aan het onderzoek aan bepaalde handelingen onderworpen worden, of wordt hen een bepaalde gedragswijze voorgelegd. Dit is een voorwaarde waaraan praktisch altijd voldaan wordt.

Criteria voor bruikbaar effectonderzoek worden samengesteld in vijf vragen. Achtereenvolgens wat?, werkt het?, wanneer?, voor wie?, en waarom? Bij wat wordt de methode en implementatie van de interventie beschreven. Bij werkt het worden mogelijke gunstige en ongunstige effecten beschreven en geoperationaliseerd. Bij wanneer wordt beschreven bij welke omstandigheden de beoogde doelen gerealiseerd zullen worden. Bij voor wie wordt de doelgroep beschreven. En ten slotte worden bij waarom de mechanismen beschreven die veranderd zijn door de interventie.

De kenmerken van het ideale onderzoek zijn; het vaststellen van begrippen en doelen, de doelen verwerken in criteria en hypothesen, het selecteren van meetinstrumenten, het opstellen van een (experimenteel) onderzoeksdesign, het verzamelen, analyseren en interpreteren van de data, verslagleggen van het onderzoek. Deze begrippen zullen hieronder nader worden toegelicht.

Het vaststellen van begrippen en doelen

Om effectonderzoek te kunnen plannen, is een beschrijving van de kenmerken van een interventie nodig. Deze beschrijving omvat het theoretisch kader, die de basis voor de interventie vormt, een definiëring van de doelen en van de interventie zelf.

Een interventie krijgt het label theoretisch goed onderbouwd, veelbelovend of in theorie effectief wanneer uit de theorie waarop de interventie gebaseerd is, blijkt dat de interventie effectief zou kunnen zijn. In een onderzoek dat op een juiste basis bouwt, zijn alle belangrijke begrippen van een theorie met elkaar verbonden. Het is dan helder hoe de verbanden tussen de begrippen bestaan. Evaluaties zijn beter bruikbaar wanneer zij op een theorie zijn gebaseerd.

Alle aannames over de middelen en activiteiten die betrekking hebben op een interventie, en hoe deze leiden tot het effect van de interventie, worden samen een programmatheorie genoemd. Het effectonderzoek dat gebaseerd is op zo’n programmatheorie wordt ook wel theoriegestuurde evaluatie genoemd.

Het theoretische kader beschrijft een analyse van de risico- en protectieve factoren, waarmee aangegeven wordt op welk risico of probleem de interventie gericht is.

Algemeen werkzame factoren voor een interventie zijn dat de interventie doelgericht is, planmatig verloopt, goed aansluit bij de motivatie en verwachtingen van de cliënt, en uitgevoerd worden door goedgetrainde professionals die ondersteuning ontvangen.

Een systeemtheorie richt zich op de complexiteit en onderlinge afhankelijkheid tussen en binnen systemen. In de praktijk wordt dit vaak vereenvoudigd door alleen naar bepaalde aspecten in het systeem te kijken.

In het theoretische kader wordt de doelgroep helder opgenomen. Hierin staat beschreven voor welke personen de interventie wel geschikt is, en voor welke personen juist niet. Ook staat beschreven waarom bepaalde groepen risicogroepen vormen.

Bij de inventarisatie van variabelen in het interventieproces zijn drie groepen onderscheiden. Allereerst de cliënt, ten tweede de therapeut en ten derde het proces. Van deze drie groepen moeten variabelen beschreven worden. Cliëntvariabelen vergemakkelijken het beschrijven van de doelgroep. Cliëntvariabelen zijn verder onder te verdelen in variabelen die betrekking hebben op het functioneren van de cliënt, redelijk stabiele persoonlijkheidskenmerken en omgevingskenmerken. Therapeutvariabelen kunnen verder worden verdeeld in therapeutische technieken, variabelen die met de persoon van de therapeut te maken hebben, kenmerken van de omgeving van de interventie, en kenmerken van de kwaliteitsbewakingen. Voorbeelden van procesvariabelen zijn de tijd, fasering, frequentie en duur van sessies.

Doelen die aan de interventie verbonden zijn, moeten helder beschreven worden. Ook moet beschreven worden wanneer aan de doelen is voldaan. Het is aan te raden om doelen SMART (specifiek, meetbaar, acceptabel, realistisch en tijdgebonden) te formuleren.

Er bestaan drie vormen van preventie-interventies, namelijk primair, secundair en tertiair. Primaire pedagogische preventies hebben tot doel om het aantal ontwikkelingsproblemen bij kinderen en opvoedingsmoeilijkheden bij opvoeders te verminderen, door nieuwe problemen voor te zijn. Deze vorm van preventie wordt vaak gericht op de hele populatie of risicogroepen. Secundaire pedagogische preventie heeft als doel het zo vroeg mogelijk signaleren van ernstige problemen, zodat hulp geboden kan worden of doorverwijzing plaats kan vinden. Bij deze vorm van preventie wordt het aantal problemen verminderd door enerzijds de duur van de stoornis te verkorten en anderzijds de beperkingen die de stoornis impliceert, te verminderen. Tertiaire pedagogische preventies hebben als doel het verminderen van negatieve gevolgen van een stoornis.

De doelen verwerken in criteria en hypothesen

In dit deel van het effectonderzoek worden vanuit het theoretisch kader hypothesen en voorspellingen ontwikkeld. De toetsbaarheid hiervan is belangrijk. Enerzijds moeten deze meetbaar zijn, anderzijds moet zorg gedragen worden voor de nauwkeurigheid van deze voorspellingen. Wanneer een voorspelling te hoog wordt ingeschat, zal het effectonderzoek mislukken. Maar wanneer de voorspelling te laag ingeschat wordt, zal het effectonderzoek niet nauwkeurig zijn.

Het is belangrijk om vooraf keuzes te maken. Zo moeten de hypothesen van te voren duidelijk zijn, en niet na de informatieverzameling opgesteld worden. Daarbij moet de vraagstelling helder zijn, en daarmee ook leidend zijn voor de informatieverzameling. Criteriummaten worden afgeleid uit de normatieve ontwikkeling en de visie op het probleem die de individu ervaart. Criteriummaten zijn concepten die op zo’n manier geformuleerd zijn, dat het geobserveerd en gemeten kan worden. Anderzijds is een variabele een factor die verschillende waarden kan hebben.

Er bestaan verschillende voorwaarden aan criteriummaten. Ten eerste moeten deze gerelateerd zijn aan de doelen van de interventie. Ten tweede moeten deze voortvloeien uit de taken en activiteiten binnen de interventie. Ten derde moeten deze afgestemd zijn op de (sub)doelgroep. Ten vierde moeten deze acceptabel zijn voor de onderzoekers en medewerkers. Ten vijfde moeten deze consistent zijn over verschillende situaties. En ten slotte moeten deze betrouwbaar, valide, representatief en realistisch zijn.

Ook onvoorziene gevolgen van de interventie moeten onderzocht worden. Deze onvoorziene gevolgen kunnen zowel gewenst als ongewenst zijn. Zo kunnen de familiestructuren totaal veranderen na een interventie in het gezin. Ook kan het zijn dat de interventie juist het tegengestelde van het doel bewerkstelligt.

Het is belangrijk om de praktische uitvoering van de interventie streng te monitoren. Vaak bestaan er namelijk verschillen tussen de theorie en de praktijk. Dit kan de effectiviteit sterk beïnvloeden. De beschrijving van de uitvoering van de interventie is ook van belang om de interventie op een later tijdstip nogmaals uit te kunnen voeren.

Het is van groot belang dat de reacties en mate van activiteit van participanten bij te houden. Het is namelijk niet zo dat alle participanten even actief meedoen en –denken. Ook is het een misverstand om aan te nemen dat alle participanten even veel opbrengst van de interventie ervaren. Wanneer dit niet juist wordt onderzocht en gerapporteerd, kan het lijken alsof een interventie geen effect heeft gehad, terwijl in werkelijkheid de interventie mogelijk alleen effect had voor jongens.

Het selecteren van meetinstrumenten

Aan de hand van de criteriummaten en vooraf gemaakte voorspellingen kunnen de meetinstrumenten geselecteerd worden. Bij het maken van een keuze voor een meetinstrument, is de betrouwbaarheid en validiteit van het instrument van groot belang. Men moet meten wat men meten wil. Ook moet het instrument relevant zijn voor de onderzoekshypothese. Ten slotte moet het instrument aansluiten bij de doelgroep en de doelen van de interventie.

De betrouwbaarheid van het meetinstrument is de mate van consistentie, stabiliteit en nauwkeurigheid van de testuitslag. Hoe groter de betrouwbaarheid, hoe groter de kans dat dezelfde persoon dezelfde testuitslag zal krijgen bij herhaalde meting. Een betrouwbare testuitslag is onafhankelijk van toevals- of externe factoren. Er bestaan verschillende varianten van betrouwbaarheid. Ten eerste de paralleltestbetrouwbaarheid, waarbij gebruik gemaakt wordt van verschillende versies van een test om de betrouwbaarheid te meten. Ten tweede de betrouwbaarheid op basis van inter-itemrelaties, waarbij covarianties van verschillende gekoppelde items op een test geïnterpreteerd worden. Ten derde de test-hertestbetrouwbaarheid, waarbij dezelfde test nogmaals wordt afgenomen. Ten vierde de interbeoordelaarsbetrouwbaarheid, waarbij de overeenkomst in scores van verschillende beoordelaars geïnterpreteerd wordt. En ten slotte overige methoden, waarbij gebruik gemaakt wordt analytische procedures.

Validiteit is de mate waarin een test meet wat hij beoogt te meten. Inhoudsvaliditeit betreft de mate van representativiteit van de test voor de eigenschap die gemeten wordt. Dit type validiteit is niet te meten, en wordt daarom geïnterpreteerd door professionals. Om de criteriumvaliditeit vast te stellen, wordt de testuitslag vergeleken met externe variabelen waarvan zeker is dat ze de beoogde eigenschap meten. Een vorm van criteriumvaliditeit is predictieve validiteit. Predictieve validiteit is de mate waarin een test een voorspelling kan doen over gedrag dat zich buiten de testsituatie voordoet. Begripsvaliditeit betreft dat wat de test meet. Het meet de mate waarin de test meet wat het moet meten. Discriminante validiteit is de mate waarin de test groepen die onderscheiden moeten worden, ook daadwerkelijk onderscheidt. Een valide test is wel betrouwbaar, maar een betrouwbare test is niet altijd valide. Een weegschaal die standaard vijf kilo te veel aangeeft, is betrouwbaar, omdat hij bij herhaalde weging in korte tijd hetzelfde gewicht aangeeft. Echter, hij is niet valide, omdat hij niet meet wat hij zou moeten meten.

Om gekleurde resultaten tegen te gaan, is het belangrijk dat een objectieve en onafhankelijke onderzoeker de dataverzameling uitvoert. Op deze manier kunnen verwachtingen, vooroordelen en dergelijke geen invloed uitoefenen op de onderzoeksresultaten. De mate van gestructureerdheid van een instrument bepaald hoeveel de onderzoeker zelf in kan vullen. Bij een erg gestructureerd instrument liggen de context, de inhoud en het verloop van de meting van te voren vast.

Er bestaan drie methoden die voornamelijk worden gebruikt voor informatieverzameling, namelijk de test, de observatie en het interview. Een test is vaak erg gestructureerd en systematisch, met als doel het vaststellen van gedrag van personen. De uitkomst van de test zijn numerieke waarden, die vergeleken kunnen worden met een normgroep. Testen kunnen geselecteerd worden uit de databank van de COTAN. De COTAN beoordeelt testen op basis van de testconstructie, uitvoering van de handleiding en het testmateriaal, de normen, de betrouwbaarheid en de begrips- en criteriumvaliditeit. Voor participanten aan de normgroep is het belangrijk dat deze relevant, bereikbaar, representatief en divers is. Bij een normgeoriënteerde test wordt de uitslag van een persoon vergeleken met die van de normgroep. Er kan dan gebruik gemaakt worden van absolute normen, relatieve normen op basis van rangordening, relatieve normen op basis van standaardscores en relatieve normen op basis van een verhouding. Bij absolute normen wordt de ruwe score niet omgezet naar een gestandaardiseerde score. Bij relatieve normen op basis van een rangordening wordt de testscore omgezet naar een percentielscore van de normgroep. Relatieve normen uitgedrukt in standaardscores zijn de beste manier. Hierbij wordt de ruwe score omgezet naar een T-score binnen een normale verdeling. Ten slotte worden bij relatieve normen op basis van een verhouding ruwe testscores omgezet naar een bepaalde ontwikkeling, bijvoorbeeld de mentale leeftijd. Bij ipsatieve testen worden de scores niet vergeleken met een externe groep. De scores worden uitsluitend vergeleken met eerdere scores van dezelfde persoon. Bij criterium-georiënteerde testen worden uitspraken gemaakt over het verwachte gedrag van een persoon op basis van behaalde scores, zoals bijvoorbeeld bij examens.

Het uitvoeren van een observatie levert concrete en objectieve informatie op. Door het gedrag te observeren is de externe validiteit gewaarborgd en worden systematische fouten binnen het meten minder. Echter, de interpretatie van de observator speelt hierbij wel een rol. Het is zowel mogelijk om een gestructureerde observatie uit te voeren, waarbij het gedrag systematisch aan de hand van schema’s geobserveerd wordt, als om een natuurlijke of realistische observatie uit te voeren.

Er bestaan drie vormen van interviews. Ten eerste het gestandaardiseerde interview, waarbij de vragen van te voren vastliggen. Ten tweede het niet-gestandaardiseerde interview of diepte-interview, waarbij de interviewer de vragen stelt aan de hand van dat wat er door de geïnterviewde gezegd wordt. Ten derde bestaat een tussenvorm, het semigestructureerde interview. Interviews kunnen voor drie doeleinden gebruikt worden. Ten eerste als exploratieve toepassing, waarbij ideeën en hypothesen aan de hand van de uitkomst van het interview opgesteld worden. Ten tweede als het belangrijkste testinstrument binnen het onderzoek. En ten derde als toevoeging op andere methoden of als follow-up instrument.

Om na te gaan of een interventie is uitgevoerd zoals gepland, kan ook gebruik gemaakt worden van administratieve data en cliëntendossiers.

Het opstellen van een (experimenteel) onderzoeksdesign

Facetten van het evaluatiedesign zijn een set evaluatievragen, een beschrijving van de data die verzameld gaat worden en de analyses die uitgevoerd zullen worden, een schatting van de kosten en de duur van het onderzoek en een beschrijving van hoe de resultaten en conclusies gebruikt zullen worden.

Alleen met behulp van een zuiver experiment (een randomised controlled trial, RCT) kunnen definitieve uitspraken gemaakt worden over het causale effect van een interventie. Dit met de reden dat een RCT een hoge mate van interne validiteit heeft. Bij een RCT zijn er zowel voor- als nametingen en is er sprake van willekeurige toewijzing van participanten aan de experimentele en de controleconditie.

Bij de voormeting is het belangrijk dat demografische en klinische eigenschappen van participanten beschreven worden. Dit heeft te maken met het feit dat de experimentele groep en de controleconditie gelijk moeten zijn, zodat zij na de interventie vergeleken kunnen worden. Ook kan deze informatie leidend zijn voor de generaliseerbaarheid van het onderzoek. Bij een interventie die gericht is op de ontwikkeling van kinderen is het aan te raden dat er twee voormetingen plaatsvinden. Op deze manier kan de natuurlijke ontwikkeling van het kind onderscheiden worden van het effect van de interventie.

Ook het gebruik van meerdere nametingen is aan te raden. Hiermee kan beoordeeld worden of het effect van de interventie langdurig is. Ook kunnen met meerdere nametingen sleeper-effecten gemeten worden. Dit zijn effecten die pas later optreden.

Daarbij is het van belang dat er tijdens de interventie metingen plaatsvinden. Hiermee moeten eventueel storende variabelen, ongunstige gebeurtenissen, eventuele andere behandelingen, de doelgroep, subdoelengroepen en uitval, intermediaire factoren en belangrijke covariaten, onverwachte effecten en het verloop van de interventie inclusief afwijkingen van de planning gemeten worden.

Wanneer sprake is van random toewijzing aan groepen en een aselecte steekproef, kunnen resultaten uit het onderzoek gegeneraliseerd worden. Naast random toewijzing aan groepen kan ook gebruik gemaakt worden van matching bij het toewijzen aan groepen. Hierbij worden koppels gevormd die met betrekking tot bepaalde eigenschappen op elkaar lijken, waarbij één in de controleconditie komt en één in de experimentele groep. De beide groepen moeten ongeveer even groot zijn. Met behulp van statistische analyses kan berekend worden hoe groot de groepen ongeveer moeten zijn willen statistische verschillen gevonden kunnen worden. Het vinden van een juiste match is moeilijk, waardoor het niet altijd aan te raden is. Bij het dubbel-blinde design weten zowel de participanten als de onderzoekers niet in welke groep de participanten zitten. Het is aan te raden om in de controleconditie gebruik te maken van een placebo-interventie, zodat het effect van het meedoen aan een willekeurige interventie gewaarborgd is.

In het Solomon Four-Group design wordt gebruik gemaakt van vier groepen, waarbij random toewijzing plaatsvindt. Bij de experimentele groep vindt voor- en nameting plaats, en wordt de interventie uitgevoerd. In controleconditie 1 vindt alleen voor- en nameting plaats. In controleconditie 2 wordt de interventie uitgevoerd, en vindt nameting plaats. In controleconditie 3 vindt alleen nameting plaats. Met dit design kan ook het effect van de voormeting gemeten worden.

Het verzamelen, analyseren en interpreteren van de data

Bij het verzamelen van data moet rekening gehouden worden met de Ethics Code van de APA. Hiermee worden de intellectuele eigendommen van anderen waarbij sprake is van copyright, beschermd. Ook de CCMO heeft richtlijnen opgezet voor de bescherming van de participanten. Ten eerste moet de proefpersoon schriftelijk worden geïnformeerd over het onderzoek, en moet de proefpersoon schriftelijk toestemming geven voor deelname. Ten tweede moet, waar wenselijk, een verzekering afgesloten worden voor eventuele optredende schade na uitvoer van de interventie. Ten derde moet rekening gehouden worden met de eisen van de wet ten aanzien van toetsing van het onderzoek, juist wanneer het gaat om minderjarigen en wilsonbekwame volwassenen.

Het is belangrijk dat bekend is hoeveel personen geparticipeerd hebben in het onderzoek. Het is aan te raden hiervoor een flowchart te gebruiken, waarbij exact wordt genoteerd van hoeveel personen sprake was in elk onderdeel van de interventie.

Wat betreft de data-analyse is het aan te raden om allereerst een explorerende data-analyse uit te voeren. Deze kan allereerst een controlerende vorm aannemen. Er kan bijvoorbeeld voor gekozen worden om elke tiende casus nogmaals in te voeren, om de data-invoer te controleren. Ten tweede kan een explorerende data-analyse gebruikt worden om een grof overzicht te krijgen van de data, met behulp van kengetallen en figuren.

De keuze van de statistische analysetechniek is afhankelijk van de probleemstelling, de steekproef en de meetniveaus van de variabelen. De meetniveaus die de variabelen aan kunnen nemen zijn nominaal, ordinaal, interval en ratio. Het nominale meetniveau heeft alleen in naam betekenis. Er is sprake van naamgeving, geen waardegeving. Het ordinale meetniveau geeft een rangorde aan. Er is wel sprake van een natuurlijke ordening van laag naar hoog, maar het verschil tussen 1 en 2 hoeft niet even groot te zijn als het verschil tussen 3 en 4. Bij interval meetniveau hebben verschillen wel betekenis. Met de getallen zijn rekenkundige bewerkingen mogelijk. Het verschil tussen de intervallen is wel even groot, maar een waarde van 20 hoeft niet altijd het dubbele van een waarde van 10 te zijn. Bij ratio meetniveau is, naast de kenmerken van het interval meetniveau, ook sprake van een absoluut nulpunt. Ook hebben de verhoudingen op de schaal betekenis; een waarde van 20 is twee keer zo groot als een waarde van 10.

De interpretatie van de data wordt op twee manieren uitgevoerd. Ten eerste worden de resultaten van het onderzoek onderling geïnterpreteerd. Ten tweede worden de onderzoeksgegevens vergeleken met resultaten uit andere onderzoeken en de theorie. Voor de interpretatie van de data is het van belang dat de gebruikte methoden, metingen en statistiek nauwkeurig worden beoordeeld. Daarbij moeten de vooraf opgestelde aannames en alternatieve verklaringen worden onderzocht en beschreven.

Belangrijk bij de interpretatie van de gegevens is de power van een statistische toets. De power is een maat voor de kans om de nulhypothese terecht te verwerpen. De power is afhankelijk van het significantieniveau dat gekozen is door de onderzoeker (hoe kleiner de alfa, hoe lager de power), de steekproefgrootte en de effectgrootte. Om de power te vergroten kan gebruik gemaakt worden van a priori schatting. Dit vindt plaats tijdens de planning en het opstellen van het onderzoek. Om een bepaalde power te hebben, moet rekening gehouden worden met de hoeveelheid participanten. Ook kan gebruik gemaakt worden van post hoc schattingen, waarbij de schatting van de power plaatsvindt bij de interpretatie van de resultaten. Wanneer er onvoldoende rekening gehouden wordt met de grootte van de power, kunnen niet-significante resultaten van het onderzoek verkeerd geïnterpreteerd worden.

Verslagleggen van het onderzoek

Het publiceren van een onderzoek vindt over het algemeen plaats door middel van het schrijven van een wetenschappelijk artikel. De APA heeft hiervoor richtlijnen opgesteld. Hierin is bijvoorbeeld opgenomen dat het onderzoek gerepliceerd moet kunnen worden. Daarbij moeten de rechten en het welzijn van participanten beschermd worden. Ook moet een eventuele (positieve of negatieve) bias opgenomen worden in het onderzoek. Van bias is sprake wanneer de onderzoeker om welke reden dan ook belang heeft bij een bepaalde uitkomst van het onderzoek. Ten slotte is ook de al eerder genoemde bescherming van intellectuele eigendommen opgenomen in de APA. Dit houdt in dat op juiste wijze gerefereerd moet worden aan woorden en ideeën van anderen. Ook moet de volgorde van auteurs de relatieve bijdragen van de personen weerspiegelen.

Ook geeft de APA richtlijnen voor het opstellen van het format, de titel en het abstract. In de introductie van het artikel wordt het onderzoeksobject, de aanleiding voor en het doel en nut van het onderzoek beschreven. Daarbij worden de onderzoekshypothesen beschreven en onderbouwd in de inleiding. In het methodedeel worden de onderzoekspopulatie en de onderzoeksprocedure zo nauwkeurig mogelijk beschreven. In het resultatendeel worden alle relevante resultaten nauwkeurig beschreven. In de discussie worden een samenvatting, interpretatie, evaluatie en implicaties van de resultaten opgenomen. Hier wordt beoordeeld of de interventie effectief is geweest, en hoe dit verklaarbaar is. Aan het eind van het artikel worden referenties opgenomen.

E. Van Loon, Van der Meulen, en Minnaert. Alternatieve methoden (H6)

Er bestaan verschillende methoden om gevonden problemen in geanalyseerde data op te lossen of om er mee om te gaan. In dit hoofdstuk zullen deze methoden uitgewerkt worden. Problemen kunnen in verschillende fasen van het onderzoek voorkomen. Daarom zullen problemen in alle fasen van het onderzoek besproken worden. De fasen van het onderzoek zijn het vaststellen van begrippen en doelen, de doelen verwerken in criteria en hypothesen, het selecteren van meetinstrumenten, het opstellen van een (experimenteel) onderzoeksdesign, het verzamelen, analyseren en interpreteren van de data, en verslagleggen van het onderzoek.

Het vaststellen van begrippen en doelen

Bij het vaststellen van begrippen en doelen vanuit de theorie is het vaak lastig om structuur te houden. Hulpmiddelen hiervoor zijn het logic model, de evaluability assessment, de doelenhiërarchie en een paradigma voor het onderscheid van effecten.

Bij het logic model wordt gebruik gemaakt van een flowchart waarin alle centrale elementen en verwachtingen van een interventie opgenomen worden. Dit eindigt vaak in een overzicht met alle benodigdheden, activiteiten, output, kortetermijnuitkomsten, intermediaire uitkomsten en einddoelen. Ook de bereikte doelgroep en de belangrijke externe factoren kunnen hierin opgenomen worden. Contextuele factoren zijn onderverdeeld in antecedente en mediërende factoren. Antecedente contextuele factoren zijn vanaf het begin aanwezig. Mediërende contextuele factoren treden op tijdens de uitvoering van de interventie. In het logic model worden ook relaties tussen de elementen en verwachtingen opgenomen.

Het doel van evaluability assessment is het beoordelen of een interventie geëvalueerd kan worden. Als er nog inconsistenties zijn, moeten deze eerst opgelost worden voordat voortijdig evaluatieonderzoek plaatsvindt. Ook is evaluability assessment een leidraad voor de keuze voor het type onderzoek en hoe dit onderzoek opgezet zou moeten worden.

Bij de doelenhiërarchie worden de gespecificeerde doelen en verbanden tussen de doelen schematisch weergegeven. In de doelenhiërarchie worden verscheidene vormen van doelen opgenomen. Tussen deze doelen bestaan relaties, maar deze doelen leiden ook tot het uiteindelijke einddoel. Ook leidt de interventie zelf direct deels tot het einddoel. Deze relaties worden allen weergegeven in het schematische overzicht van de doelenhiërarchie. Deze relaties kunnen alleen opgenomen worden als er theoretische aanleiding tot het vermoeden van de relatie is. Hierdoor dwingt het maken van een doelenhiërarchie de onderzoeker tot het theoretisch onderbouwen van zijn onderzoek.

Er bestaan verschillende paradigma voor het onderscheiden van effecten. Een simpel paradigma is bijvoorbeeld U = f(I), waarbij U staat voor de uitkomstvariabele en I voor de interventievariabele. U varieert dan als functie (f) van I. Concreet betekent dit dat veranderingen in het gedrag van de onderzoeksparticipanten (U) gerelateerd zijn aan en veranderen als functie van de interventie (I) of worden op een andere manier beïnvloed door de interventie (I). Dit paradigma is echter niet complex genoeg om andere invloeden duidelijk te maken. Een alternatief paradigma is bijvoorbeeld (U) = f(I, N, P, A, B). Hierbij staat de I wederom voor interventie, de N voor het netwerk waarin de participant zich begeeft, de P voor de participant zelf, de A voor alternatieve variabelen die van invloed zijn, en de B voor bedreigingen voor de interne validiteit. Bij bedreigingen voor de interne validiteit kan gedacht worden aan rijping (natuurlijke ontwikkeling bij personen), geschiedenis (van de participant), testeffecten, instrumenten, statistische regressie en dergelijke. Elke onderzoeker kan zijn eigen paradigma opstellen.

Een programma-template wordt van tevoren opgesteld op basis van het uitgevoerde literatuuronderzoek. Wanneer het programma-template regelmatig wordt geactualiseerd, is het tevens een vorm van dagboek. Hiermee kan de interventie eenvoudig gerepliceerd worden. In een programma-template worden verschillende organisatorische en theoretische kenmerken van de interventie opgenomen. Ook wordt een flowchart en logic model opgenomen.

De doelen verwerken in criteria en hypothesen

Om veranderingen in gedrag te onderscheiden van alternatieve invloeden en het effect van de interventie te meten, kan naast norm-georiënteerde testen gebruik gemaakt worden van indices of change, difference scores en goal attainment scaling.

Indices of change worden gebruikt om de mate van verandering in gedrag tijdens de interventieperiode te meten. Bij indices of change worden verschilscores berekend door gestandaardiseerde scores te vergelijken. Er zijn verschillende indices of change die gebruikt kunnen worden voor onderzoek. Het is aan te raden gebruik te maken van meerdere meetmomenten, om de ontwikkeling op een juiste manier vast te kunnen stellen. Bij individuele interventies zijn kinderen hun eigen ‘controlegroep’; het effect wordt gemeten aan de verandering binnen één persoon. Het is hierbij van belang dat er meerdere voor- en nametingen zijn, om ook de natuurlijke ontwikkeling mee te nemen in het effectonderzoek. Een andere vorm van indices of change is de reliable change index. De reliable change index is het verschil in scores op de voor- en nameting voor een individu, gedeeld door de standaardmeetfout.

Het is ook mogelijk om verschilscores te berekenen zonder deze te standaardiseren. Bij deze procedure wordt er echter geen informatie gegeven over de vooruitgang van de persoon in specifieke domeinen. Bij de Goal-Attainment Scaling (GAS)-methode wordt de individuele vooruitgang wél geëvalueerd in specifieke doelen. Bij de GAS-methode wordt de daadwerkelijke uitkomst vergeleken met het vooraf opgestelde doel. De GAS-methode wordt minder vaak gebruikt, omdat er vragen zijn bij de betrouwbaarheid en validiteit. Echter, de GAS-methode is wel informatief voor hulpverleners voor het monitoren van hun eigen professionaliteit.

Het selecteren van meetinstrumenten

Door sensitiviteit en voorzichtigheid tijdens de testafname en het interpreteren van de testscore kunnen veel problemen bij het gebruik van gestandaardiseerde testen voorkomen worden. De onderzoeker kan zijn eigen professionaliteit en ervaring gebruiken om nauwkeurig te onderzoeken hoe een score ontstaan is. Ook stabiele alternatieve factoren kunnen een rol spelen in de testscore. Hierbij kan gedacht worden aan motorische of emotionele problemen, het cognitieve niveau van een kind, of taalproblemen.

Soms worden testinstrumenten aangepast voor eens specifieke doelgroep. Deze instrumenten zijn dan niet bedoeld voor algemeen gebruik, en worden ad hoc geconstrueerde instrumenten genoemd.

Een oplossing voor de problemen in vergelijkbaarheid, consistentie en betrouwbaarheid bij het uitvoeren van observaties is het uitvoeren van de observatie in een standaard of semi-gestructureerde observatie. Hierdoor ontstaat er wel een generalisatieprobleem. Vaak is observatie van het gedrag niet mogelijk, en moeten zelfrapportagemethoden gebruikt worden. Om zelfrapportage in te zetten moet een onderzoeker eerst de empirische link tussen de zelfrapportage-informatie en het actuele gedrag laten zien. Daarbij moeten eventuele schadelijke effecten van de vragenlijst voor de participanten onderzocht worden. Om de betrouwbaarheid van de informatie te verhogen is het aan te raden om meerdere informanten te raadplegen betreffende het gedrag van de persoon.

Het opstellen van een (experimenteel) onderzoeksdesign

Het omgaan met ethische problemen wordt door verschillende onderzoekers verschillend gewaardeerd. Sommige onderzoekers pleiten er voor geen enkele interventie algemeen uit te voeren waarvan het effect niet zeker is. Andere onderzoekers vinden het verspilling van tijd en energie om de ethische bezwaren te onderzoeken, terwijl er tegenwoordig veel meer belang is bij de waarde van specifieke kenmerken van programma´s. Daarbij is aangetoond dat vroegtijdige interventie over het algemeen waarde hebben. Echter, het is altijd belangrijk literatuuronderzoek uit te voeren om op basis daarvan een interventie te selecteren.

Een voormeting is om verschillende redenen van belang. Ten eerste kan met behulp van de voormeting het effect van de interventie berekend worden. Ten tweede kunnen de interventiegroep en de controleconditie vergeleken worden op specifieke kenmerken. Tenslotte draagt informatie uit de voormeting bij aan theorievorming. Echter, ook wanneer uitval optreedt is het belangrijk om de informatie uit de voortest van uitvallende participanten te onderzoeken.

Om de gelijkheid tussen groepen te bewerkstelligen kan gebruik gemaakt worden van de index propensity score (PS). Deze wordt geschat op basis van de bekende en relevante karakteristieke voor de interventie.

Het Nederlands Jeugdinstituut beoordeeld een effectstudie als normgerelateerd veranderingsonderzoek of benchmarkstudie, wanneer kenmerken van participanten voor en na de interventie gemeten worden en de uitkomsten vergeleken worden met een externe norm.

Een begrip dat relevant is hier is equipoise. Equipoise is het in balans zijn van informatie over de nuttigheid van verschillende interventies. Wanneer er sprake is van equipoise zijn de participanten en de onderzoekers ervan overtuigd dat het vermeende nut van wel of niet participeren in een interventie, gelijk is. Echter, wanneer er geen sprake is van equipoise wordt het voordeel van het random indelen in groepen ondermijnd. Ook ontstaat er een ethisch probleem. Een hieraan gerelateerd begrip is equiphase. Met equiphase wordt bedoeld dat het punt van balans geen punt is, maar een zone van onzekerheid. Participanten aan het onderzoek worden er op gewezen dat er zowel voordelen zijn bij het participeren in de interventiegroep als bij het participeren in de controleconditie. Het is echter onbekend waar het midden is.

Bij het gebruik van quasi-experimentele designs worden de praktische en ethische bezwaren, zoals hierboven beschreven, teniet gedaan. Echter, bij quasi-experimentele onderzoeken is het risico op het trekken van verkeerde conclusies groter dan bij zuivere experimenten. Anderzijds bestaat er altijd een mate van onzekerheid, ook bij zuivere experimenten.

Om de betrouwbaarheid van testuitslagen te verhogen, kunnen verschillende onderzoeksdesigns opgezet worden. Zo kunnen meerdere meetmomenten plaatsvinden. Ook kan gekozen worden voor een design waarin eerst één groep, en later de andere groep participeert in interventie. Schematisch zien de designs er als volgt uit (N = niet random ingedeeld, O = meting, X = uitvoering van interventie)

Non-equivalent control group design:

Switching-Replication
Non-Equivalent Group Design:

(Interrupted) Time-Series Design:

MultipleTime-Series Design:

In sommige onderzoeken is het niet mogelijk om een zuiver experimenteel of quasi-experimenteel onderzoek uit te voeren. In die gevallen kunnen onderzoekers gebruik maken van een detective-view. Bij een detective-view worden alle alternatieve verklaringen overwogen en daarbij wordt geprobeerd deze uit te schakelen.

Wanneer aselectie onmogelijk is, moeten onderzoekers zo veel mogelijk meetmomenten hebben en het onderzoek waar mogelijk repliceren. Hoewel dit minder betrouwbaar is dan een zuiver experimenteel design, biedt herhaalde meting wel bewijs voor de effectiviteit van een interventie.

Naast quasi-experimentele designs bestaan er ook pre-experimentele designs. Pre-experimentele designs zijn ontwerpen waarin er geen of slechts een enkele basis voor vergelijking is voor de verandering van het gedrag in de interventiegroep. Er is dan bijvoorbeeld sprake van alleen een voormeting of alleen een controlegroep. Ook is er bij pre-experimentele designs geen sprake van randomisatie. Voorbeelden van pre-experimentele designs zijn single case studies (N=1) of het one-group pretest-posttest design.

Bij single case studies wordt het gedrag van één onderzoeksobject onderzocht. Dit onderzoeksobject kan een persoon, maar ook een groep zijn. Er zijn meerdere meetmomenten, waarvan de uitslag vergeleken wordt. Een single case study maakt nauwkeurige analyse van interactieve factoren mogelijk. Door de herhaalde meting is ook de verzameling van kwantitatieve gegevens mogelijk. De single case study kan ook gebruikt worden als voormeting, als de basis voor het opstellen van hypothesen. De single case study is erg informatief voor individuele personen. In de opzet van een single case study moet een gedetailleerde beschrijving van de afhankelijke en onafhankelijke variabelen opgenomen zijn. Ook moet een formele, gestructureerde gedragsanalyse en de motivatie beschreven worden. Een veelvoorkomend design van de single case study is het ABAB design, waarbij A’s controleperioden zijn en B’s perioden waarin de interventie aangeboden wordt. Bij het gebruik van een ABAB design kan het percentage nuldata berekend worden. Het aantal momenten waarop het gedrag waarop geïntervenieerd wordt niet aanwezig is, wordt berekend ten opzichte van het aantal metingen.

Problemen bij single case studies kunnen teruggevoerd worden op twee hoofdproblemen. Ten eerste de generalisatievraag, en ten tweede het analytische proces. De generalisatievraag behelst het probleem dat wat voor de participant in de single case study heeft gewerkt, niet per definitie voor anderen werkt. De resultaten uit de single case study zijn daarom niet of moeilijk te generaliseren. Wat betreft de analytische procedures heeft de single case study geen power. Vaak wordt er geen significant resultaat gevonden in single case studies, hoewel het gedrag wel verbeterd is.

In het one-group pretest-posttest design wordt geen controlegroep opgenomen. Er is een voormeting, waarna de interventie uitgevoerd wordt, en ten slotte de nameting. Het Nederlands Jeugdinstituut beoordeeld dit type onderzoek alleen als voldoende wanneer de groep vergeleken wordt met externe normen of toetsing aan vooraf voorspelde relaties. De bedreigingen voor de interne validiteit zijn hoog.

Het gebruik van pre-experimentele designs is risicovol, omdat er weinig controle is. Sommige auteurs zijn van mening dat onderzoeker met pre-experimentele designs geen wetenschappelijke waarde hebben. Er is namelijk nauwelijks beheersing van externe factoren.

Bij een longitudinaal design is uitval een groot probleem. Echter, uitval is ook informatief. Daarom moet er een analyse uitgevoerd worden bij uitval. Facetten waaraan kan worden gedacht hierbij zijn; de attritition rate (wat is de groepsgrootte aan het eind van de studie?), de differential rate of attrition (is de attrition rate verschillend voor verschillende groepen?), de main attrition effect (bestaan er verschillen tussen de groep die uitvalt en de groep die overblijft?), de differential attrition effects (bestaat er verschil in uitval in controleconditie en interventiegroep?) en ten slotte of de uiteindelijke groepen gelijk zijn.

Hoewel uitval informatief kan zijn, is het beter om alle participanten bij de studie te houden. Er zijn verschillende manieren om dit te bewerkstelligen. Ten eerste moet de duur van het onderzoek van tevoren bekend zijn voor en geaccepteerd worden door alle betrokkenen. Ook de wijze van contact houden moet duidelijk zijn. Daarbij is het belangrijk dat nauwkeurig informatie verzameld wordt, zodat potentiële uitvallers vroegtijdig geïdentificeerd kunnen worden, waardoor zij voor uitval behoed kunnen worden. Ten slotte is het belangrijk dat de participanten gemotiveerd en geïnteresseerd blijven, mede door positieve ervaringen op te doen.

Het verzamelen, analyseren en interpreteren van de data

Tijdens het verzamelen van de data (en tijdens het hele onderzoek) moet rekening gehouden worden met de kwetsbaarheid van de doelgroep. Hiervoor is het belangrijk om elke stap die genomen wordt, te verantwoorden. Eerder werd weinig aandacht geschonken aan de mening van participanten. Tegenwoordig wordt er, door middel van empowerment, geluisterd naar de stem van de participanten. Daarbij worden zij ook in de planning en het evaluatieproces gehoord. Hiervoor moeten de onderzoekers adequaat opgeleid zijn en begeleid worden, de instrumenten nauwkeurig onderzocht zijn en eventuele negatieve gevolgen voorkomen zijn.

Het huidige wetenschappelijke paradigma wordt vaak gekenmerkt door mixed-method designs, waarbij gebruik gemaakt worden van zowel kwalitatieve als kwantitatieve methoden. Op deze manier kunnen complexe, dynamische en diverse sociale relaties bestudeerd worden. Hoewel kwalitatieve informatie geen harde feiten biedt, is het essentieel in effectonderzoek. Met dit nieuwe wetenschappelijke paradigma wordt eigenlijk meer onzekerheid geaccepteerd. Voordelen aan het gebruiken van zowel kwalitatieve als kwantitatieve methoden zijn bijvoorbeeld dat de validiteit en geloofwaardigheid verhoogt, de bevindingen zijn veelzijdiger, het begrip is diepgaander en het bewustzijn ten aanzien van de normativiteit en openheid is groter. Binnen een mixed-method design kan continu gewisseld worden van kwalitatieve naar kwantitatieve dataverzameling. Het is ook mogelijk dit apart te verzamelen, en aan het eind voor de data-analyse samen te voegen.

Bij multivariaat toetsen worden verschillende analytische methoden gebruikt om onafhankelijke en afhankelijke variabelen simultaan te analyseren. Bij multivariaat toetsen is de kans op een type I-fout lager, de correlaties worden betrokken bij de test, de test heeft meer power en de verschillen tussen groepen op subtestscores worden weergegeven.

De onderzoeker moet keuzes maken ten aanzien van missing data. Er kan voor gekozen worden om alle data van de participant te verwijderen uit het dataset. Het is echter ook mogelijk de missing data mee te nemen in de analyse.

Bepaalde analysetechnieken kunnen gebruikt worden om bepaalde veranderingen te determineren. Deze verandering kan bestaan voor bepaalde typen mensen, op een bepaald tijdstip of onder bepaalde condities. Deze technieken kunnen ook invloeden van buitenaf uitsluiten van analyse. Voorbeelden van deze analysetechnieken zijn multipele regressie, structural equation modeling en covariantie-analyse. Bij multipele regressie worden de gedeelde en gescheiden invloeden van meerdere onafhankelijke variabalen op afhankelijke variabelen gemeten. Bij structural equation modeling worden directe en indirecte invloeden van onafhankelijke variabelen op elkaar en op afhankelijke variabelen gemeten. Bij covariantie-analyse wordt een analyse gemaakt van variërende variabelen in een complexe structuur.

Het gebruik van meer complexe analysetechnieken is vaak nodig, omdat een standaard ANOVA niet weergeeft of de interventie direct effect heeft gehad op de afhankelijke variabelen. Wanneer men gebruik maakt van bootstrap-procedures, wordt uitgegaan van een perfecte representatie van de steekproef voor de populatie. Verder worden er geen aannames gemaakt over de verdeling van de scores in de populatie.

Wanneer de steekproef kleiner is dan 20 participanten, is de power vaak laag. Om de power te verhogen kan gekozen worden voor het vergroten van het significantieniveau. Ook kan eenzijdig toetsen de power vergroten. Wanneer dit geen optie is, kan het significantieniveau verdeeld worden over de twee staarten van de verdeling, waarbij het grootste deel komt aan de kant die de opgestelde hypothese behelst. Door de groep homogener te maken, wordt de power ook groter.

Over het algemeen worden interventies beoordeeld op de effectiviteit. Het is echter ook mogelijk om interventies in te delen op basis van de evidentie. Dit gebeurt vooral in de medische wereld. Hierbij zijn ook verschillende maten van evidentie aan te geven. Op het eerste niveau wordt evidentie verkregen op grond van een systematisch overzicht of meta-analyse van alle belangrijke random designs. Op het tweede niveau wordt evidentie verkregen op basis van in ieder geval een zuiver experiment met een random design. Op het derde niveau wordt evidentie verkregen op basis van een quasi-experimenteel design. Ook is het mogelijk om op het derde niveau evidentie te verkrijgen op basis van intacte, willekeurige interventie- en controlegroepen of een onderbroken tijdreeksstudie met een controlegroep. Ten slotte kan op het derde niveau evidentie verkregen worden op basis van een pre-experimenteel design. Op het vierde niveau wordt evidente verkregen op basis van een case study of post-test- of pretest-posttestonderzoeken.

Verslagleggen van het onderzoek

Voor het beschrijven van het onderzoek worden door de APA suggesties gegeven. In de beschrijving kunnen details van de interventie en over de groepen opgenomen worden. Daarbij kan precies vermeld worden hoe de interventie uitgevoerd is, en door wie. Ook kan het niveau van de interventie beschreven worden, inclusief de doelgroep.

Eisen die gesteld worden aan een wetenschappelijk artikel komen niet altijd ten goede aan de leesbaarheid. In de praktijk is rapportage vaak gericht op medewerkers aan interventies, en het management van interventies. Het is de bedoeling dat de adviezen die in het artikel beschreven worden, ook daadwerkelijk worden gebruikt. Tips om dit te bewerkstelligen zijn onder andere het presenteren van de data in een aangepast en aantrekkelijke lay-out, rekening houden met de politieke en bureaucratische context van het programma, focussen op de praktijk en toepassing en het rapporteren in termen van onderbouwde aanbevelingen.

Het is gebleken dat het niet makkelijk is om een effectonderzoek op te zetten en uit te voeren. Strenge eisen aan élk effectonderzoek zijn dat het onderzoek bestaat uit een comparative group outcome design, de partipanten niet significant verschillen, elke groep bestaat uit minstens vijf participanten en dat de voor- en nametingen betrouwbaar en valide zijn.