Deze Samenvatting bij Praktijkgestuurd Onderzoek: Methoden van Praktijkonderzoek (H 3, 4, 6 t/m 9) is geschreven in 2015.

3. Manieren waarop vragen worden gesteld

Diverse vraagstellingen

Een vraagstelling in algemene zin is de manier waarop een vraag wordt gesteld. Vraagstellingen kunnen op drie manieren worden geformuleerd. Hieronder worden alle drie besproken.

Gelokaliseerde vraagstellingen

Gelokaliseerde vraagstellingen zijn vragen die alleen gericht op een specifiek lokaal onderzochte groep. Daarom zijn ze niet generaliseerbaar, alle gegevens die worden verzameld zijn alleen van die ene groep. Er is geen oorzaak en gevolg bij de onderzochte groep, maar ze zijn wel representatief voor mogelijke onderzoeksresultaten. De onderzochte personen zijn niet aselect toegewezen, omdat bij een specifieke groep zelfselectie of doorverwijzing plaatsvindt. Gelokaliseerd onderzoek is beschrijvend en makkelijk te beantwoorden.

Causale vraagstellingen

Causale vraagstellingen zijn niet gericht op een specifieke groep, je wilt een algemeen oorzaak-gevolg uitspraak doen. Het is lastig om aan te tonen dat het effect dat je hebt gevonden het gevolg is van je behandeling. Dit is op te lossen door een experimentele onderzoeksopzet. De aselecte toewijzingen en herhaalde metingen zijn belangrijk. Aselecte toewijzingen kunnen lastig zijn bij praktijkgestuurd onderzoek. Daarom zijn er quasi-experimentele onderzoeksontwerpen, deze hebben geen aselecte toewijzing, maar kunnen toch nog een causale vraagstelling beantwoorden. Belangrijk hiervan zijn: quasi-experimentele onderzoeksontwerpen met ongelijke groepen en onderzoeksontwerpen met een enkel geval.

Generaliserende vraagstellingen

Bij generaliserende vraagstelling gaat het om de externe validiteit. Dit houdt in dat je de resultaten van een onderzoek kunt generaliseren. Je hebt een aselecte steekproeftrekking of aanvullende gegevensverzameling of beide nodig. Een probleem bij generaliserend onderzoek is dat je bepaalde waarnemingen selecteert. Dit probleem wordt later nog besproken.

Specificatie van onderzochte personen

Belangrijke generalisatievragen zijn:

• Zijn de resultaten geldig voor een populatie?

• Zijn de resultaten geldig voor een andere populatie?

Onderzoekers beschrijven de groep en kijken met welke groepen hij in bepaalde opzichten vergelijkbaar is. Op een aantal kenmerken zijn groepen vergelijkbaar en dus generaliseerbaar, maar de resultaten zijn hier dan gespecificeerd. Als groepen aselect zijn toegewezen, dan zijn ze vergelijkbaar.

Steekproef uit een onbekende populatie

Het kan zijn dat groepen in geen mogelijkheid aselect toegewezen kunnen worden. Dan kunnen we uitgaan van een hypothetische populatie en een aselecte steekproeftrekking. De samenstelling van de hypothetische populatie is dezelfde met die van de onderzoeksgroep. De onderzoeksgroep wordt nauwkeurig beschreven. Tot slot worden de groepen statistisch getoetst op relevante variabelen. Als deze niet significant is, dan kan je zeggen dat beide groepen vergelijkbaar zijn. Er is een kans dat ze in andere opzichten ook vergelijkbaar zijn.

Vergelijkbaarheid van ongelijke groepen

Groepen kunnen ongelijk zijn qua samenstelling. Door middel van covariantieanalyse en weging kunnen ze wel met elkaar vergeleken worden.

Bij een covariantieanalyse worden de ongelijke samenstellingen gelijk. Als de variabele voor ongelijkheid zorgt en deze de afhankelijke variabele beïnvloedt, dan zijn de effecten weg te denken. Deze variabele heet een covariaat. Dit is alleen nuttig als je niet kijkt naar de effecten van deze covariaat. Als de covariaat gemeten is, dan moet de variantie hiervan verwijderd worden dat met deze covariaat verklaard wordt. Nu zijn de metingen zuiverder.

Bij weging worden de groepen kunstmatig aan elkaar gelijkgesteld. Wegingprocedures zijn belangrijk, omdat het kan leiden tot betere resultaten, maar dit betekent niet dat het altijd zorgt voor correcte resultaten.

Onderzoek herhalen

Om te kunnen generaliseren is het logisch om het onderzoek meerdere keren te herhalen. Het onderzoek kan worden herhaald bij andere groepen, met andere instrumenten, op andere locaties en op andere tijdstippen. Het is relevant als het onderzoek al eerder gedaan is bij een selecte groep of onder specifieke omstandigheden. Als resultaten steeds terugkomen, is dit omdat resultaten niet afhankelijk zijn van specifieke groepen of specifieke omstandigheden.

Bij valideringsonderzoek gaat het er om of de resultaten onafhankelijkheid van specifieke condities. Wanneer de resultaten van een onderzoek generaliseerbaar zijn voor andere omstandigheden, dan is er een ecologische validiteit. Je kunt dit onderzoeken door herhaling van het hele onderzoek onder de nieuwe omstandigheden en herhaling van het onderzoek onder beide condities.

Bij robuustheidsonderzoek bekijk je of de resultaten gelijk blijven bij minder gunstige omstandigheden. Hoe vaker de resultaten gelijk blijven, hoe robuuster je resultaten.

Steekproeftrekking

Wanneer de steekproeftrekking een kanssteekproef is uit een populatie, dan kunnen de resultaten beschouwd worden als een geldige schatting van dezelfde parameters in de populatie. Ook zijn twee groepen die aselect gekozen zijn uit één populatie vergelijkbaar. Deze twee aannames zijn geldig wanneer een steekproeffout niet wordt meegerekend. Generaliseren is moeilijk, daarom kan je een kanssteekproef trekken uit een grotere populatie. Dit heet een lokale populatie en deze is specifiek ingeperkt.

Steekproeftrekking en generalisatie

Resultaten uit een steekproeftrekking uit een populatie zijn bij benadering te generaliseren naar die populatie. Bij benadering houdt in dat er geen definitieve uitspraken worden gedaan, maar dat er uitspraken worden gedaan over de mate van waarschijnlijkheid. De waarschijnlijkheid is afhankelijk van de grootte van het effect en is te berekenen door middel van statistiek. Wanneer er kwalitatieve verschillen zijn, is generalisatie niet zinvol. Dit komt omdat je te maken hebt met verschillende populaties, bijvoorbeeld jongens en meisjes. Wanneer er kwantitatieve verschillen zijn, is generalisatie wel zinvol.

Verstoringen van de steekproef

Bij een kanssteekproef zijn er ook moeilijkheden die de geldigheid verstoren. Personen kunnen weigeren aan deelname, dit is een primaire uitval of primaire non-response. Personen kunnen ook in de loop van het onderzoek niet meer meedoen. Dit is een secundaire uitval of secundaire non-response. Bij praktijkonderzoek is bij het trekken van een kanssteekproef het steekproefkader nodig. Dit zijn alle personen uit de populatie. Wanneer de steekproef de schatting niet goed weergeeft van de populatie is, is er een steekproeffout. Er zijn onsystematische en systematische fouten. Onsystematische fouten zijn fouten die regelmatig voorkomen, maar aselect blijven. Systematische fouten leiden tot oververtegenwoordiging van een selecte groep. Dan zijn de gegevens niet generaliseerbaar. Ook is een uitval of non response een systematische fout. Uitval is als mensen stoppen met het onderzoek of er niet aan mee willen doen. De resterende steekproef mag je niet meer beschouwen als een kanssteekproef.

Representativiteitonderzoek

Na uitval is er een mogelijkheid om representativiteitonderzoek te doen. Dit houdt in dat je onderzoek doet op een aantal variabelen uit andere kanssteekproeven die representatief zijn voor de populatie. Hier worden vaak demografische variabelen gebruikt, bijvoorbeeld leeftijd, geslacht, etniciteit, sociaal-economische klasse en geloofsovertuiging. Als de verdeling van de steekproef lijkt op de verdeling van de populatie, dan kan je de steekproef als representatief beschouwen.

Gebonden waarnemingen

Praktijkgestuurd onderzoek kan soms gebonden zijn aan een selecte groep. Drie verschillende gebonden waarnemingen worden hieronder behandeld.

Persoonsgebonden waarnemingen

Wanneer je over een beperkte groep beschikt, bijvoorbeeld therapeuten, dan spreek je van persoonsgebonden waarnemingen. Niet elke beoordelaar kan iedere persoon beoordelen. Wat zijn hier de mogelijkheden van? Hieronder worden deze behandeld.

Systematische en onsystematische fouten

Bij elke beoordeling worden systematische fouten gemaakt, zoals de bias/vooringesteld/bevooroordeeld. Het resultaat is gebonden aan de beoordelaar. Onsystematische fouten zijn fouten die de beoordelaar maakt, hij beoordeelt iemand steeds te hoog of te laag. Dit komt door de onbetrouwbaarheid.

Universum van beoordelaars

Wanneer de beoordelaars een training krijgen om anderen te beoordelen, worden zij als een universum beschouwd waaruit een aselecte steekproef getrokken kan worden.

Beoordelingsonderzoek in de praktijk

In de praktijk hebben we weinig beoordelaars. Er zijn dan verschillende opties.

Er is één beoordelaar voor de hele onderzoeksgroep beschikbaar

Alle beoordelingen zijn bevooroordeeld door dezelfde beoordelaar, zoals een leraar met een groep leerlingen.

Iedere onderzochte wordt door een andere beoordelaar beoordeeld

Alle beoordelingen zijn hier anders. De beoordelaars zijn verschillend, dus ook de resultaten zullen verschillen.

Iedere onderzochte wordt door verschillende beoordelaars beoordeeld, maar er zijn andere beoordelaars voor iedere onderzochte.

Als er genoeg beoordelaars zijn, vallen de individuele vooroordelen weg en zo blijven de gemiddelde oordelen over.

Er zijn drie of meer beoordelaars beschikbaar die alle onderzochten beoordelen

Dit is een goede en kostbare oplossing. Beoordelaars kunnen met elkaar worden vergeleken en het gemiddelde van elke beoordelaar kan worden berekend voor een groep.

Vooronderzoek

Met behulp van vooronderzoek kan je beoordelaars vergelijken. De betrouwbaarheid van iedere beoordelaar kan worden vastgesteld en een nieuwe beoordelaar geeft de gemiddelde betrouwbaarheid. Voordelen hiervan zijn dat we uitspraken kunnen doen over de kwaliteit van de beoordeling van een nieuwe beoordelaar en de waarde van het vooronderzoek groter wordt als het aantal beoordelaars stijgt.

Instrumentgebonden waarnemingen

Meetinstrumenten kunnen kwalitatief verschillend zijn. Rapportages en observaties zijn verschillende meetinstrumenten en de vraag is of beide instrumenten tot dezelfde conclusie komen.

Tijdgebonden waarnemingen

Onderzoeken zijn vaak tijdgebonden. Emoties kunnen elke keer onbewust worden opgewekt die zorgen voor andere resultaten. Het is mogelijk om te generaliseren over tijd. De makkelijkste methode is om kanssteekproeven te trekken uit een universum van momenten. Dit is niet mogelijk als er een tijdsafhankelijkheid is. Een andere methode is om een trendlijn te trekken. Een ingewikkelde methode is om de tijdsafhankelijkheden als een cyclus te zien.

Monitoring

Om een proces te kunnen volgen of controleren is het belangrijk om het allemaal systematisch te bewaren. Dit wordt monitoring genoemd. Een gegevensmonitor is het periodiek verzamelen van gegevens. De gegevens worden bewaard en later geanalyseerd. Monitoring begint vaak met een globaal doel.

Gegevensontsluiting bij monitoring

Een cliëntmonitor wordt gebruikt om te kijken welke cliënten meedoen met welke behandeling. Naam, adres, de duur van de behandeling, beantwoorde vragenlijsten, resultaten en nog veel meer. De cliëntmonitor is dus erg groot, omdat er veel mensen aan een onderzoek mee kunnen doen. Hieronder worden drie belangrijke punten genoemd van monitoring.

Doel om gegevens vast te leggen

Algemene doelen hiervan zijn: evaluatie van de behandelingsefficiëntie, kostenefficiëntie en cliëntsatisfactie. Specifieke doelen zijn: of de behandelmethodes aanslaan en bij wie. Ook de bezuiniging is een doel, zodat er op lange termijn nog onderzoeken gedaan kunnen worden. Doelstellingen van een organisatie zijn soms lastig. Het nut van de organisatie weegt namelijk tegen de kosten. Het is belangrijk om efficiënt te werken en de cliëntsatisfactie bij te houden zodat je niet voor verrassingen komt te staan.

Vastleggingkosten

Alles in een onderzoek kost geld. Daarom moet de voorbereiding goed verlopen. De hoeveelheid gegevens die wordt verzameld kost ook geld. Dus onderzoekers moeten zich beperken in de hoeveelheid gegevens, maar het onderzoek moet wel nuttig zijn.

Kwaliteit van de gegevens

De betrouwbaarheid van de gegevens hangt samen met de kwaliteit van de gegevens. Het is dus belangrijk om gegevens te verzamelen waarvan de betrouwbaarheid al vaststaat en eenvoudig te berekenen is. Ook is het belangrijk om gegevens te verzamelen waarvan je al kunt zeggen dat ze betrouwbaar zijn. Gesloten vragen zijn dus betrouwbaarder, omdat ze onafhankelijk zijn van toevalligheden.

Conclusies uit monitoringsonderzoek

Een methodologische vraag is wanneer je conclusies kunt trekken uit monitoringsonderzoek.

Conclusies voor lokaal gebruik

Wanneer de gegevens niet aangetast zijn, zijn ze betrouwbaar en kunnen de gegevens dus lokaal gebruikt worden. Er is echter wel een probleem, namelijk uitval. Gegevensverzameling wordt hiermee onvolledig en groepen kunnen minder goed met elkaar vergeleken worden. Bij correlationeel onderzoek kan de gegevensverzameling groot zijn. Toevallige significanties kan je vinden als de gegevensverzameling wordt geanalyseerd en alle mogelijke correlaties worden berekend. Dit model wordt een AHMAS model genoemd. Uit alle correlaties zal er wel één zijn die significant is.

Generalisatie

Bij monitoring kan je niet generaliseren naar andere groepen, omdat de groep vaak niet aselect toegewezen is. Ook kunnen perioden specifiek zijn. Een gelokaliseerde conclusie is wel mogelijk.

Causale conclusies

Er mogen geen causale conclusies worden getrokken bij monitoring, omdat er groepselectie is op de afhankelijke variabele. Daarnaast zijn er groepsverschillen en allerlei externe gebeurtenissen die voorkomen.

Voordelen van monitoring

Op lange termijn levert monitoring grote voordelen op. Als er meer herhalingen worden gedaan, dan kan het onderscheid beter worden gemaakt tussen duurzame en toevallig effecten. Wanneer monitoring wordt uitgebreid, dan kunnen groepen beter worden vergeleken. Systematische verschijnselen worden meer voorspelbaar. Bij natuurlijke experimenten, waar interventie en effectmetingen een rol spelen, kunnen de metingen vóór en na het natuurlijke voorval worden gedaan. Helaas is multicausaliteit een probleem hier. Alle oorzaken kunnen effect hebben gehad op de resultaten. Herhaalde metingen zijn daarom belangrijk bij natuurlijke experimenten. Ook moet de onderzoeker niet manipuleren, maar de ‘natuur’.

4. Selecteren in de praktijk

Niet iedereen kan tegelijkertijd worden onderzocht. Selectie is dus belangrijk, maar hier zitten allemaal regels aan.

Vrijheid van selectie

Als onderzoeker ben je vrij om alles te onderzoeken, maar de resultaten moeten wel overtuigend zijn. Argumentatie en verantwoording zijn dus belangrijk. Met een goed onderzoeksopzet verlies je minder tijd.

Algemene selectie van waarnemingen

Selectiekeuzes moeten altijd worden beargumenteerd, je moet aangeven waar de selectie voor dient, waarom je geen andere selectiemogelijkheden hebt gebruikt en welke praktische mogelijkheden je hebt. Bij het selecteren moet je kijken naar waarnemingen en personen die relevant zijn voor je onderzoek. Het aantal waarnemingen is van groot belang bij selectie. Bij weinig waarnemingen hoef je niet te selecteren. Wanneer er veel waarnemingen zijn, dan moet je de minder relevante waarnemingen afscheiden. Ook moet je de gegevensverzameling reduceren. Tot slot moet je de resultaten kunnen generaliseren. Een selectie moet efficiënt zijn en dus veel geld en tijd besparen. Bij selectie zijn er twee vragen: is er een populatie van waarnemingen? Zo ja, is er een steekproefkader mogelijk? Bij een populatie gaat het om alle waarnemingen waarvan je conclusies wilt trekken. Als de vragen positief beantwoord worden, dan krijgt de kanssteekproef de voorkeur boven andere selecties. Een steekproef waarbij elke eenheid in de populatie een afwijking van nul heeft en de berekenbare kans heeft om in de steekproef te worden betrokken, wordt een kanssteekproef genoemd. Alle waarnemingseenheden noem je een populatie en de bestaande gegevens van de populatie heet het steekproefkader. Bij een kanssteekproef moet de steekproef aselect getrokken zijn. Bij een gestratificeerde en cluster steekproef wordt er aan de selectie richting gegeven. Bij een clustersteekproef worden er clusters gemaakt in populaties en daarna worden de clusters aselect gekozen. Tijdsgebonden en plaatsgebonden waarnemen kunnen soms voorkomen bij selectie, dit tast de geldigheid aan van het onderzoek. Dit hoeft niet altijd een probleem te zijn, omdat het doel niet altijd generalisatie is. Met herhaling van het onderzoek kan de geldigheid worden vergroot.

Selectie van waarnemingen

Selectie van praktijkgestuurd onderzoek verschilt van theoriegestuurd onderzoek. Je kunt allerlei selecties maken. Bij de personen die worden waargenomen, de variabelen en meetinstrumenten, de onderzoekssituatie, de proefleiders en waarnemers.

Selectie van individuen

Het is lastig om personen voor een onderzoek te selecteren bij praktijkonderzoek. Selectie met behulp van een kanssteekproef zou het beste zijn. De steekproef is van voldoende omvang en daarom dus betrouwbaar. Bij een selecte groep zou dit niet het geval zijn. Iedere groep leidt tot andere schattingen. Daarom zijn de resultaten bij een kanssteekproef beter generaliseerbaar dan selecte groepen. Ook zijn de derde variabelen van gelijke gemiddelden van invloed. Omdat de gemiddelde variabelen rond de constante waarde zitten, is ook de totale invloed op een andere variabele constant.

Er zitten echter wel nadelen aan een kanssteekproef. Hieronder worden deze besproken.

• Geen bekommering om generalisatie
  Bij laboratoriumonderzoek kijken ze eerder naar de causaliteit dan naar de generalisatie. Bij praktijkgestuurd onderzoek is er geen behoefte aan generalisatie.

• Ontbreken van een steekproefkader
  Bij praktijkgestuurd onderzoek zijn niet altijd steekproefkaders aanwezig. Wanneer er geen steekproefkaders zijn, is het niet mogelijk om een kanssteekproef te trekken. Zie sneeuwbalsteekproef.

• Besparing van kosten en tijd
  Bij besparing van kosten en tijd kan gebruik worden gemaakt van selecte groepen, bijvoorbeeld in een klas.

• Andere selectiemechanismen
  Bij zelfselectie bepalen personen zelf of ze willen deelnemen. Ook uitval speelt een grote rol, sommige personen willen niet meedoen of vallen uiteindelijk af.

Sneeuwbalsteekproef

Wanneer er geen steekproefkaders zijn, maken we gebruik van een sneeuwbalsteekproef. Hier gaat het vaak om een populatie die lastig te benaderen is, bijvoorbeeld daklozen. Zij noemen een aantal dakloze mensen die zij kennen, de genoemde daklozen kennen ook weer andere daklozen die mee willen doen en ga zo maar door. Onderzoekers kunnen op deze manier alles in kaart brengen.

Verzadiging

Bij kwalitatief onderzoek gaat het erom dat alle perspectieven bij elkaar worden gezocht totdat er verzadiging optreedt. Dit houdt in dat er geen nieuwe perspectieven meer oplevert.

Selectie van variabelen en meetinstrumenten

Variabelen die worden gekozen zijn geselecteerd. Bij praktijkgestuurd onderzoek zijn de variabelen belangrijk die praktische relevant zijn. Bij theoriegestuurd onderzoek is de theorie het model. In theorie zijn de begrippen die zijn opgenomen de variabelen en door middel van operationalisering is er eigenlijk sprake van dubbele selectie. Alle variabelen zijn verbonden aan meetinstrumenten. Wanneer er geen steekproefkader is bij operationalisering, is het mogelijk om een kunstmatig steekproefkader aan te geven, bijvoorbeeld een facetbenadering. Bij kwalitatief onderzoek worden de begrippen tijdens het onderzoek ontwikkeld.

Selectie van situaties

De belangrijkste regel voor selectie van situaties is dat onderzoekers het onderzoek moeten uitvoeren in de situatie waar het normaal plaatsvindt. Als de verschijnselen ook uitgelokt kunnen worden in een andere ruimte, is het mogelijk om laboratoriumonderzoek te doen. Wanneer de verschijnselen op veel verschillende situaties plaatsvinden, is het beter om deze aselect te kiezen. Zo kan je resultaten generaliseren. Als de verschijnselen contextafhankelijk zijn, is het beter om een plaats en tijd te kiezen. Bij praktijkgestuurd onderzoek moeten wel een paar aanpassingen worden gedaan. De controle op de situatie moet worden verbeterd en een dataverzameling moet worden gemaakt.

Selectie van waarnemingstijdstippen

Continu blijven waarnemen is niet mogelijk, daarom moeten er perioden of tijdstippen worden geselecteerd.

• Selectie van waarnemingsperioden
  De selectie van waarnemingsperioden wordt gemaakt op basis van het doel van het onderzoek, het object van het onderzoek en de praktische overwegingen. Het beste is om te kijken naar wanneer de verschijnselen plaatsvinden. Bij observatieonderzoek spelen waarnemingsperioden een belangrijke rol. De duur van de gebeurtenissen kunnen met vooronderzoek worden bekeken. Klassikaal vragenlijstonderzoek kan soms ongunstig zijn voor de kinderen, ze kunnen bijvoorbeeld minder geconcentreerd zijn dan normaal.

• Selectie van waarnemingstijdstippen
  Bij observatieonderzoek kunnen verschijnselen vaak voorkomen. Een aselecte steekproef van waarnemingsstippen is dan mogelijk, hieronder worden er drie besproken.

• Fixed timesampling: je kiest voor een systematische steekproef. De tijd tussen de twee perioden staat vast.

• Random timesampling: je kiest voor een steeds random tijdstip om de steekproef te nemen.

• Eventsampling: je kijkt naar de verschijnselen en elke zoveelste verschijnsel betrekt je in het onderzoek.

Bij longitudinaal onderzoek is het belangrijk om vaker op een tijdstip waar te nemen. Anders kan je niet zeggen dat op lange termijn dezelfde resultaten voorkomen. Sommige vinden dit een inbreuk op hun dagelijkse ritme en kunnen daardoor anders reageren op situaties. Dit heet reactief zijn.

Selectie van proefleiders en waarnemers

Het beste is om een kanssteekproef te trekken uit een populatie van neutrale waarnemers. Bij bepaalde situaties is het handiger om een waarnemer te kiezen die het veld goed kent. Dit is dan niet helemaal objectief, maar soms kan het niet anders. Hieronder worden verschillende waarnemers besproken.

• Onderzoeksassistent
  Dit zijn personen die door de onderzoekers gevraagd zijn om mee te helpen. Onafhankelijke waarnemers hebben de objectiefste perspectief op de werkelijkheid.

• Proefleiders
  Dit zijn personen die het onderzoek uitvoeren. Dit zijn afhankelijke waarnemers en hebben belang bij bepaalde uitslagen.

• Onderzoeker
  Dit zijn personen die zelf waarnemen. Ze hebben een dubbele rol, namelijk als onderzoeker en waarnemer. De onderzoeker kan hier een gedrag uitzenden naar de deelnemer en op deze manier wordt de deelnemer beïnvloedt.

• Onderzochte zelf
  Deze personen spelen ook weer een dubbele rol, de onderzochte zelf en de waarnemer. De observaties die worden gedaan zijn subjectief.

• Informanten
  Dit zijn personen die dicht bij het onderzoek staan, bijvoorbeeld ouders. De onderzochte is niet in staat om zelf vragen te beantwoorden. Wanneer er via advertenties informanten worden gevraagd is er sprake van zelfselectie. Onder specifieke groepen is het handig om informanten te gebruiken. Vrienden en kennissen worden hier gevraagd om waar te nemen, omdat zij meer medewerking kunnen krijgen. Dit noemen we peer research. De gegevens bij informanten zijn niet altijd objectief, maar wel redelijk betrouwbaar als je je herhaaldelijk laat informeren.

• Sleutelfiguren
  Dit zijn personen die het praktijkveld goed kennen. De waarnemers zijn hier niet aselect gekozen en de resultaten zijn niet altijd te generaliseren.

Dubbelrol

Hierboven zijn dubbelrollen besproken. Er zitten ook voordelen aan dubbelrollen. Het bespaart kosten en er is een grote praktische uitvoerbaarheid. Zelf waarnemen kan therapeutisch zijn en deelnemers hebben beter toegang tot het veld dan de onderzoekers zelf. Daarnaast zullen deelnemers de resultaten beter accepteren als zij zelf hebben gezien wat er is gebeurd.

6. Experimenten in de praktijk, causale verbanden

Een zuiver experiment is een experiment waarbij alle mogelijke andere verklaringen uitgesloten wordt. Twee of meer groepen worden met elkaar vergeleken. Deze groepen moeten zo gelijk mogelijk zijn.

Oorzaakgevolg in de praktijk

In de praktijk is het belangrijk om te weten of de behandeling geholpen heeft bij de cliënt. Heeft de behandeling bijgedragen aan de vooraf gestreefde doelen? Dit heet de causale vraag, hier zijn twee kenmerken belangrijk: De gestreefde uitkomst is behaald en de behandeling is er om die uitkomst te behalen.

De gemanipuleerde variabelen zijn de variabelen die veranderd worden, ook wel experimentele (onafhankelijke) variabelen genoemd. De onafhankelijke variabelen meten het effect op van de (verklaarde) afhankelijke variabelen, dit wordt het behandelingseffect genoemd. Bij een experiment is het ook belangrijk om te kijken of er groepsverschillen zijn. Minstens één behandeling is te bekijken.

Pre-experimentele vormen

Wanneer alle mogelijke andere verklaringen niet uitgesloten kunnen worden, dan wordt het pre-experimenteel genoemd. We mogen dus geen causaal verband leggen. Hieronder worden drie voorbeelden besproken:

• Voor- en nameting bij één groep: er kunnen meerdere verklaringen worden gegeven bij de gevonden uitkomst, waardoor je niet kan zeggen dat de behandeling de oorzaak is van de uitkomst.

• Alleen een nameting bij één groep: we mogen na één meting niet concluderen dat de behandeling de oorzaak is van de uitkomst, meerdere verklaringen kunnen worden gegeven.

• Nameting bij twee (bestaande) groepen: de groepen zijn niet gelijk, je hebt een behandelde groep en een controle groep. Deze twee groepen konden voor de behandeling al verschillen.

Bij het trekken van causale verbanden uit resultaten is het belangrijk om te kijken naar mogelijke andere verklaringen of de groepen gelijk zijn. De beïnvloeding van mogelijke oorzaken en het meten van uitkomsten.

Een volmaakt experiment

Bij causale experimenten zijn een aantal kenmerken belangrijk:

• Afhankelijke variabelen

• Onafhankelijke variabelen

• Meting van afhankelijke variabelen herhalen

• Systematische beïnvloeding van afhankelijke variabelen

• Behandeling vaststellen

Als je een onderzoek wilt beginnen, begin je altijd eerst met een onderzoeksvraag. Hierbij wordt een voorspelling uitgesproken over de relatie tussen de afhankelijke variabelen en de onafhankelijke variabelen. De onafhankelijke variabelen worden gekozen op basis van de onderzoeksvraag. Deze variabelen operationaliseer je tot meetbare variabelen. Om de afhankelijke variabelen te kiezen bekijk je of de afhankelijke variabelen verschillen tussen alle experimentele voorwaarden, de afhankelijke variabelen te bekijken zijn onder de verschillende voorwaarden. Ook moet je kijken of het haalbaar is en de proefpersonen moeten niets negatief ondergaan.

Bij een zuiver experiment zijn vier dingen belangrijk:

• Random toewijzing: zie kopje toepassen random toewijzing.

• Verschillende beïnvloedingen: er zijn verschillende groepen die allemaal anders of niet worden beïnvloed.

• Controle van overbodige variabelen: de omstandigheden moeten zo gelijk mogelijk zijn.

• De meting van het effect van de beïnvloeding: de afhankelijke variabelen worden beïnvloedt en hierdoor kunnen we het effect meten.

Toepassen random toewijzing

Er zijn verschillende manieren om voor gelijke groepen te zorgen: onbeperkte random toewijzing, gekoppelde random toewijzing en homogenisering. Bij een onbeperkte random toewijzing heeft elk persoon evenveel kans om mee te doen aan het onderzoek, het is berust op toeval. Dit heeft twee voordelen: geen systematische verschillen tussen groepen en het totaal aantal toevallig invloeden heeft een constante waarde in een groep. Bij een gekoppelde random toewijzing zijn er geen systematische verschillen. De covariaat is een variabele die een storende invloed heeft, deze is soms al bekend. Als dit bekend is zorg je ervoor dat de invloed bij elke groep gelijk is (koppelen). Er zijn twee manieren om te koppelen: precisiekoppeling, waarbij de koppels zo samengesteld worden dat ze invloed hebben op de afhankelijke variabele en de globale koppeling, hier wordt gekeken naar een aantal kenmerken die gelijk moeten zijn in de verschillende groepen, dit is minder zuiver. Bij homogenisering zorg je ervoor dat je homogene groepen maakt, bijvoorbeeld alleen meisjes.

Controle

Het is belangrijk om alle omstandigheden zo goed mogelijk onder controle te houden, bijvoorbeeld gelijke (herhaalde) metingen, omstandigheden en behandelingen. Zo kan je zeggen dat het effect komt door de onafhankelijke variabelen en niet andere invloeden.

• Gelijke omstandigheden: belangrijk zijn de omgevingen, gelijke momenten en gelijke termijnen. Fysieke omstandigheden kan je het makkelijkst gelijk houden bij (herhaalde) metingen.

• Gelijke assistenten van de onderzoekers: het proefleiderseffect is het effect dat de assistenten van de onderzoekers met zich meebrengen. Bij bijvoorbeeld twee verschillende assistenten kan dit gebeuren, de ene kan wat meer gemotiveerd zijn dan de ander.

• Gelijke metingen: alle groepen moeten dezelfde meting ondergaan, alle attributen moeten gelijk zijn.

• Gelijke behandelingen: de behandelingen moeten zo gelijk mogelijk zijn, met als uitzondering tussen de groepen. Wanneer een groep de behandeling niet krijgt en ze denken van wel heet het een placebo-effect.

Basisontwerp voor behandelingseffecten

De voor- en nameting worden veel gebruikt bij het evalueren van de behandelingseffecten. Het voordeel hiervan is dat de toevallige verschillen tussen de groepen op de voormeting uitgesloten kan worden. Is er bij de voormeting een gekoppelde toewijzing gebruikt? Hieronder is een schema (a) voor de gekoppelde toewijzing die op een variabele plaatsvindt die al bekend is. In schema (b) is te zien dat er eerst één voormeting wordt gedaan, deze wordt gelijkertijd voor OB1 en OB2 gedaan (OB1=OB2), op grond van de voormeting vindt gekoppelde toewijzing plaats.

RT zijn de random toewijzingen. OB1, OB2, OB3, OB4 zijn de observaties die gedaan zijn. OB1 en OB2 zijn de voormetingen en OB3 en OB4 de nametingen. B1 en B2 zijn de beïnvloedingen van de onafhankelijke variabelen, waarvan B2 vaak niet is beïnvloedt, dit noemt men ook wel de controlegroep. Hierdoor worden de effecten van de experimentele groep bekeken.

Interne en externe validiteit

Het experiment is intern valide als er geen andere alternatieve verklaring is voor het onderzoeksresultaat dan de behandeling. Het experiment is extern valide als je de resultaten van een onderzoek kunt generaliseren. Een ander woord voor interne validiteit is interpretatie-exclusiviteit, alternatieve verklaringen worden zoveel mogelijk uitgesloten. Een ander woord voor externe validiteit is ecologische validiteit. Als een experiment op tijdstip A, plek B en onder bepaalde omstandigheden heeft plaatsgevonden, zou het onderzoek ook op een ander tijdstip, plek en andere omstandigheden dezelfde effecten moeten geven. Zo kan je zeggen dat je experiment extern valide is.

Alternatieve verklaringen

Wanneer er geen alternatieve verklaringen zijn, kan je zeggen dat je experiment intern valide is. Je moet goed kunnen beargumenteren waarom de mogelijke alternatieve verklaringen uitgesloten mogen worden.

Een alternatieve verklaring is elke verklaring waarvan het effect niet komt door de beïnvloeding/behandeling. Deze zijn vooraf en achteraf te controleren en achteraf beargumenteren.

Vergelijkingen binnen groepen

Er zijn minstens twee metingen uitgevoerd, waarvan er bij minstens een meting is waarbij de behandeling toegepast is. Hieronder worden de verschijnselen besproken die een alternatieve verklaring kunnen vormen en dus de interne validiteit kunnen beïnvloeden.

1. Tussentijds extern voorval: Bij een onderzoek met een voor- en nameting kan er in de tussentijd iets tussenkomen waardoor de deelnemers beïnvloed worden. Dit zou bijvoorbeeld een oorlog of een lange vakantie kunnen zijn.

2. Selectieve groei en rijping (persoonsgebonden): Bij een onderzoek met een voor- en nameting kunnen deelnemers vermoeider zijn bij de nameting. Ook kunnen ze ouder en wijzer worden. Dit komt vaker voor als de tijd tussen de voor- en nameting lang is.

3. Instrumentverval: Je instrument kan beter of slechter werken tijdens het onderzoek, dit kan een beter of slechter resultaat geven.

4. Regressie-effect: Dit treedt op bij extreme gevallen waarbij de metingen niet zo betrouwbaar zijn. De kans is groter dat ze de volgende keer minder extreem scoren. De scores liggen bij de tweede meting dichter bij het gemiddelde.

5. Testeffect: Dit is het effect van een test bij twee keer afnemen. Bij een nameting kent de deelnemer de vragen al, omdat hij bij de voormeting dezelfde vragen kreeg. De deelnemer kan erover nagedacht hebben en van mening zijn veranderd.

6. Uitval: Dit gebeurt vaak als er een lange periode zit tussen de eerste en de tweede meting. De deelnemer kan de eerste keer overgehaald zijn om aan het onderzoek mee te doen en de tweede keer doen ze niet meer mee.

Vergelijkingen tussen groepen

Ook hier kan de interne validiteit worden aangetast. Er moeten minstens twee verschillende groepen zijn, waarbij er bij één de behandeling toegepast is. Hieronder worden weer de alternatieve verklaringen genoemd die de interne validiteit kunnen beïnvloeden.

1. Selectie: Random toewijzing is de beste manier om te zorgen dat je de groepen onderling goed kunt vergelijken, zij verschillen namelijk niet op geslacht, leeftijd en opleidingsniveau.

2. Overdracht van de ingreep: De twee groepen kunnen met elkaar communiceren, waardoor de deelnemers anders kunnen reageren op de behandeling. De groepen moeten zo min mogelijk met elkaar communiceren.

3. Differentiële uitval: Uitval vindt vaak systematisch plaats, deelnemers die het onderzoek het minst leuk vinden vallen sneller uit, dus krijg je sneller een te goed resultaat. Het kan voorkomen dat bij beide groepen deelnemers uitvallen, dit kan verschillen.

4. Compensatie: Het kan voorkomen dat de controle groep toch de behandeling wil, de assistenten geven de controle groep dan toch de behandeling. Ook kunnen de assistenten de controle groep extra aandacht geven, waardoor de resultaten niet zo betrouwbaar zijn.

5. Compenserende rivaliteit: Als de controle groep weet dat de experimentele groep het minder ‘goed’ doet, dan doet de controle groep extra hun best. Er is concurrentie tussen de twee groepen.

6. Ontmoediging: De controle groep die de behandeling niet krijgt kan ontmoedigd raken. Dit gebeurt bij placebocontrolegroepen. Als zij denken dat het niet helpt, dan kan dit effect hebben op de uitkomst.

Nakijken op alternatieve verklaringen

Bij een experimenteel onderzoek met voor- en nameting of alleen een nameting heb je verschillende alternatieve verklaringen. Deze verklaringen kunnen we zo goed mogelijk voorkomen door een random toewijzing en om te zorgen dat de twee groepen niets van elkaar af weten.

Een voormeting doen heeft voordelen. Vergelijkingen van dezelfde persoon bij de voor- en nameting is mogelijk. De verschillen die tussen de groepen zijn gevonden bij de voormeting kunnen met behulp van gekoppelde toewijzing weg worden gewerkt. Bij de voormeting kunnen verschillen zijn gevonden die via statistisch methode worden weggewerkt. Ook zitten er nadelen aan een voormeting. Testeffecten kunnen optreden bij beide groepen door herhaalde metingen. Als de deelnemers weten dat er gemeten wordt, kan er reactiviteit optreden. De deelnemers zijn bewust van de meting. Het is ook lastig om effecten te onderscheiden van de behandeling, dit komt omdat de deelnemers al weten wat de behandeling inhoudt. Deze effecten kan je onderzoeken door ‘Solomons vier groepen ontwerp’. Hiermee kan je de effecten van de voormeting onderscheiden van de behandeling, de testeffecten bekijken en de reactiviteit bekijken. De voormeting moet je als een onafhankelijke variabele beschouwen, de tweede variabele wordt gevarieerd met voormeting of geen voormeting.

RT zijn de random toewijzingen. OB1 en OB2 zijn de voormetingen en OB3 tot en met OB6 zijn nametingen. B1 is de behandeling op de onafhankelijke variabele. De controle groepen krijgen geen behandelingen.

Aantonen effecten van experimenten

H₀ : er is geen effect.

H₁ : er is een effect.

Een experimenteel effect is als de twee groepen systematisch verschillen op de afhankelijke variabele.

Statistische notatie

Door middel van variantieanalyse is aan te tonen of het effect significant is. Als het significant is, mag je de H₀ verwerpen. De systematische verschillen binnen de groepen noem je tussengroepse variantie. De verschillen tussen de groepen noem je systematische verschillen en toevallige verschillen. De verschillen tussen de personen binnen elke groep worden de binnengroepse variantie genoemd. Al deze verschillen moeten zo klein mogelijk worden gehouden. Alpha is de verwerpingskans die door de statistiek wordt aangegeven. Bij een variantieanalyse wordt de F-toets gebruikt om het effect te testen.

F = tussengroepse variantie / binnengroepse variantie

F = (systematische variantie + toevallige variantie) / toevallige variantie

Als de systematische variantie groter wordt, wordt de F-score ook groter en de kans om H₀ te verwerpen.

Capaciteit van experimenten

De capaciteit van een experiment is de mate waarin het experiment de effecten van de behandelde variabelen vast kan stellen. Twee dingen zijn hier belangrijk:

• Systematische verschillen tussen de groepen zo groot mogelijk maken: als de capaciteit van de behandelingen groot is, dan zijn er twee grote verschillen tussen de twee groepen bij de uitkomst. Zo weten we dat de behandeling geslaagd was. Later is het mogelijk om te kijken welke kleine verschillen er waren.

• Toevallige verschillen binnen de groepen zo klein mogelijk houden: hier zijn vijf verschillende manieren voor:

• Experimentele controle: Het is belangrijk om alternatieve verklaringen zo veel mogelijk uit te sluiten.

• Betrouwbare metingen: Met betrouwbare metingen houdt je de binnengroepse verschillen zo klein mogelijk

• Aggregatie van metingen: Het is belangrijk om de herhaalde metingen zo gelijk mogelijk te houden.

• Homogene groepen: De groepen moeten zo gelijk mogelijk zijn.

• Grote steekproeven: Hoe groter de steekproeven worden, hoe betrouwbaarder de schattingen voor de populatie.

Het blokontwerp

Naast de behandelde variabele kent een blokontwerp altijd een categoriserende variabele (geslacht, leeftijd of geloof). Deze twee variabelen kunnen samen of los van elkaar effect hebben. Een niet-gezamenlijk effect heet een hoofdeffect en een gezamenlijk effect heet een interactie-effect.

De praktische handigheid van blokontwerpen

Bij de categoriserende variabele is het interessant om te kijken naar de invloed van de behandeling op de categoriserende variabele. Blokontwerpen worden vooral veel gebruikt bij generaliseringonderzoek, omdat je wilt kijken of de effecten worden gevonden bij de behandelende groepen. Hiermee kan je kijken of bij de andere groepen ook dezelfde resultaten worden gevonden. Ook is het belangrijk om de gevoeligheid van een experiment te vergroten. De groepen worden homogener door de personen te categoriseren. De verschillen van de afhankelijke variabele hangen samen met categoriserende variabele en toevallige verschillen zijn er niet. Hier zijn twee mogelijkheden belangrijk:

• Effect van categoriserende variabele naast het effect van een beïnvloedende variabele

Als de effecten voor twee groepen gelijk zijn, lopen de grafieken parallel. Je kunt zien dat er een effect is als er verschillen zijn tussen de experimentele groepen en de controlegroepen. Ook als er een grotere daling is in de grafiek bij de experimentele groepen dan bij de controle groepen, vooral bij de derde meting. Als uit de variantieanalyse blijkt dat het interactie-effect niet significant is bij de categoriserende variabele en behandeling, dan noemen we dit parallel, ook al is dit niet helemaal reëel. Het experiment wordt gevoeliger door de categoriserende variabele. De toevallige variabele wordt kleiner en het experiment gevoeliger.

• Gezamenlijk effect van de categoriserende variabele en de beïnvloedde variabele

Dit effect wordt ook interactie-effect genoemd. Een interactie-effect is te zien in een figuur als de grafieken niet parallel lopen en elkaar kruisen. Je kunt dus concluderen dat het effect niet generaliseerbaar is.

Resultaten verklaren

Je kunt niet zeggen dat de categoriserende variabele de oorzaak is van de gevonden effecten. Er zijn twee mogelijkheden om deze effecten te verklaren:

1. Het verband kunnen we zien als een correlatie.

2. Om een betere verklaring te geven zijn intermediërende factoren nodig. De categoriserende variabele in een groep moet worden opgesplitst in twee anderen groepen. Bijvoorbeeld in een onderzoek met rekenvaardigheden, in plaats van de leeftijd van een groep, juist kijken naar het concentratievermogen. Theoretisch is deze verklaring reëler.

Naast een interactie-effect is er meestal ook een hoofdeffect van de beïnvloedde variabele. Dit is eigenlijk niet mogelijk, omdat je niet kan zeggen dat de behandeling voor een deel verschillend is voor beide populaties en voor een deel gelijk is voor beide populaties. Maar dit noteert men meestal wel. Men zegt gewoon dat hoofdeffecten moeilijk te verklaren zijn als er ook een interactie effect is. In een figuur kan je een grafiek tekenen met de effecten en zo kan je zien welk effect significant is.

Selecteren van groepen

Met categoriseren van groepen gaat het meestal om variabelen van nominaal niveau. Met een hoger meetniveau is het aan te raden om deze niet te categoriseren. Als deze groepen toch moeten worden gecategoriseerd zijn er drie keuzes:

1. Methode van extreme groepen: bijvoorbeeld alleen de eerste 5% en de laatste 5% te vergelijken. Dit heeft een aantal nadelen, delen van de populatie kunnen niet meedoen aan het onderzoek. Er zullen significante verschillen gevonden worden die niet relevant zijn. Ook kan een regressie-effect optreden.

2. Mediaansplitmethode: de scores worden op de categoriserende variabele vastgesteld en dan wordt de hele groep opgesplitst in twee groepen. Deze twee groepen zijn nu te vergelijken.

3. Methode van meervoudige niveauonderscheiding: hier worden de hele groep opgesplitst in meerdere groepen. Dit moet goed beargumenteerd worden. Deze aanpak verdient de voorkeur .

7. Quasi-experimenten in de praktijk, causale verbanden

Quasi-experimenten zijn experimenten die mogelijk zijn als er geen goede vergelijkbare controlegroepen beschikbaar zijn.

Afwijkingen van het zuivere experiment

Wanneer er afwijkingen zijn bij een zuiver experiment, dan is er een probleem. De groepen zijn niet goed vergelijkbaar. Er zijn problemen in: de random toewijzing, controlegroepen, deelnemers en de behandelingen. Hierdoor zijn er quasi-experimenten verzonnen, zodat causaliteitsonderzoek toch te doen is. Hier zijn net als bij het zuivere experiment minimaal twee behandelingen, een zo goed mogelijke controle en het effect moet worden gemeten. Doordat de controlegroep niet goed vergelijkbaar is, zijn er andere mogelijkheden, zoals herhaalde metingen en statische controle. Een quasi-experiment ligt tussen het pre-experiment en zuivere experiment. De verschillen tussen een zuiver experiment en quasi-experiment zijn:

• Geen random toewijzing: soms moet je werken met bestaande groepen, deze zijn dan niet random gekozen. Als je deze groep splitst in behandelgroepen en controlegroepen, zijn deze onderling niet goed vergelijkbaar

• Geen controlegroep: soms is het moeilijk om naast een behandeling ook een controlegroep te vinden. Een oplossing zou zijn om een voor- en nameting te doen en de voormetingen uit te breiden.

• Unieke cliënt: bij een enkel geval lijkt causaal onderzoek onmogelijk, bij deze single case designs is dit ook wel op te lossen.

• Complexe behandelingen: in de praktijk is het wel eens mogelijk dat de duur van de behandelingen lang is. Al de verschillende dingen die gebeuren tijdens de behandelingsperiode zorgen voor het totale effect. Een probleem bij onderzoek naar complexe behandelingen is om te garanderen dat iedereen precies dezelfde behandeling krijgt. Hierdoor zijn er in de medische wereld handelingsprotocollen gemaakt. Deze protocollen houden in dat de behandelingen per stap gedetailleerd zijn beschreven.

Al deze problemen worden hieronder besproken.

Niet te vergelijken controlegroepen

Selectie als alternatieve verklaring is het probleem waarbij er een ongelijke controle groep is. Deze krijgt alleen een nameting, met als gevolg dat de groepen systematisch verschillen. Hieronder ontwerp A.

OB staat voor observaties en B staat voor de onafhankelijke variabele.

Een ongelijke controlegroep met een voor- en nameting is al iets beter. Hier heeft geen random toewijzing plaatsgevonden. Hieronder ontwerp B.

Een voordeel van de voormeting is dat de afhankelijke variabelen en de demografische variabelen (leeftijd, geslacht) vergelijkbaar zijn, er is controle mogelijk op selectie.

Een ander probleem zijn de ongelijke behandelingen, de omstandigheden van twee groepen kunnen verschillen. Alternatieve verklaringen zoals selectieve rijping, tussentijdse externe uitval en compenserende rivaliteit.

Interpretatie

Het is soms onmogelijk uit de resultaten te concluderen dat de vooruitgang bij de experimentele groep veroorzaakt is door de behandeling. Dit kan ook het gevolg zijn van rijping, er zijn verschillende soorten rijping. Een late rijping is hier een voorbeeld van, de achterstand van het rekenen kunnen deelnemers tijdens het experiment inlopen. Tussentijdse externe uitval kan niet worden uitgesloten. Tussen de rekenlessen gingen alle andere lessen ook nog door. Het is erg zinvol als er tussentijdse metingen zijn. Bij sommige experimenten zijn alternatieve verklaringen nog mogelijk, dus causaal verband is waarschijnlijk. Het probleem van bestaande, ongelijke groepen is niet goed op te lossen. Deze groepen kunnen wel worden gebruikt als andere mogelijkheden voor onderzoek niet plaats kan vinden en als er besparing nodig is van de kosten.

Tijdreeksontwerpen: ontwerpen met extra voormetingen

In plaats van controlegroepen kunnen er ook controleperiodes worden gebruikt. Iedere deelnemer krijgt eerst een periode zonder behandeling en deze metingen kunnen vergeleken worden met de periode met behandeling.

Tijdreeksontwerp met ongelijke controlegroep

Een tijdreeksontwerp zorgt ervoor dat je binnen een groep kunt vergelijken. Bij dezelfde groep wordt de controleperiode met behandeling vergeleken met de controleperiode zonder behandeling. Een basislijnfase is een fase met verschillende voormetingen. In plaats van groepsvergelijking worden de personen vergeleken. Hieronder ontwerp C met verschillende voormetingen en een nameting.

Ontwerp C is beter dan ontwerp B omdat je de vooruitgang tussen de twee groepen kunt bekijken. Als ze zich niet gelijk ontwikkelen, is dat al te zien bij de voormetingen. De tussentijdse externe uitval is alleen een probleem als er bij OB3, OB4, OB5 en OB5, omdat dit niet verschilt van het effect van de behandeling. Dit ontwerp wordt het onderbroken tijdsontwerp genoemd.

Onderbroken tijdsontwerp

Het heet een onderbroken tijdsontwerp omdat de behandeling steeds wordt stopgezet en dan weer verder gaat. Hieronder ontwerp D met een enkelvoudige (onderbroken) tijdsreeks.

K1 staat voor kwartaal 1, K2 kwartaal 2 enzovoort. O1 tot en met O8 staat voor ongelukken en de B staat voor behandeling.

Een probleem bij herhaalde metingen is dat je alleen naar de selecte periode kijkt, dit is K4 tot en met K8. Als je een figuur hebt waarbij de grafiek al bij K1 aan het dalen is, dan mag je niet concluderen dat de behandeling er voor zorgt dat de ongelukken minder werden. Deze verandering komt door groep of rijping. Ook tussentijdse externe uitvallen zijn hier niet uit te sluiten. Wanneer je een figuur hebt waar deze grafiek vanaf de behandeling daalt, dan mag je wel concluderen dat de behandeling er voor zorgt dat de ongelukken minder werden.

Belangrijk bij de interpretatie van een enkelvoudige tijdsreeks is de lengte van de reeks metingen voor en na de behandeling en de resultaten die eruit komen.

Hieronder ontwerp E met een meervoudige tijdsreeks, random toegewezen.

In bepaalde groepen worden de behandeling ingevoerd en bij andere groepen niet. Deze groepen worden dan met elkaar vergeleken. In een figuur zou je moeten zien dat de ene grafieklijn na de behandeling stijgt en bij de andere grafieklijn niet stijgt.

Ethische problemen kunnen voorkomen, want bij welke groepen gebruik je de behandeling wel en bij welke niet? Hier is de meervoudige tijdsreeks met wisselende toewijzing van toepassing. Er worden random wijken gekozen die met elkaar te vergelijken zijn. Hieronder ontwerp F waar een meervoudige tijdsreeks met wisselende toewijzing te zien is.

Bij groep B wordt de behandeling alsnog gebruikt, als dit ook vooruitgang geeft dan kan je concluderen dat de behandeling werkt.

Wanneer er geen controlegroep is, dan is het mogelijk om de behandeling na verloop van tijd weg te nemen. Dit heet een enkelvoudige tijdsreeks met terugtrekking van ingreep. Dit is alleen te gebruiken als je weet dat bij het wegnemen van de behandeling het effect ook wegvalt. Hieronder ontwerp G waarbij de behandeling na de tweede meting tot de zesde meting wordt toegepast.

Bij een natuurlijke experiment kan de behandeling de verkeersmaatregel zijn. Na het wegnemen komen er weer veel ongelukken en opnieuw de verkeersregel, maar dan wordt deze op natuurlijke wijze permanent. Met een enkelvoudige tijdsreeks met herhaalde invoering en terugtrekking van ingreep is er een mogelijkheid van een gebeurtenis die parallel loopt aan de behandeling. De effecten moeten verdwijnen als de behandeling stopt om conclusies te trekken. Hieronder ontwerp H.

Alternatieve verklaringen

Een reactieve meting is als je een meting uitvoert die zelf al een effect heeft. Bijvoorbeeld vragenlijsten over een bepaald kruispunt. Door deze vragenlijsten gaan mensen er zelf op letten en de ongelukken kunnen dalen. Ook is het mogelijk dat de deelnemers zich vereerd voelen dat ze mee mogen doen, als gevolg hiervan plezieren ze de onderzoeker (on)bewust. Dit heet het Hawthorne effect.

Unieke cliënt

Bij deze single case designs is de belangrijkste vraag: heeft de behandeling effect op de cliënt? Hier is geen vergelijkingsgroep mogelijk. Hier zijn herhaalde metingen en vergelijkingen van perioden belangrijk, de persoon is zijn eigen controle.

Ontwerpen met een onderbroken tijdsreeks

Alternatieve verklaringen kunnen de interne validiteit aantasten. Overdrachtseffecten, externe voorvallen, rijping, statistische regressie, testeffecten en instrumentverval zijn hier de belangrijkste alternatieve verklaringen. Hieronder ontwerp I met een eenvoudig onderbroken tijdreeksontwerp (YZ).

B is de klinische behandeling. In ontwerp I wordt er op een bepaalde tijdstip de behandeling gedaan en na een tijdje wordt dit weer weggenomen. Hier is een parallelle gebeurtenis een probleem en een voor- en nameting kan je niet gebruiken, want deze sluiten de alternatieve verklaringen niet uit. Bij herhaalde metingen worden dit ontwerp wel verbeterd. Hieronder ontwerp J met sterker tijdreeksontwep met verschillende metingen en random onderbreking door de behandeling.

Door de voormetingen kunnen de meeste alternatieve verklaringen zich al voordoen. Het ontwerp wordt beter door random de behandeling te gebruiken. Dit heet een enkelgevalontwerp met random onderbreking. Twee alternatieve verklaringen kunnen waarschijnlijk worden uitgesloten.

1. Regressie naar het gemiddelde (statistische regressie): deze kan uitgesloten worden als de basislijnfase in het begin ongeveer stabiel blijft. Als de meetfouten systematisch hoger of lager worden, dan is dit niet als gevolg van regressie naar het gemiddelde.

2. Cyclische invloed: dit is een vorm van een externe gebeurtenis. Hier is het onwaarschijnlijk dat de cyclische invloed tegelijkertijd is met het random beginmoment van de behandeling. Een voorbeeld hiervan is menstruatie of seizoensverschillen.

Een ander probleem is dat het effect uitgesteld is. Hieronder wordt een betrouwbaarder ontwerp bekeken.

Onderbroken tijdsreeks met omkering (YZYZ)

Hieronder is ontwerp K te zien met een onderbroken tijdsreeks met omkering (YZYZ).

Alternatieve verklaringen kunnen hier uitgesloten worden als er tijdens de Z perioden een vooruitgang te zien is in vergelijking met Y perioden. Omkeerbare leereffecten moeten wel mogelijk zijn. Een enkelgevalontwerp kunnen we vooral gebruiken bij effecten van gedragsbehandeling en het vaststellen van oefeningseffecten. Uiteindelijk kunnen er toch nog alternatieve verklaringen zijn, maar ook cyclische verschijnselen en externe gebeurtenissen. Een probleem bij deze ontwerpen is dat de beginconditie (Y) niet altijd omkeerbaar is. Hieronder worden ontwerpen bekeken voor niet-omkeerbare behandelingen.

Onderbroken tijdreeksontwerp met replicatie

Soms is het effect niet omkeerbaar. Bij een meisje dat heeft leren praten, is het niet mogelijk dat ze na een tijdje vergeten is hoe ze moet praten. Soms is het ook niet ethisch om een behandeling te stoppen waar een deelnemer veel voordeel mee heeft. Een onderbroken tijdsreeks met replicatie is een ontwerp waarbij de behandeling twee gedragingen van een deelnemer beïnvloedt. Een probleem bij deze ontwerpen is dat er overdracht kan plaatsvinden. Groepen, maar ook individuele deelnemers hebben hier baat bij.

Ontwerp met criteriumwijziging

Een ander ontwerp waar het effect niet omkeerbaar is, is het ontwerp met criteriumwijziging. Hierbij verwacht je een cumulatief effect.

Voor- en nadelen enkelgevalontwerpen

Sidman (1960) vindt dat enkelgevalontwerpen belangrijk zijn, hieronder worden ze besproken.

• Als het effect niet te zien is door beïnvloeding, dan kan dit veroorzaakt zijn door onwetendheid. Alleen bij bepaalde deelnemers is dit effect te zien.

• Bij de ene deel van een groep is het effect sterk en bij de andere deel van een groep is effect zwak. Dit zegt niets over het gemiddelde. Het effect bestuderen bij individuen is daarom belangrijk.

De behandelingen zijn niet voor iedereen gelijk, soms zijn er ook nog andere factoren belangrijk. Kijken naar individuele verschillen zijn daarom beter dan verschillen tussen groepen. Als er een groepseffect is, is het verband tussen de behandeling en het effect niet altijd even duidelijk. Daarnaast is het bij groepsonderzoek niet belangrijk om te kijken naar de gemiddelde verschillen, maar juist naar de individuele verschillen. Enkelgevalontwerpen zijn handig voor individuele behandelingen en methoden. Bij herhaalde behandelingen is dit ontwerp effectief. Wanneer er effecten te zien zijn bij een behandeling, is het mogelijk om te kijken bij welke soort deelnemer de behandeling effect heeft gehad en welke niet.

Er zijn een aantal factoren die de enkelgevalontwerpen beïnvloeden:

• Het begin en einde van de behandelingen moeten goed bekeken worden. Basislijnperiodes moeten goed onderscheiden worden van behandelingsperiodes.

• Bij veel ontwerpen moeten de effecten omkeerbaar zijn. Soms is dat niet mogelijk.

• Analysetechnieken zijn soms te beperkt om de nulhypothese te verwerpen. Toevalseffecten kunnen niet altijd uitgesloten worden.

• Enkelgevalontwerpen zijn niet altijd te generaliseren, deze zijn dus niet extern valide. Door de behandelingen te herhalen is dit wel te verbeteren.

Evaluatie van handelingsprotocollen

De onderzoeker die de behandeling uitvoert, is belangrijk voor een goede behandeling. Ook is het moeilijk om de behandeling steeds op dezelfde manier uit te voeren bij andere deelnemers. Het probleem van de complexe behandelingen kan worden aangepakt om de behandeling te standaardiseren. Deze behandeling is per stap en gedetailleerd. Zo wordt het onderzoek betrouwbaarder. Een handelingsprotocol bestaat uit drie fases:

1. Algemene, voorbereidende fase: waar dient het protocol voor en voor welke groep is het protocol geschikt?

• • Onderwerp en geschiktheid: beschrijving van de doelen die bereikt worden met het protocol en de mate van succes bij het volgen van het protocol.

  • Ingangscriteria: formulering van de criteria die moet worden voldaan voordat het protocol wordt gebruikt. Dit zijn de problemen, beperkingen en behandelingsmogelijkheden.

  • Meer uitgewerkte ingangscriteria: gedetailleerde omschrijving van de verschillende groepen en hoe deze verschillen.

2. Diagnostische fase: soms is de algemene, voorbereidende fase niet goed genoeg om de deelnemers te kiezen.

• • Diagnostische stappen: de stappen moeten gedetailleerd worden weergegeven. De eenvoudige, niet bewerkelijke diagnostische behandelingen zullen de groepen onderscheiden.

  • Gedetailleerde diagnostische criteria: daarna wordt verder gekeken welke specifieke deelnemer aan deze criteria voldoet.

3. Behandelingsfase:

• • Rationale voor de behandeling: dit zijn de argumenten waarom de behandeling een goede behandeling is.

  • Algemene aanbevelingen: alternatieve verklaringen die de behandeling kunnen beïnvloeden.

  • Te verwachten resultaten: wat men van de behandeling verwacht door voorafgaand onderzoek.

  • Criteria voor het vaststellen van verbetering: normen en waarden vaststellen die zorgen voor een verbetering van de behandeling. `

  • Cliëntkenmerken en geschiktheid van de behandelingsvorm: als geen afzonderlijke diagnostische protocol is dan kan men aan de hand van criteria besluiten of ze het behandelingsprotocol kunnen gebruiken.

  • Contra-indicaties en behandelingsalternatieven: kenmerken die contra-indicatief zijn en de alternatieven.

  • Behandelingsstappen: deze moeten bij de uitvoering gevolgd worden.

  • Voorlichting: deze moet voor de behandeling worden gegeven en er moet worden gekeken in hoeverre de deelnemer wil samenwerken.

De richtlijnen voor een protocol zorgen ervoor dat de behandeling effectief is en een doel heeft. Een diagnostisch protocol is gericht op de diagnostiek van een probleem en een behandelingsprotocol is gericht op de behandeling.

Onderzoek om de bruikbaarheid van handelingsprotocollen te vergelijken

Twee of meer behandelingsalternatieven worden gebruikt bij een protocolonderzoek. Deze worden op effectiviteit onderzocht. Er worden zware eisen gesteld: random steekproeven, random toewijzing, eventueel dubbelblind onderzoek, verschillende controlegroepen, waaronder één met een placebobehandeling en gebruik van betrouwbare en valide meetinstrumenten. De kwaliteit van het protocol wordt door verschillende onderzoeken vastgesteld. Generaliseerbaarheidsonderzoek is hier belangrijk.

Specifieke kenmerken van protocolonderzoek

Bij protocolonderzoek gaat het vaak om specifieke problemen. Random toewijzing krijgt de voorkeur, maar dit kan niet altijd. Twee alternatieve verklaringen worden hieronder besproken:

• Selectie: random steekproeven trekken uit de populatie. Praktisch gezien duurt dit heel lang. Het is lastig om de steekproef tijdens de hele onderzoeksprocedure in de kliniek te houden. Een ander probleem is selecte uitval. Naast deze twee verklaringen is zelfselectie en doorverwijzing ook een alternatieve verklaring. Een deelnemer gaat naar de huisarts en deze verwijst de deelnemer door naar de onderzoeker. Dit levert een selecte steekproef. Aanvullend generalisatieonderzoek is nodig om dit probleem op te lossen. Bij een diagnostisch protocol proberen ze selectie te standaardiseren.

• Homogene groepen (inclusie en exclusie): door homogenisering kan je de groepsverschillen goed zien, dus de binnengroepse variantie wordt beperkt en beschouwd als toevallige verschillen. Een nadeel is echter dat er een selectie ontstaat. Aanvullend generalisatieonderzoek is nodig om dit op te lossen.

Eisen protocolonderzoek

Protocolonderzoek moet aan hoge eisen voldoen, omdat het gaat om generalisatie voor de populatie. Op blz. 206, tabel 7.3 staat de indeling van onderzoekspublicaties naar mate van causale bewijskracht. In de praktijk is het moeilijk om aan alle eisen te voldoen, onderzoekers moeten daardoor flexibel zijn.

8. Problemen tijdens het onderzoek

Handelingsonderzoek

Handelingsonderzoek is het oplossen van problemen tijdens het onderzoeken. Zo verbeter je het handelingsvermogen van individuen en groepen, waardoor zij beter in staat zijn hun eigen situatie te veranderen en te verbeteren. Hier zijn drie betrokkenen bij: de hulpverlener, de deelnemers en de onderzoeker. Een kenmerk van handelingsonderzoek is dat alle betrokkenen individueel zelfstandig en gelijkwaardig zijn. Het is een cyclisch proces. Leren, handelen en onderzoek doen zijn hier belangrijk. Handelingsonderzoek is vooral nodig in praktijksituaties, hier kunnen gegevens van worden verzameld zodat het onderzoek geëvalueerd kan worden.

De onderzoeker

Handelingsonderzoek is een geïntegreerd proces, de onderzoeker moet over veel vaardigheden beschikken. Vaardigheden die onderzoekers nodig hebben zijn: affiniteit met het praktijkveld, onderzoeksrol door één persoon kunnen laten waarnemen, kennis en vaardigheden beschikken over het omgaan van betrokkenen.

Het onderzoek

De belangrijkste functie van het onderzoek is het systematisch evalueren van een handelings- of leerproces. Er zijn verschillende belangrijke functies op te noemen: Evaluatie, ontwikkeling van instrumenten en het verzamelen van nieuwe informatie. Het systematisch evalueren is belangrijk, omdat je zo kunt kijken of het handelingsresultaat is behaald. Als dit niet behaald is, moet er een nieuwe handelingscyclus starten. Ook is de ontwikkeling van instrumenten belangrijk, omdat de instrumenten voor het onderzoek meestal nog niet aanwezig zijn. Deze moeten vaak nog gemaakt worden. Daarom moeten de doelstellingen, handelingsproces en het leerproces nog aangepast worden. Daarnaast is het verzamelen van nieuwe informatie ook belangrijk, omdat het soms niet mogelijk is om antwoorden te krijgen uit beschikbare literatuur. Tot slot is er soms ook teveel informatie. Deze informatie moet worden gesystematiseerd en geselecteerd.

Andere onderzoeksvormen

Bij handelingsonderzoek wordt er vaak gebruik gemaakt van een niet uitgekristalliseerd praktijkprobleem. Het is niet mogelijk om vanaf het begin al gelijk een onderzoek te starten. Het probleem, handelingsproces en leerproces moeten uitgewerkt worden.

De ontwikkeling van handelingsonderzoek

Minimaal twee van de drie cycli worden bij een handelingsonderzoek doorlopen, één hiervan is de onderzoekscyclus. Zonder onderzoekscyclus is er geen onderzoek. Bij een handelingsonderzoek begin je bij de probleemstelling en de probleemanalyse. Afhankelijk van het probleem zullen de onderzoekers kiezen voor een handelingsplan, onderzoeksplan of een leerplan. De drie cycli worden zolang herhaald, totdat de evaluatie aangeeft dat het handelingscyclus kan worden gestaakt.

Handelingsplan

Een handelingsplan wordt gekozen als er een effectief plan bekend is voor het probleem. Hier gaat het om de ingreep en de evaluatie van die ingreep, dit kunnen bijvoorbeeld behandelingen zijn in allerlei inrichtingen. De onderzoeker doet in het onderzoek mee als een praktijkwerker met een speciale opdracht. Processen worden geobserveerd en geregistreerd.

Leerplan

Een leerplan wordt gekozen als de deelnemers meer moeten weten voordat zij het probleem moeten aanpakken. Deelnemers moeten hier hun eigen handelen evalueren. Onderzoekers helpen ook een handje, zij dragen kennis en vaardigheden over tijdens het onderzoek. Er wordt hier gestreefd naar een wederzijds leerproces van deelnemers en onderzoekers.

Onderzoeksplan

Een onderzoeksplan wordt gekozen als het instrument eerst nog moet worden gekozen. Bij de ontwikkeling van een instrument wordt veel overlegd met opdrachtgevers en betrokkenen. Het belangrijkste bij een onderzoeksplan is de wetenschappelijke praktijktheoretische en methodische overwegingen.

Verschillende fasen bij handelingsonderzoek

Voorbereidingsfase: initiatief tot overeenkomst

Het eerst initiatief bij handelingsonderzoek wordt genomen door de onderzoekers. Het onderzoek dat ze doen moet iets toevoegen aan bestaande onderzoeken. Een formele onderzoeksopdracht komt tot stand. Daardoor kunnen de onderzoekers beginnen met het onderzoek en de deelnemers weten wat zij moeten doen. De vraagstelling komt pas na het doorlopen van minimaal één cyclus. Bij de eerste fase wordt gebruikt gemaakt van twee belangrijke steunpilaren. Dit is de analyse van het praktijkveld en literatuuronderzoek. De probleemstelling kan nu worden geformuleerd, deze wordt in het begin nog breed gehouden. Aanpassingen moeten kunnen gedaan worden tijdens het onderzoeken. Hierna kan de onderzoeksopzet worden gemaakt, de operationalisering van begrippen, fasering van het onderzoek, keuze van methoden van gegevensverzameling, werkverdeling en afspraken tussen deelnemers en onderzoekers. Dit wordt allemaal omgezet in een overeenkomst. De hele voorbereidingsfase is de belangrijkste fase van het hele onderzoek, de kans van slagen is groter als dit goed gedaan is.

Fase van inrichting van het overleg

Overleggen tussen deelnemers en onderzoekers is belangrijk, maar ook andere betrokkenen worden uitgenodigd voor een gesprek. Soms kan dit een overlegbijeenkomst worden. Onderwerpen die worden behandeld zijn heel uiteenlopend. Met een bijeenkomst probeert men alle regels goed na te streven.

Uitvoeringsfase

Handelingsonderzoek bestaat meestal uit meer dan één uitvoeringsfase. Handelingsonderzoek gericht op leren kent meerdere faseringen.

• Themafase: dit wordt vaak in het vooronderzoek afgerond. De betrokkenen krijgen thema’s te horen die te maken hebben met hun werk. Zij overleggen of ze deze thema’s goedkeuren.

• Kristallisatiefase: hier wordt besloten welke thema belangrijker is.

• Exemplarische (handelings)fase: de resultaten werden bekeken door onderzoek en overleg.

Evaluatiefase

Verschillende evaluatiemethodes worden bij de uitvoeringfase gebruikt. Eerst wordt er informatie verzameld die de effectiviteit ervan kan meten. Daarna moeten uiteindelijk de betrokkenen concluderen of er een goed resultaat is bereikt. Onderzoekers en deelnemers zijn het hier niet altijd mee eens. De betrouwbaarheid van gegevensverzameling, bestaande instrumenten, onderzoekers kunnen wel eens verschillen. De deelnemers kunnen ook beïnvloed worden door de onderzoekers, dit heet reactiviteit. De samenwerking van onderzochten is ook onmisbaar. Zij zijn niet altijd even coöperatief. Onderzoeksresultaten kunnen hierdoor negatiever uitvallen. Het is dus belangrijk om goede afspraken te maken voordat het onderzoek wordt gedaan.

Afrondingsfase: conclusies, rapportage en verspreiding

Er is een stopcriterium. Soms kunnen niet alle doelstellingen worden behaald, maar het onderzoek moet altijd op tijd worden afgesloten. Dit doen de onderzoekers met behulp van een eindrapport waarin de resultaten en werkwijze worden beschreven. Ook informatie over vervolgonderzoek staat in een eindrapport. Er zijn verschillende stopcriteria.

• Doelrealisatie: wanneer een doel is bereikt, is het onderzoek afgelopen. Afspraken moeten worden gemaakt zodat het voor iedereen duidelijk is.

• Inslaan van een zijpad: als de bijgestelde doelstelling niet meer samenhangt met de oorspronkelijke doelstelling, dan kan het onderzoek niet meer leiden tot het oplossen van de oorspronkelijke probleemstelling. Een nieuw handelingsonderzoek kan worden gedaan.

• Verzadiging van het proces: soms is het onderzoek te lang doorgegaan, waardoor het onderzoek is ingezakt. Weinig nieuwe informatie komt naar boven.

• Gewijzigde omstandigheden

Hierna moeten duidelijke eindconclusies worden getrokken. Ook moeten onderzoekers het onderzoek afsluiten met een wetenschappelijk verslag. Zij moeten verantwoording afleggen over hun onderzoek en de getrokken conclusies. Doen zij dit niet, dan zal het handelingsonderzoek niet serieus worden genomen.

Voordelen handelingsonderzoek

Praktische voordelen

De bestaande methodes worden verbeterd en hierdoor kunnen nieuwe methodes worden ontwikkeld. Ook kunnen andere onderzoekers profiteren van de ontwikkeling.

Onderzoekstechnische voordelen

Door het overleg kan gekeken worden of onderzoeken betrouwbaar zijn. Kritiek kan worden geleverd. Ook kunnen de onderzoekers de onwerkbaarheid of onwenselijkheid van bepaalde methodes boordelen. Door de samenwerking moet daarnaast een wederzijds vertrouwen ontstaan.

Voordelen voor de betrokkenen

Verschillende groepen hebben baat bij verschillende typen onderzoek.

Tekortkomingen van de handelingsonderzoeker

• Verwaarlozing van de onderzoeksrol
  Een samenwerking tussen deelnemers en onderzoekers is belangrijk. De deelnemers moeten helpen bij het onderzoek en de onderzoekers bij de praktijk. Als de onderzoekers zich teveel bezighouden met het onderzoek, zijn de betrokkenen daardoor te weinig zelf bezig.

• Overtrokken engagement
  Onderzoekers kunnen ook teveel betrokken zijn bij de onderzochten. Een te grote engagement kan ervoor zorgen dat de onderzoekers de plaats innemen van de betrokkenen en daardoor de onderzochten `wegduwen´.

• Toestaan van vage doelstellingen
  Het onderzoeksdoel kan vaag zijn, waardoor de resultaten niet zichtbaar worden.

• Verwaarlozing van de wetenschappelijke status
  Er is een risico bij handelingsonderzoek dat de wetenschappelijke relevantie soms achterwege blijft.

9. Delphi onderzoek met kennis van experts

Definitie en plaatsbepaling

Het delphi onderzoek maakt op een systematische manier gebruik van kennis van experts. Experts zijn vaak druk en uitval bij een delphi onderzoek is groot. Bij een delphi gaat het vooral om de onderbouwing van meningen, dus niet om feiten. Het belangrijkste kenmerk van een delphi is de herhaalde ondervraging. Door deze herhaalde ondervragingen kunnen de experts gericht zijn op allemaal verschillende meningen of dezelfde meningen. Een ander belangrijke kenmerk is de bescherming van de sociale druk en dat iedere expert zijn eigen standpunten en meningen mag onderbouwen.

Delphi varianten

De makkelijkste vorm is het samenkomen van alle experts, het levert namelijk een goede discussie op en een goed resultaat. Maar de sociale druk is groot en effecten zoals sekse, dominantie en leiderschap van grote invloed. Dalky en Helmer ontwikkelden een klassiek basisontwerp. Er wordt een vragenlijst uitgedeeld met gelijke vragen en antwoorden, hier wordt het uitgangspunt mee bepaald. De meningen worden systematisch gestructureerd en de communicatie is volledig op afstand en anoniem. Bij een conventionele delphi kunnen de groepen groot zijn, ongeveer honderd man of meer. Er is geen communicatie tussen de deelnemers en alles blijft anoniem. Consensus moet worden bereikt. Als een delphi methode afwijkt van de conventionele delphi, dan wordt het ook wel eens een gemodificeerde delphi genoemd. Anonimiteit wordt gedeeltelijk opgeheven. In plaats van kwantitatieve methodes, worden er meer kwalitatieve methodes ingezet. De meest afwijkende delphi methode van conventionele delphi is de groepsdelphi, ook wel real-time delphi genoemd. Anonimiteit wordt grotendeels opgeheven. Communicatie die plaatsvindt is directer. Tot slot is er ook nog een internet delphi die via internet communiceert. Hier kan je anoniem blijven en alles kan sneller heen en weer gestuurd worden.

Doelstellingen

Inhoudelijke doelstellingen

De conventionele delphi is gericht op de voorspelling van een toekomstige feit. De doelstellingen van een beleidsdelphi zijn het op een rij zetten van opties en alternatieven, schatting van de wenselijkheid van veranderingen en de beleidsdoelstellingen. Ook het beoordelen van instrumenten en de gevolgen van de veranderingen worden onderzocht.

Procedurele doelstellingen

Bij een conventionele delphi is de procedurele doelstelling het bereiken van een consensus. Een beslissingsdelphi is gericht op het mogelijk maken van beslissingen. Mogelijke procedurele doelstellingen worden hieronder besproken.

• Inventarisatie: men wil in het begin zoveel mogelijk meningen verkrijgen en inventarisatie is hier de einddoelstelling van delphi. Door de anonimiteit zullen er geen meningen en argumenten verdwijnen.

• Voorspellingen: het meerderheidsstandpunt is de ondergrens voor de voorspellingen. De onzekerheid moet verdwijnen.

• Besluitvorming: hier moeten de verschillende argumenten worden afgewogen, het einddoel is het bereiken van een meerderheidsstandpunt.

• Uiteenlopende visies convergeren: nadruk op de consensus kan worden gelegd, waardoor er convergentie van de meningen kan worden bereikt. Divergentie en convergentie worden door elkaar gebruikt. Divergentie is belangrijk, omdat alle meningen aan de beurt moeten komen.

• Leereffecten: de deelnemers hebben kans dat ze leereffecten tegenkomen, de delphi onderzoeker doet door middel van feedback.

• Gebrekkige of vastlopen communicatie verbeteren: anonimiteit kan zorgen dat de discussies niet vastloopt. Ook is het belangrijk om elke deelnemer gelijk te behandelen.

Raadplegingmethoden

Bij een delphi methode zijn er verschillende raadplegingen mogelijk.

1. Schriftelijke enquête: dit is de belangrijkste methode van raadpleging. Het belangrijkste voordeel is de anonimiteit. Bij de conventionele delphi wordt de gestructureerde enquête met gesloten antwoorden het meest gebruikt, maar er zijn meerdere vraagmethoden:

• • Open vragen: hier zijn de deelnemers vrij om zelf antwoorden te formuleren. Een nadeel van open vragen zijn dat de antwoorden vrij kort zijn en het kost meer tijd.

  • Halfgestructureerde vragen: bij een beleidsdelphi worden deze vaak gebruikt. De antwoorden zijn zoveel mogelijk van tevoren geformuleerd, maar de expert heeft nog de mogelijkheid om zelf een antwoord te geven.

  • Toelichtingen: de antwoorden zijn al gegeven, maar de expert moet nog een toelichting geven over waarom hij zijn antwoord heeft gegeven.

  • Schalen: deze worden vaak gebruikt bij conventionele delphi.

2. Individuele interview: een voordeel van een interview is dat er doorgevraagd kan worden en de anonimiteit ervan. Dit wordt meer gebruikt bij een beleidsdelphi dan een conventionele delphi.

3. Groepsinterview: communicatie is direct, maar er zijn veel sociale invloeden.

Methoden voor interactieve communicatie

Bij een delphi gaat het ook om de uitwisseling van informatie. De belangrijkste manier is de schriftelijke rapportage. Anonimiteit is hier het grootst en rapportage en vervolgvragen kunnen worden gecombineerd. Een nadeel van schriftelijke rapportage is dat het onderzoek afhankelijk is van de geformuleerde antwoorden, deze moeten zo volledig en juist mogelijk zijn. Daarom zijn er verschillende manieren om de schriftelijke rapportage te ondersteunen:

• Paneldiscussie: bij deze discussie wordt er een panel samengesteld van experts. De experts kunnen onderling discussiëren, ze moeten wel actief deelnemen. Dit kan worden gebruikt als afsluiting van een delphi. Uitwisselen is hier belangrijk en niet het bereiken van consensus.

• Workshop: een bijeenkomst van een groep waarbij er wordt geleerd en/of gemaakt.

• Conferentie: een bijeenkomst van experts. Dit gebeurt meestal door middel van lezingen, ze houden elkaar op de hoogte van de nieuwste veranderingen en methoden.

• Focusgroep: hier worden meningen uitgewisseld met behulp van een leider. Het doel is hier om tot een consensus te komen.

• Socratische discussie: hier gaat minimaal één deelnemer in discussie met de leider. De leider stelt steeds vragen en ingewikkelde dilemma’s moeten door middel van argumenten opgelost worden.

• Brainstorming: in een groep worden ideeën gedeeld. Er kunnen verschillende rondes zijn waar iedereen elkaar mag bekritiseren of feedbacken.

Fasen van een delphi onderzoek

Hieronder worden de verschillende fasen besproken die in een delphi onderzoek voorkomen.

Voorbereiding

Het onderwerp wordt heel breed geformuleerd, door middel van verder vooronderzoek wordt de probleemstelling uitgewerkt. Na met experts gesproken te hebben over het ontwerp, geeft de commissie, die het hele onderzoek betrokken is, richting aan en controleert het vooronderzoek.

• Vooronderzoek: door middel van vooronderzoek kunnen onderzoekers meer informatie verkrijgen over het onderwerp. Het uitwerken van het inventarisatie-instrument is één van de belangrijkste onderdelen, concretere vragen worden hier dus geformuleerd. Vier belangrijke methodes kunnen worden gebruikt. Literatuuronderzoek is belangrijk voor de onderzoeker, omdat hij zo op de hoogte raakt van de belangrijke empirische feiten. Ook is analyse van bestaand materiaal belangrijk, omdat onderzoekers hiermee alle informatie systematiseren. Soms is jargonanalyse noodzakelijk, omdat er in sommige velden specifieke termen worden gebruikt. Daarnaast zijn informantengesprekken een oplossing voor als er bij analyse van bestaand materiaal vragen opkomen die onderzoekers niet kunnen beantwoorden. Een aantal gesprekken met een expert zullen helpen. Ten slotte is er de participerende observatie. Voor een onderzoeker kan het nuttig zijn om een paar bijeenkomsten bij te wonen voor de informatie.

• Ontwerp: het ontwerp wordt opgezet en daarna tijdens het vooronderzoek bijgewerkt. Het ontwerp bevat verschillende aspecten. De doelstelling is heel belangrijk voor het bepalen van het doel. Voor het onderzoek wordt bekeken wat de wenselijkheid en mogelijkheden zijn. Daarnaast is de panelsamenstelling belangrijk voor de waarde en kwaliteit van een delphi. (Meer hierover onder kopje selectie van deskundigen) Het aantal ronden voor een delphi onderzoek is twee. Doelstelling van de ronden wordt door divergentie en convergentie tot een consensus gevormd. Ook hebben de onderzoekers tijd nodig, dus tijdsfasering is belangrijk. Een delphi onderzoek kan twee tot acht maanden duren. Tot slot moet de begroting voorgelegd worden aan de opdrachtgever, het onderzoek wordt dus bewaakt door de commissie.

Selectie van deskundigen

De potentiële groep moet worden gekozen. De vraag is dus welke experts behoren tot de groep? Vaak zijn deze groepen klein. Experts zijn geïnformeerde betrokkenen en ervaringsdeskundigen. Het is handig om een lijst te maken met potentiële experts, vergelijkbaar met een steekproefkader. Uiteindelijk wordt er een selectie gemaakt. Bij een beslissingsdelphi is het belangrijk dat er iemand is die besluiten neemt, dit is de beslissingsbevoegde. Daarnaast moeten alle categorieën representatief zijn. Bij probleemrepresentativiteit vormen de experts een beeld voor de onderzoekers. Bij veldrepresentativiteit zijn verschillende visies, posities en belangen van toepassing. Een panel bij een beleidsdelphi is meestal heterogeen, verschillende visies komen hier naar voren. Een homogeen panel met experts moet worden samengesteld om zo tot een consensus te komen. De grootte van een real-time delphi is ongeveer twintig man. Bij een conventionele delphi kan dit ongeveer dertig tot zestig man zijn. Tot slot kan er een selectie worden gemaakt uit de steekproefmethoden. Door middel van zelfselectie kunnen de experts zelf bepalen of zij voldoende deskundig zijn. Bij een filtratie krijgen de experts een vragenlijst en aan de hand van de antwoorden worden de experts eruit gehaald. Ook kan je beginnen met een aantal experts, de aanbrengers, die één of meer geschikte experts voorstellen. Een systematischer methode is de sneeuwbalmethode. Men begint ook met een aantal experts, die ieder twee andere expert voorstellen en zij kiezen daarna ook weer twee experts. Zo neemt de kans op een aselecte groep toe. Daarnaast heb je ook nog een quota-methode. De experts worden gedeeld in verschillende groepen. Uit elke groep wordt steeds aselect een expert gekozen totdat het gewenste aantal, de quotum, bereikt is. Tot slot is de gestratificeerde kanssteekproef een methode om te zorgen voor een evenredige vertegenwoordiging.

De eerste ronde: informatie en inventarisatie

De eerste ronde is gericht op divergentie. Informatie wordt verzameld en opvattingen worden geïnventariseerd. De informatie wordt kort in thema’s of onderwerpen verdeeld en zo ontstaan er informatieblokken. Informatie moet duidelijk maken wat de bedoeling is en moet het ervoor zorgen dat alle experts over dezelfde informatie beschikken. Naast de informatie wordt er ook een vragenlijst bijgevoegd voor de experts. Dat is voor de selectie van de experts voor de onderzoekers.

Vervolgronden: tussenrapportage en reacties

Na de eerste ronde komen de ronden die meningvormend zijn. De meningen zullen na de eerste ronde veranderen. De rapportage die wordt gemaakt, bestaat uit antwoorden die in de eerste ronde gevormd zijn. Bij een conventionele delphi is de rapportage een samenvatting die in een figuur te zien is. Een histogram wordt het meest gebruikt met een frequentie en/of mediaan, spreiding en kwartielen. Bij een beleidsdelphi gaat het om zo goed en bondig geformuleerde argumenten. Hieronder worden twee belangrijke onderdelen genoemd voor een beleidsdelphi.

• Rapportage van de antwoorden: alle antwoorden moeten tot hun recht komen. De rapportage moet zo goed en bondig mogelijk geformuleerd worden.

• Nieuwe of herhaalde vragen: er worden meerdere herhaalvragen gesteld die over hetzelfde onderwerp gaan.

De doelstellingen kunnen verschillend zijn bij de vervolgronde. Het kan gericht zijn op divergentie. Bij divergentie worden de antwoorden verbreed, waardoor je je verder kunt verdiepen in de antwoorden. De tegenstellingen van de deelnemers worden hiermee logischer. Het kan ook gericht zijn op convergentie. Dit doen de onderzoekers door middel van polarisering. De opvattingen worden hier samengevoegd in de richting van de conclusies. De extreme deelnemers houden zich vast aan hun standpunt en kunnen soms zelfs het panel verlaten.

Slotronde en eindrapport

In de slotronde wordt het convergeren afgesloten. In het eindrapport staan resultaten en voor- en nadelen. De resultaten kunnen een voorspelling, schatting, beleidsvoorstel, advies of besluit zijn. Maar niet alleen staan er resultaten in, ook een methodische verantwoording. Alles wordt verantwoord, bijvoorbeeld de gekozen werkwijze, verloop van het onderzoek en panelsamenstelling. Ook moet de uitval van deelnemers gemeld worden. Een hoge uitval komt vaak bij een conventionele delphi voor, dit is bij de eerste en tweede ronde rond de twintig of dertig procent. Dit kan verklaard worden door steeds dezelfde vragen te stellen, de afstand tussen onderzoeker en deelnemer en de snelle reacties die worden verlangd. Paneluitval moet zo klein mogelijk zijn, dit hangt namelijk samen met een goede of slechte verloop van een delphi onderzoek.

Voor- en nadelen delphi onderzoek

Betrouwbaarheid, geldigheid en bruikbaarheid

Het kan zijn dat de deelnemers steeds andere argumenten geven of zelfs andere standpunten innemen. Het is belangrijk om deze veranderingen goed aan te geven in de antwoorden. Als dit niet gebeurt, kan het zijn dat de delphi methode onbetrouwbaar is. Ook kunnen de resultaten intersubjectief zijn, de resultaten die worden gegenereerd zijn subjectief, maar ze worden wel door experts gedragen. Daarom kan dit zorgen voor een geldigheidsprobleem. Geldigheid wordt bepaald door predictieve validiteit van de voorspellingen, dit is de consensus tussen het oordeel van de experts en toekomstige resultaten. De voorspellingen zijn op empirisch gebied lastig te maken. Tot slot zijn de argumenten ook belangrijk. Deze geven aan of de methode bruikbaar is.

Exclusief panel

Een exclusief panel kan komen door een selectieprocedure en uitval. Een panel kan soms niet systematisch genoeg worden geselecteerd. Ook wordt in onderzoeken lang niet altijd uitval gemeld. Het meedoen aan een delphi onderzoek kost tijd. Het is een veeleisende procedure. Ook wordt er soms te veel van deelnemers verlangd.

Beïnvloedbaarheid

Panelleden kunnen worden beïnvloed door de opvattingen van de onderzoeker. Het kan zijn dat de onderzoeker naar zijn eigen opvattingen rapporteert. Dit kan enigszins worden voorkomen als de panel zijn eigen controle uitvoert en de beleidscommissie de vragenlijsten nakijkt.

Hoge eisen aan onderzoekers

Delphi onderzoek is arbeidsintensief, onderzoekers staan onder een grote tijdsdruk. Er wordt veel deskundigheid verwacht van ze. Ook moeten ze goed kunnen communiceren en organisatievaardigheden beschikken.