Samenvatting Evaluation Research (Clarke & Dawson)

Deze samenvatting is gebaseerd op het studiejaar 2013-2014.


Hoofdstuk 1 – Het begrijpen van evaluatie

 

Evaluatie wordt gebruikt in verschillende contexten en betekenissen. Het kan gaan om het evalueren van een kunstwerk tot het evalueren van onszelf. Volgens Weiss is er naast deze informele vorm van evaluatie ook een meer formele vorm van evaluatie. In deze vorm is er een professionele evaluator die bijvoorbeeld bepaalde programma’s of beleid gaat evalueren.

 

De meeste invloedrijke teksten over evaluatie komen uit de US, zie blz 1 en 2 voor diverse definities van de term evaluatie. De belangrijkste kenmerken van evaluaties kunnen ook uit deze definities gehaald worden:

  • Het belangrijkste doel van evaluaties, aldus Patton, is niet zozeer om dingen te bewijzen, maar juist om dingen te verbeteren. In tegenstelling tot (meeste) wetenschappelijk onderzoek, wordt er niet gezocht naar nieuwe kennis, maar er wordt getracht om bepaalde zaken (zoals beleid) te verbeteren.

  • Bij evaluatie onderzoek is er niet één bepaalde manier van onderzoek doen. Wel wordt er veel gebruik gemaakt van methoden die ook in de sociale wetenschappen gebruikt worden. Doordat er veel gebruik wordt gemaakt van methoden uit de sociale wetenschappen zijn sommige mensen van mening dat evaluatie onderzoek als een aparte tak moet worden gezien in de sociale wetenschappen. Echter, niet iedereen is het hier mee eens.

 

Ondanks dat evaluatie onderzoek gebruik maakt van diverse methoden van de sociale wetenschappen zijn er ook verschillen tussen evaluatie onderzoek en wetenschappelijk onderzoek: evaluatie is er vooral op gericht om een oordeel over een programma of beleid te vellen. Dit leidt tot nieuwe (praktische) kennis die weer kan leiden tot nieuw beleid of programma’s. Bij evaluaties zijn er vaak diverse partijen betrokken, die allen weer andere belangen hebben. Dit zorgt ervoor dat de evaluator te maken heeft met een soort ‘politiek spel’. Doordat er verschillende belangen zijn, kan dit ook van invloed zijn op de relatie tussen de opdrachtgever en de evaluator.

 

In de wetenschappelijke wereld is er ook een discussie gaande over de woorden evaluatie en evaluatie onderzoek. Suchman vindt dat er wel een verschil tussen beide is. Evaluatie gaat om het vaststellen van de waarde van beleid, terwijl evaluatie onderzoek juist onderzoekt in hoeverre de evaluatie wetenschappelijk onderbouwd is. Cordray en Lipsey zien evaluatie en onderzoek als twee verschillende functies: evaluatie heeft meer een praktische doel, terwijl onderzoek juist geen waardeoordeel wil geven aan beleid. Ook Patton is van mening dat er sprake is van een tweedeling. Evaluatie heeft een praktische functie en evaluatie onderzoek is meer op zoek naar het grotere geheel (zoals generaliseerbaarheid) die van belang kan zijn voor meer mensen behalve de betrokkenen van bepaald beleid of een interventie.

 

Conclusie: er is niet één makkelijk antwoord te geven op de vraag wat houdt evaluatie in? Om met het definitieprobleem van evaluatie om te gaan, moeten we kijken naar de relatie met monitoring, auditing en inspection.

 

 

Relatie tussen evaluatie, audits, inspectie en monitoring

Om het verschil tussen auditing en evaluatie te zien, moet er eerst gekeken worden naar de vraagstelling. Er zijn drie soorten vraagstellingen: beschrijvend, normatief en oorzaak gevolg (causaal). Al deze vraagstellingen worden gebruikt bij evaluatie, maar auditing gebruikt alleen normatieve vraagstellingen. Er zijn ook overeenkomsten tussen auditing en evaluatie: beide gebruiken systematische procedures en hebben beiden als doel om kwaliteit in een beleid te verbeteren. Verder zijn er nog andere verschillen: evaluatie maakt gebruik van verschillende perspectieven en zoekt naar causale verbanden tussen beleid en uitkomsten. Ook doen ze aan voorspellingen. Een audit doet dit allemaal niet: bij een audit wordt gekeken naar wat daadwerkelijk gebeurt tegenover voorgeschreven normatieve standaarden. Audits worden vooral in de gezondheidszorg gebruikt.

 

Monitoring en evaluatie hebben meer overeenkomsten. Monitoring houdt in dat je op een systematische en doorlopende manier bepaalde gebeurtenissen in de gaten houdt. Het geeft een oordeel over bepaalde processen die invloed hebben op beleid. Monitoring speelt een integrale rol in evaluatie. Toch zijn ze van elkaar te onderscheiden: Conner zegt dat monitoring waardevrij is, beide vormen zoeken naar data, maar een evaluatie kijkt naar ‘de waarde’ van deze data. Het gaat om meetbare indicatoren, deze worden ook ‘key performance indicatoren’ genoemd. Dit wordt vooral gebruikt bij bijvoorbeeld de jaarlijkse berekening van het budget. In de publieke sector wordt er gekeken naar ‘public accountability’. Er zijn 3 vormen accountability: fiscaal (geld), proces (efficiëntie ) en programma accountability (of een bepaalde beleid zijn doelen wel/niet gehaald heeft). Probleem is dat de performance (prestatie) eerst vastgesteld moet worden voordat het gemeten kan worden. Uitkomsten evaluatie (outcome evaluation) gebruikt alleen kwantitatieve indicatoren, maar dat wil niet zeggen dat het meteen objectief en waardevrij is. Je moet eerst kijken wie de performance indicatoren heeft vastgesteld en wat het doel ervan is (denk aan het ziekenhuis met het aantal overleden patiënten als indicator). Monitoring is echter niet altijd neutraal. Soms hebben performance indicatoren een disfunctioneel effect op de organisaties.

 

Inspectie (bijvoorbeeld Inspectie voor de Gezondheidszorg) is een manier van evalueren die over het algemeen slecht is vastgelegd. Het lijkt op monitoring in de zin van het uitzoeken of de uitvoering voldoet aan de minimale standaarden. Inspectie wordt vaak gedaan door een extern iemand.

 

Auditing, monitoring en inspection zijn allemaal in staat om data te genereren maar ze zijn zelf geen evaluatie. Evaluatie gaat verder dan deze drie.

 

 

Type evaluaties

Scriven heeft een eigen soort evaluatie opgezet. Hij maakt namelijk het verschil tussen summatieve en formatieve evaluaties. Een formatieve evaluatie is een evaluatie voor mensen die het beleid uitvoeren. Het uiteindelijke doel is om het beleid te verbeteren.

Het gaat om het vinden van sterke en zwakke kanten in een programma of interventie, bijvoorbeeld de percepties en ervaringen van uitvoerders en deelnemers van een programma. Het doel is om het programma te verbeteren en is dus actie gericht.

Een summatieve evaluatie heeft als doel om vast te stellen of het programma effectief is. Het geeft daarbij een antwoord op de vraag of het betreffende project of programma doorgang moet vinden en is dus conclusie georiënteerd.

 

Herman et. al hebben een schema gemaakt met de 2 soorten evaluatie (zie pagina 8).

Hier volgt een samenvatting van het schema.

 

Formatieve evaluatie:

Is gericht op de uitvoerders van het beleid, probeert de doelen van het beleid duidelijk te krijgen, probeert zicht te krijgen op de uitkomsten van het beleid, de evaluator heeft een interactieve rol, er wordt zowel gebruik gemaakt van kwalitatieve als kwantitatieve dataverzameling, er is sprake van een doorlopende monitoring, de data wordt verzameld door middel van informele gesprekken met betrokkenen en het vindt plaats tijdens de uitvoering van het beleid/programma.

 

Summatieve evaluatie:

Is gericht op de beleidsmakers, geldschieters e.d., het doel is om de uitkomsten van het beleid te meten, de evaluator is onafhankelijk, de focus ligt op kwantitatieve dataverzameling, de data wordt in een korte tijd verzameld, van deze data en de bijbehorende conclusie wordt een officieel rapport geschreven en deze vorm van evaluatie wordt na de interventie/uitvoering uitgevoerd.

 

Er zijn ook verschillen tussen summatieve en formatieve evaluatie namelijk op het gebied van: methodische oriëntatie, keuze van onderzoeksmethoden, frequentie van verzamelen onderzoeksdata, mogelijkheden om onderzoeksuitkomsten te rapporteren en de relatie tussen de evaluator en de mensen die verbonden zijn aan de programma activiteiten.

 

Formatieve en summatieve evaluatie zijn geen synoniemen voor proces en uitkomsten evaluatie. Zowel formatief als summatief kunnen zich richten op zowel het proces als de uitkomsten. Geen van beide is superieur aan de ander, het gaat erom dat ze in de juiste context gebruikt worden. Formatieve en summatieve evaluaties worden veel gebruikt, maar er is ook kritiek op deze benadering. Dit systeem zou namelijk, door de tweedeling, te simpel zijn.

 

Chen heeft ook een systeem bedacht (zie pagina 12 voor het schema).

Chen heeft zijn systeem opgedeeld in evaluatiefuncties (met als onderdelen verbetering en assessment ofwel beoordeling) en programma stadia (met als onderdelen proces en uitkomst). Deze indeling resulteert in de volgende vormen van evaluatie.

Proces verbetering evaluatie heeft als doel de sterke en zwakke punten in een proces vast te stellen om daarna aanbevelingen te doen. Het verschil met een formatieve evaluatie is dat bij proces verbetering evaluatie de informatie van de evaluatie meer in conceptuele manier wordt gebruikt. Het zou dan ook gebruikt kunnen worden in vergelijkbare situaties.

Bij een proces assessment evaluatie ligt de focus op of het beleid wel of niet succesvol is geïmplementeerd in de organisatie. Een voorbeeld is bijvoorbeeld een vorm van kwaliteitscontrole. Het gaat hier dan om zowel de kwaliteit van het programma als van het proces.

Een uitkomst verbetering evaluatie concentreert zich op hoe delen van het programma invloed hebben op de uitkomsten van het programma en betrekt daarbij ook de implementatie van het programma. Dit lijkt overeen te komen met een summatieve evaluatie maar is wel degelijk een verschil. In een uitkomst verbeter evaluatie heeft geen evaluatie van het programma als geheel.

Uitkomsten assessment evaluatie: het gehele programma evalueren. Dit is te vergelijken met summatieve evaluatie.

 

Patton heeft aanvullingen gedaan op het systeem van Scriven. Naast summatieve en formatieve evaluatie heeft hij front-end analysis (evaluatie die wordt verricht voordat de interventie wordt geïmplementeerd), evaluability assessment (soort pre-evaluatie, waarin welke evaluatie het beste past) programme monitoring (evaluatie waar wordt gekeken of het programma wel bereikt wordt door de mensen voor wie het in eerste instantie bedoeld wordt) en evaluatie van evaluatie (meta-evaluatie).

 

Chambers et al. hebben ook een systeem ontwikkeld voor verschillende evaluatietypes. Het idee achter hun systeem is dat er veel diverse onderdelen zijn aan sociaal beleid. Door deze verschillende onderdelen is het noodzakelijk om ook verschillende types evaluatie te hebben.

  • Studies of programme outcome. Het gaat om de vraag of interventie daadwerkelijk gewerkt heeft. De summatieve evaluatie valt hier ook onder.

  • Cost-effectiveness studies and cost benefit analysis. Dit is een berekening die meet hoeveel de interventie daadwerkelijk gekost heeft en deze wordt vergeleken met vergelijkbare interventies.

  • Implementation studies richt zich op de vraag of de interventie zo geïmplanteerd is zoals de bedoeling was. Het lijkt op de formatieve evaluatie.

  • Consumers statisfaction. Reacties van de deelnemers van het programma/interventie evalueren.

  • Needs studies. Sociale programma’s zijn ontwikkeld om aan een bepaalde behoefte van een specifieke cliënten populatie te voldoen. De ontwikkelaars van deze programma’s kunnen dan vragen om een need assessment. Het gaat om de behoefte van de mens en gaat op zoek naar knelpunten. Rossi en Freeman noemen dit daarom diagnostisch evaluatie onderzoek. Deze evaluatie kan in alle fases van evaluatie gebruikt worden.

 

 

De andere kant van evaluatie: de sociale kant

Als evaluator kan je niet een lijstje met methodologische spelregels doorlopen om te komen tot de perfecte evaluatie. Een grote invloed gaat uit van de sociale context. In elke evaluatie spelen diverse groepen een rol, die elk belang hebben bij de uitkomst van de evaluatie. Deze groepen noemen ze ‘stakeholders’. Er zijn verschillende groepen: beleidsmakers die verantwoording dragen in het formuleren en monitoren van beleidsinterventies. Een andere groep zijn de programma managers, beheerders en sturende comités. Daarnaast heb je de mensen die dagelijks het programma uitvoeren. Van deze groep krijgt de evaluator de meeste informatie. Conflicten komen regelmatig naar boven tussen de stakeholders. Dit kan een probleem opleveren voor de evaluator.

 

Rossi en Freeman zien verschillende problemen:

  • Welk soort evaluatie ontwerp en welk doel kiest de evaluator? Elke stakeholder heeft een andere voorkeur.

  • Het is onmogelijk voor de evaluator om alle partijen tevreden te houden.

  • De evaluator kan tegen problemen oplopen in de communicatie met diverse stakeholders en miscommunicatie kan de kop opsteken.

 

Smith et al. hebben 5 punten bedacht die de evaluator moet doorlopen tijdens het uitvoeren van een evaluatie:

  • Omgaan met conflicten.

  • Verschillende stake holders moeten een bepaalde invloed hebben op het ontwerp van de evaluatie.

  • De evaluator heeft tijdens de evaluatie contact met alle betrokkenen.

  • De omvang van het project moet eerst worden bepaald voordat er gekeken kan worden of de doelstellingen zijn gehaald.

  • De evaluator moet de verschillende omgevingsfactoren in overweging nemen tijdens de evaluatie.

 

Veel evaluatoren zijn voorstander van het betrekken van verschillende stakeholders in het evaluatie proces. Er zijn daar ook een aantal evaluatiemodellen voor ontwikkeld: responsive evaluation en utilization evalution. Dit worden ook wel stakeholder based evaluaties genoemd. Volgens Mark en Shotland zijn er 3 belangrijke redenen om samen te werken met de stakeholders:

  • Als mensen zich betrokken voelen bij de evaluaties is de kans groter dat ze wat doen met de uitkomsten van de evaluaties.

  • Het biedt de betrokkenen de kans om zelf mee te maken hoe beleidsontwikkeling nu in zijn werk gaat. De betrokkenen zien dan verschillende perspectieven en visies van beleidontwikkeling.

  • Door middel van het betrekken van verschillende stakeholders in het evaluatieproces kunnen deze stakeholders ook hun mening geven over beleid. Deze ideeën kunnen door de beleidsmakers worden meegenomen in de ontwikkeling van nieuw of bestaand beleid.

De diverse perspectieven en verschillende tegenstrijdige belangen van stakeholders zorgt ervoor dat evaluatie ook een politieke kant heeft. Doordat de diverse groepen te maken hebben met verschillende visies op een situatie is dit een basis voor een mogelijk conflict. Smith en Cantley hebben daarom ‘pluralistic evaluation’ bedacht. De evaluator moet beducht zijn op verschillende belangen betreffende een bepaald programma. Het gaat in de pluralistic evaluatie niet alleen om het beschrijven van diverse indicatoren, maar ook om het vastleggen van de interactie tussen de verschillende stakeholders. Daarom heeft deze evaluatie zowel kwantitatieve als kwalitatieve gegevens. De pluralistic evaluation heeft de volgende kenmerken:

  • De pluralistische evaluatie is gebaseerd op de theorie van ‘political pluralism’ en de subjectieve school in de sociologie. De 1e stap van de pluralistische evaluatie is het identificeren van de stakeholders en de evaluator gaat daarna de verschillende belangen en meningen vergelijken. Een belangrijk onderdeel is het omschrijven van het begrip succes. Iedereen definieert dit namelijk anders.

  • Verschillende groepen stakeholders hebben ook een voorkeur voor een bepaalde datacollectie (interest bound). Dit komt vooral omdat verschillende stakeholders ook verschillende doelstellingen hebben. Het beste is dan ook om verschillende soorten dataverzameling te gebruiken, zodat de visies van alle grote stakeholders in de uiteindelijke analyse staan.

Volgens Smith en Cantley heeft de pluralistic evaluation een aantal voordelen, deze komen voort uit het feit dat één van de kernpunten is dat ze de bezwaren, punten etc. van alle belanghebbenden in overweging nemen. Niet alleen worden zo verschillende manieren gevonden om succes te meten, maar het zorgt ook voor informatie wat helpt om te berekenen waarom er succes of mislukking is in een bepaalde context. Daarnaast is de kans groter dat er een neutraal standpunt wordt geformuleerd in de evaluatie, omdat alle partijen zijn gehoord en de evaluator niet beticht kan worden van een partij voortrekken. De kans is dus ook groter dat uiteindelijk de aanbevelingen worden geïmplementeerd. Er moet wel rekening gehouden worden met het feit dat deze vorm van evaluatie geen oplossing biedt voor mogelijke conflicten die heersen tussen bepaalde groepen.

 

 

De evaluator

De rol van de evaluator is belangrijk, omdat hij meer is dan het uitvoeren van een bepaalde methode. Een belangrijk verschil is of de evaluator intern of extern is. Externe evaluatoren zijn onafhankelijk consulent die is aangenomen door een organisatie om een evaluatie uit te voeren. Interne evalutoren zijn fulltime werknemers van de organisatie zelf.

 

 

 

Voordelen interne evaluatoren:

  • Bekend met de geschiedenis, kenmerken, sociale omgang e.d. van de organisatie.

  • Zijn waarschijnlijk meer toegewijd om de aanbevelingen daadwerkelijk uit te voeren, omdat hij zelf verantwoordelijk is voor het schrijven van de aanbevelingen.

  • De evaluator zal zich waarschijnlijk concentreren op de problemen die door het management worden aanbevolen.

 

Voordelen externe evaluatoren:

  • Hun onafhankelijk standpunt zorgt voor een frisse benadering.

  • Hebben een objectieve, kritische benadering.

  • Hebben veel kennis en ervaringen, waardoor ze de organisatie met andere organisaties kunnen vergelijken.

  • Hebben kennis en ervaring in een grote hoeveelheid aan evaluatie technieken.

  • Zullen niet snel last hebben van eventuele intimidatie van het management.

 

Nadeel interne evaluatoren:

  • Hebben belang in een bepaalde uitkomst van de evaluatie.

  • Vaak over beïnvloedt door de geschiedenis, problemen e.d. in de organisatie.

  • Kunnen beïnvloedt worden door de visies die het management heeft.

  • Onwaarschijnlijk dat hij ervaring heeft gehad met diverse vormen van evaluatie technieken.

  • Kan minder toegewijd zijn, omdat hij het nut er niet echt van in ziet.

  • Neigen om een voorkeur te hebben voor programma’s die zijn ontwikkeld op de eigen afdeling.

  • Kan het moeilijk vinden om andere stake holders aan te moedigen om actief mee te doen aan het evaluatieproces.

 

Nadeel externe evaluatoren:

  • Ontwetend over interne zaken zodat oordelen van mensen niet goed de complexe werkelijkheid weergeven.

  • Zijn niet echt op de hoogte wie de sleutelfiguren en zullen daarom makkelijker te misleiden zijn.

  • Meer interesse in het rapport van de evaluatie dan in de implementatie ervan.

  • Beïnvloedt door de behoefte om mogelijke toekomstige contracten veilig te stellen.

  • Zullen niet echt opmerkzaam zijn voor bepaalde omgangsvormen binnen de organisatie.

  • Vooral verantwoordelijk voor een externe organisatie.

 

Het wil niet zeggen dat beide soorten exclusief van elkaar bestaan. Patton zegt dat ze ook te combineren zijn en daarom voordelen van beide soorten kunnen hebben. De rol van een evaluator is de afgelopen jaren ook veranderd. In eerste instantie werd hij vooral als waardevrije, neutrale wetenschapper gezien die beleidsmakers hielp door het verschaffen van informatie. Scriven waarschuwt dat evaluatoren niet teveel beïnvloedt moeten worden door de belangen van de beleidsmakers. De evaluator heeft niet alleen als functie om informatie te verschaffen, maar ook een educatieve functie. Op deze manier kan de evaluator de mensen in de praktijk helpen om beter met de nieuwe situatie om te gaan. Hoe de evaluator zijn rol ziet heeft niet alleen invloed op de keuze van onderzoeksmethoden, maar heeft ook gevolgen voor de relatie die de evaluator heeft met diverse stakeholders. Soms zal de evaluator als een ‘mediator’ moeten dienen, omdat er conflicten kunnen ontstaan tussen diverse stakeholders.

 

 

Guba en Lincoln hebben het idee van een meewerkende rol (collaborative) verder uitgewerkt en is onderdeel van wat zij noemen de 4e generatie evaluatie. Ze beschrijven dit als: een breed proces waar er verschillende onderdelen zijn, waaronder een diagnose stellen en alle stakeholders kennis bijbrengen. De evaluator werkt tijdens alle fases van de evaluatie samen met de stakeholders. Stakeholders worden gezien als een belangrijke bijdrage en invloed op de beslissingen, data etc. De evaluator brengt de communicatie op gang tussen de diverse stakeholders. De rol van de evaluator is dan soms ook meer als onderhandelaar.

 

Bij de empowerment evaluatie speelt samenwerking ook een belangrijke rol. Het is een democratische benadering ontworpen om je eigen koers te bepalen en vast te houden. De concepten en onderzoeksmethoden van de evaluatie geven de deelnemers ook een stem in de evaluatie. Het gaat dus om verbetering van de deelnemers. Empowerment evaluatie heeft verschillende vormen. De voordelen van een empowerment evaluatie worden duidelijk als we gaan kijken naar de typen rollen die de evaluator vervuld in deze vorm van evaluatie. Evaluatoren kunnen als woordvoerders fungeren om op deze manier groepen te versterken. Dit is dan vooral voor groepen die in de marginaliteit leven of er economisch nadelig voorstaan. Dit heeft ook gevolgen voor hoe de evaluatie geleid wordt. Deelnemers kunnen direct vormgeven aan de richting aan de ideale oplossingen die voortkomen uit de evaluatie, de evaluator neemt dan ook actief deel in het veranderproces.

 

Er zijn 4 procedurestappen in een empowerment evaluatie (Fetterman):

  1. Uitzoeken hoe het er nu aan toegaat/is. Zoeken naar sterke en zwakke punten.

  2. Bepalen van het doel.

  3. Evaluator werkt nauw samen met het personeel en deelnemers om ze te helpen met het ontwikkelen van het praktijkprogramma en strategieën om de beoogde doelstellingen te halen.

  4. De evaluator helpt het personeel om de informatie te vinden die nodig is om de evaluatie vorm te geven en dus te kunnen zien of de doelstellingen gehaald zijn.

 

Evaluatoren worden ook wel ‘power merchants’ genoemd, dit komt vooral vanwege hun expertise en technische vaardigheden (Fein et al). De evaluator neemt de rol van trainer aan, hij leert de stakeholders aan dat ze in de toekomst hun eigen evaluaties kunnen uitvoeren. Evaluatie wordt zo een integraal onderdeel van het programma ontwerp. Volgens Fetterman kan empowerment evaluatie een bevrijdende werking hebben voor individuen, groepen en organisaties.

Participatie en empowerment kan ook voorkomen in actie onderzoek. Actie onderzoek kan beschreven worden als ‘clinical inquiry process that involves diagnosing a problem, planning action steps, and implemting en evaluating outcomes’. Als onderzoeksstrategie neemt het elementen van onderzoek, actie en evaluatie in zich op. Dit suggereert dat er overeenkomsten zijn tussen evaluatie onderzoek en actie onderzoek, hierdoor wordt het mogelijk dat een actie strategie een onderdeel kan zijn van een formatieve evaluatie onderzoeksontwerp. Actie onderzoek is een samenwerkende onderneming gericht op het vinden van oplossingen voor praktische problemen. In deze context worden evaluatie data gebruikt voor diagnostische doelen, ze helpen om de impact zeker te stellen van de geplande interventies en ook het ondersteunen bij toekomstige interventies. Samenwerking tussen de professionele onderzoeker en de mensen uit het veld kan in alle fases van het onderzoek een rol spelen.

 

Participatory action research (PAR) is een vorm van actie onderzoek waarbij intensieve samenwerking een rol speelt. In deze vorm participeren bepaalde mensen uit de organisatie actief met de professionele onderzoeker tijdens het gehele proces. Volgens Greenwood, Whyte en Harkavy moet PAR wel vrijwillig zijn en vanzelf ontstaan, het heeft geen zin dit op te leggen.

Bij intensieve samenwerking bij een evaluatie heeft dit wel gevolgen voor de interactie tussen de onderzoekers en de deelnemers. Het is dan belangrijk te kijken naar de specifieke rollen van de onderzoekers en deelnemers van het programma om te kijken hoe de samenwerking gaat. Elden en Levin stellen voor om te kiezen voor insider en outsider frameworks. Frameworks is een manier om te begrijpen. Insider: mensen die er direct mee te maken hebben en outsiders: externe onderzoekers. Elden en Levin zeggen dat meewerkende vormen van actie onderzoek zorgt voor empowerment in 3 manieren:

  • Door actief mee te doen verkrijgen deelnemers nieuwe inzichten.

  • Stakeholders leren hoe ze moeten leren.

  • Deze vorm is bevrijdend omdat de stakeholders leren hoe ze nieuwe kansen kunnen creëren.

Conclusie: PAR heeft net zoals bij empowerment evaluation de mogelijkheid om verlichtend en bevrijdend te werken.

 

Er is veel op te merken over de stakeholder based benadering voor evaluatie. Er zitten ook wat moeilijkheden aan: het is voor de evaluator moeilijk om de verschillende visies van de verschillende stakeholders tot één nieuwe toekomstgerichte visie te maken. Daarnaast is er de vraag of in deze benadering de participanten wel echt invloed en een stem hebben in het evaluatieproces. Mark en Schotland vinden dat dit leidt tot pseudo empowerment:

  • Er kan niet gegarandeerd worden dat alle stakeholders evenveel invloed hebben

  • Sommige stakeholders zullen vinden dat ze weinig invloed hebben op het programma zelf. Mark en Schotland zeggen zelfs dat, cynisch gezien, er sprake is van sociale controle in plaats van empowerment. Het lijkt alsof je invloed hebt, maar in de praktijk is dat niet zo.

 

Volgens Patton kan de evaluator verschillende rollen aannemen: trainer, politicus, externe collega etc. Uiteindelijk zal de keuze van rol afhangen van de omstandigheden van de evaluatie en van het karakter van de evaluator en zijn ervaringen in vorige evaluaties.

 

 

De rol van theorie

Theorie maakt ook een belangrijk onderdeel uit van een evaluatie, het wordt zelfs een vitaal onderdeel van de evaluatie genoemd. Er is een verschil tussen theorie over evaluatie en theorie in een evaluatie. Volgens Shadish vertelt evaluatie theorie wanneer, waar en waarom bepaalde methoden gebruikt moeten worden, de sequentie van evaluatie etc. (zei blz. 30 voor gehele uitspraak). Shadish et al. zijn ook van mening dat een evaluatie theorie vijf belangrijke onderdelen moet bevatten: social programming, knowledge construction, knowledge use, valuing en practice.

 

In essentie refereert de term evaluatie theorie naar de theorie zoals die is toegepast op de daadwerkelijke uitvoering van de evaluatie, dus de theorie over het doen van evaluatie. Het is dus anders dan programme theory (beleidstheorie) in evaluatie, want daar gaat het over de theorie die beschrijft hoe een bepaalde interventie zou moeten werken.

 

Theorie gefocuste evaluatie wordt ook theory driven genoemd of theory based evaluation. Theory based evaluation: evaluatie gebaseerd op een model, theorie of filosofie over hoe de interventie werkt, een model, theorie, filosofie die de causale relaties indiceert die er schijnbaar voor zorgen dat het programma/interventie werkt.

Het probleem is dat deze theorie niet altijd expliciet wordt benoemd door de beleidsmakers. De taak van de evaluator is dan ook om de assumpties (theoretische kader) en dergelijke helder te krijgen.

Chen is voorstander van theory driven perspective, hij maakt onderscheid tussen 2 typen:

  • Descriptive: linken van theorie, processen en uitkomsten door een onderzoek naar de causale relaties in een programma. Dit wordt ook wel causatieve theorie genoemd. De theorie die wordt gebruikt in evaluaties heeft als doel om te verklaren hoe en onder welke voorwaarden een bepaald programma werkt.

  • Prescriptive: ook normatieve theorie genoemd. Het gaat om de vraag welke vorm de structuur van een programma zou moeten aannemen. Het gaat om de consistentie tussen de theorie van het programma en het geïmplementeerde programma.

 

Door de realistische evaluatie van Pawson en Tilly heeft de theory driven evaluatie weer een nieuwe impuls gekregen. Realistische sociale verklaring zorgt voor een model voor de specificatie van de theorie die aan een sociaal programma ten grondslag ligt. Het is gebaseerd op een conceptuele configuratie van mechanismen contexten en uitkomsten. Zij zijn van mening dat specifieke uitkomsten van een bepaalde interventie niet aantonen dat er een causale relatie is over hoe en waarom een programma werkt.

 

De vraag rijst: hoe komt de evaluator bij de theorie van een evaluatie? Weiss heeft 4 bronnen van die kunnen leiden tot het specificeren van de beleidstheorie:

  • Documenten: interne rapporten, verslagen van vergaderingen etc.

  • Mensen: beleidsmakers, uitvoerders en de planners.

  • Voorgaand onderzoek

  • Logisch redeneren

 

Er zijn dus een aantal belangrijke functies van een beleidstheorie in evaluatie:

  • Helpt bij identificeren van sleutelvragen in evaluaties

  • Stelt vast welke onderzoeksmethoden het beste passen

  • Verklaren de natuur en inhoud van de relatie tussen programma activiteiten en haar uitkomsten.

 

Er zijn ook nadelen: kost veel tijd en is erg duur. Maar een theory based evaluatie is essentieel als het doel is om vast te stellen hoe en waarom een sociaal programma werkt of faalt.

Hoofdstuk 2 – Kwantitatief & kwalitatief: paradigmatische keuzes in de methodologie van evaluatie

 

Er is een groot verschil tussen wetenschappelijk onderzoek en evaluatie. Wetenschappelijk onderzoek is gericht op het vinden van nieuwe kennis terwijl een evaluatie er op gericht is om opties te verduidelijken, onzekerheden te verminderen, effectiviteit te onderzoeken en informatie te geven over programma’s en beleid.

Ondanks dat er verschillen zijn, maken evaluatoren wel gebruik van verschillende wetenschappelijke methoden. Om een juiste keuze te kunnen maken moeten evaluatoren zich bewust zijn van de methodologische en filosofische discussies die het gebruik van verschillende methoden in sociale wetenschappen met zich mee brengen. Om deze reden moet de evaluator de voor- en nadelen weten van een methode zodat de ‘beste’ methode gekozen kan worden. Daarnaast moet er ook aandacht zijn voor bredere filosofische zaken om in staat te zijn om een evaluatie theorie op te zetten. Volgens Chen is een evaluatie meer dan alleen een juiste methode kiezen en data verzamelen; het moet ook theorie gedreven zijn.

Er zijn vier elementen die de basis zijn voor de constructie van kennis:

  1. Er zijn overwegingen die te maken hebben met de methode; zoals welke technieken gebruikt moeten worden om data te verzamelen en welke analyse vorm het meest geschikt is?

  2. Er zijn overwegingen van meer algemene aard ten aanzien van de methoden; zoals het wel of niet toepassen van een experimenteel design.

  3. Er zijn ontologische vragen die gaan over wat er in de werkelijkheid bestaat?

  4. Er zijn epistemologische vragen die gaan over wat kennis is, hoe deze vergaard moet worden en wat de grenzen van kennis zijn.

De eerste twee elementen zijn geconcentreerd op de praktische overwegingen terwijl de laatste twee over de filosofische overwegingen gaan.

 

 

Het paradigma probleem

Er is een lang debat gaande over de voordelen van kwantitatieve versus kwalitatieve methoden. Een paradigma bevat een set van assumptie over de wereld (ontologie) en levert ook een kader over hoe die wereld dan bestudeerd moet worden (epistemologie). Het positieve aan een paradigma is dat het leiding geeft aan het proces van onderzoek doen en het een basis vormt voor de uitvoering van onderzoek. Het negatieve aan een paradigma is dat wanneer een paradigma overheerst in een bepaalde discipline, dit ervoor kan zorgen dat andere nieuwe manieren van onderzoek tegen gehouden worden.

Evaluatoren moeten de verschillende paradigma’s en de assumpties die hieraan ten grondslag liggen begrijpen. Zo kunnen evaluatoren tot goede methodologische beslissingen komen, waarin de methodekeuze afhangt van het probleem of de situatie en niet van het ‘paradigma’ waartoe iemand behoort.

 

Er zijn twee grote stromingen; het kwantitatief en kwalitatief onderzoek met beiden een andere ontologie:

  • Bij kwantitatief onderzoek wordt er vanuit gegaan dat de realiteit/werkelijkheid objectief is en dat deze bestaat onafhankelijk van de menselijke waarneming. Er is één werkelijkheid die ontdekt kan worden door middel van hetzelfde empirische, rationeel en systematisch onderzoek zoals in de natuurwetenschappen. Ondanks dat er maar één werkelijkheid is, kan deze wel opgedeeld worden en kunnen deze samenhangende delen onafhankelijk van elkaar onderzocht worden om bijvoorbeeld oorzaken te ontdekken van bepaalde fenomenen.

     

  • Bij kwalitatief onderzoek wordt de werkelijkheid meer gezien als een moeilijk te bereiken concept. Er is geen één objectieve werkelijkheid, er zijn juist verschillende subjectieve realiteiten. De realiteit ontstaat in de interactie tussen de objectieve wereld en de subjectieve geest van de mens. De taak van de onderzoeker is niet om vast te stellen welke werkelijkheid ‘waar’ is (zoals bij kwantitatief), maar om ervoor te zorgen dat alle verschillende versies van realiteiten/werkelijkheden in kaart zijn gebracht.

 

Er zijn ook twee verschillen tussen de twee stromingen als het gaat om de epistemologie:

  • Het kwantitatieve paradigma gaat er vanuit dat het mogelijk is om de onderzoeker af te scheiden van hetgeen dat onderzocht wordt. Er wordt vanuit gegaan dat de onderzoeker objectief kan blijven en geen vooroordelen heeft. Dit wordt bereikt door methoden als een experiment en vragenlijsten die de interactie tussen de onderzoeker en de onderzochten laag houdt en door systematische technieken te gebruiken.

  • Het kwalitatieve paradigma gaat er vanuit dat er een fundamenteel verschil is tussen sociaal wetenschappelijk onderzoek en natuur wetenschappelijk onderzoek. De taak van de onderzoeker is om inzicht en begrip te krijgen, waardoor de onderzoeker dicht bij de onderzochten moet staan.

 

Bovenstaande ontologische en epistemologische verschillen hebben twee verschillende methodologische houdingen teweeg gebracht. De hypothetisch-deductieve methode die vertegenwoordigd wordt door de kwantitatieve methoden. Hierin worden causale verklaringen en voorspellingen belangrijk geacht en dit heeft een deductieve vorm van logica. Het onderzoeksproces start met een theorie met enkele samenhangende veronderstellingen. Vervolgens wordt er een hypothese geformuleerd en wordt deze getoetst. De hypothese staat dus vast voordat er data verzameld wordt en mag niet aangepast worden. De evaluator moet dus van te voren al weten wat een succesvolle programma uitkomst is.

De tweede houding is de inductieve methode die vertegenwoordigd wordt door de kwalitatieve methoden. Er wordt geen vaststaand doel/hypothese gesteld, maar kwalitatieve onderzoekers proberen generalisaties af te leiden uit geobserveerde data. Hier gaat men er vanuit dat er begrip van het programma verwezenlijkt wordt door inzicht te krijgen in de individuele ervaringen van participanten.

Bovenstaande twee benaderingen brengen bepaalde methoden met zich mee. Zo zal de kwantitatieve evaluator meer gestructureerde interviews of vragenlijsten gebruiken, terwijl de kwalitatieve evaluator meer diepte interviews zal gebruiken.

 

 

De kwantitatieve benadering

Suchman maakt een verschil tussen een evaluatie (het algemene proces waarin de waarde van een programma bepaald wordt ongeacht welke methode gebruikt wordt) en evaluatie onderzoek (wanneer men de waarde van een programma wil vast stellen en specifiek gebruik maakt van wetenschappelijke methoden). In evaluatie onderzoek overheersten de wetenschappelijke methoden van de natuurwetenschap; objectieve kwantitatieve metingen, experimentele designs en het testen van hypothesen middels een hypothetisch-deductieve benadering.

Volgens het kwantitatieve paradigma is het ultieme doel van een summatieve evaluatie om te bepalen of er een causale relatie is met betrekking tot het programma. Vaak is het beleid dat het onderwerp van onderzoek is de onafhankelijke variabele (oorzaak), terwijl de geplande verandering de afhankelijke variabele (het effect) is.

 

 

Het experimentele design

Van verschillende experimentele designs wordt het zuiver experiment het meest aangeraden. Een belangrijk kenmerk hiervan is dat er randomisatie plaats vindt bij de toewijzing van participanten tot de controle of de experimentele groep. Iedere participant heeft een gelijke kans om in één van de twee groepen terecht te komen. Om echter de significantie van randomisatie te begrijpen is het noodzakelijk om interne validiteit te begrijpen. Volgens Mark and Cook heeft interne validiteit (meet je wat je wilt meten?) te maken met de nauwkeurigheid van de gevolgtrekkingen over of het gemanipuleerde programma/de behandeling enige verandering veroorzaakte in de gemeten resultaten.

In programma evaluatie is het doel van een experimenteel design om een beoordeling te krijgen van het effect van een programma door de uitkomsten van de experimentele en controle groep te vergelijken. Echter niet alle effecten kunnen worden toegeschreven aan het programma. Er kan namelijk sprake zijn van andere factoren die de resultaten beïnvloeden (ofwel de storende factoren). Deze vormen een bedreiging voor de interne validiteit. Het probleem is dat causale gevolgtrekkingen niet geobserveerd kunnen worden, maar moeten worden afgeleid uit de resultaten. Om de causale gevolgen van een programma aan te tonen, moeten vaak andere verklaringen die de verandering in de resultaten kunnen verklaren eerst geëlimineerd worden. Stel dat er een programma aangeboden wordt aan wao’ers om sneller door te stromen naar werk, maar de deelname is vrijwillig. In een experimentele setting zou het ‘effect’ van het programma ook veroorzaakt kunnen worden doordat de deelname vrijwillig is; er doen dan immers alleen zeer gemotiveerde mensen mee. Campbell en Stanley geven enkele storende factoren;

  • Selectie effecten: dit is wanneer een verschil in resultaten toegewezen kan worden aan een verschil in personen die meedoen aan een experiment. De mensen in de experimentele groep kunnen bijvoorbeeld qua samenstelling anders zijn dan de mensen in de controlegroep en als deze kenmerken samenhangen met het onderzoek, maar mensen niet zozeer hier op geselecteerd zijn dan kan dit de resultaten beïnvloeden.

  • Rijping/Groei (maturatie): in dit geval zijn de verschillen tussen de gemeten resultaten van de voormeting en nameting veroorzaakt door rijping/groei van de participanten. Deze groei zou ook plaats vinden zonder het experiment. Het gaat om systematische veranderingen in de biologische of psychologische conditie. Zo zou er duidelijk sprake van rijping zijn in een experiment die een leestest afneemt bij 6-jarigen en dit één jaar later herhaalt.

  • Uitval (attrition): als mensen uitvallen tijdens een experiment. Er kunnen bijvoorbeeld meer/minder mensen uitvallen in een experimentele groep waardoor dit de resultaten beïnvloed. Bij de nameting blijkt dan dat er minder mensen mee doen dan bij de voormeting.

Duidelijk moet zijn dat een belangrijke taak van de evaluator is om storende factoren onder controle te houden. Om dit te doen is het waarschijnlijk het beste om randomisatie toe te passen. Randomisatie heeft twee voordelen. Ten eerste geeft het de zekerheid dat de experimentele en controle groep gemiddeld gezien gelijk zijn en dat dus de mogelijke storende factoren gelijk verdeeld zijn over de twee groepen. Hierdoor kunnen de groepen ook vergeleken worden. Ten tweede kunnen de resultaten van een experiment met randomisatie omgezet worden in statistische gegevens. Vanaf bladzijde 44 tot en met 50 worden meerdere (quasi-) experimentele designs getoond in schematische overzichten.

 

 

 

Er zijn twee vormen van experimenten met randomisatie.

  • Het klassiek experiment heeft beide voordelen van de randomisatie. Het is een design met twee groepen (één experimentele groep en één controle groep), maar in een evaluatie kunnen meerdere varianten worden getest van een programma. In dit geval worden er nog meer experimentele groepen toegevoegd die allemaal een variatie van het programma volgen.

  • Een experiment met randomisatie en een nameting. Het enige verschil met het klassieke design is dat er geen voormeting plaats vindt.

 

Beleidsmakers en opdrachtgevers kunnen vanwege ethische redenen protesteren tegen randomisatie. Dit kan zeker het geval zijn als het bijvoorbeeld om de gezondheid van mensen gaat zoals het geval kan zijn als de ene groep kankerpatiënten een placebo krijgt en de andere groep een medicijn. De evaluator beslist in welke groep (experimentele of controle groep) mensen worden toegewezen, maar het ziekenhuis personeel voert het uit en geeft uiteindelijk de medicatie ofwel de placebo. Het personeel zou in deze zin kunnen afwijken van de randomisatie, omdat ze een eigen visie hebben op wie moet worden toegewezen tot de experimentele/controle groep. Dit ondermijnt een zuiver experiment. De evaluator moet dus alert zijn op weerstand tegen randomisatie. Zelfs al is er een succesvolle randomisering, dit wil nog niet zeggen dat de groepen vergelijkbaar blijven. Er kan bijvoorbeeld sprake zijn van uitval (zie eerder).

Een ander probleem als het gaat om de implementatie van een gerandomiseerd experiment is dat proefpersonen/groepen onrechtvaardigheid kunnen gaan voelen. Ze zien bijvoorbeeld dat iemand anders een behandeling krijgt terwijl zij zelf niets krijgen.

Het gaat hier om de reacties van mensen op de verschillende behandelingen die er toe kunnen leiden dat de effecten van een zuiver experiment verdoezeld worden. Er worden vier reacties onderscheiden:

  • Treatment diffusion: wanneer participanten van de controle groep toch in contact komen met de behandeling ofwel de experimentele groep.

  • Compensatory eqqualization: wanneer personeel een gedeelte van de behandeling toch ook toepast bij de controlegroep uit bijvoorbeeld medelijden. Het is een soort compensatie.

  • Compensatory rivalry: wanneer mensen uit de controlegroep erachter komen dat anderen wel een behandeling krijgen. Om deze reden gaan ze zelf beter hun best doen.

  • Resentful demoralization: wanneer mensen uit de controlegroep erachter komen dat anderen wel een behandeling krijgen. Om deze reden worden ze gedemoraliseerd.

De bovenste twee ondermijnen het ideaal van groepsvergelijking die karakteristiek is voor randomisatie. Alle vier deze reacties kunnen niet voorkomen worden door randomisatie en er zijn andere maatregelen nodig om deze reacties te ondervangen. Voorstanders van het experiment geven aan dat het experiment sterke conclusies kan trekken over causale gevolgtrekkingen, maar ze erkennen ook dat er ernstige implementatie problemen zijn en dat een experiment tijdrovend en veel geld kost.

 

 

Quasi-experimentele designs

De sociale wetenschapper werkt vaak in de natuurlijke omgeving van de onderzochten en kan niet altijd het experiment volledig onder controle houden. Zoals eerder al is besproken kunnen praktische of ethische redenen er al voor zorgen dat randomisatie niet mogelijk is. Een praktische reden kan bijvoorbeeld zijn dat de controlegroep/experimentele groep al is ingedeeld voordat de evaluator in beeld komt (bijvoorbeeld als het onderzoek plaats vindt op een school). Als er om een van deze redenen of andere redenen geen randomisatie toegepast kan worden, en er dus geen sprake is van een zuiver experiment, dan wordt een quasi-experimenteel design aangeraden. Er wordt aangegeven dat een evaluator goed moet nadenken over de keuze tussen een zuiver experiment en een quasi-experiment.

 

Er kan een onderscheid gemaakt worden tussen sterke en zwakke quasi-experimenten. In de zwakke designs zijn de controle en experimentele groepen vaak niet vergelijkbaar omdat er geen randomisatie wordt toegepast. De zwakke designs zijn ook wel bekend als pre-experimentele designs:

  • Experimentele groep met een nameting: dit is de zwakste van de designs. Er is alleen een nameting. Om deze redenen kan het de impact van een programma niet meten door de voor- en na- meting met elkaar te vergelijken. Tevens is er geen controlegroep waardoor het moeilijk vast te stellen is of de gemeten verandering is toe te wijzen aan het programma of niet. Een dergelijk design kan het beste gebruikt worden in beschrijvend of explorerend onderzoek.

  • Experimentele groep met een voor- en na- meting: hier is geen sprake van een controlegroep, maar er is wel een voor- en na- meting. Hier kan de evaluator wel iets zeggen over de veranderingen van die groep mensen, maar krijgt de evaluator geen informatie over een groep die geen programma gevolgd heeft.

  • Experimentele en controle groep met een nameting: Er is een controle en experimentele groep, maar er is alleen een nameting. Dit design lijkt op een experiment met randomisatie met een nameting, maar hier is dus geen sprake van randomisatie. Om deze reden kan niet worden aangenomen dat de twee groepen vergelijkbaar zijn en de verschillende manieren waarop de groepen zijn geselecteerd kunnen de resultaten beïnvloeden. Het ondersteunt dus geen causale gevolgtrekkingen.

  • Klassiek experiment zonder randomisatie: Een design met een controle en experimentele groep. Daarbij is er sprake van zowel een voormeting als een nameting.

 

De sterke quasi-experimentele designs proberen juist wel de controlegroep en de experimentele groep zo veel mogelijk gelijk te maken. Dit gebeurt door ofwel van te voren (ex ante) of erna (ex post) de controle groep samen te stellen. Het ene quasi-experiment onderscheid zich van het andere door de manier waarop de controlegroep wordt samengesteld. Rossi en Freeman onderscheiden 4 typen:

  • Matching: Het matchen kan twee vormen aannemen; ofwel individueel matchen ofwel globale matching. In het eerste geval wordt er voor een persoon met bepaalde kenmerken/variabelen in de experimentele groep een ‘zelfde persoon met die kenmerken/variabelen’ in de controlegroep geplaatst. In het tweede geval wordt er gekeken naar de frequentieverdeling van bepaalde belangrijke variabelen in de controle- en experimentele groep en wordt er geprobeerd dit gelijk te houden.

  • Statistische samenstelling: als statistische gegevens gebruikt worden om een controlegroep samen te stellen

  • Regressie-discontinuïteit: Deze vorm komt het dichtst bij de gerandomiseerde experimentele designs.

  • Generieke samenstelling: wanneer er geen vergelijkbare controlegroep kan worden samengesteld en men gebruik maakt van een virtuele vergelijkingsgroep. Het gaat om de verwachtingen van de uitkomsten als soortgelijke participanten het programma niet gevolgd zouden hebben.

 

Er zijn veel verschillende meningen over de plaats van het quasi-experiment in het paradigma van evaluatie, zowel van voorstanders als van tegenstanders. Over het algemeen leveren de methodologische eisen van het experimentele design kritiek op. De noodzaak om gecontroleerde condities vast te stellen en te handhaven kan namelijk op verschillende manieren problemen opleveren. Een ander kritiek punt is dat bij een experiment alleen gekeken wordt naar de van te voren vast gestelde doelen of verwachte resultaten. Er wordt niet gekeken naar de ‘niet bedoelde uitkomsten’.

 

 

De kritiek van een realist op het experimentele design

Pawson en Tilley geven aan dat een evaluatie van een programma niet alleen hoeft te falen omdat het programma ook echt ‘slecht is uitgevoerd’, maar dat dit ook kan liggen aan falende methodologische keuzen van de evaluator. Zij geven aan dat het experimentele design niet voor alles gebruikt kan worden.

Bij experimentele designs is het doel om causaliteit te vinden waarbij de controle- en experimentele groep gelijk zijn om vergelijkingen mogelijk te maken. De kritiek is dat je op deze manier wel weet dat er iets verandert (naar aanleiding van de voor- en na-meting), maar dat het een zwart gat (black box) creëert. Je weet wel dat een programma een effect heeft, maar je weet niet waarom. In die zin is een experimenteel design niet in staat om echte inzichten te verschaffen in causale mechanismen.

Bij strenge experimentele controle om groepsgelijkheid te waarborgen lijkt het erop dat de evaluator wil zien of een programma effect heeft, zonder aandacht voor de eigenschappen van de onderzochten die het ondergaan. Volgens Pawson en Tilley moet de evaluator hier juist aandacht aan besteden. Programma’s worden juist effectiever als participanten er voor kiezen om het programma te laten werken en als ze de juiste mogelijkheden krijgen aangereikt om het tot een succes te maken. Randomiseren is volgens Pawson en Tilley niet wenselijk, want dan ga je de succes variabelen verspreiden over groepen, waardoor het programma eerder als ineffectief gemeten kan worden.

 

Pawson en Tilley introduceren een wetenschappelijk realistische strategie: realistische evaluatie. Hetgeen dat karakteristiek is voor de realistische benadering is de positie ten opzichte van causaliteit. Ze nemen een generatieve benadering aan. Volgens deze visie is er een ‘echt’ verband tussen oorzaken en diens effecten waarbij het meer gaat over het proces en de mechanismen. In de context van evaluatie onderzoek daagt het de evaluator uit om te kijken naar wat er nu echt gebeurt tussen het programma en de uitkomsten ervan. Dit met in acht neming dat het niet de programma’s zijn die werken, maar de redeneringen en mogelijkheden van de mensen die deelnemen aan het programma en het laten werken. Het is dus niet enkel een input/output meting en de realistische benadering vraagt ook naar een theorie van verwachte causale mechanismen die maken dat een programma werkt. Het klassieke experiment en diens benadering kan meer gezien worden als methodisch gestuurd terwijl de realistische benadering meer theorie gestuurd is.

 

 

De kwalitatieve benadering

De voorstanders van deze benadering hadden snel kritiek op het experimentele/kwantitatieve benadering, vanwege het feit dat er enkel gekeken wordt naar input en output terwijl er niet gekeken wordt naar de aspecten van een programma die maken dat het programma werkt. Wat er gebeurt tussen input en output wordt genegeerd. Er worden enkele vormen van evaluatie toegelicht. Zo spreken Parlett en Hamilton’s over verlichtende evaluatie (illuminative evaluation). Volgens hun visie zou een evaluatie de percepties en ervaringen van de deelnemers moeten beschrijven. Er zou geen nadruk moeten liggen op metingen en voorspellingen, maar op interpretatie en beschrijvingen.

 

Stake maakt een ander onderscheid. Hij had het over de voorbestemde evaluatie (preordinate evaluation) waarin intensief gebruik wordt gemaakt van kwantitatieve methoden. Hierin volgt men de visie van het conventionele wetenschappelijk paradigma ofwel het gebruik van gestandaardiseerde metingen, formele methoden van data analyse etc. De rol van de evaluator is meer formeel, objectief en afstandelijk. De andere vorm van evaluatie volgens Stake was de responsieve evaluatie (responsive evaluation). Hierin ligt de nadruk meer op programma activiteiten en reageert de evaluatie meer op vragen vanuit de deelnemers. Volgens Stake moeten de belangen van de stakeholdes vooral gereflecteerd worden in het onderzoeksdesign. In zijn responsieve evaluatie bestaat dan ook ruimte voor de evaluator om een betrokken rol aan te nemen en om een nauwe samenwerking aan te gaan met personeel en participanten.

 

 

Interpretatieve evaluatie

Één van de perspectieven die belangrijk zijn in de interpretatieve evaluatie is het naturalisme. In de brede zin verwerpt het naturalisme de visie dat de sociale wereld begrepen kan worden door dezelfde wetenschappelijke modellen te gebruiken als in de natuurwetenschappen. Er is volgens diens aanhangers namelijk een groot verschil tussen sociale fenomenen en natuurlijke fenomenen waardoor beiden anders onderzocht moeten worden. De onderzoeker moet de aard van de sociale wereld respecteren en moet proberen om altijd echt/eerlijk te zijn ten opzichte van de onderzochten. Sociale interacties moeten bestudeerd worden in hun natuurlijke omgeving en er moet gekeken worden naar de sociale betekenissen voor de participanten van die interacties.

 

Het interpretatieve interactionistme is een perspectief die ook de filosofische visie van het naturalisme aanhangt. Hier ligt de nadruk op de ervaringen van de participanten. Het sociale leven bestaat alleen maar uit interpretaties en er zijn dus verschillende realiteiten. Denzin geeft aan dat als de programmamakers de participanten waarvoor het programma bedoeld is niet begrijpen, dit ertoe kan leiden dat er ongepaste programma’s ontstaan. Bij een interpretatieve evaluatie moet de primaire aandacht uit gaan naar de ervaringen/visie van degenen voor wie het programma bedoeld is en het houdt ook in dat je als evaluator de kant van de participanten kiest voor wie beleidsmakers beleid maken.

 

Guba en Lincoln hebben onder andere het naturalistische paradigma ontwikkeld. De definitie ervan is echter niet altijd duidelijk. Volgens Guba komt dit door de neiging om een methode te verwarren met een methodologie. Er is volgens Guba een groot verschil tussen het gebruikten van naturalistische/kwalitatieve technieken van dataverzameling en analyse als aanvulling op kwantitatieve technieken in een positivistisch paradigma en het gebruiken van een naturalistische methodologie. Hier verstaat Guba dat de evaluator de realiteit benadert als iets met verschillende lagen en realiteiten dat interactief is en gedeeld wordt als sociale ervaring. Dit kan onderzocht worden door eerst te leren wat participanten als belangrijk zien.

 

 

Constructivistische evaluatie

Eerst noemden Guba en Lincoln hun visie naturalistisch, later noemden ze het meer constructivistisch. Er zijn dan ook veel gelijkenissen tussen de constructivistische, interpretatieve en naturalistische benadering. Zo erkennen alle drie dat er verschillende sociale realiteiten zijn en de noodzaak voor de onderzoeker om uit te zoeken hoe individuen hun sociale ervaringen interpreteren.

 

Constructivisten leggen een nadruk op de menselijke geest met betrekking tot de aard en verwerving van kennis. Volgens de epistemologie van het constructivisme wordt de claim van de positivisten dat het mogelijk is om observeerder en geobserveerde van elkaar te scheiden verworpen. Volgens het constructivisme kan kennis of de waarheid niet ontdekt worden door wetenschappelijke observatie, maar zij zien kennis/waarheid als een constructie van de menselijke geest. Deze constructies bestaan niet buiten diezelfde mensen dus is er ook geen objectieve wereld.

Een sociaal programma kan volgens deze visie enkel begrepen worden vanuit diens natuurlijke setting. De evaluator moet dus de context ervaren van binnen uit een programma en moet ontdekken wat de ervaringen zijn van mensen. Dit heeft gevolgen voor het onderzoeksproces. De overtuiging dat er namelijk meerdere geconstrueerde realiteiten zijn, maakt het onmogelijk om van te voren een onderzoeksdesign te maken. Evaluatoren vanuit deze visie benaderen de onderzoekscontext open-minded zonder te claimen dat ze weten wat de relevante vragen zijn om te stellen. Bij naturalistische of constructivistische onderzoek mag het onderzoeksproces zich ontvouwen en ligt het onderzoeksdesign niet vast zoals wel het geval is bij de positivisten. Niet alleen het onderzoeksdesign wordt gezien als een opkomend proces dat gaandeweg gevormd wordt, ze gaan er ook vanuit dat een theorie zich ontvouwd terwijl data verzameld wordt. Dit is ook een tegenstelling met het traditionele wetenschappelijke paradigma, want daar wordt bestaande theorie gebruikt om het dataverzameling proces te leiden.

 

Voor zover het kwalitatieve evaluatie betreft, zorgen inductieve data analyses ervoor dat een theorie gevormd wordt vanuit de data zelf. Glaser en Strauss ontwikkelden de term gegronde theorie (grounded theory). Dit houdt in dat men niet begint met een theorie om deze vervolgens te bewijzen, maar dat men begint met een specifiek onderwerp/gebied te bestuderen en vervolgens datgene laat ontvouwen wat relevant is voor dat onderwerp.

 

 

Een waaier aan keuzes

Uitgedrukt in hun pure vormen zijn het wetenschappelijke paradigma en het naturalistische paradigma onverenigbaar volgens onder andere Patton en Guba & Lincoln. Dit zie je bijvoorbeeld in de assumpties die ten grondslag liggen aan de realiteit. Het wetenschappelijk paradigma ziet de realiteit als eenvoudig (er is 1 waarheid), convergerend (samenlopend naar 1 waarheid) en fragmentarisch (op zichzelf staand), terwijl het naturalistische paradigma realiteit ziet als iets meervoudigs, divergent (uiteenlopend) en onderling samenhangend.

Vanuit de praktijk van evaluatie is het belangrijk om het debat betreffende de paradigma’s te scheiden van het debat betreffende de voor- en nadelen van de twee onderzoeksmethoden. Een evaluator kan wel de voorkeur hebben voor een bepaald paradigma, maar moet wel in staat zijn om multi-methodische onderzoeksdesigns te kunnen maken voor verschillende contexten. Zelfs Guba en Lincoln zeggen dat er kwantitatieve technieken gebruikt kunnen worden mits dit bij de context past. Ze accepteren dat er enige mixing qua methoden in evaluatie onderzoek kan plaats vinden, maar ze verwerpen het idee dat er een mixing van paradigma’s mogelijk is. Paradigma’s impliceren bepaalde methoden en die methoden worden enkel tot hun volle potentie gebruikt als dit in het juiste paradigma gebeurt.

Het gevaar bij het presenteren van de twee paradigma’s als tegenovergestelde van elkaar, is dat het een beeld creëert van evaluatie onderzoek als een dichotome situatie (waarbij niets van de twee paradigma’s elkaar overlapt) en waarbij de keuze van het paradigma de methoden bepaalt. Degenen die een dergelijke positie innemen worden puristen genoemd. Zoals Guba en Lincoln zeggen is er sprake van een ‘either-or’ situatie, waarbij er gekozen moet worden tussen het ene of het andere paradigma.

De puristen lopen het risico om te veel nadruk te leggen op de verschillen tussen de kwantitatieve en kwalitatieve technieken, zodat een multi-methodische aanpak ontmoedigd wordt. De kwantitatieve data wordt als soft data gezien en de kwantitatieve data als harde data. De puristen geloven dat er overeenstemming is tussen paradigma en methoden ofwel dat de keuzes voor een bepaalde methode worden bepaald door het paradigma.

 

Cook en Reichardt zetten vraagtekens bij de assumptie dat de twee paradigma’s zo rigide vastliggen dat de onderzoeker niet anders kan dan voor de één of de ander kiezen. Ze zetten ook vraagtekens bij de validiteit van de assumptie dat trouw aan een bepaalde paradigma zwaar bepalend is als het gaat om methodologische keuzen. Ze spoorden evaluatoren aan om een flexibele en aanpassende positie in te nemen ten aanzien van een paradigma. Volgens hen zou een evaluator alle methoden moeten kunnen gebruiken die het beste past bij de aard en context van de evaluatie situatie.

 

Patton raadt ook een praktische benadering aan. Hij is het eens met Guba en Lincoln dat een paradigma meer is dan alleen een verzameling van methoden. Maar hij is het niet met hun eens dat dit vervolgens enige praktische gevolgen moet hebben als het gaat om het uitvoeren van een evaluatie. Hij is van mening dat een evaluator responsief moet zijn en flexibel moet zijn als het gaat om methoden. Een evaluator moet dus kunnen switchen qua methoden en paradigma’s. Hij erkent dat verschillende methoden nuttig zijn voor verschillende situaties en dat er een pragmatische benadering nodig is die de integratie van methoden toelaat.

 

Hoofdstuk 3 – Methoden van dataverzameling

 

Datacollectie voor een evaluatie houdt in dat je de variabelen die je wilt meten identificeert, een goede keuze maakt voor onderzoeksinstrumenten (deze eventueel zelf ontwikkeld) die zowel betrouwbaar als valide zijn en de instrumenten in overeenstemming met de algemene methodologische richtlijnen afstemt.

De keuze voor een methode hangt af van de situatie en context waarin een evaluatie plaats vindt. De taak van de evaluator is om zo accuraat mogelijke informatie te leveren. Het doel en de omstandigheden van een evaluatie bepalen de keuze voor de methode.

Het is belangrijk om als evaluator in te kunnen spelen op verschillende situaties, om flexibel en creatief te zijn in het gebruik van methoden.

 

 

Type data

Er wordt een verschil gemaakt tussen kwantitatieve en kwalitatieve data. Deze twee verschillende vormen van data worden vaak geassocieerd met twee verschillende epistemologische posities wat direct van invloed is op de methoden die gebruikt worden.

 

Kwantitatieve data

Kwalitatieve data

  • Over het algemeen geldt dat kwantitatieve methoden data genereren die numeriek gepresenteerd kan worden en onderworpen kan worden aan statistische analyse.

  • Gestandaardiseerde meetinstrumenten worden gebruikt die specifiek bedoeld zijn om objectieve feitelijke data te verzamelen.

  • Data moet repliceerbaar zijn.

  • Kwalitatieve technieken produceren data die niet direct toegankelijk zijn voor statistische interpretaties

  • De onderzoeker zelf is het belangrijkste instrument bij de dataverzameling. Afstand houden is dus heel moeilijk.

  • Gericht op de subjectieve ervaringen en details van programmaplanners en participanten.

 

Kwantitatieve en kwalitatieve methoden kunnen ook gecombineerd worden, dit is geheel afhankelijk van de context waarin de evaluatie plaats vindt.

 

Verschil tussen primaire en secundaire data:

Primaire data

Secundaire data

  • Verzamelen van primaire data vraagt om het gebruik van onderzoeksinstrumenten zoals vragenlijsten.

  • De instrumenten zijn ontworpen om data te verzamelen ten behoeve van een specifiek doel/evaluatie.

  • Data verzameld door andere onderzoekers, organisaties of overheden voor eigen doeleinden.

  • De evaluator is beperkt tot het kritisch analyseren van data die door anderen verzameld is.

 

Zowel primaire als secundaire data zijn er in kwantitatieve en kwalitatieve vormen.

 

 

Methoden van dataverzameling

Veelal worden in evaluaties meerdere methodes van dataverzameling gebruikt. De volgende methoden zijn de meest gebruikte in proces en uitkomst evaluaties.

 

Vragenlijsten

Vragenlijsten zijn één van de meest gebruikte methodes voor het verzamelen van data in evaluatie onderzoek. Hierbij gaat het om het verkrijgen van primaire data. De informatie die verzameld wordt is afhankelijke van het doel van de vragenlijst. Meestal wordt feitelijke informatie zoals geslacht, leeftijd, beroep etc. gevraagd in combinatie met bijvoorbeeld vragen over sociale en psychologische variabelen. Vragenlijsten kunnen zowel voor als na de implementatie van een beleid of programma afgenomen worden om na te gaan of een interventie een positief effect heeft gehad op individuen.

Één van de taken van de evaluator is om een geschikte schaal uit te zoeken voor de vragenlijst. Het gebruikmaken van een bestaande schaal heeft het voordeel dat het al getest is op validiteit en betrouwbaarheid. Als er geen geschikte bestaande schaal gevonden kan worden, moet de evaluator wel een eigen schaal ontwerpen.

Vragenlijsten kunnen gebruikt worden om grote hoeveelheden van goed gestructureerde en gestandaardiseerde data te produceren. De kwaliteit van de informatie die de vragenlijsten leveren, hangt voornamelijk af van het ontwerp van de vragenlijst. Het is dus niet alleen belangrijk om de inhoud van een vragenlijst te bekijken, maar ook om te kijken naar de constructie ervan. Welke vragen gesteld worden, hangt af van de doelen van de evaluatie.

 

Een aantal richtlijnen waar een vragenlijst aan zou moeten voldoen:

  • Om respondenten aan te moedigen mee te doen aan de vragenlijst en goede antwoorden te geven, moeten een aantal basisprincipes gevolgd worden.

De vragenlijst moet geleverd worden met een brief die het doel van het onderzoek uitlegt.

Het document moet er aantrekkelijk uit zien en alle instructies moeten gemakkelijk te volgen zijn. Vragenlijsten moeten niet te lang zijn. Waar mogelijk moeten doorverwijzingen gebruikt worden om de respondent de mogelijkheid te geven items of secties over te slaan die niet direct op hem of haar van toepassing zijn. De volgorde waarin de vragen gesteld worden is belangrijk: het moet een logische volgorde zijn. En de bewoording van vragen moet helder en ondubbelzinnig zijn.

 

  • De vragen moeten helder en precies zijn.

Gesloten vragen vergen van de respondent dat zij één of meer antwoorden selecteren van een vooraf vastgestelde lijst van mogelijke antwoorden. Hierbij wordt meestal geen kans gegeven om het gekozen antwoord nader te verklaren. Gesloten vragen zijn vaak snel te beantwoorden en kunnen daardoor goed gebruikt worden om mensen geheel zelf hun vragenlijsten in te laten vullen. De antwoorden zijn vooraf gecodeerd om ze gemakkelijk als data in een computer in te kunnen voeren voor analyse.

Om er zeker van te zijn dat hierop gelet wordt, kunnen onderzoekers ervoor kiezen om hun vragenlijsten eerst goed te testen.

Open vragen kunnen respondenten in hun eigen woorden beantwoorden. Een nadeel van open vragen is dat de antwoorden opgeschreven moeten worden door de respondent, waardoor het voor de respondent langer kan duren om de vragenlijst in te vullen. Dit kan betekenen dat sommige respondenten afhaken. Bovendien kunnen vragenlijsten met open vragen heel veel antwoordmogelijkheden hebben die zich niet altijd goed laten categoriseren. Wanneer respondenten geheel zelfstandig een vragenlijst in moeten vullen is het beter om zo min mogelijk open vragen te gebruiken. Als ze al gebruikt worden, kunnen deze het beste aan het einde van de vragenlijst geplaatst worden.

 

  • De onderzoeker moet aandacht besteden aan de manier waarop een vraag geformuleerd is.

Taalgebruik moet afgestemd zijn op de doelgroep. Houdt vragen helder, concreet en vrij van jargon. Vermijd het gebruik van vage woorden en dubbelzinnige of onbekende woorden. Vermijd suggestieve vragen. Stel niet twee vragen tegelijk. Zorg er altijd voor dat het referentiekader van een vraag duidelijk gemaakt wordt door bijvoorbeeld een inleiding.

 

 

Interviews

Interviews worden vaak gebruikt door kwalitatieve onderzoekers. Daarentegen is het niet gebonden aan een bepaalde methodologie. Evaluatoren hebben bepaalde vaardigheden nodig om goed te kunnen interviewen en te achterhalen wat opdrachtgevers nu precies uit een evaluatie willen halen. In het beginstadium van een evaluatie verkrijgen veel evaluatoren informatie door met verschillende individuen (stakeholders) in gesprek te gaan. Hierdoor verkrijgt de evaluator informatie over de aard van een programma, de belangrijkste doelstellingen en de theorie achter het design en de implementatie van een interventie of beleid. De aard van de evaluatie en de context waarin de studie plaats vindt, bepalen grotendeels of interviews ook als een methode voor dataverzameling zal worden gebruikt. Interviews kunnen zowel kwalitatieve als kwantitatieve data opleveren die zowel de proces als uitkomst problemen aankaarten.

 

Bij interviews wordt er een onderscheid gemaakt tussen drie basis typen voor een interview:

  • Gestructureerd of gestandaardiseerd interviews: Dit is een formeel interview. Hierbij wordt gebruik gemaakt van een vragenlijst of interview-schema. Vragen aan de geïnterviewde worden gesteld in een systematische en consistente volgorde. Interviewers krijgen gedetailleerde instructies over hoe ze de vragen moeten stellen en hoe ze moeten reageren op onverwachte antwoorden of vragen van de geïnterviewde over verdere uitleg van een vraag. Doordat er gebruik wordt gemaakt van een uniforme structuur, zou iedere geïnterviewde aan dezelfde stimuli blootgesteld worden, waardoor de antwoorden vergelijkbaar zouden moeten zijn.

  • Semigestructureerd of semi-gestandaardiseerd interviews: In een semigestructureerd interview kunnen ook enkele gestandaardiseerde vragen gesteld worden, voornamelijk met betrekking tot socio-biografische details (leeftijd, functie etc.). Maar ook worden er open vragen gesteld die ontworpen zijn om meer kwalitatieve informatie te ontlokken. De interviewer kan zelf bepalen wanneer hij welke vragen stelt, het is ook mogelijk tijdens het interview vragen toe te voegen of weg te halen

  • Ongestructureerd of niet gestandaardiseerd interviews: Dit is een gefocust, intensief of informeel interview. Het heeft een kwalitatieve interviewstrategie waarbij de vragen en het doorvragen tot stand komen in het interview zelf. De vragen zijn open en verschillen van de andere aanpakken door het mogelijk te maken dat de geïnterviewde zijn eigen definitie van een situatie geeft. Het doel van een ongestructureerd interview is om te begrijpen hoe mensen in een programma dit programma bekijken, hun termen en oordelen te leren kennen en om de complexiteit van hun individuele standpunten en ervaringen te begrijpen. Dit type interview is vooral aan het begin van een evaluatie handig.

De evaluator moet beslissen of hij een zelf in te vullen vragenlijst of een interview techniek gebruikt of een combinatie van die twee. De aard van de evaluatie, het type informatie dat men zoekt, de karakteristieke eigenschappen van de participanten van het beleid, het gemak om data bronnen te raadplegen en de beschikbare bronnen hebben allemaal invloed op de keuze voor een methode.

Vragenlijsten worden voornamelijk gekozen wanneer de evaluator op zoek is naar standaard informatie van een grote groep individuen over een groot geografisch gebied. Interviews worden eerder gekozen als methode waarin kleinere groepen betrokken zijn.

 

 

Een interviewschema is een gestructureerd onderzoeksinstrument dat gebruikt wordt bij gestandaardiseerde interviews. Het proces van het ontwikkelen van een schema van vragen begint met het maken van een voorbereidende lijst van categorieën die relevant zouden kunnen zijn gezien de situatie. Wanneer de belangrijkste categorieën vastgesteld zijn, maakt de evaluator een lijst met vragen die relevant zijn voor iedere categorie.

Interviewrichtlijnen die gebruikt worden in ongestructureerde interviews zijn veel minder gestructureerd. Richtlijnen of een agenda met daarin een topiclijst (een lijst met belangrijke onderwerpen/vragen) als geheugensteun kunnen hierbij al voldoende zijn. Het opzetten en het construeren van vragen is ook belangrijk in ongestructureerde interviews. Vragen zouden volgens Patton open, neutraal, voorzichtig en helder moeten zijn. Het is handig om inconsistenties in de antwoorden naar voren te halen door bepaalde vragen te stellen.

Het is belangrijk dat de interviewer de controle neemt en behoudt over het interview. Het is goed om actief te luisteren en om samen met de geïnterviewde tot een overeenstemming te komen over wat er nu precies bedoeld wordt.

 

Bij evaluaties zijn er drie partijen die belang hebben bij de interviews: de onderzoekers, de onderzochten en de programmamakers/uitvoerders die verantwoordelijk zijn voor de organisatie en uitvoering van het programma. De evaluator moet het vertrouwen van hun zien te winnen. Om vertrouwen te wekken kan gebruik gemaakt worden van diezelfde programma uitvoerders om interviews af te nemen. Het probleem hierbij is echter dat er een rolconflict kan ontstaan tussen de rol van programma uitvoerder en onafhankelijk onderzoeker. De programma uitvoerder is immers meer betrokken in het programma dan een onafhankelijke onderzoeker.

Daarnaast is het belangrijk in de gaten te houden waar het interview precies wordt afgenomen. De context kan van invloed zijn op de antwoorden die gegeven worden.

Ook de verwachtingen en ideeën over de uitkomsten van een evaluatie van de onderzochten kan van invloed zijn op de antwoorden die zij geven. Antwoorden kunnen dan positiever uitvallen. Het is onmogelijk om alle mogelijke interviewfouten te voorkomen.

 

Er wordt steeds meer gebruik gemaakt van groepsinterviews of ‘focus groepen’. Dit is een relatief goedkope en efficiënte manier om data te verzamelen. Zeker wanneer de onderzoeker in eerste instantie inzicht wil krijgen in de gedragingen en meningen van groepen in plaats van specifieke informatie over individuen is dit een goede methode van dataverzameling. Volgens Powell en Single is een focusgroep een groep van individuen die geselecteerd en verzameld zijn door onderzoekers om discussie te voeren en commentaar te geven vanuit hun persoonlijke ervaringen op het onderwerp van de evaluatie.

Er zijn geen strikte richtlijnen voor de grootte van een focus groep, maar de groep mag niet te groot zijn omdat sommige leden anders niet bij de discussie betrokken worden. Een typische focusgroep heeft tussen de 6 en 12 leden die door de onderzoeker bij elkaar zijn gebracht. Degene die het groepsgesprek leidt, moedigt participanten aan om antwoord te geven in hun eigen termen maar bewaakt ook de focus van de groep. Groepsinterviews kunnen in verschillende fasen van een evaluatie gehouden worden.

 

De voordelen van een groepsinterview ten opzichte van een individueel interview zijn praktisch gezien dat ze een hoop kwalitatieve data kunnen genereren op een snelle manier en dat het daardoor relatief goedkoop is. Methodisch gezien heeft een focus groep het voordeel dat de participanten onderwerpen kunnen aansnijden zie ze zelf van belang vinden (niet zoals bij een vragenlijst of gestructureerd interview). Daarbij kunnen de dynamische processen binnen de groep geobserveerd worden waardoor eventuele problemen aan het licht komen en ten slotte komen extreme meningen naar voren waarop ingespeeld kan worden

De nadelen van een focusgroep zijn dat individuen zich niet goed durven te uiten omdat er andere mensen bij zitten. Mensen kunnen zich geremd voelen omdat ze bijvoorbeeld met hun collega’s ook nog samen moeten werken en eventueel ‘gepakt’ kunnen worden op dingen die ze in die focus groep gezegd hebben. Tevens kan de status van een participant invloed hebben op andere participanten.

 

Het doel van kwalitatieve interviews (zowel voor individuele als voor groepsinterviews) is om de ervaringen, perspectieven en betekenissen van de participanten te vangen. Het kan soms handig zijn om een interview op te nemen en er vervolgens een transcriptie van te maken voor de analyse. Dit neemt echter veel tijd in beslag.

 

 

Observatie

Evaluatoren maken gebruik van hun observatie vaardigheden ongeacht de methode van dataverzameling. Ze letten op de manier waarop mensen zich gedragen en de interactie tussen mensen in verschillende situaties. Deze observaties zijn niet systematisch, maar gebeuren spontaan tijdens de uitvoering van de evaluatie. Daarnaast kunnen ook specifiek ontworpen observaties plaatsvinden waarbij secundaire data gebruikt wordt. Ook is het mogelijk om een experimentele of quasi-experimentele evaluatie-onderzoek te doen, waarin de evaluator de geobserveerde verschillen tussen de experimentele en controle groep aan statistische analyses onderwerpt. Pawson en Tilley richten zich vooral op het gebruik van systematische observaties als een methode om primaire kwalitatieve data te verzamelen. Er wordt gesproken van systematische observatie wanneer de observaties en het vastleggen van de gegevens volgens een vastgestelde procedure gedaan worden en wanneer de richtlijnen van de wetenschap gevolgd worden.

Een karakteristiek onderdeel van deze aanpak is dat de evaluator één van de belangrijkste instrumenten wordt bij het verzamelen van data. De evaluator kan verschillende rollen in het werkveld aannemen zoals deze beschreven worden door Gold. De betrokkenheid van de evaluator bij de groep of organisatie die onderzocht wordt, verschilt per rol. Eerst wordt er echter een onderscheid gemaakt tussen participerende observatie en non-participerende observatie, waaronder de verschillende rollen vallen.

 

  • Participerende observatie: Dit houdt in dat de evaluator de sociale wereld van degenen die deelnemen aan de activiteiten of het programma betreed om een volledige en gedetailleerde verklaring van het programma te geven.

Complete participant: De rol die de onderzoeker aanneemt is een verborgen of een geheime rol. De mensen die geobserveerd worden zijn zich niet bewust van de ware identiteit of intenties van de observator.

Participant-als-observeerder: Hierbij zijn de redenen voor de aanwezigheid van de observator duidelijk. Observanten die deze rol aannemen hebben het voordeel dat ze vrijuit vragen kunnen stellen. Het feit dat ze als onderzoekers gezien kan echter wel van invloed zijn op de manier waarop informanten zich gedragen en antwoord geven op hun vragen.

  • Non-participerende observatie: Hierbij is het contact met de informanten kort en hoewel het een openlijke rol is, wordt er geen poging gedaan om een relatie te ontwikkelen met de informanten. Het gaat hier bijvoorbeeld om eenmalige interviews.

Observeerder-als-participant: Deze rol is te vergelijken met de rol als participant-als-observeerder. In deze rol zal de observator zich echter meer terughoudend opstellen. Complete observeerder: Hierbij is er geen enkele sociale interactie tussen de observator en de informant tijdens het verzamelen van data.

Deze 4 rollen zijn ideaaltypes, en binnen de context van een onderzoek kan de onderzoeker tussen de rollen veranderen.

 

Wanneer de evaluator een goede omschrijving wil hebben van de belangrijkste onderdelen van een programma is observatie handig. Persoonlijke ervaringen kunnen een belangrijke bron zijn omdat het helpt de situatie goed te kunnen omschrijven

In sommige situaties kan deze methode slagen waar anderen falen of onhaalbaar zijn.

Observaties kunnen namelijk nieuwe inzichten verschaffen door aandachtig te kijken naar acties en gedrag dat normaal gesproken voor gewoon wordt aangezien door degenen die bij het programma betrokken zijn.

 

Een aantal nadelen van participerende observaties zijn:

Het verzamelen, vastleggen en het analyseren van data uit het werkveld is een kostbare activiteit. Zowel in tijd als in geld. Daarnaast kan de directe aanwezigheid van de observator de onderzoekssituatie op twee manieren beïnvloeden:

  • Bij openlijke observatie is er het gevaar dat individuen hun gedrag aanpassen doordat ze zich bewust zijn van de observaties. Dit is vooral het geval wanneer er bepaalde belangen in het spel zijn die een goede uitkomst van het evaluatierapport vergen. Van Maanen geeft een organisatorisch etnografisch verschil aan tussen:

Operationele data: Hierbij gaat het om geobserveerde activiteiten.

Presentabele data: Hierbij gaat het om de verschijning die door de informanten wordt opgezet. Het gaat hierbij om het beeld dat informanten naar buiten willen brengen. Hierbij proberen de informanten zichzelf op een positieve manier te belichten, wat tot misleidende informatie kan leiden. Het is de taak aan de observator om deze twee soorten data van elkaar te scheiden.

  • Een observator/veldwerker kan helemaal opgaan in de activiteiten die onderzocht worden. De observator kan dan de waarden en assumpties van de groep overnemen, dat kan leiden tot beïnvloedde observaties.

Wanneer een onderzoeker kiest voor participerende observatie kunnen er meerdere technieken gebruikt worden om data te verzamelen, door bijvoorbeeld informele interviews of formele interviews.

Wanneer een onderzoeker kiest voor observatie moeten een aantal factoren in beschouwing genomen worden, waaronder het doel van de evaluatie, de aard van het programma, de karakteristieke eigenschappen van de doelpopulatie en de theorie die voorafgaat aan een programma. Voor het beleidspersoneel is het belangrijk dat de dataverzameling niet ten koste gaat van de programma activiteiten, dat het niet veel extra werk voor hen oplevert of ongewenste effecten heeft op de doelgroep van het programma. De persoonlijke biografie van de evaluator en de aard van het programma kunnen beperkingen opleggen voor participerende observatie. Ook komen er ethische vragen kijken bij participerende observatie. Sommigen vinden dat het geheim houden van de identiteit van de observator en het doel van het onderzoek onethisch is. Anderen vinden dit juist helemaal niet.

 

Bestaande gegevens

Burgess geeft een onderscheid aan tussen primaire en secundaire documentatie bronnen, publieke en privé documenten en gevraagde en ongevraagde documenten.

  • Primaire bronnen zijn documenten die door individuen samengesteld zijn die eerstehands ervaringen hebben van de beschreven situaties.

  • Secundaire bronnen zijn documenten geproduceerd door individuen die geen persoonlijke kennis hebben van de situatie.

  • Publieke documenten zijn toegankelijk voor iedereen terwijl privé documenten niet toegankelijk zijn voor iedereen.

  • Gevraagde documenten zijn geproduceerd door individuen op verzoek van bijvoorbeeld een onderzoeker, zoals een dagboek waarin de participant lichamelijke symptomen bijhoudt na een operatie. De onderzoeker heeft hier enigszins controle op de informatie en dit levert dus primaire data op.

  • Bij ongevraagde documenten heeft de evaluator geen invloed op de data die verzameld wordt en moet hij het doen met de informatie die beschikbaar is. De informatie is waarschijnlijk in eerste instantie verzameld voor andere doeleinden en daardoor secundair.

 

Documenten kunnen een waardevolle bijdrage leveren als het gaat om de formele doelen van een programma. Een voorbeeld van een document is een dagboek. Dagboeken kunnen ongestructureerde documenten zijn, waarbij respondenten gevraagd wordt om hun gedachten en gevoelens over een project of programma te noteren. Maar ze kunnen ook meer gestructureerd zijn, waarbij programma participanten een gedetailleerd logboek bijhouden over hun dagelijkse activiteiten en commentaar kunnen leveren op een aantal vooraf vastgestelde onderwerpen. De persoon die het dagboek heeft bijgehouden kan zelfs geïnterviewd worden over bepaalde details of aspecten uit het dagboek (dagboek-dagboek interview).

 

Er zijn echter ook grenzen aan het gebruiken van bestaande gegevens. Rapportages die bijvoorbeeld door professionals in de zorg gemaakt zijn, zijn geschreven vanuit hun alledaagse werk en niet met het oog op een evaluatie. Deze documentatie is vaak niet compleet, onvoldoende of niet geschikt voor een evaluatie onderzoeker. Bovendien kan in een multi-plaatselijke evaluatie (waarbij dus meerdere organisaties geëvalueerd worden) de documentatie verschillend zijn bijgehouden en hierdoor niet vergelijkbaar zijn.

 

Met documenten moet voorzichtig worden omgegaan, omdat ze niet per definitie objectieve, onafhankelijke informatie geven. Teksten moeten bekeken worden vanuit de context waarin ze gemaakt zijn. Veel van de informatie is subjectief en met het oog op een bepaald publiek gemaakt. De documenten kunnen echter wel een bepaalde versie van de sociale werkelijkheid aangeven. Documenten kunnen interessant zijn voor wat ze weglaten en wat ze bevatten.

 

 

Gemixte methoden

In gemixte-methoden onderzoeken worden in sommige gevallen kwantitatieve met kwalitatieve methoden geïntegreerd in één onderzoek. Het besef groeit steeds meer dat methoden niet zijn gebonden aan een bepaald paradigmatische traditie.

Triangulatie: Hiermee wordt bedoeld dat er vanuit verschillende kijkpunten gekeken wordt naar hetgeen dat onderzocht wordt om tot een grotere nauwkeurigheid te komen.

Er zijn vier typen triangulatie die hierna behandeld worden.

 

Bij data triangulatie gaat het om het creëren van verschillende data structuren door data te verzamelen in verschillende contexten en settings op verschillende momenten in de tijd. Hierbij kan dezelfde methode gebruikt worden, maar ook verschillende methoden zijn mogelijk. Men spreekt van onderzoekers triangulatie wanneer meer dan één onderzoeker of evaluator dezelfde situatie onderzoekt (en men overlegt over interpretaties). Ook kan men verschillende theorieën gebruiken bij het onderzoeken/analyseren van de data. Dit wordt theoretische triangulatie genoemd. Ten slotte spreekt men nog van methodologische triangulatie. Denzin brengt hier drie subtypen in aan:

  • Within-method aanpak: dezelfde methode wordt gebruikt in verschillende gevallen of verschillende technieken binnen één methode worden toegepast. Zo kan 1 vragenlijst op meerdere locaties worden afgenomen of kan men meerdere versies van een vragenlijst maken met afwisseling van open of gesloten vragen of een ander scoringsmechanisme.

  • Between-methods of across-methods aanpak: mixen van verschillende methoden in één onderzoek. Zoals het combineren van vragenlijsten met participerende observatie.

 

Het voordeel van triangulatie waarbij meerdere methoden in één onderzoek worden gebruikt is dat de algehele kwaliteit van het onderzoek vergroot doordat de verschillende methoden elkaars zwakke punten opheffen. Met behulp van methodologische triangulatie kan de betrouwbaarheid en validiteit goed bewaakt worden. Je wordt bij within-methodes namelijk gedwongen goed te kijken naar interne inconsistenties en betrouwbaarheid en bij between-methods vooral naar de externe validiteit.

Sommige onderzoekers vinden het echter naïef om aan te nemen dat het gebruik van verschillende methoden sowieso de validiteit van een onderzoek waarborgt. Bovendien kunnen er bij methode triangulatie tegenstrijdige uitkomsten naar voren komen. Daarbij is het moeilijk vast te stellen welke resultaten nu wel of niet geaccepteerd worden.

 

Rossman en Wilson geven drie uitgangspunten over de vraag van het mixen van methoden:

  • Purist: kwantitatieve en kwalitatieve methoden zijn ingebed in aparte, conflicterende en onverenigbare paradigmatische tradities. Het combineren van methoden is dus geen optie.

  • Situationalist: erkennen de potentiële bijdrage die zowel kwantitatieve als kwalitatieve methoden kunnen opleveren, en stellen dat de aard van een situatie zou moeten bepalen welke methoden gebruikt worden.

  • Pragmaticus: kwalitatieve en kwantitatieve methoden zouden geïntegreerd moeten worden.

Voor Rossman en Wilson gaat het bij het integreren van data door between-methods triangulatie om drie aparte analytische functies:

  • Bevestiging: een analytische houding waarbij de evaluator kwantitatieve en kwalitatieve data onderzoekt voor bewijs van convergentie. De bevindingen in de ene methode worden gebruikt om de resultaten van een andere methode te bevestigen. Dit heeft als doel om te toetsen op convergente validiteit.

  • Uitwerking/ontwikkeling: dit is de analytische functie die diepgang geeft aan het begrijpen van het probleem. Dit werkt in twee richtingen. Niet alleen kan kwalitatieve data de conclusies uit kwantitatief onderzoek verrijken, maar kwantitatieve informatie kan ook het niveau van begrijpen bij kwalitatief onderzoek vergroten.

  • Initiëring: Hierbij gaat het om het focussen op gevallen waarin bevindingen uiteenlopen om te komen tot interpretaties en gebieden waarin verder onderzoek nodig is.

Er zijn geen regels die aangeven op welke manier de perfecte multi-methoden evaluatie gebruikt moet worden.

 

 

 

Methode en theorie

Chen geeft twee verschillende typen van evaluatie aan:

  • Methodisch-gedreven: wanneer star wordt vastgehouden aan een bepaalde methode of verzameling van methoden. Dit bepaalt dan de focus en omvang van de evaluatie.

  • Theorie-gedreven: de evaluator kiest hierbij die methoden uit die het beste passen bij het toetsen van de theorie die ten grondslag ligt aan het programma.

Een realistische evaluatie zou volgens Pawson en Tilly theorie-gedreven moeten zijn. Programma evaluatoren moeten verschil maken tussen mechanismen, context en uitkomsten. Het begrijpen van de mechanismen en context is essentieel wanneer de evaluator precies wil verklaren wat maakt dat het programma effectief is. Mechanismen zijn de onderliggende manieren waardoor een programma impact heeft.

 

Zowel dogmatische puristen als pragmatische pluralisten baseren hun keuze voor de methoden vooral op de dataverzameling. Pawson en Tilly zeggen dat zij het verschil hierbij niet zien tussen de ideeën en de doelen van een interview. Voor puristen en pluralisten is het doel van een interview om een zo juist mogelijk beeld te krijgen van hoe de betrokkenen zich voelen over de verschillende aspecten in een programma. Pawson en Tilly geven een alternatief, namelijk een theorie-gedreven aanpak voor dataverzameling gebaseerd op de realistisch assumptie dat de theorie van de onderzoeker het hoofddoel is van een interview, en dat het subject/geïnterviewde er is om deze theorie te bevestigen, te falsificeren en te herdefiniëren. Het verschil is dat de realistische benadering gebruikt wordt om theorieën te toetsen. Zowel de interviewer als de geïnterviewde spelen dus een actieve rol in het proces. Bij een realistische evaluatie kunnen de onderzoekers kiezen uit verschillend onderzoeksmethoden. Kwalitatieve en kwantitatieve methoden worden beiden gebruikt.

 

 

Check page access:
Public
Work for WorldSupporter

Image

JoHo can really use your help!  Check out the various student jobs here that match your studies, improve your competencies, strengthen your CV and contribute to a more tolerant world

Working for JoHo as a student in Leyden

Parttime werken voor JoHo

How to use and find summaries?


Online access to all summaries, study notes en practice exams

Using and finding summaries, study notes en practice exams on JoHo WorldSupporter

There are several ways to navigate the large amount of summaries, study notes en practice exams on JoHo WorldSupporter.

  1. Starting Pages: for some fields of study and some university curricula editors have created (start) magazines where customised selections of summaries are put together to smoothen navigation. When you have found a magazine of your likings, add that page to your favorites so you can easily go to that starting point directly from your profile during future visits. Below you will find some start magazines per field of study
  2. Follow authors or (study) organizations: by following individual users, authors and your study organizations you are likely to discover more relevant study materials.
  3. Search tool: quick & dirty - not very elegant but the fastest way to find a specific summary of a book or study assistance with a specific course or subject. The search tool is available at the bottom of most pages or on the Search & Find page
  4. Tags & Taxonomy: gives you insight in the amount of summaries that are tagged by authors on specific subjects. This type of navigation can help find summaries that you could have missed when just using the search tools. Tags are organised per field of study and per study institution. Note: not all content is tagged thoroughly, so when this approach doesn't give the results you were looking for, please check the search tool as back up

Do you want to share your summaries with JoHo WorldSupporter and its visitors?

Quicklinks to fields of study (main tags and taxonomy terms)

Field of study

Quick links to WorldSupporter content for universities in the Netherlands

Follow the author: Vintage Supporter
Comments, Compliments & Kudos:

Add new contribution

CAPTCHA
This question is for testing whether or not you are a human visitor and to prevent automated spam submissions.
Image CAPTCHA
Enter the characters shown in the image.