Deze samenvatting van Evaluation: A systematic approach van Rossi et al is geschreven in het studiejaar 2013-2014 bij de 7e druk.

1. Een overzicht van programma evaluatie

§1. Wat is programma evaluatie?

De definitie van programma evaluatie is:

Een sociaal wetenschappelijke activiteit gericht op het verzamelen, analyseren, interpreteren en communiceren van informatie over de werking en effectiviteit van sociale programma's.

Evaluaties zijn ontworpen om vele praktische redenen zoals:

• Om bij te dragen in beslissingen die gaan over of programma's moeten worden gecontinueerd, verbeterd, uitgebreid of beperkt

• Om de bruikbaarheid van nieuwe programma’s in te schatten

• Om de effectiviteit van programmamanagement en bestuur te verbeteren

• Om aan de verantwoordelijkheidseisen van programma sponsoren te voldoen

• Om een waarde toe te voegen aan methodologisch sociaal wetenschappelijke kennis

Bij programma evaluatie worden sociale onderzoeksmethoden toegepast om sociale interventies te bestuderen, zodat er een oordeel kan worden geveld over:

• de huidige sociale problemen

• het onderzoeksdesign

• de implementatie van het programma

• de inhoud van het programma

• de effectiviteit van het programma

Het doel van het bestuderen en onderzoeken van sociale problemen is om de kwaliteit van de fysieke en sociale omgeving te verbeteren.

De definitie van een sociaal programma of ook wel een sociale interventie is een georganiseerde en geplande activiteit om sociale problemen te verhelpen of om sociale condities te beïnvloeden.

Sociale programma's trachten een antwoord te geven op de volgende vragen:

• Wat is de oorsprong en de omvang van het probleem?

• Wie of wat wordt er beïnvloed door het probleem?

• Is er een goede rechtvaardiging voor toepassing van een nieuw sociaal programma?

• Welke mogelijke interventies zijn er om het probleem te kunnen oplossen?

• Wat zijn geschikte populaties voor de interventie?

• Bereikt de interventie de doelpopulatie?

• Is de interventie goed geïmplementeerd?

• Is de interventie effectief? Worden de gewenste doelen of voordelen behaald?

• Is er een goede verhouding tussen de programma kosten en de programma effecten plus de voordelen die er zijn?

Antwoord op deze vragen zijn nodig om programma's te specialiseren. Mensen die werkzaam zijn in het veld van programma evaluatie proberen een antwoord te vinden op deze vragen. Taxateuren gebruiken de sociale onderzoeksmethoden om het programma te onderzoeken, te taxeren en te helpen met de verbetering ervan.

§2. Geschiedenis van de programma evaluatie
De historische wortels van programma evaluatie liggen in de 17^e eeuw, maar de systematische aanpak van het moderne evaluatie onderzoek is een relatief moderne 20^e eeuwse ontwikkeling. Het toepassen van sociale onderzoeksmethoden bij programma evaluatie valt samen met de politieke, ideologische en demografische ontwikkelingen in die tijd.

Toepassing van sociale programma’s

Rond 1930 was er nog geen implementatie van sociale programma's door de regering, maar moest men het enkel hebben van liefdadigheid. De redenen hiervan waren dat er geen vraag was naar sociale en economische programma's en tevens dat de regering rond deze tijd weinig invloed had. Er vonden grote veranderingen plaats na 1930.

De “sociale mensendiensten” groeiden met een snel tempo.

Sociale programma's werden in voor de Eerste Wereldoorlog vooral toegepast in het onderwijs en bij publieke gezondheidsinstellingen. Ze worden gebruikt om de sociale omgeving te verbeteren, mortaliteit en morbiditeit te verlagen en verpaupering te voorkomen.

De bloeitijd in evaluatieonderzoek

Deze programma's hebben een grote impact gehad in de periode van Wereldoorlog 2 op educatie, onderwijs, gezondheidspreventie etc. Programma evaluatie werd zeer populair om de chaos van de oorlog te herstellen. Aan het einde van 1950 werd programma evaluatie gezien als iets alledaags. Zelfs academici gingen zich bezighouden met de manier waarop de regering werkt. Concepten, technieken en principes van de economie, politieke wetenschap, psychologie en sociologie werden als bruikbaar gezien.

In deze periode werden studenten opgeleid voor regeringsposities, waarvoor vele vaardigheden en vereisten voor nodig zijn. Evaluatieonderzoek kreeg aan de ene kant een academische aard met betrekking tot training, methodologie, theorie en onderzoek naar de oorsprong en effecten van sociale programma's. Aan de andere kant werden de programma's uitgevoerd in een context van politiek, programmamanagement en advocatuur.

De evaluatieactiviteiten stijgen rond 1960. Men wil met behulp van interventies werkloosheid, verpaupering, medische zorg en publieke gezondheidsbehandeling verbeteren. In 1960 was het aantal boeken en artikelen die over programma evaluatie aanwezig waren zeer hoog. Dit zorgde ervoor dat in 1970 het evaluatieonderzoek een specialiteit werd van de sociale wetenschappen. Naast een kwantitatieve groei van evaluatieonderzoek vindt er ook en kwalitatieve groei plaats. In het begin lag het evaluatieonderzoek alleen binnen het interessegebied van sociaal onderzoeker, later krijgen academici zelfs interesse voor evaluatieonderzoeken. Men beseft dat evaluatieresultaten van invloed zijn op de samenleving. Evaluatie wordt een meer politieke activiteit dat zorgt voor belangrijke input bij complexe politieke besluiten en geven bronnen voor het straten of verbeteren van een programma om zo de “condities” van de samenleving te bevorderen. Sociale programma's zijn ontstaan door het verantwoordelijkheidsgevoel van de regering of de staat, kwaliteit van het leven en de bestaande omgevingsfactoren.

2. Het ontwerpen van een evaluatie

§1. Inleiding

Een evaluatieplan moet gemaakt worden onder verschillende omstandigheden en is afhankelijk van vele factoren.

Een evaluatieplan hangt af van de volgende factoren:

• Doelen van de evaluatie

• Conceptuele en organisationele structuur

• Aantal beschikbare bronnen

Een goed evaluatieplan is een evaluatieplan dat:

• in alle omstandigheden geldt

• gelijkwaardig is

• geloofwaardige en nuttige antwoorden geeft op de motivatievragen

§2. Belangrijke vragen

Er zijn een aantal vragen die gesteld worden bij het maken van een evaluatieplan. Deze worden hieronder opgesomd:

Vraag 1

“Welke aspecten moeten er in een evaluatieplan verwerkt worden?”:

• In een evaluatieplan moeten de vragen die je beantwoordt wilt hebben worden opgenomen (dus niet alle vragen die er te bedenken zijn),

• De methodes en procedures die gebruikt worden om elke vraag te beantwoorden moeten in een evaluatieplan worden verwerkt,

• En er moet een natuurlijke relatie tussen de evaluator en de opdrachtgever bestaan (belanghebbenden geven informatie en hebben een leidende functie).

Vraag 2

“Met welke delen van de situatie dient rekening gehouden te worden in het evaluatieplan?”

• Er moet rekening worden gehouden met de gestelde doelen van de evaluatie. Er moet duidelijk zijn wat het probleem is en in opdracht van wie het is (wie, wat en waarom?)

De volgende punten moeten hierbij in acht worden genomen:

- Programmaverbetering

- Verantwoordelijkheid (summatieve evaluatie, een opsommend oordeel geven over de evaluatie)

- Kennisgeneratie; kennisverbreding van een bestaand programma ter verbetering

- Verborgen agendapunten; uiteindelijke uitkomst is heel anders dan van tevoren werd verwacht (vermijden)

• De structuur van het programma en omstandigheden. Deze zijn meestal verschillend, maar kan worden ingedeeld in de volgende hoofdcategorieën:

- Het stadium van de programmaontwikkeling; bestaande programma's zijn moeilijk te veranderen, ze zijn veelal ingeburgerd en verandering is dan lastig.

- De administratieve en politieke context; er zijn verschillende perspectieven op definities, doelen en dergelijke van het programma. Evaluator moet proberen om alle perspectieven te omvatten of duidelijk voor één te kiezen. Ook moet hij de verschillende standpunten duidelijk uiteenzetten. Er zullen echter altijd personen ontevreden zijn over het resultaat.

- De conceptualisatie- (= program theory) en organisatiestructuur van het programma. Het gaat hierbij om de logica dat er zit achter het evaluatieplan voor de verwachte uitkomstmaten, waarom het programma bepaalde dingen doet en of het ook de bedoeling is of het programma deze gebeurtenissen voortbrengt. Tevens is het in deze fase van belang om programma activiteiten te verduidelijken. De organisatie hiervan is belangrijk, sommige dingen zijn moeilijk te meten. Meten wordt moeilijk gemaakt als een gebeurtenis in de loop der tijd optreedt, als het lang duurt voordat de implementatie werkt, als er verschillen zijn in natuur/cultuur en als er spraken is van veel verschillende variabelen en observaties.

• De aanwezigheid en beschikbaarheid van bronnen voor de evaluatie.

Wat heb je nodig en is het beschikbaar? Er zijn vele verschillende barrières en obstakels te vinden (bijvoorbeeld de tegenwerking van belanghebbenden, te weinig tijd etc).

Vraag 3

“Wat is de verhouding tussen de evaluator en belanghebbende?“

• Er zijn verschillende soorten belanghebbenden, het volgende onderscheid wordt gemaakt:

- Policymakers en decisionmakers bepalen wanneer er wordt gestart, doorgegaan en gestopt met de evaluatieprogramma

- Program sponsors die sponsoren het programma

- Evaluationsponsors die sponsoren de evaluatie

- Target deelnemers zijn de personen die de interventie ondergaan

- Program managers zijn personen die verantwoordelijk zijn voor de interventie

- Program staff zijn personen die verantwoordelijk zijn voor service en supporters rol tijdens een evaluatie programma

- Program competitors is een organisatie of een groep die strijd tegen het programma

- Contextual belanghebbenden zij bijvoorbeeld organisaties, groepen en personen in de onmiddellijke omgeving waar het programma plaatsvindt

- Evaluation en research community zijn de evaluatieproffessionals

• De relatie tussen evaluator en belanghebbenden zijn erg belangrijk, daarom de volgende begrippen uitgelicht:

- bij independent evaluation heeft de evaluator de primaire verantwoordelijkheid voor het evaluatieplan

-bij participatory of collaborative evaluation is er sprake van een teamproject tussen de evaluator en één of meer belanghebbenden (vb. Patton’s utilization-focused evaluation)

- met empowered evaluation wordt bedoeld dat een evaluatieplan niet alleen ontwikkeld wordt voor verbetering, maar ook voor zelfontwikkeling en politieke invloed van evaluator en belanghebbenden

Vierde vraag

“Welke evaluatiemethoden zijn er?“

Vragen over performance en de effectiviteit van een programma zijn heel belangrijk voor een goed evaluatie programma.

Vijf soorten vragen worden gesteld:

• Needs assessment is het bepalen van de behoeften aan een programma. Men inventariseert in hoeverre een programma nodig is en komt met vragen over de heersende sociale condities

• Assessment of program theory (bepaling of inschatting van de programma theorie); gaat over programmaconceptualisatie en het design. Men reflecteert waardevolle assumpties over het probleem en probeert te komen tot een gepaste aanpak voor de oplossing daarvan. Er wordt in de aanpak rekening gehouden met de redelijkheid, uitvoerbaarheid, ethiek en gepastheid van het programma

• Assessment of program proces (procesevaluatie of program monitoring); programmaoperatie, implementatie, en service die gegeven wordt zijn hierbij de belangrijkste onderwerpen. De bepaling of schatting van het programma proces is de meest voorkomende vorm van programma evaluatie

• Impact assessment; vragen over de uitkomstmaten en de impact van de evaluatie. Er wordt gekeken of de gewenste resultaten zijn uitgekomen en of er neveneffecten zijn opgetreden

• Efficiency assessment; de programma kosten en kosten-effectiviteit verhouding worden hierbij behandeld

3. Het identificeren van kwesties en het formuleren van vragen

§1. Inleiding

De essentie van evaluatie is het formuleren van antwoorden op gestelde vragen over de werking van een sociaal programma. Goede evaluatievragen moeten kwesties behandelen die betekenisvol zijn in relatie tot de oorsprong en inhoud van het programma. De vragen moeten beantwoord kunnen worden met de aanwezige onderzoekstechnieken en methoden.

Ze moeten zo geformuleerd zijn dat ze gemakkelijk beoordeeld en gebruikt kunnen worden.

Bij het opstellen van effectieve evaluatievragen, is het belangrijk om de volgende punten in het achterhoofd te houden hierbij is:

• wie de evaluatieresultaten gebruikt

• welke informatie de belanghebbenden nodig hebben

• hoe zij verwachten de verworven informatie te gebruiken

De analyse van het programma door een evaluator is tevens van invloed op de formulering van vragen. Veelal wordt door een evaluator een programmatheorie gebruikt waarbij een opsomming wordt gegeven van het “hoe en waarom” over het programma.

Uit bovenstaande informatie blijkt dus wel dat het identificeren en formuleren van evaluatievragen een kritische fase is die goed moet worden uitgevoerd om tot geschikte en bruikbare resultaten te komen. Om er zeker van te zijn dat de evaluatievragen betrekking hebben op het juiste onderwerp, moeten de vragen worden geformuleerd door middel van overleg en onderhandeling met de belanghebbenden en sponsoren.

Vragen die de belanghebbenden naar voren brengen zijn niet altijd direct toepasbaar in het onderzoeksdesign. Het is van belang dat de evaluator een kritische houding heeft. Belanghebbenden zijn beiden experts op een bepaald gebied, belanghebbende zijn experts met betrekking tot praktische en politieke kwesties van het programma, maar de evaluator is de persoon die het meeste weet over het evalueren van het programma en het uitvoeren van de evaluatie.

Vaak wordt door de evaluator een samenvatting geschreven over specifieke vragen die het evaluatiedesign zullen leiden. De belanghebbenden en sponsoren kunnen op deze manier controleren of de evaluatievragen betrekking hebben op hun interessegebied.

§2. Wat leidt tot een goede evaluatievraag?

De vorm van de vraag is afhankelijk van de functie die de vraag moet uitdragen. Evaluatievragen moeten zich richten op het interessegebied van programma-uitvoering. Tevens moeten ze de data collectieprocedure vergemakkelijken en betekenisvolle informatie verschaffen.

Om de kwaliteit van de uitvoering van het programma te bepalen moet men:

• een goede beschrijving over de oorsprong en inhoud van de uitvoering geven

• een vergelijking uitvoeren met een bepaalde standaard

Het basis beredeneringspatroon of logica van evaluatieonderzoek houdt het volgende in:

• Benoemen van criteria : “Wanneer doet iemand het goed?”

• Construeren van een standaard: “Hoe goed zou iemand het moeten doen?”

• Meten van de uitvoering en vergelijken met de standaard

• Data samenvoegen om te komen tot een oordeel over de waarde

Vereisten aan evaluatie vragen

Goede evaluatievragen moeten:

• beredeneerbaar en geschikt zijn

Ze moeten de juiste dimensies van de uitvoering van een programma identificeren, dimensies die relevant zijn voor belanghebbenden. Tevens moeten ze domeinen representeren waarin het programma geïmplementeerd kan worden

• beantwoordbaar zijn

Dit klinkt heel logisch, toch is het lastig om evaluatievragen op te stellen die goed te beantwoorden zijn. De vragen moeten gaan over de dimensies van de uitvoering die specifiek, concreet, praktisch en meetbaar zijn, zodat betekenisvolle kan worden verkregen over hun status

Het is van belang dat evaluatievragen realistisch en geschikt zijn voor het programma en niet onhaalbare doelen of verwachtingen nastreven.

Het vaststellen in welke mate de vragen realistisch en geschikt zijn voor de evaluatie

Er zijn twee manieren voor een evaluator, in samenwerking met de belanghebbende, om te bepalen hoe realistisch en geschikt de vragen zijn:

• Het onderzoeken van de vragen in de context van het actuele programma en de daaraan gerelateerde activiteiten. De evaluator moet programmacomponenten, activiteiten en personeelstaken identificeren die gerelateerd zijn aan de programma-uitvoering. Hij moet de evaluatievragen formuleren op een manier die passend is bij de gegeven karakteristieken

• Analyseren van de vragen in relatie tot de gevonden waarden uit de sociaal wetenschappelijke literatuur

De fundering van het formuleren van passende en realistische evaluatievragen bestaat uit een gedetailleerde en complete programmabeschrijving. De evaluator moet bekend raken met het programma, het is belangrijk dat hij of zij weet:

• hoe het programma is gestructureerd

• welke activiteiten plaatsvinden

• wat de taken en rollen van het personeel zijn

• wat de achtergrond van de deelnemers is

Het beantwoorden van vragen

Enkele redenen worden waarom een vraag niet beantwoord kan worden

• als de vraagstelling vaag is om tot een duidelijke interpretatie van het probleem te komen

• als de vragen betrekking hebben op observeerbare variabelen die weinig aanwezig zijn, zodat er op basis van geobserveerde gegevens nauwelijks een conclusie kan worden getrokken

• als vragen weinig indicatie geven voor relevante criteria, zodat er niet duidelijk is aan welke criteria moet worden voldaan

• als vragen meer tijd, expertise, dat en bronnen vereisen dan beschikbaar is

Een evaluatievraag valt te beantwoorden als de variabelen:

• realisitisch zijn

• in meetbare termen worden gedefinieerd

• de basis voor een antwoord vormen

• kunnen worden geoperationaliseerd

• kunnen worden geobserveerd.

• vergeleken kunnen worden met een standaard of gespecificeerde criteria

Evaluatievragen hebben dus te maken met de werking van het programma en worden vergeleken met een standaard of criteria, op basis hiervan wordt de werking van het interventieprogramma beoordeeld. Er wordt vrijwel altijd een criterium opgesteld waaraan hoeveelheden en getallen kunnen worden gemeten. Goede evaluatievragen moeten dan ook een uitvoeringscriteria of standaard uitdrukken die geschikt is voor de prestatie in kwestie. Een standaard representeert een niveau van uitvoering die toereikend is voor desbetreffende programmafunctie. Een niveau dat gehaald moet worden om bij te dragen aan het interventieprogramma als geheel om sociale condities te kunnen verbeteren.

De meest gebruikte criteria zijn gebaseerd op de programmadoelen en doelstellingen.

Criteria om de programma uitvoering te vergelijken

Hieronder volgen enkele criteria waarmee de programma uitvoering wordt vergeleken:

• de behoeften van de doelpopulatie

• de vastgestelde doelen en doelstellingen

• professionele standaards

• gebruikelijke of normale uitvoering

• ethische en morele waarden

• meningen van experts

• kosten van het programma

• de aanwezige historische data

Bepalen van het niveau van de criteria is lastig. Het verschilt natuurlijk per situatie wat onder veel en weinig wordt verstaan. Een oordeel van het niveau vindt soms plaats op basis van statistische criteria, maar dit is niet de juiste methode. Statistische criteria zijn namelijk niet gerelateerd aan de significantie van een verandering in resultaten. Een evaluator kan beter op zoek gaan naar informatie uit evaluatie- en programma literatuur als basis voor het niveau van criterium. Een andere aanpak is het verzamelen van oordelen, meningen en getallen van relevante belanghebbenden om het criterium niveau te bepalen.

De meest geschikte criteria voor het beoordelen van een design van een programma is te kijken naar hoe goed de interventie past in het evaluatieplan naar aanleiding van de behoeften en omstandigheden in kwestie.

Evaluatievragen die sleutelvragen worden genoemd zijn gerelateerd aan het feit of het programma daadwerkelijk zoals bedoelt word geïmplementeerd. Criteria voor implementatie moeten dan wel van tevoren aanwezig zijn. Er moet duidelijk zijn hoe een programma zou moeten functioneren. Dit is beschreven in het basisconcept van het design.

Eisen die gesteld worden aan evaluatievragen

Vragen of programma-uitkomsten zijn alleen betekenisvol als het programmadesign goed geïmplementeerd is. Er is sprake van een implementatiefout als de uitkomstenslecht zijn, omdat de programma-activiteiten niet leidde tot de gewenste resultaten.

Een programma kan wel goed geïmplementeerd zijn, maar toch niet de gewenste resultaten krijgen. Hier is sprake van een theoriefout, het interventieprogramma van het design is niet juist.

Er worden dus twee vereisten gesteld aan evaluatievragen:

• Uitkomsten zijn alleen betekenisvol als de interventie activiteiten goed geïmplementeerd zijn

• Goede implementatie is alleen betekenisvol als het programmadesign de juiste activiteiten identificeert en een passend antwoord geeft op de sociale problemen en behoeften van het programma

Evaluatievragen en methoden zijn in vragencategorieën ingedeeld volgens een hiërarchie.

De hiërarchie ziet er als volgt uit:

De evaluator begint met de onderste vragencategorie. Zodra deze vragencategorie adequaat is beantwoord, gaat de evaluator zich bezig houden met de volgende categorie.

De categorie daarboven kan namelijk niet zonder de informatie van de categorie daaronder.

§3. Bepaling welke vragen de evaluatie zou moeten beantwoorden

Het kan zijn dat vragen uit meerdere categorieën van de hiërarchie relevant zijn voor de evaluatie. Om dan een geschikt plan te ontwikkelen moeten de vele vragen die over het programma kunnen worden gesteld ingeperkt worden in meer specifieke vragen die relevant zijn voor de programmaomstandigheden. De gedachten van de sponsoren en belanghebbenden spelen een centrale rol in het bedenken van vragen voor een evaluatieplan.

De evaluator moet echter niet volledig afhankelijk zijn van de input van belanghebbenden en sponsoren. De evaluator moet om deze reden een onafhankelijke analyse houden van het interessegebied.

Verschillende belanghebbenden

Bij het plannen van een evaluatie wordt de evaluator veelal geconfronteerd met een aantal belanghebbenden, die allen een verschillende mening hebben over het interventieprogramma. Tijdens de planningfase moet de evaluator belanghebbenden zoeken die een bruibare en belangrijke mening hebben over de evaluatievragen. Vervolgens moet de evaluator prioriteiten stellen over de verschillende meningen en deze integreren tot enkele bruikbare evaluatievragen.

Het startpunt van de evaluatie begint bij de sponsoren die de evaluatie zullen bekostigen.

Zij hebben hierdoor prioriteit bij de bepaling van het evaluatieplan. Sommige sponsoren hebben de vragen en methoden al compleet uitgewerkt in een design en verwachten alleen nog maar een praktische uitvoering van de evaluatie. Wanneer meningen van belanghebbenden uitgesloten worden uit dit voorgelegde design, maar toch van belang kunnen zijn voor de evaluatie, moet de evaluator besluiten de evaluatie te verbreden en meningen in te sluiten en om zo geen fouten in resultaten te krijgen door beperkingen in het design van de sponsor.

Veelal wordt er niet zo'n specifieke beschrijving door de sponsor gegeven en moet het evaluatieplan door de evaluator worden opgezet, met behulp van belanghebbenden.

Het verkrijgen van input van belanghebbenden

Het verkrijgen van input van belanghebbenden gaat als volgt. De evaluator begint met het opsporen van “grote” belanghebbenden. Deze belanghebbenden hebben interesse in het interventieprogramma en de evaluatie. Er moet niet alleen onderzocht worden welke belanghebbenden interesse hebben in de evaluatie, nog belangrijker is welke belanghebbenden de informatie gebruiken. Het is van belang hun meningen over het probleem en de vragen van hun te begrijpen.

De sneeuwbalaanpak is een goede manier om verschillende belanghebbenden op te sporen die met dat interventieprogramma te maken hebben. De werking gaat als volgt; zodra één belanghebbende is geïdentificeerd en contact is gelegd kan de evaluator aan de belanghebbende vragen of hij meerdere belanghebbenden in dit interessegebied kent.

De evaluator is zelden in staat om input van ieder lid of iedere belanghebbende groep te verkrijgen.

Discussie onderwerpen met belanghebbenden

Enkele onderwerpen van discussie tussen belanghebbenden worden hieronder gegeven:

• Waarom is er behoefte aan evaluatie?

Een evaluator moet redenen zien te vinden waarom er behoefte is aan een evaluatie.

Dit vormt een belangrijk startpunt om te bepalen welke vragen het meest geschikt zijn om de evaluatie te beantwoorden en voor wie deze bedoelt zijn.

• Wat zijn de programmadoelen en -doelstellingen?

De vraag is of het interventieprogramma de gestelde doelen bereikt. Er wordt hierbij een verschil gemaakt tussen programmadoelen (goals) en doelstellingen (objectives).

Een programma “goal” is een bewering over een gewenste toestand (doelen), waarop het interventieprogramma zich moet richten. Deze is meestal in abstracte en brede termen geformuleerd. Om te komen tot doelstelling moeten de abstracte doelen worden vertaald in concrete doelstellingen die de condities van de interventie specificeren in te meten criteria.

Programma “objectives” zijn specifieke beweringen over de gewenste voltooiing van een interventie tezamen met één of meerdere meetbare criteria.

De evaluator moet samenwerken met de juiste belanghebbenden om de programmadoelen te identificeren en deze te transformeren in duidelijke en expliciete doelstellingen.

Hoe beter de doelen de situaties beschrijven die direct en betrouwbaar kunnen worden geobserveerd, des te betekenisvoller de evaluatie zal zijn.

Er zijn vier technieken die bruikbaar zijn voor het schrijven van doelstellingen:

• gebruik van sterke werkwoorden

• vermeld in je doelstelling maar één doel

• specificeer maar één eindresultaat

• vermeld de verwachte tijd voor volbrenging van het programma

Een sterk werkwoord is een werkwoord die observeerbaar of meetbaar gedrag beschrijft.

De meeste programma's hebben wel meerdere doelstellingen (objectives), maar elke doelstelling heeft maar één doel (goals) die geschetst word.

Een doelstelling met meerdere doelen kan een andere implementatie of toepassing vereisen.

Bij meerdere doelen is het moeilijk te bepalen wanneer het ene doel is volbracht en de andere niet of dan de doelstelling wel of niet bereikt is.

• Wat zijn de meest belangrijke vragen voor een evaluatie om te beantwoorden?

Evaluatievragen die de meeste informatie opleveren voor gebruik en toepassing van het programma zijn het meest geschikt voor evaluatie. De resultaten van een evaluatie moeten bruikbaar zijn en gebruikt worden.

Helaas zijn er veel gevonden resultaten die nooit gebruikt worden, enkele redenen hiervoor zijn:

• Er vinden veranderingen plaats van interventieomstandigheden in de tijd tussen de initiatie en de implementatie van de evaluatie, zodat de resultaten irrelevant zijn.

• De evaluatie verkrijgt niet de informatie die bruikbaar is voor de evaluatie om beslissingen te nemen ten aanzien van de interventie. Het evaluatieplan lijkt relevante informatie te krijgen, maar de gegenereerde informatie is niet zoals verwacht.

• Het kan ook zijn dat diegenen voor wie de resultaten bedoeld zijn niet duidelijk zijn geweest in hun mening over welke informatie er nodig is of wat hun gestelde doelen zijn.

Het is handig voor een evaluator om tijdens het ontwikkelen van evaluatievragen de “backward mapping” techniek te gebruiken. De evaluator begint met de specificatie van de gewenste eindresultaten en werkt dan achterwaarts om te bepalen wat er gedaan moet worden tijdens de evaluatie.

Programmatheorie

Een methode om passende evaluatievragen te ontwikkelen is het in detail schetsen van wat er verwacht wordt dat er gaat gebeuren. De evaluator kan een model construeren dat aangeeft wat de verwachtingen en doelen zijn die bereikt moeten worden. Dit wordt ook wel een programmatheorie genoemd. Een programmatheorie is een set van aannames over de relatie tussen strategieën en technieken die het programma heeft aangenomen en de sociale voordelen die verwacht kunnen worden.

Een theorie is een opvatting van iets dat gedaan moet worden of een methode om iets te doen. Zo'n theorie kan ook een programmaplan of design worden genoemd. Een programmatheorie wordt gebruikt als middel voor het analyseren van een programma met betrekking tot de doelen en het formuleren van evaluatievragen.

Een programmatheorie bestaat uit een logisch model die begint bij de interventie en stap voor stap leidt tot uitkomsten van de evaluatie. Een model geeft een systematisch overzicht van alle aspecten van het programma, zodat er niet over belangrijke aspecten heen gekeken kan worden.

§4. Vergelijken van evaluatievragen en prioriteiten stellen

Na een volledige analyse van de programmatheorie blijven er vele evaluatievragen over die van belang zouden kunnen zijn voor de evaluatie. Deze vragen moeten worden georganiseerd in verschillende groepen van programmafuncties, zodat enig overzicht wordt verkregen. Vervolgens wordt er gekeken bij welke vragen de meest bruikbare informatie wordt verkregen. Deze vragen krijgen de prioriteit boven de anderen en worden aan het evaluatieplan toegevoegd.

4. Het vaststellen van de behoefte naar een programma

§1. Inleiding

Door middel van evaluatievragen moet er worden vastgesteld wat de behoefte is van een implementatieprogramma, ook wel de “needs assesment” genoemd.

Zo’n vaststelling van de behoefte probeert antwoord te geven op vragen over de sociale condities die een programma benadrukt en de noodzaak van een programma, of om te bepalen of een nieuw programma nodig is. Meer in het algemeen kan het gebruikt worden om te identificeren, te vergelijken en het ordenen van behoeften binnen en buiten programma gebieden.

De volgende vragen worden hierbij gesteld:

• In hoeverre is het noodzakelijk dat er wordt ingegrepen?

• Hoe groot is het sociale probleem?

• Is er behoefte aan interventie?

Effectieve programma's zijn instrumenten die de behoeften kunnen bevredigen en kunnen leiden tot verbetering van de sociale condities. Er bestaan verschillende stappen die worden genomen in de needs assessment:

• Beschrijven en nauwkeurig definiëren van het probleem

• Vaststellen van het bereik van het programma

• Definiëren en identificeren van de doelgroep of personen (targets), die interventie zullen ondergaan

• Beschrijven van de interventiediensten die de populatie nodig heeft

§2. De rol van de evaluator in het diagnosticeren van de sociale condities en service needs

Er moet van tevoren goed duidelijk zijn wat de behoefte is voor een bepaalde interventie en welke populatie er precies behoefte aan heeft. Het is vooral belangrijk om te weten bij wie de interventie wordt toegepast, anders kunnen er dure programma's ontwikkeld worden die gebruikt worden bij de verkeerde mensen. Een voorbeeld hiervan is geboortecontroleproject ter preventie van te veel abortus. Voornamelijk de jonge vrouwen van het platteland kwamen naar de stad voor abortus, en dus werd het programma bij de verkeerde groep mensen geïmplementeerd, namelijk de stadsvrouwen. Dit leidde tot overbodige kosten.

Het moet vermeden worden dat er niet alleen wordt gekeken naar de sociale problemen en targets die de sponsoren noemen.

Een bestaand programma kan uit enkele foute assumpties bestaan.

§3. Stappenplan voor needs assessment:

De volgende stappen moeten worden ondernomen om te komen tot een goede schatting van de behoeften aan een interventie:

• Identificatie van gebruikers en het gebruik

• Beschrijven van targetpopulatie en de implementatie-omgeving

• Identificatie van de behoefte

• Vaststelling van de behoefte

• Communicatie

De eerste stap: Identificatie van gebruikers en het gebruik

Deze stap omvat twee taken die de evaluator moet uitvoeren.

De eerste taak van de evaluator is het definiëren van het probleem dat wordt voorgelegd.

Een sociaal probleem is niet van nature observeerbaar, dus is lastig om direct te bepalen. Bijvoorbeeld armoede, met de tijd veranderen de opvatting en de definitie van het begrip armoede en daarmee dus ook het sociale probleem, tevens speelt hier een grote invloed van de politiek. Bij het definiëren van het probleem is het nodig dat de evaluator de heersende politieke opvattingen meeneemt, en daarin te kijken naar fouten.

De tweede taak bestaat uit het specificeren van de omvang van het probleem: wanneer, waar en hoe groot?

Veel problemen zijn vaak ‘onzichtbaar’ dus moeilijk te bekijken.

Oplossingen om problemen op te sporen zijn:

• Gebruik maken van bestaande gegevens om schattingen te maken (indirecte gegevens),

• Gebruik maken van sociale indicatoren om trends te identificeren (schatten van het verloop van een interventie),

• Forecasting needs; kijken in hoeverre het probleem in de tijd zichzelf oplost,

• Schatten van probleem parameters door sociaal onderzoek (nieuw onderzoek):

- agency records (verkrijgbaar bij instellingen die alle gegevens van patiënten goed bijhouden)

- surveys en volkstellingen (dit is zeer tijdrovend)

- sleutelinformant surveys (deze zijn heel divers)

De tweede stap: Beschrijven van targetpopulatie en de implementatie-omgeving

Deze tweede stap uit het stappenplan heeft betrekking op het definiëren en identificeren van de targets van de interventie. Het is belangrijk om targetpopulatie goed te definiëren en inclusie- en exclusiecriteria te formuleren. Echter een groot probleem bij het definiëren van de targetpopulatie is dat in de loop van de definitie van de targetpopulatie kan veranderen.

Een target is een individu, groep, geografische- of politiek gerelateerde zones (communities) en “physical units” (huizen, wegsystemen, fabrieken). Een target kan je indelen in een directe en een indirecte target. Er is sprake van een directe target als de target direct via het programma worden beïnvloed. Indirecte target betekent als de targets door activiteiten van het programma worden beïnvloed.

Voor het specificeren van targets moeten inclusie- en exclusiecriteria worden opgesteld.

De grenzen van de target worden gegeven door inclusie- en exclusiecriteria. Er dient bij het definiëren rekening gehouden te worden met ‘overinclusive’ (te grootschalig) en ‘underinclusive’ (te kleine definitie). Men dient te kijken of de belanghebbenden eenzelfde opvatting hebben over de definitie van de targetpopulatie. Dit kan conflicten uit de weg gaan.

De beschrijving van de targetpopulatie afhankelijk van:

• risico, noodzaak, behoefte, en wat er gevraagd wordt

• incidentie (aantal nieuwe gevallen van een probleem of conditie dat in een bepaald gebied in een bepaalde periode oprijzen) en prevalentie (totale aantal bestaande gevallen met een specifieke conditie in een specifieke periode)

• standaarden (incidentie of prevalentie toetsen aan bestaande standaarden, bijvoorbeeld 1000). Deze zijn vaak gespecificeerd aan geslacht en leeftijd. Ook andere variabelen zoals sociaal-economische status, geografische locatie, residentiele mobiliteit worden uitgesplitst

De derde stap: het identificeren van de behoefte

Bij deze stap moet er rekening worden gehouden met de oorsprong en inhoud van de behoeften. Belanghebbenden hebben verschillende perspectieven over hoe een probleem kan ontstaan en wat de oorzaken van dat bepaalde probleem zijn. Culturele factoren of waarnemingen en toekenningen aan een targetpopulatie zijn erg relevant voor de uitkomst van een programma. Ook andere factoren zijn van belang of de targetpopulatie bereikt kan worden, zoals kinderopvang, transportproblemen, te weinig tijd en dergelijke.

Er zijn twee methoden om de behoeften aan een interventie te beschrijven, namelijk kwantitatief sociaal onderzoek en kwalitatief sociaal onderzoek.

Kwantitatief sociaal onderzoek geeft de numerieke presentaties van de onderzochte objecten weer. Kwalitatief sociaal onderzoek is niet numeriek (beschrijvend), bijvoorbeeld de gedachten van de target.

De vierde stap: het vaststellen van de behoefte

Wanneer de problemen en oplossingen zijn geïdentificeerd wordt deze informatie geïntegreerd. Daarna worden er een aantal handelingsaanbevelingen gegeven. Hoe explicieter en hoe opener het proces is, hoe waarschijnlijker de resultaten geaccepteerd zullen worden en geïmplementeerd zullen worden.

Deze stap is afhankelijk van de definitie die is voortgekomen uit de derde stap. Na het schatten worden alle mogelijkheden die relevant zijn voor “needs assesment” besproken.

De vijfde stap: communicatie

Uiteindelijk moeten de resultaten van de behoeft analyse gecommuniceerd moeten worden naar de besluitvormers, gebruikers en andere belangstellenden.

Enkele communicatie mogelijkheden voor “needs assesment” zijn:

• focus group = geselecteerde mensen samen brengen in een homogene groep die gaan discussiëren over het sociale probleem o.l.v. een supervisor die de discussie op gang brengt en stuurt, met als doel het bereiken van consensus.

• delphi methode = schriftelijke interviewronden.

• workshop methode = een panel van geselecteerde deskundigen proberen overeenstemming over het probleem te krijgen.

• groepsinterview = ideeën, beelden van deskundigen worden middels groepsinteractie geverifieerd.

• spelsimulatie = deelnemers spelen een rol om het probleem op te lossen.

• concept mapping = groeperen en beoordelen van onderwerpen door middel van opdrachten.

Informatie wordt veelal doorgespeeld via de sneeuwbalmethode. Dit houdt in dat aan de geselecteerde informanten wordt gevraagd of ze nog iemand kennen die mee kan doen, of die mensen ook weer informanten kennen, et cetera. Totdat er niemand meer te vinden is die mogelijk een bijdrage kan leveren aan het oplossen van het probleem. Op deze manier worden de belangrijkste informanten geselecteerd.

5. Uitdrukken en vaststellen van een programmatheorie

§1. Inleiding

De sociale problemen die evaluatieprogramma's behandelen zijn vaak zo complex en moeilijk dat zelfs de kleinste verbeteringen van het programma grote veranderingen teweeg brengen. Een programmatheorie is een concept van wat er gedaan moet worden om de gewenste sociale doelen te bereiken.

Eén aspect bij het evalueren van een programma is het schatten hoe goed een programmatheorie is. Hierbij vraag je je af:

• Is de theorie goed geformuleerd?

• Representeert het een goed plan voor verbetering van sociale condities?

Dit hoofdstuk heeft betrekking op de concepten en procedures die een evaluator kan toepassen bij de schatting van de kwaliteit van een programma. Dit gebeurt door middel van een programmatheorie.

De eerste stap in het schatten van een programmatheorie is een expliciete beschrijving geven van de concepten, aannames en verwachtingen die een basis vormen voor de manier waarop een programma is gestructureerd en zijn uitwerking heeft op de omgeving.

Een schatting van een programmatheorie vereist dat de evaluator zijn theorie moet articuleren in een waarneembare vorm voor analyse.

§2. Het “evaluatie schattings perspectief”

Evaluatieschatting (evaluability assessment) is een kwalitatieve bepaling of het programma voldoet aan de precondities van het evaluatieproces en bepaalt ook hoe de evaluatie ontworpen zou moeten worden om maximaal nut te kunnen verzekeren.

Evaluatieschatting bevat drie primaire activiteiten:

• Beschrijving van het programmamodel met als doel het definiëren van programmadoelen (goals) en doelstellingen (objectives)

• Schatting geven van hoe goed het model gedefinieerd is

• Het identificeren van de interesse van belanghebbendenen hun gebruik van de evaluatieresultaten na uitvoering

Evaluators trachten het programma te beschrijven en te begrijpen door middel van interviews en observaties die de “sociale werkelijkheid” vertonen. Het begint met de conceptualisatie van het programma door te zoeken naar aanwezige documenten en officiële informatie.

De bedoeling is te eindigen met een beschrijving van het bestaande programma en het begrijpen van programmakwesties die belangrijk zijn voor betrokken personen.

Een uitkomst van een evaluatieschatting is geslaagd als de sponsors de behoefte erkennen om hun programma uit te voeren.

Door het uitvoeren van een schatting kan men de volgende fouten opsporen:

• fouten in de uitvoering van het programma

• doelpopulatie is niet goed gedefinieerd

• de interventie is niet goed

• er zijn te weinig doelstellingen waarmee de belanghebbenden het eens zijn

• er zijn geen geschikte indicatoren voor de doelstellingen

In al deze gevallen heeft de evaluatieschatting problemen met het programmadesign geïdentificeerd, die vervolgens gecorrigeerd moeten worden om tot een betekenisvolle evaluatie te komen.

Het is mogelijk dat een evaluator er niet in kan slagen overeenstemming te krijgen over programmadoelen, doelstellingen, informatieprioriteiten, het gebruik van programmaresultaten en het beantwoorden van evaluatievragen.

Deze problemen of fouten kunnen worden voorkomen of gereduceerd door een kwalitatief evaluatieproces, namelijk de evaluatieschatting.

Bij evaluatieschatting moet worden voldaan aan de volgende criteria:

• de programmadoelen, effecten en belangrijke informatie moeten goed zijn gedefinieerd

• de programmadoelen moeten geloofwaardig zijn

• er moet relevante data kunnen verworven

• de gebruikers van de evaluatievragen moeten het eens zijn over de manier waarop de informatie wordt gebruikt

De evaluatieschatting is een proces voor het verhelderen van het design en het onderzoeken van de programmarealiteit. Als het nodig is wordt het design gereconstrueerd, zodat aan de bovenstaande vier criteria kan worden voldaan. Evaluatieschatting laat niet alleen zien of een programma betekenisvol wordt geëvalueerd, maar ook of de evaluatie bijdraagt aan een verbeterde programma-uitvoering.

§3. Beschrijven van een programmatheorie

Er worden tal van verschillende namen gegeven voor een programmatheorie zoals programmamodel, actietheorie etc. Er bestaat geen consensus over hoe een programmatheorie het best wordt beschreven.

In dit boek wordt de programmatheorie beschreven als een schema die bruikbaar is gebleken bij evaluatieactiviteiten. Er is sprake van een sociaal programma waarbij er wordt gekeken naar de handelingen die plaatsvinden in de tijd tussen de uitvoering van de interventie en de implementatie in de populatie die de interventie dient. Aan de ene kant van de uitvoering wordt het programma gezien als een organisatorisch geheel met verschillende hulpmiddelen, mogelijkheden, personeelsleden, bronnen en activiteiten. Aan de andere kant staan de doelparticipanten met verschillende ervaringen en omstandigheden in relatie tot de uitvoering van het programma.

De programmatheorie kan worden beschreven in een model met drie componenten:

• de programma impact theorie

• het aanwendings- of uitvoeringsplan

• het programma organisatieplan

De programma impact theorie bestaat uit aannames over het veranderingsproces die veroorzaakt moet worden door de interventie en de verbeterde condities die worden verwacht als evaluatieresultaat. Deze theorie wordt geoperationaliseerd door de doeluitvoering, ze vormen een mening over of de interventie het gewenste effect heeft bereikt. De programma impact theorie geeft de essentie van het programma weer.

Om het veranderingsproces aan te sporen, die beschreven staat in de programma impact theorie, moet de uitvoering en de verleende diensten eerst bij de doelpopulatie worden verschaft. Het aanwendings- of uitvoeringsplan wordt gevormd door de programma-aannames en verwachtingen over hoe de doelpopulatie te bereiken, verlenen van diensten en besluiten wanneer deze diensten niet meer nodig zijn. Het programma moet echter wel op zijn manier zijn georganiseerd om daadwerkelijk de diensten te verlenen. De derde component van de theorie is gerelateerd aan programmadoelen, personeel, administratie en organisatie. Dit heet het programma organisatie plan.

Het plan kan worden gerepresenteerd als een set van proposities over:

• de middelen, faciliteiten en personeel die het programma heeft

• de manier waarop het programma is georganiseerd

• de functies en activiteiten waarop het programma betrekking heeft

Als deze punten duidelijk zijn, dan zal de evaluatieorganisatie resulteren in een realiseerbaar uitvoeringssysteem (service delivery system). Adequate middelen en effectieve organisatie zijn de factoren die het mogelijk maken een uitvoeringssysteem te ontwikkelen.

Dit systeem zorgt ervoor dat de diensten bij de juiste doelpopulatie wordt verschaft.

De programma organisatie en het uitvoeringssysteem staan onder controle van de programma-administratoren en worden gezien als het programmaproces. De assumpties en verwachtingen waarop dit proces gebaseerd is word de procestheorie genoemd.

Programma impact theorie

Deze theorie is een causale theorie. Het beschrijft de oorzaak- gevolg volgorde waarin programma activiteiten leiden tot oorzaak- gevolg effecten om sociale doelen te bereiken.

Het model van een programma impact theorie ziet er uit als een causale diagram die de programma-activiteit koppelt aan de voorspelde uitkomsten. Interventieprogamma's werken echter veelal niet direct in op de sociale condities, maar werken indirect door bepaalde aspecten van de huidige situatie te veranderen die leiden tot verbetering.

De simpelste programma impact theorie bestaat uit een twee stappen theorie. Als gevolg van de verleende diensten worden intermediaire condities geaffecteerd, die vervolgens zorgen voor verbetering van sociale condities in kwestie. Complexe theorieën bestaan uit meerdere stappen. Het model van de impact theorie bestaat uit verschillende elementen die zowel oorzaak als gevolg kunnen zijn. De lijnen (verbindingen) tussen de elementen zorgen voor een keten van gebeurtenissen die begint bij de programma acties en eindigt in een verandering van sociale condities. De gebeurtenissen die direct volgen na de uitvoering van een programma-activiteit zijn de proximale of de directe uitkomsten. Gebeurtenissen onderaan in de keten zijn de distale of definitieve uitkomsten.

Uitvoeringsplan

Een expliciet uitvoeringsplan richt zich op assumpties over het “hoe en waarom” de ontvanger van de diensten zich gaat binden aan het programma. De redenen dat de ontvanger het programma volgt door de diensten te ontvangen om een verandering te initiëren.

Het plan beschrijft de programmadoelen en de uitvoering met inachtneming van de huidige leefomstandigheden en gestelde doelen. Het plan bestaat uit een aantal wegen die kunnen worden gevolgd. Het begint bij het eerste contact met het programma en eindigt op het moment dat er geen hulp meer nodig is. De verschillende wegen identificeren alle mogelijke situaties waarin programmadoelen niet zijn verbonden met het programma zoals bedoeld.

Programma organisatieplan

Dit plan wordt gezien vanuit het perspectief van programma management. Het organisatieplan bevat de functies en de activiteiten van het programma die men verwacht uit te voeren en de humane, financiële en fysieke hulpmiddelen die vereist zijn voor de uitvoering.

De programmadiensten zijn belangrijk, ze vormen de rol van het programma, waarvan wordt verwacht dat ze tot sociale verbetering te leiden. Het organisatieplan moet ook functies bevatten die zorgen voor de essentiële precondities en steun om diensten uit te voeren. Voorbeelden hiervan zijn onder andere; personeelsmanagement, acquisitie, politieke verbinding en fondswerving.

Er zijn veel manieren om een programma organisatieplan te beschrijven. Als we kijken naar het doel van het programma (target- program transaction), dan bestaat het eerste element uit het beschrijven van de programmadoelen voor de diensten die zullen worden verschaft:

• wat zijn de diensten die we gaan verlenen

• hoeveel diensten worden er verleend

• aan wie worden de diensten verleend

• in welk tijdsbestek worden de diensten verleend

Vervolgens worden de hulpmiddelen en functies bepaald die nodig zijn voor de uitvoering van de diensten. Een manier om een organisatieplan te representeren is in termen van input (hulpmiddelen en beperkingen van het programma) en activiteiten (de diensten waarvan verwacht wordt dat het programma deze verleend). Het ontvangen van de diensten wordt gezien als de programmaoutput, deze staan in relatie tot de gewenste uitkomsten.

§4. Het ontlokken van een programmatheorie

Als een programmatheorie is uitgewerkt in programmadocumenten en vervolgens goedgekeurd is door de sponsors en belanghebbenden, dan spreekt men van een gearticuleerde programmatheorie. Als de aannames, over programmadiensten en uitvoering, niet volledig gearticuleerd zijn dan is er sprake van een impliciete programmatheorie. Als een theorie impliciet is dan moet de evaluator het design abstraheren en opnieuw beschrijven, voordat er geanalyseerd kan worden.

Het design van een programma wordt meestal afgeleid van een sociaal wetenschappelijke theorie. Er moet bij het beschrijven van een design rekening worden gehouden met de meningen van de sponsors over wat zij vinden dat het programma moet doen en wat de verwachte resultaten zijn.

Een cruciale stap in het articuleren van een programmatheorie is het definiëren van het grensgebied van het programma. Voor bepaling hiervan bestaat geen expliciete definitie.

Het grensgebied is afhankelijk van de omvang van het interessegebied van de sponsoren.

Er wordt bij het definiëren van de grenzen gekeken naar het perspectief van de besluitnemers (decisionmakers), die moeten reageren op de evaluatieresultaten.

De definitie moet het relevante rechtsgebied van de besluitnemers representeren, en de organisatie structuren en activiteiten op grond waarvan besluiten worden genomen.

Grenzen vaststellen

Het is bij het vaststellen van grenzen van belang dat alle belangrijke activiteiten, gebeurtenissen en hulpmiddelen binnen de grenzen vallen. Het proces begint met het bepalen welke verbetering het programma tracht te behalen en vervolgens werk je achterwaarts om alle bruikbare activiteiten en middelen op te sporen. Informatie waarvan verwacht wordt bij te dragen aan de realisatie van de doelstellingen. Tijdens de planningfase wordt door de evaluator een programmatheorie ontwikkeld met betrekking tot de praktijk en onderzoek. Bij een bestaand programma moet de theorie worden beschreven die ingepast is in de structuur van het model van de interventie. Een theorie moet worden uitgeschreven op basis van acties en aannames van het programma. Beschrijving van het programma wordt beoordeeld en mogelijk veranderd door kennis en feedback van de belanghebbenden. Wanneer nodig wordt het ontwerp verbeterd in een meer passende beschrijving van het programma, op basis van de input van belanghebbenden.

Het verduidelijken van de programma theorie

Wanneer een programma nog maar in het plannings-stadium is, kan programma theorie ontwikkeld worden door de ontwerpers van voorafgaande praktijk en onderzoek. In dit stadium kan de evaluator in staat zijn om mee te helpen met het ontwikkelen van een aannemelijke en goed geformuleerde theorie. Bij een bestaand programma is de aangewezen taak om de theorie te beschrijven die al in het programma structuur en –verrichting is ingebed.

Primaire informatiebronnen voor de ontwikkeling van een theoriebeschrijving zijn:

• artikelen en documenten

• interviews met belanghebbenden

• observatie van programmafunctie's en omstandigheden

• wetenschappelijke literatuur

Programmadoelen en -doelstellingen

Programmadoelen en doelstellingen zijn van belang voor een programmatheorie, vooral cruciaal voor de impact theorie. Programmadoelen moeten een aantal zaken identificeren die bereikt worden als resultaat van programma-acties. Er moet een logische verbinding zijn tussen wat het programma doet en wat het programma tracht te bereiken.

Een evaluator moet niet direct naar de doelen vragen, maar indirect naar de consequenties van de programmadoelen. De resultaten van de doelen moeten worden geïntegreerd tot een programmatheorie. Doelen die beschrijven welke veranderingen een programma tracht te bewerkstelligen zijn gerelateerd aan de programma impact theorie.

Doelen die gerelateerd zijn aan programma activiteiten en dienstverlening helpen met het verkennen van de programma proces theorie.

Programma functies, componenten en activiteiten

Om een programma proces theorie te beschrijven moet de evaluator elk programmacomponent, functies, activiteiten en handeling identificeren.

Programmafunctie's zijn onder andere:

• schatten van de behoefte aan dienstverlening van een cliënt

• aanwijzen van een manager

• werven van instellingen

• trainen van veldwerkers

Een kritisch aspect van de programmatheorie heeft betrekking op het feit hoe de uitkomsten en voorgenomen functies aan elkaar gerelateerd zijn. De relatie tussen de functies en uitkomsten van het programma kan gebaseerd zijn op de opeenvolging van activiteiten en effecten. Ook kan deze relatie te maken hebben met programmahandelingen die gecoördineerd moeten worden. Bij de impact theorie is er vooral sprake van conceptuele relaties. Er bestaat een grote variatie aan relaties die meestal worden weergegeven in hiërarchieën om de sleutelelementen te identificeren in relatie tot de programmatheorie.

Bij de beschrijving van een programmatheorie is er altijd enige discrepantie tussen de theorie en de realiteit. Het is de taak van de implementatie-evaluatie om het verschil tussen theorie en realiteit zo klein mogelijk te houden. Als een theorie de realiteit sterk overschat of onderschat moet de theorie worden herzien.

Een theorie is goed beschreven zodra het programmapersoneel en belanghebbenden bevestigen dat het programma bijdraagt aan het verwachte resultaat. Als een theoriebeschrijving niet als bruikbaar wordt geaccepteerd door de belanghebbenden, betekent dit dat of het programma slecht is gedefinieerd of dat er sprake is van verschillende filosofieën tussen belanghebbenden.

Het eindresultaat van een theoriebeschrijving is een gedetailleerde en complete uiteenzetting over het voorgenomen programma, die vervolgens kan worden geanalyseerd en geschat als een apart aspect van de evaluatie. Een theoriebeschrijving wordt bepaald door de kennis en assumpties van belanghebbenden over hoe een programma dient te werken.

§5. Beoordeling van de waarde van een theorie

De schatting van de waarde van een theoriebeschrijving is vrij gewoon en veelal in overeenstemming met de evaluatie van een proces programma of impact programma.

De beoordeling vindt plaats via informele wegen en is vooral afhankelijk van oordelen die niet veel uitleg vereisen. Zelfs wanneer een interventie-dienst direct gerelateerd is aan zijn doel, wordt de validiteit van een programmatheorie geaccepteerd op basis van beperkt bewijs of een verstandig oordeel. De meeste programma's echter zitten complexer in elkaar.

Er bestaan vele assumpties over wat er zich exact zou moeten voordoen en hoe dit bereikt kan worden. Het is onmogelijk om elke assumptie van een programmatheorie apart in waarde te schatten. Er bestaan een aantal procedures die de evaluator kan gebruiken voor het opzetten van een schatting.

Beoordeling in relatie tot de sociale behoeften

Het raamwerk voor de schatting van een programmatheorie is gebaseerd op de behoeften naar een programma. Ofwel begrijpen op welke sociale problemen het programma zich richt met inachtneming van de behoeften van de doelpopulatie.

Een programma die niet gerelateerd is aan de huidige toestand en omstandigheden van sociale condities zal worden gezien als een ineffectief programma.

Dus schat een programmatheorie met inachtneming van de behoeften van de doelpopulatie.

De schatting is verder afhankelijk van de oordelen van experts en belanghebbenden.

Beslissend voor het beoordelingsproces is de specificiteit.

Als de programmatheorie en de sociale behoeften zijn beschreven, blijkt er vaak meer overeenstemming te zijn dan zichtbaar is, zodra de details van het programma worden geëxamineerd.

Illustratie in details over hoe een programmatheorie vergeleken kan worden met de behoeften van de populatie leidt soms tot de ontdekking van tekortkomingen in de beschreven theorie.

Een aanpak om de programmatheorie te vergelijken met de kennis aan huidige sociale behoeften is het apart beoordelen van zowel de waarde van de impact theorie als de waarde van de proces theorie. Elk van deze is gerelateerd aan sociale problemen op een verschillende manier. Als elke waardeschatting wordt uitgewerkt kunnen er specifieke vragen worden gesteld over hoe de theorie is aangepast aan de sociale omstandigheden.

De programma impact theorie heeft te maken met een opeenvolging van causale gebeurtenissen tussen programma diensten en de uitkomsten die de voorgenomen sociale condities verbeteren. Bij de vergelijking tussen de sociale impact theorie en sociale behoeften gaat het om de vraag of de verwachte effecten van het programma op sociale condities correspondeert met wat de vereisten zijn voor verbetering van deze condities.

Het kan zijn dat de proximale uitkomsten de programma impact theorie goed beschrijft, maar niet bewerkstelligt wat nodig is om het probleem te verbeteren.

De programma proces theorie representeert de assumpties over de mogelijkheid van het programma om diensten te verlenen die tevens toegankelijk zijn voor de doelpopulatie en in overeenstemming zijn met hun behoeften. Deze assumpties kunnen worden vergeleken met de informatie over de doelpopulatie mogelijkheden om diensten te ontvangen en de barrières die voor hen het gebruik van de diensten doet verminderen. Het gaat erom in welke mate een antwoord wordt gegeven aan de behoeften van de doelpopulatie.

Een programmatheorie moet trachten de assumpties en verwachtingen van het programmadesign bloot te leggen door een kritische blik te werpen op de logica en geloofwaardigheid van de aspecten van een programmatheorie.

Beoordeling van logica en geloofwaardigheid

Het examineren van de logica en geloofwaardigheid verloopt volgens een ongestructureerd proces. Toch zijn er enkele aspecten die een review moet bevatten.

De volgende aspecten zijn te onderscheiden:

• Zijn de programmadoelen en doelstellingen goed gedefinieerd? De uitkomsten moeten in duidelijke en concrete termen worden beschreven om te kunnen bepalen of de doelen zijn bereikt.

• Zijn de programmadoelen en doelstellingen uitvoerbaar? Is het realistisch om aan te nemen dat de doelen bereikt worden als resultaat van de dienste die het programma levert? Een programmatheorie specificeert de verwachte resultaten die van oorsprong en omvang redelijkerwijs volgen uit een succesvol toegepast programma.

• Is het veranderingsproces verondersteld in de programmatheorie aannemelijk? De aanname dat een programma verbetering creëert voor de doelpopulatie is afhankelijk van het optreden van een oorzaakgevolg keten die begint met de interactie van de doelpopulatie met de interventie en eindigt met verbeterde omstandigheden. Elke stap in deze keten moet aannemelijk zijn. Validiteit van de impact theorie wordt bewezen als de mogelijkheden van het programma de voorgenomen effecten bereiken.

• Zijn de procedures voor het identificeren van de doelpopulatie, het leveren van diensten aan hen en het volhouden hiervan goed gedefinieerd en bekwaam? De procedures en functies moeten goed gedefinieerd zijn en adequaat voor de gestelde doelen. Dit vanuit het perspectief van de mogelijkheid tot de uitvoering van het programma en de motivatie van de doelpopulatie die het programma volgen.

Zijn deze twee voorwaarden afwezig, dan zullen niet veel van de personen van de doelpopulatie de geleverde diensten ontvangen.

• Zijn de componenten, activiteiten en functies van het programma goed gedefinieerd en bekwaam? Een programmastructuur en programmaprocessen moeten duidelijk zijn om handelingen op de juiste wijze uit te voeren, management te controleren, meningen te monitoren en betekenisvol metingen uit te voeren. De programmacomponenten en activiteiten moeten geschikt zijn om voorgenomen doelen te bereiken.

• Zijn de aanwezige hulpmiddelen adequaat voor het programma? Hulpmiddelen bestaan niet alleen uit het verwerven van personeel, materiaal, relaties en voorzieningen. Er moet tevens een overeenkomst zijn tussen het beschreven programma en de beschikbare middelen om tot een uitvoering van de interventie te komen. Een theorie die activiteiten en resultaten beschrijft die onrealistisch zijn voor de beschikbare middelen, is een slechte theorie.

Beoordeling door vergelijking met onderzoek en de praktijk

Informatie toepasbaar bij het beoordelen van de componenten van een theorie is terug te vinden in sociaal wetenschappelijke literatuur en literatuur over sociale condities.

De hieruit verkregen informatie wordt vergeleken met de onderzoeksresultaten en de praktijkervaringen. Er zijn een aantal manieren waarop de evaluator de programmatheorie kan vergelijken met onderzoek en praktijk. Het makkelijkst is het examineren van andere al uitgevoerde evaluatieprogramma's die gebaseerd zijn op dezelfde concepten.

Basisonderzoek van sociale en psychologische processen staan centraal in het programma en kunnen informatie bevatten om te komen tot een raamwerk. Dit raamwerk kan vervolgens op waarde worden beoordeeld. Helaas is er weinig basisonderzoek gedaan naar sociale interacties die belangrijk zijn voor de interventieprogramma's.

Beoordeling via voorbereidende observatie

Een programmatheorie is slechts een concept en kan niet direct geobserveerd worden.

De theorie bevat assumpties over hoe dingen verwacht worden te werken, zodat de evaluator deze kan beoordelen door middel van observatie van het programma tijdens uitvoering.

Om meer idee te krijgen over de assumpties word er gesproken over ervaring van het personeel en worden de ontvangers van de diensten geïnterviewd.

Een observatie is een soort realiteitscontrole die de overeenstemming tussen de beschreven programmatheorie en de daadwerkelijke interventie checkt. Je bekijkt of de uitkomsten passend zijn voor de programma omstandigheden en of de doelen te verwezenlijken zijn.

Om de dienstverlening te testen van een programma proces theorie kan de evaluator de omstandigheden van de doelpopulatie examineren om zich te verdiepen in het hoe en waarom ze de interventie volgen. De plausibiliteit van het organisationele component van de programma proces theorie kan worden beoordeeld door middel van observaties en interviews die de invloed van programma activiteiten en hulpmiddelen trachten aan te geven.

Het programma moet de voorgenomen functies kunnen uitvoeren.

§6. Mogelijke uitkomsten van een programma theorie beoordeling

Als er tijdens de beoordeling van een programma fouten worden ontdekt moet het programma opnieuw worden opgezet. Een nieuw concept moet zeker de volgende inhoud bevatten:

• verduidelijking van doelen en doelstellingen

• herstructurering van programmaconcepten waarbij de voorgenomen veranderingen niet optreden, niet nodig zijn of onrealistisch zijn

• Samenwerking met belanghebbenden om consensus te bereiken over de logica die de programma activiteiten koppelt aan de gewenste resultaten.

Als een programma proces theorie niet goed gedefinieerd is treedt er dubbelzinnigheid op over wat er verwacht wordt dat het programma doet. Dit bemoeilijkt de identificatie van criteria voor het beoordelen van de implementatie. Als er geen adequate specificatie is van de programma impact theorie dan is het wel mogelijk om te bepalen of bepaalde resultaten zijn geproduceerd, maar het is moeilijk uit te leggen waarom of waarom de resultaten niet zo zijn.

Een slecht geïdentificeerde impact theorie beperkt de mogelijkheid om de interveniërende variabele te meten, waar de uitkomsten van afhangen. Het is moeilijk uit te leggen wat er goed of fout ging bij de verwerving van de resultaten.

Als een programma proces theorie slecht gespecificeerd is, is het zelfs niet mogelijk de uitkomsten van de interventie te beschrijven. Slechte evaluatie wordt ook wel black box evaluatie genoemd. Dit betekent dat de resultaten worden beoordeeld zonder enig inzicht in wat de oorzaken van de uitkomsten zijn.

6. Het schatten en monitoren van programma proces

§1. Inleiding

Analyse van het programmaproces en monitoren gegevens heeft betrekking op de volgende onderwerpen:

• beschrijving van de programma operatie

• vergelijking tussen de inzichten

• overeenstemming van het programma in het design

Belangrijk is dat het programma leidt tot resultaten die de bedoeling waren, dat de doelen van het evaluatieprogramma worden bereikt. Daarom is het belangrijk om de adequaatheid van het programma proces vast te stellen: is het programma geschikt om de gewenste resultaten te halen. De programma-activiteiten die plaatsvinden en de interventiediensten die geleverd wordt bij een routine programma operatie zorgen voor dit resultaat.

§2. Wat is programma proces evaluatie en monitering?

Programma proces/implementatie evaluatie

Programma proces evaluatie of implementatie evaluatie is niet een enkele evaluatieprocedure, maar bestaat uit een aantal benaderingen, concepten en methodes om te weten te komen hoe goed een programma gaat werken. Er wordt gekeken naar hoe het programma zelf gaat werken: operaties, activiteiten, functies, uitvoering, verschillende onderdelen, bronnen en dergelijke.

Scheirers zegt over implementatie evaluatie het volgende (1994): ‘Implementatie evaluatie verifieert wat het programma is en of de interventie wel of niet geleverd wordt aan de targets zoals bedoeld was.’

Programma proces monitoring

Programma proces monitoring vindt plaats als een proces evaluatie constant is, dus gedurende een lange periode in de tijd. Het programma proces kijkt naar het meten en aantallen informatie over de programma operatie. De sleutelelementen van het programma worden onderzocht en er wordt beoordeeld of het programma ook zo aan het werk is als bedoeld.

Outcome monitoring

Outcome monitering zijn continue metingen van de gewenste uitkomsten van het programma. Hier draait het meestal om of de sociale condities verbetert zijn.

Twee hoofdvragen die worden gesteld:

• Bereikt het programma de bedoelde target populatie?

• Wordt de service geleverd en is deze hulp consistent met waar het programma voor bedacht is?

Criteria om het programma proces te beoordelen

Het vaststellen van criteria om het programma proces te beoordelen gebeurt in de programma theorie. Van tevoren moet worden vastgesteld wanneer het programma bevredigend werkt, dus dat gewenste doelen daadwerkelijk worden bereikt.

Programma theorie is opgebouwd uit twee componenten:

• Programma proces theorie; dit is een blauwprint over wat het programma zou moeten doen, gebaseerd op needs assessment. Autoriteit en bedoeling worden vastgesteld op basis op van criteria.

• Programma impact theorie.

Administratieve standaarden (objectives) zijn programma administratoren of verantwoordelijke partijen. Deze “objectvies” stellen van te voren een doel over wat ze minimaal willen behalen wil hun programma succesvol worden beoordeeld.

De doelen zijn meestal gebaseerd op vorige experimenten, vergelijkbare programma's of professioneel inzicht.

Hier staat tegenover: een oordeel als je de feiten/resultaten hebt gezien. Dit wordt een “after-the-fact judgement call” genoemd.

Algemene vormen van programma proces evaluatie

Proces- of implementatie evaluatie heeft twee belangrijke rollen:

• Stand-alone proces evaluatie, voornamelijk bij nieuwe programma's, waar de enige vragen zijn over de integriteit van het programma proces zelf, de geleverde service en dergelijke voor handige feedback aan belanghebbenden,

• Bij al bestaande programma's kan er met behulp van proces evaluatie gekeken worden naar hoe goed het programma werkt.

• Als aanvulling op een impact evaluatie (wat zijn kwaliteiten en kwantiteit van de service van het programma, zodat het gecombineerd kan worden met de impact van het programma zelf)

Continue programma monitoring geeft constante feedback over de werking van het programma. Deze monitoring vergemakkelijkt de effectieve management van het programma.

Het Management Information System (MIS) verzameld op een geroutineerde manier informatie over de cliënt op een “client-by-client” basis over de geleverde service, staf die de service levert, diagnose of reden voor programmaparticipatie, sociaaldemografische gegevens, behandeling en kosten, uitkomstmaten en dergelijke

§3. Perspectieven op programma proces monitoring

Er zijn verschillende perspectieven met betrekking tot de uitkomstmaten, afhankelijk van de belangen van de verschillende belanghebbenden.

Er zijn drie hoofdcategorieën onder te verdelen:

• Evaluator’s perspectief; zonder proces monitoring werkt de evaluator in een ‘black box’. Onderzoek doen zonder basis om te beslissen of een programma en de interventie effect heeft

• Accountability perspectief; proces monitoring afhankelijk van sponsors en mensen die geld investeren in het project. Dit perspectief is voor een groot deel afhankelijk van de politiek

• Management perspectief; minder gericht op oordeel vellen over het programma, maar meer gericht op het verenigen van correcte metingen als een regulier onderdeel van het programma. Doel is hier het vroeg opsporen van fouten en oorzaken vinden voor het niet bereiken van de target populatie

Problemen die veelal te noemen zijn tussen evaluators en managers:

• hoeveel informatie moet je verzamelen, in welke vorm, hoe vaak, met welke betrouwbaarheid?

• wanneer breng je de uitkomsten naar buiten? Een evaluator wil direct de resultaten uitbrengen door middel van een artikel, de manager wil echter eerst de resultaten goed bekijken en bespreken

§4. Monitoring service gebruik

Het monitoren van het gebruik van geleverde diensten is vooral belangrijk bij interventies waarbij programma populatie vrijwillig meewerkt, of waarbij de targets nieuwe procedures leren, hun gebruiken moeten leren veranderen, of instructies krijgen. Bij de hierboven genoemde populaties is het dus belangrijk dat de targets goed gemotiveerd worden deel te nemen aan het programma.

Coverage en bias

De kwaliteit van de evaluatie kan worden beoordeeld door te kijken naar de volgende twee begrippen, namelijk “coverage” en “bias”.

Coverage bestaat uit de mate waarin de deelname van de targetpopulatie de gespecificeerde niveaus krijgt van het design. Gerelateerd hieraan is het begrip Coverage Effiency; dit is het bereik van de doelgroep. De Coverage Efficiency kan als volgt worden berekend:

100 X (number in need served/total number in need) – (number not in need served/total number served)

De waarden van CE liggen tussen de -100 en + 100. Als de CE laag is dan is er geen goede representatie.

Bias is de mate waarin sommige subgroepen verschillen met de anderen.

Verschil kan worden veroorzaakt door:

• self-selectie; sommige subgroepen participeren vaker dan anderen. Groepen die vrijwillig de interventie ondergaan zullen in het algemeen veel gemotiveerder zijn, dan personen die worden uitgekozen.

• programma acties; belanghebbenden moedigen aan en ontmoedigen. Zonder dat het de bedoeling is geven belanghebbenden aan in welke richting een persoon zich moet gedragen.

• onvoorziene invloeden, zoals de locatie

Undercoverage treedt op als er bijvoorbeeld te weinig geld of tijd is om de gehele targetpopulatie te helpen/bereiken. Bij overcoverage worden er meer mensen bereikt dan eigenlijk de bedoeling was, waardoor de bedoeling van het programma wegviel.

Undercoverage gemeten door de proportie van de targets in need te vergelijken met de proportie die ook daadwerkelijk meedoen met het programma.

Overcoverage gemeten door het aantal van programmaparticipanten die niet in need zijn, vergeleken met het totale aantal deelnemers van het programma.

Een probleem bij het meten van coverage is, is dat het onmogelijk is om het aantal mensen in need te specificeren. De needs assessment minimaliseert dit probleem.

Er zijn drie bronnen van informatie die gebruikt kunnen worden om te schatten in hoeverre een programma gebruikt wordt door de juiste target populatie (en dus het schatten van coverage en bias):

• program records; (zoals MIS’s); gegevens van databestanden over de deelnemers.

• surveys over programmaparticipanten,

• communities surveys; onderzoek bij een groot aantal deelnemers bijvoorrbeeld via televisie.

Bij de laatste twee wordt er een onderscheid gemaakt tussen programmaparticipanten en non-participanten. Hierdoor voorzien de surveyonderzoeken informatie over programma bias en coverage. Tegelijkertijd verschaft het informatie over nog niet ontdekte, maar wel wenselijke targetpopulatie.

Schatten van bias: programmagebruikers, wenselijke gebruikers, en drop-outs

Drop-outs kunnen een indicatie zijn voor ontevredenheid van de programmaparticipanten wat betreft de interventie, deze personen zijn niet tevreden over de ontvangen interventie en beëindigen hun deelname. Het kan ook duiden op factoren in de omgeving die volle deelname niet mogelijk maken (bijvoorbeeld geen goed vervoer beschikbaar). Gegevens over drop-outs komen uit service records of surveys die bedoeld zijn om non-participanten te vinden.

Community surveys zijn voornamelijk bedoeld om de wenselijke personen te vinden die niet meedoen aan het programma.

§5. Monitoren van organisatorische functies

Programma proces theorie is een handig middel om monitoring procedures te ontwikkelen.

Zo is de programma proces theorie handig om organisatorische functies van het programma te bekijken en te beoordelen(organisatieplan). Men houdt zich bezig met monitoren van de belangrijkste programmafuncties, activiteiten, uitkomstmaten. Hoe al deze begrippen gerelateerd zijn aan elkaar en gerelateerd zijn aan de organisatiestructuur en bronnen van het programma.

De implementatie en levering van de interventiediensten

Fundamenteel is de service delivery, ofwel de implementatie en levering van de interventiediensten. Er is sprake van een implementatie fout als de implementatie van de interventie wordt verkeerd gebracht.

Implementatiefouten kunnen het gevolg zijn van:

• Geen interventie, of een niet voldoende interventie

• Verkeerde interventie is geleverd; verschillende manieren:

- De gebruikers van het programma negeren de interventie (“sabotage”),

- Verschil in de pilot studie en de full-scale implementatie (sofistisch programma)

• Interventie is ongestandaardiseerd of ongecontroleerd geleverd, waardoor er grote verschillen zijn tussen de targetpopulatie. Hierdoor wordt het programma op verschillende manieren bij verschillende targetpopulaties geïmplementeerd.

Het delivery systeem

Het delivery systeem is de levering of overdracht van interventiediensten. Dit kan door middel van een combinatie van paden en acties die een interventie verzorgen. Het bestaat uit een aantal aparte functies en relaties.

Twee concepten zijn erg belangrijk bij het monitoren van uitvoering van een programma delivery systeem:

• Specificatie van de geleverde service in operationele en meetbare termen. Eerst wordt elk soort service/dienst gedefinieerd door middel van de activiteiten die plaatsvinden en de mensen die deelnemen. Er moet een balans gevonden worden zodat de uiteengezette activiteiten geïdentificeerd kunnen worden, geteld en betrouwbaar zijn en tegelijkertijd zinvol zijn voor de programma objectives.

• Toegang (accessibility) = in hoeverre de structuur en organisatie van het programma deelname toelaat; wacht je tot de deelnemers naar jou toekomen of ga je op zoek naar deelnemers voor je programma? Spreekt de staf de taal van de targetpopulatie? Wordt er door de goede personen gebruik gemaakt van de diensten?

Programma ondersteuningsfuncties

Veel programma's hebben ook nog nevenfuncties die tevens erg belangrijk zijn voor het programma, om zichzelf in stand te houden en de service te blijven leveren.

Fondswerving (fundraising) en publieke relaties worden aangesproken om het programma aan te houden en aan de sponsors te presenteren. Onderdelen hiervan zijn personeelstraining, zorgen voor sleutelpersoneel, ontwikkelen en onderhouden van relaties met soortgelijke programma's en dergelijke.

De programma acties moeten geïdentificeerd worden en beschreven, dan kunnen ze meegenomen worden in het proces.

§6. Analyseren van programma proces monitoring gegevens

Drie issues ten aanzien van het analyseren:

• Beschrijven van de programmaoperatie punten:

- Schatten van de coverage en bias in de participatie,

- De typen van geleverde service beschrijven

- De intensiteit van de gegeven service aan deelnemers bepalen,

- De reactie van de deelnemers op de geleverde service onderzoeken.

• Vergelijken van de verschillende kanten van het programma proces; diversiteit van het programma en zijn implementatie.

• Conformiteit over het programma; verschil tussen de bedoeling van het programma en de uiteindelijke uitkomstmaten. Dit kan leiden tot veranderingen in de implementatie van het programma.

7. Het meten en monitoren van programma resultaten

§1. Inleiding

Het doel van de meeste programma's is een verandering van de huidige situatie tot stand brengen. De veranderde condities zijn de voorgenomen uitkomsten of producten van het programma. Een belangrijke taak van de evaluator is het beoordelen in welke mate een programma deze voorgenomen uitkomsten produceert. Een valide meting van de uitkomsten is essentieel voor deze beoordeling.

§2. Programma resultaten

Een resultaat is een toestand van de sociale condities of van de doelpopulatie die door het toepassen van de interventie moet zijn verbeterd. Resultaten zijn te observeren karakteristieken van een doelpopulatie of sociale condities, de definities van de resultaten verwijzen niet direct naar het programma of programma acties. Diensten geleverd aan deelnemers worden de programmaoutput genoemd.

Een programma resultaat is gerelateerd aan het nut dat de diensten voor de deelnemers hebben. Het concept van een programmaresultaat betekent niet dat er per se een programmadoel is veranderd of dat het programma een verandering heeft veroorzaakt.

Er kan tevens een verandering zijn veroorzaakt in negatieve richting. Een verandering kan de oorzaak zijn van iets anders dan de invloed van het programma. Een evaluator moet bepalen in welke mate de verandering is veroorzaakt door het programma.

Verschillende onderscheidingen van de term resultaat

De term resultaat kan in verschillende onderscheidingen worden gebruikt:

• Het resultatenniveau: de status van een uitkomst op een bepaald tijdstip

• De resultatenverandering: het verschil in resultatenniveau gemeten op verschillende tijdstippen

• Het programma-effect of de programma-impact: het deel van de resultatenverandering die wordt veroorzaakt door het programma

Een uitkomstvariabele is een meetbare conditie van de doelpopulatie van een programma, die beïnvloed kan worden door de acties en diensten van een programma.

Als we de uitkomstvariabele meten kan er worden bepaald hoe hoog of hoe laag de doelpopulatie scoort. Dit is het resultatenniveau. Als we de resultaten meten van de doelpopulatie voor en na het deelnemen aan het programma, kunnen we de resultatenverandering bepalen.

Het programma-effect wordt bepaald door te kijken naar het verschil in resultaten van de doelpopulatie die het programma hebben gevolgd en de resultaten van een populatie die het programma niet hebben gevolgd. Het verschil is de toegevoegde waarde of de netto winst van de resultaten die niet opgetreden zouden zijn zonder de uitvoering van het programma.

Bepaling van het programma-effect is een moeilijke evaluatietaak. Je kunt namelijk niet tegelijk de resultaten observeren van dezelfde personen onder dezelfde omstandigheden.

Er wordt daarom geschat wat de uitkomsten zouden zijn zonder dat het programma is toegepast. Deze bepaling is dus hypothetisch en is lastig om zo betrouwbaar mogelijk te zijn.

§3. Identificeren van relevante resultaten

De eerste stap in het ontwikkelen van metingen van programmaresultaten bestaat uit het identificeren welke resultaten relevant zijn voor de meting.

Van belang bij bepaling van relevantie zijn:

• de perspectieven van de belanghebbenden

• de verwachte resultaten gespecificeerd in de impact theorie

• vooronderzoek

De meest direcet bronnen van informatie over de voorspelde uitkomsten van belanghebbenden zijn: de beschreven doelen, doelstellingen of missies van het programma. Het lastige van deze bronnen is het gebrek aan specifiteit die nodig is voor het identificeren van de meetresultaten.

De input van belanghebbenden moet in meetbare vorm worden omgezet als dit niet het geval is. Een resultatenbeschrijving moet betrekking hebben op de karakteristieken, gedrag of condities die door het programma moeten worden veranderd.

Programma impact theorie

Een volledige beschrijving van de programma impact theorie is bruikbaar voor het identificeren en organiseren van programma resultaten. Een impact theorie drukt de resultaten van sociale programma's uit als onderdeel van een logisch model die programma activiteiten met de proximale uitkomsten verbind. Het model van moet uiteindelijk leiden tot distale uitkomsten. Het model beschrijft de stappen tussen de programma dienstverlening en het uiteindelijke sociale voordeel die het programma moet bewerkstelligen.

Het is handig om het verschil in karakteristieken van distal en proximale uitkomsten te begrijpen om verder te komen. Proximale uitkomsten zijn de diensten die het resultaat direct beïnvloeden. De programma deelnemers ervaren het als een directe uitkomst door deelname. Proximale uitkomsten zijn meestal psychologisch van aard; houdingen, kennis, vaardigheden, motivatie, intenties en gedrag.

De proximale uitkomsten zijn makkelijk te beïnvloeden en te meten en leveren daarom een belangrijke bijdrage aan het eindresultaat.

Distale uitkomsten zijn moeilijker te meten en te beïnvloeden. Distale resultaten zijn echter wel interpreteerbaar als er informatie van proximale resultaten voorhanden is.

Distale uitkomsten zijn van een meer praktisch en politiek belang. Een nadeel is dat distale uitkomsten worden beïnvloed door externe factoren die buiten het controlegebied van het programma liggen.

Vooronderzoek

Voorafgaand aan het identificeren en definiëren van de resultaten moet de evaluator vooronderzoek houden naar elementen die gerelateerd zijn aan het evaluatieprogramma. Inzicht in welke resultaten bij een ander programma werd onderzocht kan er mogelijk voor zorgen dat de evaluator zijn aan dacht zal richten op elementen die hij anders misschien helemaal niet had gezien. Vooronderzoek kan ook informatie geven over het meetmethoden, operationalisatie en meetproblemen, waarmee de evaluator dan al rekening kan houden.

Onbedoelde uitkomsten

Foute resultaten zijn ontstaan uit processen die geen deel uitmaken van het programmadesign. De evaluator moet beoordelen of deze resultaten significant zijn voor de beoordeling van het programma-effect, zodat er geen verstoring van resultaten zal optreden. Ook hier is vooronderzoek zinvol. Resultaten die andere onderzoekers hebben ontdekt in dezelfde omstandigheden kunnen de evaluator op mogelijke onverwachte effecten attenderen.

Tevens moet er evaluatieonderzoek worden gedaan naar de dynamica van de sociale condities waarin het programma intervenieert. Dit kan leiden tot aanwijzingen van bijvoorbeeld reacties van personeel of deelnemers op de interventie.

§4. Meting van programmaresultaten

Niet alle verworven resultaten zullen even belangrijk of relevant voor de evaluator zijn.

Dit betekent dat niet alle resultaten hoeven worden gemeten om een evaluatie te volbrengen, selectie van belangrijke items is nodig. Na de selectie moet worden bepaald hoe er gemeten gaat worden en met welke meetinstrumenten.

Resultatenmeting is een kwestie van afbeelding van de omstandigheden omschreven in resultaten van observeerbare indicatoren die variëren met veranderingen in omstandigheden.

De meeste resultaten zijn multidimensioneel en bevatten verscheidene componenten die de evaluator in acht moet nemen. De evaluator moet de hele range van potentieel relevante componenten in acht nemen voordat hij bepaalt welke metingen hij gaat gebruiken.

Door de vele componenten van de resultaten is één meetresultaat niet voldoende om de volledige situatie te karakteriseren. Meerdere metingen moeten worden gedaan om aan de betrouwbaarheidseisen van een meting te voldoen. Meerdere metingen van belangrijke programmaresultaten helpt de evaluator zichzelf te beschermen tegen het overslaan van enkele belangrijke componenten of het gebruik van een negatief meetresultaat dat leidt tot het minder effectief overkomen van het interventieprogramma. Bij observatie is het handig om meerdere observatoren dezelfde situaties te laten bekijken, om een bias te voorkomen.

Metingsprocedures en -eigenschappen

Data van programmaresultaten zijn meestal afkomstig van observatie, interviews, vragenlijsten, gestandaardiseerde testen en fysieke meetapparatuur.

Informatie van deze bronnen worden pas meetbaar zodra de te meten begrippen geoperationaliseerd zijn in meetbare termen. Operationalisatie is het weergeven van een set van systematische handelingen of procedures om de meting te vergemakkelijken.

Bij de meting van programmaresultaten gebruikt men veelal bestaande en geaccepteerde meetinstrumenten. Bij de keuze van een instrument moet er rekening worden gehouden met hoe een instrument moet worden afgenomen en hoe lang dit duurt. De belangrijkste overweging bij de keuze van een instrument is hoe goed de meting aansluit op wat de evaluator wil meten. Als er geen geschikte meetinstrumenten beschikbaar zijn, moet de evaluator zelf een meting ontwikkelen. De meting moet geschikt zijn voor die specifieke situatie en doelen. Vaak zijn er te weinig middelen en tijd beschikbaar om een goede meting te ontwikkelen.

Er zijn drie meeteigenschappen die van belang zijn voor de meting:

• betrouwbaarheid

• validiteit

• gevoeligheid

Betrouwbaarheid

De betrouwbaarheid van een meting heeft te maken met in welke mate herhaalde metingen dezelfde resultaten behalen: verschil in resultaten betekent een meetfout. Bij meting van fysieke karakteristieken, waarvoor een standaard meting aanwezig is, zullen de resultaten meer met elkaar samenhangen dan de resultaten na meting van psychologische karakteristieken. Voor evaluatoren is de grootste bron van onbetrouwbaarheid meetinstrumenten zoals interviews en vragenlijsten.

Deze onbetrouwbaarheid komt door:

• verschil in meetsituaties

• verschil in afname van interviews

• verschil in observatie tussen observatoren

• verschil in notitie van gedrag

• verschil in stemming van respondenten

Om de betrouwbaarheid te controleren moet de meting een aantal keer onder dezelfde omstandigheden worden uitgevoerd. De betrouwbaarheid is aangetoond zodra er geen verschil meer is in afname van de meting. Men noemt dit de test-hertest betrouwbaarheid.

Betrouwbaarheid kan variëren met de respondenten en omstandigheden van de meting.

Om deze reden is het dus niet verstandig om al aanwezige informatie over de betrouwbaarheid van een meting te gebruiken.

Onderzoekers stellen de grens voor betrouwbaarheid bij een coëfficiënt van .90.

Validiteit

De validiteit van een meetinstrument betekent of het meetinstrument meet wat hij beoogt te meten. Er wordt gekeken of de programmaresultaten vergelijkbaar zijn met de voorspelde resultaten van het programma.

Hoewel het begrip makkelijk te begrijpen is, is het vaak lastig om te testen of een bepaalde meting valide is voor hetgene waarin je geïnteresseerd bent .

Gevoeligheid

De gevoeligheid van een meetinstrument is de mate waarin de waarden van een meting veranderen als er een verandering optreedt van de te meten variabele.

Er zijn twee redenen waarom meetresultaten ongevoelig kunnen zijn voor veranderingen in het programma:

• De meting bevat elementen die gerelateerd zijn aan andere factoren dan de factoren die het programma verwacht te veranderen. Een gevoelige meting moet alleen die elementen bevatten die het programma tracht te beïnvloeden.

• Resultaten kunnen ongevoelig zijn doordat ze zijn afgeleid uit programma's die ontwikkeld zijn voor grote diagnostische doelen, en dus niet geschikt zijn voor meting van kleine individuele verschillen.

Individuele verschillen worden meestal gemeten door gestandaardiseerde tests. De resultaten laten goed zien of een persoon goed of slecht scoort op die meting.

Keuze van resultaat metingen

De auteurs bevelen aan dat evaluatoren moeten investeren in de noodzakelijke tijd en bronnen om geschikte uitkomst metingen te ontwikkelen en te testen. Alleen als uitkomstmetingen valide, betrouwbaar en passend gevoelig zijn kan het beïnvloeden van schattingen als geloofwaardig beschouwd worden.

§5. Monitoring van programmaresultaten

De procedures voor adequate metingen van geformuleerde significante programma resultaten, kunnen door de evaluator of programma managers in verband gebracht met verschillende benaderingen die iets over deze resultaten leren.

De simpelste benadering is resultaatmonitoring, die gedefinieerd kan worden als de continue meting en rapportering van indicatoren van de status van sociale condities waar het programma verantwoordelijk is voor verbetering. Resultaatmonitoring vereist dat indicatoren geïdentificeerd zijn voor belangrijke programmaresultaten en dat deze indicatoren praktisch zijn om te verzamelen en die informatief zijn als het gaat om de effectiviteit van een programma. Het bepaalt nuttige en relatief niet dure informatie over programma effecten, meestal in een redelijk tijdskader. Bij impact assessment kan het wel jaren duren voordat er uitkomstresultaten zijn, bij monitoring duurt dat slechts enkele maanden.

Indicatoren voor resultaat monitoring

Resultaat monitoring kan programma managers en andere belanghebbenden voorzien van bevindingen met betrekking tot fijne-stemming en beïnvloeding van programma’s. effectieve resultaat monitoring vereist een zorgvuldige keuze van indicatoren en ook een zorgvuldige interpretatie van de resulterende data.

De indicatoren die gebruikt worden voor resultaat monitoring zouden zo responsief mogelijk moeten zijn naar de programma effecten. De meest interpreteerbare resultaat-indicatoren zijn degene waarin variabelen verwikkeld zijn die alleen het programma kan beïnvloeden op een schatbaar niveau.

De resultaat-indicator die het makkelijkst in verbinding gebracht kan worden tot de acties van het programma is cliënt-tevredenheid. Het creëren van tevreden gevoelens over de interactie van het programma beïnvloedt de ‘levens’ van de participanten.

Valkuilen bij resultaat monitoring

Een aantal zaken kunnen zorgen voor valkuilen:

• de dynamische aard van de sociale condities die typische programma’s pogen te beïnvloeden

• de grezen van resultaat indicatoren

• de druk op programma bureaus

Resultaat indicatoren kunnen een waardevolle bron van informatie zijn voor programma besluitvormers, het is van belang dat deze indicatoren voorzichtig ontwikkeld en gebruikt moeten worden.

Een aantal problemen bij resultaat monitoring zijn:

• als de resultaat indicatoren er in falen om alle belangrijke resultaten te dekken

• valse indicatoren

• een verkeerde interpretatie van de resultaten van resultaat indicatoren

Interpreteren van de resultaat data

Resultaat data die verzameld zijn als een deel van de routine resultaat monitioring kunnen moeilijk te interpreteren zijn als ze niet vergezeld worden door informatie over veranderingen in de cliënt mix, relevante demografische en economische trends, enzovoorts. Resultaat data zijn meer interpreteerbaar wanneer ze zijn vergezeld met informatie over het programma proces en de service levering. Wanneer er verschillende eenheden, gebieden of programma’s worden vergeleken is het vooral belangrijk om proces- en benuttingsinformatie samen te voegen in de interpretatie van resultaat indicatoren.

Wat ook belangrijk is voor het interpreteren van resultaat montioring data is de ontwikkeling van een raamwerk dat een standaard bepaalt voor het beoordelen welke vormen beter of slechte resultaten voor wie deze oordelen gemaakt moeten worden. Een simpele pre-post vergelijking van dit soort moet niet deel zijn van de routine resultaat monitoring. Het kan ook gedaan worden door de evaluator als deel van een resultaat assessment. De informatie die voortkomt uit het meten van programma resultaat variabelen of veranderingen in deze variabelen moet geïnterpreteerd worden op basis van oordelen van programma administrateuren, belanghebbenden of experts. Die interpretatie moet gedaan worden op basis van hun verwachtingen van goede en slechte prestatie.

8 & 9. Het vaststellen van een programma impact

§1. Inleiding

Impact assessment is er voor bedoeld om te kijken of het programma ook daadwerkelijk de gedachte uitkomstmaten/effecten teweegbrengt.

Er kunnen twee problemen optreden:

• Het programma kan te maken krijgen met verschillende ‘ziektes’, ruis

• Tijd, geld, medewerking en bescherming van mensen kan de opties in het design in de weg staan

Het gerandomiseerd veldexperiment is een design om de effecten van het sociale programma te bekijken door informatie in uitkomst te vergelijken met programmaparticipanten.

Een programma effect, of impact effect, duidt op de verandering in targetpopulatie of sociale condities door het programma. Dus het effect van alleen het programma (causabiliteit). De vraag is nu of het effect veroorzaakt wordt door het programma zelf. Dit kan je bepalen door te kijken wat er gebeurt zonder interventie of met een alternatieve interventie.

§2. Wanneer is een impact assessment gepast?

Een impact schatting is gepast:

• Bij een pilot demonstratie om te kijken of het programma werkt, voordat je het programma aanbiedt aan een grote groep mensen

• Bij programma's die al een tijd lopen om het te verfijnen of aan te passen vanwege de bijvoorbeeld hoge kosten en laag budget

Voorwaarden waaronder impact assessment kan plaatsvinden:

• Impact assessment borduurt voort uit eerdere vormen van evaluatie: eerst moet de 'program theorie' en 'programma process' bekeken worden

• Grotere vormen van impact evaluatie hebben meer technische en manageriele uitdagingen (bijvoorbeeld de targetpopulatie is moeilijker te bereiken)

• Er moet steeds terug worden gekoppeld naar de belanghebbenden

§3. Sleutelconcepten van impact assessment

Er zijn twee soorten van benaderingen, deze worden hieronder besproken.
 

Experimenteel versus quasi-experimenteel design

Het meest gevalideerd is het gerandomiseerd veld experiment (bestaande uit een gerandomiseerde experimentele en controle groep). Dit is een vorm van experimenteel design. Verschillen tussen de twee groepen kunnen alleen op basis van toeval bestaan. Je kunt ook meer groepen nemen, zowel experimenteel als controle, verschillende interventies, placebo en dergelijke. Quasi-experimenteel is een experiment zonder randomisatie (minder overtuigende resultaten omdat de verschillen in de groepen sytematisch kunnen zijn, maar bruikbaar voor impact assessment als het niet mogelijk is de groepen te randomiseren)

‘Perfect’ versus ‘good genoeg’ impact assessment

Soms kun je het beste design niet gebruiken om verschillende redenen (ethisch, praktisch, tijdproblemen, bronnenproblemen). De evaluator moet het sterkste design kiezen dat geïmplementeerd kan worden.

§4. Gerandomiseerde veld experimenten

Program effect of impact is het verschil in uitkomst tussen targets die wel een interventie hebben gehad en targets die niet een interventie hebben gehad.

Het is noodzakelijk dat je een controlegroep hebt die gelijk is aan de experimentele groep op de volgende punten:

• Identieke compositie; gelijksoortig gemixte groepen (leeftijd, geslacht en dergelijke)

• Identieke predispositie; gelijk in kunnen vóór de interventie, zodat er niet meteen in het begin voor de interventie al een verschil is,

• Identieke ervaringen; gelijk in tijd gerelateerde processen (maturation en dergelijke)

Om een zo groot mogelijke gelijkheid te krijgen tussen de experimentele en controlegroep worden de personen op bepaalde kenmerken gematcht.

Het gebruik van randomisatie om equivalentie vast te stellen

De beste manier om equivalentie te krijgen tussen de interventie groep en de controle groep is het gebruik van randomisatie. Met randomisatie bereik je gelijkheid tussen de groepen. Het is een procedure dat kans toestaat om te beslissen of een persoon of eenheid de interventie krijgt of het alternatief; de controle conditie. Door middel van bijvoorbeeld het opgooien van een muntje, het gebruik van tabellen, even/oneven/computer en dergelijke kan randomisatie plaatsvinden. Hoe groter de groep, hoe groter de kans dat de twee groepen gelijk zijn.

De eenheden van analysen

De eenheden van analysen zijn het aantal uitkomstmaten in een impact assessment (deze hoeft niet alleen om personen te gaan, maar het kunnen ook communities zijn).

De analyse begint met het goed identificeren van de units en proberen overeenstemming te krijgen met de programma designers.

De logica van gerandomiseerde experimenten

In onderstaand schema wordt de logica van gerandomiseerde experimenten geïllustreerd. De interventie ontvangt een pre test, vóór aanvang van het programma. Dit wordt ook bij de controle groep gedaan. Na afloop wordt er bij beide groepen een posttest afgenomen. Het verschil (I en C) is het resultaat voor de interventie en de controle groep, of ook wel het programma effect. Je trekt het resultaat van de groep die wél het programma heeft gehad af van het resultaat van de groep die geen programma hebben gehad.

Voor programma Na programma Verschil

Interventiegroep I1 I2 I=I2=I1

Controlegroep C1 C2 C=C2-C1

Programma effect = I-C.

Met behulp van t-test, variantie-analyse, covariantie-analyse kun je bekijken of het verschil ook echt een effect van interventie was of dat het verschil bij toeval is gevonden.

Voorbeelden van gerandomiseerde experimenten in impact assessment

Een aantal voorbeelden van gerandomiseerde experimenten zijn:

• of een speciaal voedingsprogramma (=interventie) effect heeft op het voedingsgehalte van wat schoolkinderen innemen

• of sae-management (=interventie) helpt bij erg zieke patiënten

Voorvereisten voor het optreden van een gerandomiseerd veldexperiment:

Gerandomiseerd veldexperiment wordt alleen gebruikt als de omstandigheden gunstig zijn.

Dennis en Boruch (1989) onderscheidden vijf ‘treshold’ condities die eerst moesten optreden, wilde er gerandomiseerd veldexperiment plaatsvinden:

• De huidige situatie moest verbeterd worden

• De efficiëntie van de interventie moet onduidelijk zijn onder veldcondities

• Er moeten geen simpeler alternatieven zijn om de interventie te evalueren

• De resultaten moeten van politiek belang zijn

• Het design moet de ethische standaarden kunnen meten van de onderzoekers en de service providers

Benaderingen van randomisatie

Om bias te voorkomen moet de evaluator weten hoe een bestaande lijst in elkaar zit alvorens hij gaat randomiseren. Hij moet bijvoorbeeld weten dat sommige lijsten op alfabetische volgorde staan. Als je besluit om iedereen die begint met een D in de controlegroep te plaatsen en die met een H in de experimentele groep kun je een probleem hebben, omdat in Engeland namen vaak beginnen met een D en Spaanse met een H, dit leidt tot etnische bias. Ook kunnen er lijsten zijn waar iedereen die oud is een lage waarde krijgt en iedereen die jong is een hogere waarde op die lijst, ook dit resulteert in bias.

Hierbij is het dus noodzakelijk te randomiseren.

Data collectie strategieën voor gerandomiseerde experimenten:

Twee strategieën kunnen het schatten van programma-effecten van gerandomiseerde experimenten verbeteren:

• Maak meerdere metingen van de uitkomstvariabele (voor en nameting, of meerdere nametingen)

• Verzamel gegevens periodiek tijdens de interventie (beter begrip van het effect in de loop der tijd, misschien is er wel eerst verbetering en daarna gaat het slechter)

Complexe gerandomiseerde experimenten

Een impact assessment kan verschillende varianten van een interventie bekijken. Eén interventie en verschillende deelvragen. Variatie in testen kan informatie verschaffen dat helpt om het programmaconstruct te leiden en de effecten te optimaliseren.

Om te kijken of een extra interventie een positief effect heeft kan worden uitgevoerd met een interventie met twee varianten en dus twee experimentele groepen.

Analyseren van gerandomiseerde experimenten

Het verschil in uitkomst tussen de groepen is vanwege de randomisatie het interventie-effect. Met statistische programma's kun je kijken of het effect niet door toeval optreedt. Omdat de interventie en controle groepen statistisch significant zijn met gepaste randomisatie, kan een vergelijking van hun resultaten een schatting geven van het programma effect. De resultaten worden als eerst geanalyseerd doormiddel van een eenvoudig vergelijking tussen de gemiddelde scores op de resultaat waarden voor de interventie en controle groepen, en daarna kan met een multipele regressie model een soort controle plaatsvinden. Dit is een voor statistische controle waarbij variabele die mogelijk onderdeel zijn van het resultaat kunnen worden gecorrigeerd.

§5. Beperkingen van het gebruik van gerandomiseerde experimenten

Er zijn een aantal beperkingen bij het gebruik van experimenten waarbij de interventie en controle groep at random zijn samengesteld:

• Bij programma's in een vroeg implementatiestadium; het programma en de implementatie moeten goed doordacht zijn wil je er een gerandomiseerd experiment op los laten. Als factoren van programma's wisselen gedurende de interventie, weet je niet welke interventie de uitkomstmaten heeft beïnvloed

• Ethische overwegingen; het kan als onethisch worden gezien om de controlegroep die ook in need is geen implementatie te geven en de andere groep wel (tegenovergesteld kan dus ook)

• Verschil tussen experimentele en actuele interventie delivery; de experimentele delivery is in kleine groepen en onder leiding van een evaluator. Als je dan het programma gaat implementeren in het grote veld gebeurt dat meestal vanuit hogerhand en de wet, wat veel minder effectief blijkt

• Tijd en kosten; gerandomiseerde experimenten zijn meestal duur en kosten veel tijd.

• Integriteit van experimenten; gedurende het onderzoek kunnen de twee groepen wel van elkaar gaan verschillen (attrition, drop-outs e.d). Er kunnen ook meer factoren mee gaan spelen in de interventie, zoals procedures van het bedrijf waar de implementatie plaatsvindt

Impact assesment tracht te bepalen welke veranderingen in uitkomsten kunnen worden toegekend aan de interventie. Bepaling hiervan geschiedt via een gerandomiseerd experiment. Het kan zijn dat het door een van deze beperkingen niet mogelijk is om een experiment uit te voeren waarbij de groepen samen worden gesteld door middel van randomisatie. Dan bestaat er de mogelijkheid om alternatieve designs te gebruiken.

Er bestaan een aantal valide quasi experimentele strategieën die gebruikt kunnen worden.

(Begin H9) §6. Bias in de schatting van programma effecten

Zoals al eerder is gezegd; een programma effect is het verschil tussen een geobserveerde uitkomst van targets die een programma hebben gevolgd en de uitkomst van targets die niet het programma kregen. Bias komt in beeld wanneer een meting van de uitkomst hoger of lager uit valt dan wanneer deze ‘zuiver’ gemeten zou worden. Hiermee wordt bedoeld: wanneer de groepen niet door middel van randomisatie zijn ingedeeld, bestaat er de (systematische) kans dat er bijvoorbeeld meer hoog-opgeleiden dan laag-opgeleiden, of meer vrouwen dan mannen in de controle groep zitten dan in de interventie groep. Dit kan een vertekend beeld geven van de resultaten van het programma. Zijn de verschillen in resultaten toe te wijzen aan het programma, of is er sprake van een systematisch verschil tussen beide groepen die invloed heeft op de resultaten?

Bij de beoordeling van een impact theorie probeert de evaluator de bias bij bepaling van de programma-effecten te minimaliseren.

Problematisch bij quasi experimenteel onderzoek is:

• Selectie bias; een onder of overschatting van de effecten die resulteren uit ongecontroleerde verschillen tussen de interventie en controlegroep. Dit resulteert in verschil in uitkomst, zelfs als de groepen geen interventie ontvangen.

• Trends; vooral bij studies die plaatsvinden gedurende een langere periode kunnen trends negatieve invloeden hebben

• Interfererende gebeurtenissen; hiermee wordt geschiedenis effecten bedoeld, de omstandigheden, tijdens het onderzoek maken de mensen verschillende dingen mee die invloed kunnen hebben op de uitkomst van het experiment

• Maturation; rijping of autonome veranderingen, het natuurlijk leren. Mensen leren de periode van het experiment sowieso andere dingen bij, denk maar aan de woordenschat van kinderen en een experiment daarvoor, deze vergroot sowieso al, of je nou wel of niet tot de experimentele conditie behoort

Bias in niet gerandomiseerde desings

Voorzichtige handhaving van vergelijkbare omstandigheden voor de programma en de controle groepen tussen random toedeling en uitkomst metingen zou bias verhinderen van de invloed van andere differentiële ervaringen of gebeurtenissen op de groepen. Zelfs als deze condities afwezig zijn in het design, is er een mogelijkheid dat er bias aanwezig is in de schattingen van het programma effect.

§7. Quasi-experimentele impact assessment

Bij een quasi experimenteel onderzoek is de controlegroep niet gerandomiseerd. De logica achter dit quasi experimentele onderzoek is hetzelfde als bij zuiver experimenteel onderzoek; experimentele en controlegroep zullen van elkaar verschillen. Een verschil tussen de twee groepen die leidt tot verschillende uitkomsten, als geen van de groepen de interventie ondergaat, zal een bias veroorzaken bij het bepalen van het programma-effect.

Het gebruik van quasi-experimenten vereist veel zorg om de twee groepen zo gelijk mogelijk te houden. De technieken die hiervoor gebruikt worden zijn: statistische procedures, regressie-discontinuïteits design en het gebruik van reflexieve controle, waarbij de targets met zichzelf worden vergeleken.

Het maken van controle groepen door middel van matching

Bij quasi experimenteel onderzoek wordt “matching” gebruikt. Matching is vormen van een controlegroep door selectie van targets die identiek zijn in bepaalde karakteristieken, net zoals experimentele groep. Er is alleen verschil in het ontvangen van de interventie. De controlegroep wordt dus gevormd door participanten van het programma te matchen aan niet-participanten. Om bias te voorkomen bij matching, moeten de variabelen waarop gematcht is alle variabelen omvatten die gerelateerd zijn aan de uitkomsten waarop de groepen anders zouden verschillen.

Het kiezen van variabelen om te matchen

Er zijn een paar problemen voor de evaluator om een matched design te gebruiken:

• De evaluator moet weten welke karakteristieken essentieel zijn om te matchen

• Soms kunnen variabelen gerelateerd zijn aan het selectie proces dat targets in de interventie en de controle groep worden verdeeld

De matching procedures

Matching kan door middel van twee procedures plaatsvinden:

• Individual Matching; iedere target krijgt een ‘partner’. Relevante matching variabelen kunnen leeftijd, sekse, aantal broers of zussen, opleidingsniveau ouders enzovoorts zijn.

• Aggregate Matching; hier worden individuen niet stuk voor stuk gematched, maar de algemene verdeling in de interventie en controle groep op iedere matching variabele wordt vergelijkbaar gemaakt. Bijvoorbeeld dezelfde proportie kinderen met zelfde sekse en leeftijd in beide groepen.

Het gelijk maken van groepen door midden van statistische technieken

Het scheiden van groepen kan ook via statistische procedures. Het gebruik van statistische technieken is om schattingen van programma effecten af te stellen voor bias die resulteren uit verschillen tussen de interventie en controle groep die gerelateerd zijn aan de uitkomst. De verschillen kunnen worden gecorrigeerd door de statistische technieken.

Multivariate statistische technieken

Het doel van multivariate analyse van data van niet equivalente vergelijkende groepen is het construeren van een statistisch model dat iedere individuele waarde voorspelt op de uitkomst variabele van de controle variabelen die aan het begin van de studie worden gemeten. Bijvoorbeeld sekse als controle variabele, deze heeft een hogere waarde bij bijvoorbeeld man dan bij vrouw als het gaat om een bepaalde test. Multivariate analyse wordt dus gebruikt bij controlevariabelen waarvan verwacht wordt dat ze gerelateerd zijn aan andere uitkomsten of voor selectie in de controlegroep.

Als het mogelijk is een controle en experimentele groep toe te kennen op basis van hun scores, meting, behoefte etc., dan zijn deze bepalingen van het programma-effect door regressie minder verdacht voor bias.

Het vormen van de uitkomst-determinanten

Wanneer de gemiddelde uitkomst voor de interventie groep beter is dan de voorspelde initiële status terwijl dat bij de controle groep niet het geval is, wordt het verschil geïnterpreteerd als het programma effect. De waarde van de analyse hangt in grote mate af hoe grondig de controle variabelen die gebruikt zijn in het regressiemodel de factoren bezetten of innemen.

Het vormen van de selectie-determninanten

Selectie modelling is de vorming van een multivariaat statistisch model om de waarschijnlijkheid van de selectie weer te geven in de experimentele of controlegroep in een “noncomparison” design. De resultaten van deze analyse worden gebruikt om een vorm te geven aan een controlevariabele voor selectiebias. Deze wordt belichaamd in de tweede fase model die de effecten van de interventie beoordeelt.

Regressie discontinuïteit-desings

Regressie discontinuïteit is een quasi experimenteel design waarin selectie van de experimentele en controlegroep is gebaseerd op een waarde van een passende kwantitatieve schaal. De ene groep scoort onder die waarde en de andere groep daarboven. Regressie discontinuïteit designs zijn geschikt voor omstandigheden wanneer de evaluator niet at random de targets kan verdelen in interventie en controle groepen, maar waarbij de targets wel verdeeld kunnen worden op de basis van noodzaak, verdienste of een ander kwalificerende conditie. Op basis van een pretest stel je vast welke personen de interventie het hardst nodig hebben of die het programma het meest verdienen.

Reflexieve controles

Reflexieve controles is de meting van uitkomstvariabelen van targets voor de interventie en worden gebruikt als controle observatie. Voorbeelden hiervan zijn:

• Simpele pre-post studies; hier worden de uitkomsten gemeten op dezelfde targets vóór programma participatie en weer na programma participatie, daarna kunnen de verwachte effecten berekend worden. Het vergelijken van de twee metingen produceert een schatting van het programma effect.

• Tijd-series designs; een design met herhaalde metingen. Dit is een reflexieve controle design dat vertrouwd op een aantal herhaalde metingen van de uikomst variabele die voor en na een interventie worden genomen.

§8. Een paar waarschuwingen met betrekking tot het gebruik van quasi-experimenten voor impact assessment

Evaluatie is een betekenisvol toegepast sociaal onderzoek. Evaluatieonderzoek wordt gebruikt om praktische problemen op te lossen. De waarde van evaluatieonderzoek is afhankelijk van het gebruik van anderen, daarom moet de evaluator de sociale omgeving van het interessegebied goed kennen. Daarnaast moet de evaluator prioriteiten stellen voor een weloverwogen planning voor een goed resultaat.

Door toegenomen professionalisatie op het gebied van evaluatie is er meer vraag naar vaste standaarden en ethische richtlijnen. De evaluator kan quasi experimenteel design gebruiken als randomisatie dus niet mogelijk is. Hierbij moet worden getracht bias te minimaliseren en beperking van het onderzoek te realiseren. In de rapportage van bevindingen van niet gerandomiseerde impact assessments moet de evaluator erop verdacht zijn dat de effect schattingen onderhevig zouden kunnen zijn aan bias. De evaluator moet zich bewust zijn van de beperkingen die een quasi experimenteel onderzoek met zich mee brengt.

10. Het ontdekken, interpreteren en analyseren van programma effecten

§1. Inleiding

Ondanks goede metingen en een goed design kunnen de daadwerkelijke effecten die door een programma worden veroorzaakt in de werkelijkheid niet noodzakelijk verschijnen in een vorm waarin de evaluator zeker kan zijn over de grootte of zelfs het bestaan van de effecten. Ook al kan er een sterke en goed onderbouwende conclusie gemaakt worden met betrekking tot de effecten, de evaluator moet altijd de praktische significantie van de programma effecten vaststellen. Bij alle schattingen, ook die verkregen zijn door gerandomiseerde experimenten, moet zorgvuldig hun significantie worden vastgesteld. Hoe dit gedaan moet worden wordt in dit hoofdstuk beschreven.

§2. De grootte (magnitude) van een programma effect

De mogelijkheid van een impact assessment om een programma effect te ontdekken ten te beschrijven hangt voor een groot deel af van de grootte van de effecten die het programma produceert. Het is logisch dat kleine effecten lastiger zijn te ontdekken dan grote en hun praktische significantie kan ook moeilijker zijn om te beschrijven. Onder de grootte van een programma effect wordt het volgende verstaan: het begrijpen van de beslissingen die genomen worden bij het ontdekken en beschrijven van programma effecten. Magnitude, de Engelse term, betekent zoiets als grootte of belangrijkheid.

Manieren om de grootte van een programma effect vast te stellen

De meest directe manier om de grootte van een programma effect vast te stellen is het kijken naar de verschillen tussen de gemiddelden van twee uitkomstwaarden. Dit wordt vooral gedaan bij een meetinstrument dat gebruikt wordt om de uitkomst vast te stellen. Een manier om de algemene grootte van een programma effect aan te wijzen is het geven van een stijgings- of dalingspercentage.

Omdat veel uitkomst metingen geschaald zijn in willekeurige eenheden een geen nulpunt hebben, gebruiken evaluatoren een statistische effect grootte (effect size statitic) om de grootte van een programma effect te karakteriseren. Dit doen zij liever dan dat ze een ruwe score of een simpel percentage gebruiken. De meest gebruikte statistische effect grootte die gebruikt wordt om effecten die numeriek variëren te vertegenwoordigen is gestandaardiseerde gemiddelde verschillen (standardized mean difference), waarvan de berekening te vinden is in Exhibit 10 A van het boek. Deze geeft het verschil aan van de grootte van het programma effect tussen het gemiddelde van de interventie en de controle groep aan in standaard deviatie eenheden. Het wordt gebruikt wanneer de uitkomst variabele kwantiatief is en de onafhankelijke variabele categoriaal.

Een andere manier om de grootte van een programma effect te berekenen is de odds Ratio, waar ook de berekening van te vinden is in Exhibit 10 A van het boek. De odds Ratio geeft aan hoeveel groter of kleiner de odds van een uitkomst gebeurtenis is van de interventiegroep in vergelijking met de controlegroep is.

§3. Het ontdekken van programma effecten

Veronderstel dat het echte effect van een programma op een uitkomst precies nul is. In zo’n geval zouden we niet een effect size van precies nul in een impact evaluatie vinden. De uitkomst waarden die verkregen worden in een impact assessment kunnen altijd het volgende hebben:

een meetfout

een selectiefout (bijvoorbeeld dat de groepen niet goed verdeeld blijken te zijn)

kans variaties

Statistische significantie

De statistiek biedt gereedschappen om de fouten die gemaakt worden in de berekeningen te reduceren. De statistische significantie wordt vaak vastgelegd op het ,05 alpha niveau. Dit betekent dat er in 95% van precies dezelfde uitgevoerde onderzoeken dit resultaat gevonden zal worden. De statistische significantie betekent niet praktische significantie of gewichtigheid. Een statistisch significante bevinding kan wel of kan niet theoretisch of praktisch significant zijn, het is een resultaat van een berekening die niet door middel van kans is berekend.

Er zijn twee typen fouten die gemaakt kunnen worden:

• Type I error: een statistische conclusie fout waarin een programma effect schatting gevonden is die statistisch significant is, terwijl in feite het programma geen effect heeft op de doel populatie

• Type II error: een statistische conclusie fout waarin een programma effect schatting gevonden is die niet statistisch significant is, terwijl in feite het programma wel effect heeft op de doel populatie

Statistische Power

Statistische power is de waarschijnlijkheid dat een geobserveerd programma effect statistisch significant zal zijn wanneer het in feite een echt effect is. Deze wordt in een kans uitgedrukt. Als een ‘echt’ effect niet statistisch significant blijkt te zijn uit het onderzoek, dan is dit een type II error. De statistische power is 1 min de kans van een type II error.

§4. Vaststellen van de praktische significantie van programma effecten

Statistische significantie betekent niet noodzakelijk dat je een belangrijk effect hebt gevonden. Om vast te stellen of de resultaten van een programma praktisch significant zijn moet je beginnen met het vaststellen van de effectgrootte. Een effect grootte indicator alleen geeft niet genoeg informatie om de praktische significantie te bepalen. De programma effecten zullen met andere zaken vergeleken moeten worden.

Er zijn verschillende manieren om te bepalen of je resultaat praktisch significant zijn:

• Kijk naar het verschil met de originele metingschaal

• Vergelijk met testnormen of prestatie van een normatieve populatie

• Kijk naar de verschillen tussen criteria groepen

• Kijk naar de proportie van een diagnostisch of ander succesvol grensgebied

• Vergelijk met de effecten van gelijke programma’s

• Gebruik overeenkomstige richtlijnen (bijvoorbeeld Cohen)

§5. Het onderzoeken van variaties in programma effecten

Tot nu toe is het globale gemiddelde programma effect van een interventie groep in vergelijking met een controle groep behandeld. Programma effecten zijn zelden identiek voor alle subgroepen in een doelpopulatie voor alle uitkomsten. De variaties in effecten zouden ook door de evaluator onderzocht moeten worden, deze kunnen interessant zijn.

Er zijn twee soorten variabelen die invloed hebben op de programma effecten van verschillende groepen.

Moderator variabelen

Wanneer een evaluator zich richt op de mogelijke verschillen in programma effecten voor subgroepen van de doelpopulatie, worden de variabelen die de subgroeps definiëren moderator variabelen genoemd. Deze variabelen treden op wanneer een programma verschillende effecten heeft voor verschillende groepen. Bijvoorbeeld wanneer het programma effect verschillend is voor mannen en vrouwen, dan is sekse een moderator variabele. Deze variabele karakteriseert dus de subgroepen in een impact assessment waardoor de programma effecten kunnen verschillen.

Mediator variabelen

Mediator betekent zoiets als bemiddelaar, iets wat indirect optreedt. Een mediator variabele is een interveniërende variabele die een link legt in de oorzakelijke opeenvolging waardoor het programma verandering brengt in de uitkomst. De mediator variabele is een variabele die verschijnt in een causale lijn tussen twee andere variabelen. Bijvoorbeeld de relatie X en Y heeft geen interveniërende variabele, maar X, I en Y wel, dan betekent dat dat X invloed heeft op Y via een andere variabele.

Dit valt vast te stellen in 4 stappen:

• Stap 1: toon aan dat de causale variabele verbonden is met de uitkomst variabele

• Stap 2: toon aan dat de causale variabele verbonden is met de uitkomst variabele

• Stap 3:  toon aan dat de mediator invloed heeft op de uitkomst variabele

• Stap 4:  om vast te stellen dat M (mediator variabele) volledig de X-Y relatie medieert/bemiddelt, zou het effect van X op Y gecontroleerd voor M 0 moeten zijn. Dit kan met padcoëfficiënten worden vastgesteld.

§6. De rol van meta-analysen

Een meta-analyse is een analyse van een statistische effect grootte dat is ontleend aan kwantitatieve resultaten van meerdere studies van dezelfde of gelijke interventies. Die kwantitatieve resultaten worden samengevat en vergeleken met elkaar.

Na het afronden van de impact assessment kan de evaluator relevante meta-analyse resultaten gebruiken om de grootte van de programma effecten die hij gevonden heeft in de assessment te schatten. Een meta-analyse die systematisch de relatie tussen programma karakteristieken en effecten onderzoekt op verschillende uitkomsten maakt het makkelijker voor de evaluator om de gevonden effecten te vergelijken. Ook kan zo’n analyse een aantal sleutelkenmerken van het programma bieden die het meest kritiek zijn voor zijn effectiviteit.

Een belangrijke functie van het evaluatie veld is het samenvatten van wat er in de evaluaties gevonden is met betrekking tot de karakteristieken van effectieve programma’s.

11. Het meten van efficiëntie

§1. Inleiding

De kern van evaluatie gaat over in hoeverre programma’s goed geïmplementeerd zijn en in welke mate ze effectief zijn. Een vergelijking van de kosten en voordelen van sociale programma’s is een van de meest belangrijke overwegingen in het beslissen om uit te werken, om door te gaan of een programma te beëindigen. Er zijn twee efficiëntie assessments, namelijk kosten-voordelen en kosten-effectiviteit analysen. Deze vormen een raamwerk van referentie voor de relatie tussen kosten en programma resultaten en beide analysen zijn middenwegen om een oordeel te geven over de efficiëntie van programma’s. Het verschil tussen deze twee analyse typen is de manier waarop de uitkomsten van een programma zijn uitgedrukt. Efficiëntie analysen bepalen een raamwerk voor programma kosten in relaties tot resultaten. Waar kosten-voordelen analysen direct de voordelen vergelijken met kosten, uitgedrukt in financiële termen, zijn bij kosten-effectiviteit analysen de kosten uitgedrukt in financiële termen met eenheden van substantieve (effectieve) resultaten.

Het idee van het beoordelen van het nut van sociale interventies in termen van hun efficiëntie heeft steeds meer terrein gewonnen.

§2. Sleutelconcepten in efficiëntie analysen

Kosten-voordelen en kosten-effectiviteit analysen kunnen beide gezien worden als conceptuele perspectieven en als geavanceerde technische procedures. Efficiëntie analysen geven een vergelijkbaar perspectief op het relatieve nut van interventies.

Complete efficiëntie analysen kunnen ook niet praktisch zijn of onverstandig om verschillende redenen:

• Als de doeltreffendheid erg minimaal is of juist extreem hoog is een analyse niet noodzakelijk

• Vereiste technische procedures kunnen voor methodologische geavanceerdheid vragen waar het personeel niet over bezig

• Politieke of morele geschillen kunnen resulteren uit het plaatsen van economische waarden op bepaalde input of uitkomst metingen. Deze geschillen kunnen de relevantie verbergen en het potentiële nut minimaliseren

• Het uitdrukken van de resultaten van evaluatiestudies in termen van efficiëntie kunnen selectieve kosten en uitkomsten vereisen, die afhangen van de perspectieven van waarden van sponsoren, belanghebbenden, targets en de evaluatoren zelf. Dit heet ook wel belangenperspectieven

• De efficiëntie analyse kan volledig afhangen van niet geteste aannames, of de vereiste data voor het op zich nemen van kosten-voordelen of kosten-effectiviteit berekeningen die niet volledig beschikbaar zijn

Ex ante en Ex Post efficiëntie analysen

Efficiëntie analysen kunnen nuttig zijn in alle stadia van een programma, van planning naar implementatie en verandering of aanpassing. Ex post analysen zijn meer alledaags dan ex ante analyse in het sociale programma veld, omdat schattingen van kosten en voordelen voorafgaand aan een programma implementatie niet vaak worden gebruikt. Ex ante analysen zouden meer borg moeten staan dan dat ze nu zijn, in het bijzonder voor programma’s die duur zijn om te implementeren of te evalueren. Verschillende series van aannamen kunnen een serie analysen creëren.

De efficiëntie van een programma kan worden uitgedrukt in absolute of vergelijkende termen, of beiden. Als het in absolute termen wordt weergegeven, dan wordt er gekeken wat het programma waard is, wat het kost bij het vergelijken van kosten in een geldwaarde van voordelen of door het berekenen van het geld dat uitgegeven is om een eenheid van uitkomst te produceren. In vergelijkende termen wordt het differentiële ‘payoff’ van één programma vergeleken met de andere.

Kosten-voordelen en kosten-effectiviteit analysen

Er zijn veel overwegingen naast de economische efficiëntie die opbrengen in het maken van beleid, planning en programma implementatie, maar economische efficiëntie is bijna altijd kritisch. Kosten-voordelen en kosten-effectiviteit analysen hebben de eigenschap om evaluatoren aan te moedigen om kennis te krijgen over programma kosten.

Een kosten-voordelen analyse vereist schattingen van de voordelen van een programma, zowel tastbare als niet tastbare en schattingen van de kosten van het programma, zowel directe al indirecte. Het schatten van voordelen in geld termen is moeilijker in sociale programma’s, waar alleen een deel van programma input en output makkelijk in geldtermen valt vast te stellen. De meerwaarde van een kosten-voordelen analyse is de opbrengst in termen van een percentage van bijvoorbeeld een jaarsalaris voor een medewerkers die 1 eenheid productiever is.

Bij kosten-effectiviteit analysen worden 2 alternatieven vergelijken tegen een controle groep. Daarbij worden de meerkosten per target berekend. Hier geldt dat de meerkosten gedeeld moeten worden door de effectgrootte, hoe kleiner de uitkomst hoe beter. Deze studies kunnen nuttig zijn zowel voor en na de programma’s. Een ex ante kosten-effectiviteit vergelijkt potentiële programma’s een ordent ze volgens de grootte van hun verwachte effecten relatief aan hun verwachte kosten. Bij ex post kosten-effectiviteit analysen worden actuele programma kosten en voordelen geschat en aangenomen.

Het gebruik van efficiëntie analysen

Efficiëntie analysen gebruiken verschillende aannamen en ze kunnen verschillende resultaten produceren die afhangen van wel perspectief wordt genomen, dat van individuele targets of participanten, programma sponsoren of de gemeenschap of samenleving. Vanuit welk perspectief gekeken moet worden hangt af van de bestemde gebruikers van de analysen en draagt politieke keuze met zich mee.

Efficiëntie analysen kunnen nuttig zijn in het bepalen van de graad waarin verschillende niveaus of ‘strenghts’ van interventies, verschillende niveaus van voordelen produceren. Deze kunnen gebruikt worden in een formatieve manier om te helpen programma prestatie te verbeteren.

§3. Kosten-voordelen analysen

Verzamelen van kosten data

Kosten data zijn essentieel voor de berekening van efficiëntie metingen. Voor ex ante analysen moeten programma kosten worden geschat en bij ex post efficiëntie analysen moet er financiële budgetten geanalyseerd worden.

De volgende bronnen van kosten data zijn nuttig:

• Agency fiscal records; bijvoorbeeld salaris, zakenservices enzovoorts. Het kan lastig zijn om deze goed vast te leggen, de evaluator kan hierbij hulp in roepen van een accounting professional

• Target cost estimates; bijvoorbeeld vervoerskosten van cliënten in programma activiteiten

• Cooperating agencies; wanneer bijvoorbeeld een school of een kliniek beschikbaar wordt gesteld

Belangen perspectieven

Er zijn verschillende belangengroepen:

• De individuele participanten of targets; wanneer (hogere) kosten zorgen voor een succesvolle interventie, dan hebben de participanten en targets hier het meest aan

• de programma sponsoren; wat de sponsor betaalt om een programma te bepalen en welke voordelen aan moeten groeien

• de gemeenschappelijke sociale eenheid die in het programma is verwikkeld, bijvoorbeeld een natie of staat

- secundaire effecten (indirecte project effecten)

- distributionele effecten (herverdeling van bronnen in de algemene populatie

- opportunity kosten

Meten van kosten en voordelen

Het meten en een waarde geven aan kosten en voordelen zorgt voor twee te onderscheiden problemen:

• identificeren en meten van alle programma kosten en voordelen; men kan niet alle informatie volledig krijgen

• de moeilijkheid om alle voordelen en kosten uit te drukken in termen van een gemeenschappelijke noemer, die ze vertaalt in geld termen

Bij het meten van kosten en voordelen moet met het volgende rekening gehouden worden:

• Vergelijken van kosten in verhouding tot voordelen

Vanwege de voordelen van het uitdrukken in geld termen, vooral in kosten-voordelen analysen, zijn er een aantal benaderingen gespecificeerd voor het uitdrukken van uitkomsten of voordelen:

- geld metingen; direct in financiële voordelen

- marktwaarde; uitgedrukt in een bedrag, een marktprijs

- econometrische schatting; de veronderstelde waarde van een winst of invloed in markt termen

- hypothetische vragen; het schatten van de waarden van intrinsieke niet-financiële voordelen bij het direct vragen van targets

- observeren van politieke keuzes; dit is de meest experimentele benadering, hier worden voordelen geschat op basis van politieke handelingen

Alle relevante componenten van een programma moeten worden toegevoegd als de resultaten van een kosten-voordelen analyse geldig en betrouwbaar zijn en volledig de economische effecten van een project reflecteren.

• Schaduw prijzen

Schaduw prijzen zijn toegeschreven of geschatte kosten of goederen die niet nauwkeurig gewaardeerd zijn in de marktplaats. Ze worden ook gebruikt wanneer markt prijzen ongeschikt zijn toekomend aan voorschriften of externaliteiten

• Gelegenheidskosten (opportunity costs)

De opportunity kosten zijn de waarde van niet gebruikte gelegenheden omdat het interventie programma (daarvoor in de plaats) is gebruikt

• Secundaire effecten

Effecten van het programma die geld kosten op personen of groepen die geen targets zijn

• Distributionele overwegingen

Effecten van programma’s die resulteren in een herverdeling van bronnen in de algemene populatie

• Korting

interventie programma’s variëren in duur. De succesvolle programma’s produceren voordelen die ontleed zijn aan de lange termijn, soms lang na dat de interventie heeft plaatsgevonden. De techniek genaamd discounting bestaat uit reducerende kosten en voordelen die verspreid zijn over de tijd tot een gemeenschappelijke financiële basis bij het toevoegen van hun huidige waarde. Dus de behandeling van tijd in het geven van een waarde van kosten en voordelen van een programma in efficiëntie analyse is een toevoeging van kosten en voordelen. Die toevoeging vereist een keuze van discount rate (kortingstarief) en tijd geraamte. De resultaten van een kosten-voordelen analyse zijn gevoelig voor de keuze van discount rate.

- internal rate of return; de berekende waarde voor de discount rate die noodzakelijk is voor totale verkorte programma voordelen met gelijke totale verkorte programma kosten.

- net benefits; de totale verkorte voordelen min de totale verkorte kosten, ook genaamd netto rate of return

Vergelijken van kosten met voordelen

De laatste stap in de kosten-voordelen analyse is een vergelijking van de totale kosten met de totale voordelen. Hoe deze vergelijking wordt gemaakt hangt af van sommige schattingen van het doel van de analyse en de gemaakte afspraken in de afzonderlijke programma sector.

Het gebruik van Ex Post kosten-voordelen analysen

Een aantal optimale voorvereisten van een ex post kosten-voordelen analsye van een programma zijn:

• het programma heeft een onafhankelijke of een scheidbare fundering. De kosten kunnen gescheiden worden van de kosten die bij andere activiteiten zijn opgelopen

• het programma is verder dan het ontwikkelingsstadium en het is zeker dat de effecten significant zijn

• de impact van het programma en de grootte van de impact zijn bekend of kunnen valide geschat worden

• voordelen zijn vertaald in geld termen

• besluitvormers zijn alternatieve programma’s aan het overwegen, dus het is verstandig om een ex post kosten-voordelen analyse te overwegen

§4. Het behandelen van kosten -effectiviteit analysen

Kosten-effectiviteit analysen kunnen gezien worden als een omvang van kosten-voordelen analysen naar projecten met evenredige doelen. In tegenstelling tot een kosten-voordelen analyse, vereist een kosten-effectiviteit analyse niet altijd dat voordelen en kosten gereduceerd moeten worden tot een gemeenschappelijke noemer. De effectiviteit van een programma in het bereiken van gegeven substantieve doelen is gerelateerd aan de financiële waarden van de kosten. In kosten-effectiviteit analysen zijn programma’s met gelijke doelen geëvalueerd en hun kosten zijn vergeleken. Efficiëntie is beoordeeld door middel van het vergelijken van kosten van eenheden van uitkomsten. De kosten-effectiviteit analyse is een geschikt alternatief voor kosten-voordelen analyse wanneer voordelen niet geijkt kunnen worden in financiële eenheden. Het staat vergelijking toe van programma’s met overeenstemmende doelen in termen van hun relatieve efficiëntie en kan ook gebruikt worden om de relatieve efficiëntie van variaties van een programma te analyseren.

Hoofdstuk 12

Dit hoodstuk ontbreekt helaas in deze samenvatting.