Rapporteren over Resultaten Jaarvergadering CBF December 2012 Prof. dr. Ruerd Ruben Directeur...
-
Upload
simon-brouwer -
Category
Documents
-
view
216 -
download
0
Transcript of Rapporteren over Resultaten Jaarvergadering CBF December 2012 Prof. dr. Ruerd Ruben Directeur...
Rapporteren
over
Resultaten
Jaarvergadering CBF December 2012
Prof. dr. Ruerd Ruben
Directeur Inspectie Ontwikkelingssamenwerking & Beleidsevaluatie (IOB)
Verantwoording van Resultaten
2
1. CBF : ‘weet waarvoor je geeft’ – Zo zorgt het CBF ervoor …. dat we erop kunnen vertrouwen dat goede doelen verstandig (met de giften) omgaan.
2. Legitimiteit en Vertrouwen - van ‘rechtmatigheid’ naar ‘doelmatigheid’ + ‘doeltreffendheid’
3. Evalueren = Systematisch verzamelen, interpreteren en presenteren van informatie teneinde de waarde van een programma te bepalen.
5 belangrijke lessen
3
1. Effectiviteit is een noodzakelijke voorwaarde voor maatschappelijk vertrouwen
2. Programma’s worden beoordeeld op ‘value for money’
3. Evaluatie begint bij de start van het programma
4. Impactmeting kan in bijna elk project
5. Evaluatie is een investering, geen ‘overhead’
4
Over IOB
Mandaat & Werkwijze
• Beoordeling van de beleidseffectiviteit
• Leren van ervaringen
• Verbeteren ‘evidence-based’ beleidsvoering
Verantwoording afleggen aan Parlement, Publiek en Samenleving
Bijdragen aan Transparantie & Vertrouwen
5
Context: Afnemend vertrouwen (2005-2011)
Donateurs vertrouwen
Consumenten vertrouwen
Reputatie & Vertrouwen
“Trust me”
Tell me” “Show me”“Show
me”
“Trust me”
Inzicht in effectiviteit is een noodzakelijke (maar niet voldoende) voorwaarde voor
maatschappelijk vertrouwen
“Tell me”
7
B&M Gates Foundation: ‘Innovation with Impact’
8
Informatie over goede doelen
9
Leren van fouten
Effectiviteit = Value for Money
• Zinvolle resultaten (‘meaningful results’)
• Netto effecten (bijdrage van het project)
• Kosten-effectiviteit (efficiency)
• Attributie/Contributie
• Additionaliteit
• Zakelijkheid
Kosten van evaluatie: max 1-2 %
Quality at Entry (Q@E)
12
1. Heldere resultaatketen
2. Haalbare doelen
3. Meetbare indicatoren
4. Zicht op risico’s
5. Eerlijke Kosten/baten
Van Input naar Impact
Outreach = aantal clienten
Robuuste impactmeting
Impact meting = vergelijking van:
• voor/na interventie (over de tijd)
• met/zonder interventie (counterfactual)
Verschillende methoden beschikbaar(e.g. story harvesting, outcome mapping, SROI, etc)
(Zie: NONIE Guidelines ; 3ie)
Tijd
Doel
zonder
met
T=0 T=1
Difference – in – Difference
Vooraf Achteraf
Met
Programma A B
Zonder
Programma C D
16
Lessen uit Impact evaluaties (1)
E-coli in rurale waterbronnen (Benin) – bron: IOB
Impact meting:
● Meting van Waterkwaliteit
● Interactie Water-Sanitatie
● Infrastructuur + Gedrag
Geleerde Lessen:
● Output is o.k.
● Impact verdwijnt
● Integraal beheer nodig
● Samenwerking meerdere partners
17
Lessen uit Impact evaluaties (2)
Cost effectiveness Impact meting:
● Meting van schoolresultaten
● Kosteneffectiviteit
● Verschillende investeringsopties
Geleerde Lessen:
● Genoeg schoolgebouwen
● Tekort aan leermiddelen
● Voldoende leraren
● Gebrekkige aanwezigheid docenten
Effecten van onderwijsinvesteringen (Oeganda) – bron: IOB
Keuze van methoden
Story harvesting
Outcome mapping
Robuuste Impact studies
Experimenten (RCTs/Real-time evaluation)
Systematische Reviews (Campbell protocol)
Thematische studies (Kritische succes factoren)
Experimenten (RCTs)
● Nadruk op (kleinschalige) experimenten
● A-selecte keuze van deelnemers
● Uitzoeken ‘wat werkt’
● Geen selectie-effecten
● Toepassingen: trainingen
schooldeelname
individuele/groepsleningen
‘Results-based’ financiering
- Gebaseerd op achteraf betaling (cash on delivery)
- Voor/mede-financiering door clienten
- Combinatie van lening & schenking
- Onafhankelijke verificatie / transparantie
- Lokale uitvoerings verantwoordelijkheid
- Toepassingen in onderwijs, wegenonderhoud, drinkwater, ed.
Frontloading: resultaten naar voren halen
22
Evaluatie hulpmiddelen
Belangrijkste Uitdagingen
Onafhankelijkheid van de Evaluatiefunctie
Focus op Evalueerbaarheid (Q@E)
Deelname van lokale partners (RCTs)
Open datasystemen (bv. Ngo-database.nl; Kennisbank filantropie.nl)
Openheid over Successen én Mislukkingen
Uitzicht bieden op duurzame netto effecten
Veel succes gewenst …