Conférences & Séminaires 9 | L’évaluation en évolution - Pratiques et enjeux de...

L’év

alua

tion

en

évol

utio

n

Emilie ABERLENCharlotte BOISTEAU

L’évaluation en évolutionPratiques et enjeux de l’évaluation dans le contexte de

l’efficacité du développement

Depuis que l’aide existe, et beaucoup plus fortement depuis les années 2000 et laDéclaration de Paris de 2005, l’efficacité du développement est au cœur despréoccupations de l’ensemble des acteurs du développement (bailleurs, bénéficiaires,pouvoirs publics, sociétés civiles du Sud et du Nord, ONG, chercheurs, etc.).

Dans ce contexte, le rôle de l’évaluation en tant que vecteur d’efficacité s’imposeautant qu’il interpelle. Qu’entendons-nous aujourd’hui par évaluation de l’aide audéveloppement ? Quel type d’évaluation mener pour satisfaire les attentes de sesdifférentes parties prenantes ? L’évaluation peut-elle, dans le même temps, servir à rendredes comptes et à tirer des enseignements sur les pratiques ? Comment concevoir lesprocessus d’évaluation à l’heure du pluri-acteur ?

Le 15 octobre 2012 s’est tenu le premier séminaire conjoint F3E-AFD sur l’évaluation.Olivier Consolo (Confédération européenne des ONG d'urgence et de développement),Philippe Jahshan (Solidarité laïque), Vincent Brown (Médecins sans frontières), MamadouSembene (Maison de la coopération décentralisée du Burkina Faso), Rose-Marie Saint-Germès Akar (Communauté d’agglomération de Cergy-Pontoise), Eric Mounier(réalisateur), Hédia Hadjaj-Castro (Collectif d’échanges pour la technologie appropriée)Jocelyne Delarue (Gevalor), Barbara Guittard (Agronomes et Vétérinaires sansfrontières) et Jean-Louis Viélajus (Coordination Sud) y ont partagé leur expérience etleur vision du rôle de l’évaluation dans ce contexte renouvelé.

Con

fére

nces

&Sé

min

aire

s /

Févr

ier

2014

/

L’évaluation en évolutionPratiques et enjeux de l’évaluationdans le contexte de l’efficacité du développement

09

Coordination : Emilie ABERLENDépartement de la Recherche, [email protected]

Charlotte [email protected]

Coordination :

Février 2014

L’évaluation en évolutionPratiques et enjeux de l’évaluation dans le contexte de l’efficacité

du développement

COORDINATION :

Emilie ABERLENDépartement de la Recherche, AFD

Charlotte BOISTEAUF3E

Directrice de la publication :Anne PAUGAM

Directeur de la rédaction :Alain HENRY

Conception et réalisation : Ferrari /Corporate – Tél . : 01 42 96 05 50 – J. Rouy / CoquelicotMise en page : Vif-Argent - Tel.: 01 60 70 02 70 Imprimée en France par : Imprimerie Printcorp

[ Avertissement ]

Les analyses et conclusions de ce document sont formulées sous la responsabilité de ses auteurs. Elles nereflètent pas nécessairement le point de vue de l’AFD ou de ses institutions partenaires.

Conférences et séminairesLe département de la Recherche de l’AFD organise de nombreux séminaires et conférences,qui sont autant de lieux d’échanges de connaissances et d’expériences entre acteurs del’aide au développement : chercheurs, experts, responsables politiques, ONG, entreprises.Ces rencontres peuvent aborder tous les champs d’action de l’AFD. La collection Conférenceset séminaires a pour objectif de mettre à disposition du lectorat concerné par ces enjeux, lesprincipaux résultats et acquis de ces travaux.

Précédentes publications de la collection Conférences et séminaires :

• Conférences & Séminaires n°01Implementing Large Scale Energy Programs in Existing Buildings in China

• Conférences & Séminaires n°02Transitions décrétées, transitions vécues.Du global au local : approches méthodologiques, transversales et critiques(Existe aussi en versions anglaise et vietnamienne)

• Conférences & Séminaires n°03Measure for Measure. How Well Do We Measure Development?

• Conférences & Séminaires n°04Différenciation sociale et inégalités - Approches méthodologiques et transversalessur les questions de genre et d’ethnicité(Existe aussi en versions anglaise et vietnamienne)

• Conférences & Séminaires n°05Evaluation and its Discontents: Do We Learn from Experience in Development?

• Conférences & Séminaires n°06L’économie informelle dans les pays en développement

• Conférences & Séminaires n°07Quartiers informels d’un monde arabe en transitionRéflexions et perspectives pour l’action urbaine

• Conférences & Séminaires n°08L’eau dans tous ses états - Méthodes et pluridisciplinarité d’analyse« Les Journées de Tam Dao - 2012 »Water and its Many Issues - Methods and Cross-cutting Analysis“Tam Dao Summer School Week - 2012”

Retrouvez toutes nos publications sur http://recherche.afd.fr

Sommaire

Préface 5Alain Henry

Synthèse 7Charlotte Boisteau

Synthesis 15Charlotte Boisteau

Introduction générale 23Louis-Jacques Vaillant

Mesurer l’impact et la qualité des actions dans le contexte de l’efficacité du développement 29Laurent Delcayrou

1. Enjeux et défis du contexte de l’efficacité de l’aide et dudéveloppement 33

• 1.1. L’évaluation, Paris, Busan et la société civile 35Olivier Consolo

• 1.2. De l’efficacité de l’aide à l’efficacité du développement. Des pas mesurés vers une lecture moins technocratique du développement 41Philippe Jahshan

2. L’évaluation : un parcours entre redevabilité et apprentissage 49

• 2.1. Retour d’expérience sur l’évaluation de projets à Médecins sans frontières 51Vincent Brown, Filipe Ribeiro

• 2.2. Le renforcement des capacités des collectivités territoriales en matière de suivi etévaluation : une démarche nécessaire pour consolider la mise en œuvre de ladécentralisation en Afrique de l’Ouest 67Mamadou Sembene

• 2.3. L’évaluation du projet de coopération décentralisée dans une collectivité : entreredevabilité et apprentissage 77Rose-Marie Saint-Germès Akar

3Février 2014 /L’évaluation en évolution /©AFD [ ]

3. Des pratiques d’évaluation innovantes 83

• 3.1. L’évaluation filmée 85Eric Mounier

• 3.2. Des évaluations orientées sur l'apprentissage pour une meilleure prise en comptede la complexité 95Hédia Hadjaj-Castro

• 3.3. L’évaluation au service des acteurs locaux 104Jocelyne Delarue

• 3.4. L’exercice du suivi-évaluation pour AVSF, un processus d’amélioration continu versune intégration transversale de l’association 113Barbara Guittard

• 3.5. L’évaluation en évolution 121Jean-Louis Vielajus

Conclusions 124

Laurent Denis 124Laurent Fontaine 127

Biographie des intervenants 129

Liste des sigles et abréviations 136

Publications du département de la Recherche de l'AFD et du F3E 138

Présentation du F3E 140

[ ] ©AFD / L’évaluation en évolution / Février 20144

PréfaceCe volume présente les actes du séminaire « L’Évaluation en évolution : pratiques et enjeux del’évaluation dans le contexte de l’efficacité du développement » organisé par l ’AgenceFrançaise de Développement (AFD) et le Fonds pour la promotion des études préalables, desétudes transversales et des évaluations (F3E), le 15 octobre 2012 à Paris.

Animer un dialogue pluri-acteurs (bailleurs, ONG, collectivités locales, partenaires techniques,bénéficiaires) sur la définition et le rôle de l’évaluation dans le champ du développementillustre bien l’évolution qui est en marche depuis la Déclaration de Paris de 2005 sur l’efficacitéde l’aide, vers une vision partagée et élargie des termes du débat autour de l’efficacité dudéveloppement. Cette première initiative conjointe d’organisation par l’AFD et le F3E d’unséminaire de réflexion sur l’évaluation faisait écho à la préoccupation croissante de la diversitédes acteurs du développement d’améliorer leurs pratiques et leurs actions. Elle aura permisd’interroger collectivement le rôle de l’évaluation comme outil d’analyse, de dialogue etd’apprentissage pour y parvenir. Hébergé par l’AFD sur une journée, l’événement a réuni unecentaine de participants principalement issus d’ONG, de collectivités locales, de bureauxd’étude, de centres de recherche et de l’AFD. La qualité des interventions et la participationactive aux débats ont conforté l’idée de publier des actes de ce premier séminaire et confirmél’intérêt de poursuivre ce type d’échanges. Nous nous félicitons également de cette initiativecommune de production de connaissances et du partenariat ainsi renforcé avec le F3E, etcomptons que le succès de cette première édition puisse ouvrir la voie à des collaborationsfutures renforcées en matière de recherche et de production de connaissance.

Nous remercions le F3E et ses membres pour leur concours fructueux dans la définition ducontenu de cet événement. Nous remercions également tous les intervenants pour la qualitéde leurs contributions, ainsi que l’ensemble des animateurs et participants pour leur présenceet la dynamique qu’ils ont su insuffler aux débats. Enfin, nous remercions tout particulièrementEmilie Aberlen et Charlotte Boisteau pour l’organisation de ce séminaire, Valérie Huguenin,Laurent Fontaine et Laurent Denis pour leur précieux soutien, ainsi que Philippe Cabin pourl’édition de ce volume.

Alain HenryDirecteur des Etudes et recherches

Agence Française de Développement

Février 2014 /L’évaluation en évolution /©AFD [ ]5

Synthèse

Charlotte Boisteau

Le 15 octobre 2012 s’est tenu le premier séminaire conjoint F3E-AFD sur l’évaluation. Ceséminaire avait pour objectif de dresser un état des lieux des pratiques et des enjeux del’évaluation dans le contexte en évolution de l’efficacité du développement. Cette synthèselivre une lecture analytique des propos tenus et des débats suscités lors de ce séminaire.

Préambule

Depuis que l’aide existe, mais beaucoup plus fortement depuis les années 2000, l’efficacité dudéveloppement est devenue une préoccupation croissante pour les acteurs dudéveloppement. Dans la suite de la Déclaration de Paris qui a défini en 2005 les principes del’efficacité de l’aide, différents processus et déclarations majeures ont renforcé ces principes,interrogé leur applicabilité aux Organisations de la société civile (OSC) et amorcé un dialoguepluri-acteurs intégrant les organisations internationales, les pouvoirs publics, les bailleurs, lessociétés civiles du Sud et du Nord, les syndicats, associations, fondations, collectivités, etc. Toustravaillent aujourd’hui ensemble à rendre l’aide et le développement plus efficaces. Dans cecontexte favorable à la concertation et à l’apprentissage pluri-acteurs, le rôle de l’évaluationen tant que vecteur d’efficacité s’impose autant qu’il interpelle. Qu’entend-on par évaluation ?Quel type d’évaluation mener ? Pour servir quels objectifs et comment ?

De façon implicite, c’est souvent l’exercice d’évaluation externe et ex post des résultats dedéveloppement qui, dans la large gamme des méthodes évaluatives existantes, est appréhendéau travers du terme générique « évaluation ». Il mesure ou du moins appréhende les résultats,et satisfait le plus souvent un objectif de redevabilité. Cependant, les méthodes évaluatives sesont considérablement diversifiées ces dernières années, à mesure que les préoccupationsdes acteurs évoluent et que l’on élargit notamment le champ de l’efficacité de l’aide à celuidéveloppement. L’évaluation peut-elle devenir autant un outil d’apprentissage organisationnelet d’orientation des stratégies futures que de redevabilité ? Le recours à la gestion axée sur lesrésultats ou le cadre logique seraient-ils menacés ? Aujourd’hui, les méthodologies évoluentpour une appréciation plus globale, qualitative et un processus évaluatif tourné versl’apprentissage, inclusif, pédagogique, centré sur le point de vue et la participation des acteurs.Les évaluations partenariales, les capitalisations, l’analyse du changement et de la complexité,les démarches de suivi-évaluation, les évaluations d’effets ou d’impact... sont de plus en plusutilisées.


Cette diversification pose de nouveaux enjeux :

• la nécessité de s’accorder entre acteurs sur une définition commune et partagée del’évaluation et de ce que l’on peut en attendre ;

• le besoin de donner du sens aux méthodes en les mettant au service d’une vision etd’une stratégie d’intervention ;

• le souci de veiller à ne pas déboucher sur des approches normées et déconnectées del’action et de l’apprentissage.

C’est à la lumière de ces enjeux actuels que nous nous livrons, dans cette synthèse, à l’exerciced’une lecture analytique des parcours d’Organisations non gouvernementales (ONG) et decollectivités territoriales qui ont témoigné, lors du séminaire F3E-AFD, de différentes pratiques,réflexions et contributions à l’efficacité du développement.

L’évaluation au service de l’agenda politique international de l’efficacité du développement

De la Déclaration de Paris au Partenariat mondial pour une coopération efficaceau service du développement

Le service de l’évaluation du Comité d’aide au développement (CAD) de l’Organisation decoopération et de développement économiques (OCDE) souligne que, si la coordination del’aide a fait l’objet d’un consensus dès les années 1980, un véritable tournant a été marqué enmars 2005 par la Déclaration de Paris sur l’efficacité de l’aide au développement, qui entendrépondre à l’incessante multiplication et diversification des bailleurs et acteurs de l’aideinternationale[1]. Signée par tous les pays membres de l’OCDE et entérinée par nombre depays en développement, elle établit les principes et recommandations qui s’adressent auxagences de développement et aux pays partenaires pour améliorer l’acheminement et lagestion de l’aide. Ces recommandations incluent notamment : l’appropriation locale desstratégies de développement ; l’alignement sur les stratégies de développement nationales ;l’harmonisation des actions pour le développement ; l’évaluation des résultats, la responsabilitémutuelle et la transparence.

Rappelant l ’historique du contexte international , le F3E souligne que ce consensus quiconstitue une avancée notable vers une meilleure efficacité de l’aide ne considère au départni les OSC ni les autorités locales et régionales comme des acteurs de cette efficacité. Il fautattendre septembre 2008 et l ’Agenda d’action d’Accra (AAA), pour que leur rôle


[1] On compte aujourd’hui plus de deux cents mécanismes d’aide globaux, régionaux et multilatéraux.

complémentaire et leur plus-value soient reconnus. Les OSC organisées au sein de deuxinitiatives complémentaires, Better Aid (visant à suivre et influencer l’AAA) et l’Open Forum(appelé aussi forum sur l’efficacité du développement des OSC), s’engagent alors dans la voiede la concertation pour la promotion de leur rôle dans l’agenda politique de l’efficacité dudéveloppement et définissent leurs propres principes d’efficacité, considérant que lesprincipes de la Déclaration de Paris n’étaient pas appropriés à leurs spécificités d’acteurs dudéveloppement : les principes d’Istanbul. El les veulent également agir sur le cadreinstitutionnel, légal et politique qui influe sur leur action et son efficacité : c’est la question del’environnement favorable [2] qui devient une question clé, cristallisant les attentes. Pour laConfédération européenne des ONG d’urgence et de développement (CONCORD),promouvoir un environnement favorable, c’est défendre des outils de financementsappropriés et reconnaître la multiplicité d’acteurs, de leur complexité, pour travailler à plus deconvergence, notamment à la mise en cohérence des politiques publiques. Pour CoordinationSud, des différentes interventions, émerge un consensus : le partage et l’appropriation despoints de vue sur la coopération au développement est essentiel et doit être démocratique,c’est-à-dire via la participation pleine et entière de tous les acteurs, notamment desbénéficiaires finaux.

En novembre 2011, au 4e forum de haut niveau sur l’efficacité de l’aide tenu à Busan, a étéconclu un accord de partenariat au titre évocateur : « le partenariat mondial pour unecoopération efficace au service du développement »[3], entré en vigueur à l’été 2012, tandis queles OSC s’organisaient en parallèle et créaient leur partenariat des OSC pour l’efficacité dudéveloppement[4].

Le glissement sémantique où l’on passe de l’efficacité de l’aide à l’efficacité du développementpeut marquer un changement de paradigme. Selon Coordination Sud, il nous faut sortir de lalogique technocratique du processus sur l ’efficacité de l’aide et considérer l ’aide audéveloppement comme un instrument du développement parmi d’autres. Un avis partagé parCONCORD : le cadre international de la coopération au développement est ainsi l’opportunitéd’un passage de politiques publiques d’aide vers un développement dont on doit cependantinterroger le modèle en vigueur.


[2] « Un environnement porteur (ou favorable) est un ensemble de conditions interdépendantes – juridiques, bureau-cratiques, fiscales, informationnelles, politiques, culturelles – qui influent sur la capacité des […] acteurs du déve-loppement à s’engager dans le processus du développement de façon durable et efficace ». Brinkerhoff, D. W. (2004),“The Enabling Environment for Implementing the Millennium Development Goals: Government Actions to SupportNGOs”. En ligne sur http://www.rti.org/pubs/Brinkerhoff_pub.pdf.

[3] Il est « représentatif et ouvert à tous les acteurs, en vue de soutenir la mise en œuvre politique des engagementssouscrits et d’assurer leur redevabilité » (§36 a).

[4] Nouvel outil pour les OSC, né en décembre 2012 à Nairobi, qui fusionne Better Aid et l’Open Forum.

De déclarations en principes : quelles retombées sur les pratiques dudéveloppement ?

Comme le rappelle l’AFD, si l’action internationale est certainement l’une des politiquespubliques les plus évaluées, il ne s’agit pas pour autant d’un exercice simple. Une multiplicitéet une diversité d’enjeux pèsent sur l’évaluation : la redevabilité vis-à-vis des bénéficiairesfinaux, des pays partenaires, des donateurs, des électeurs, des bailleurs, du grand public, etc. Ilfaut justifier de son action de développement, communiquer, valoriser, afficher de latransparence, s’assurer de la bonne appropriation de l’exercice et de ses résultats, pour unapprentissage à la fois individuel et collectif . Ce qui fait de l ’évaluation un instrumentéminemment politique auquel on fait porter beaucoup d’attentes malgré les fortes contraintesde temps et de moyens. Or, aujourd’hui, pour CONCORD, il faut tendre vers l’idéal de laprogrammation conjointe visant une seule stratégie, ce qui passe par une évaluation opérantun exercice utile et stratégique. Il importe de faire à la fois l’analyse des résultats et celle desprocessus qui permettent de porter un regard plus complet sur l’efficacité des pratiques dedéveloppement. Comme le souligne Solidarité Laïque, une tendance est de sortir del’enfermement du cadre logique pour mener des évaluations en mouvement qui admettentla part de risque dans l’action de développement et l’évaluation elle-même, et qui lâchentprise sur la maîtrise des résultats. La démarche d’apprentissage est consubstantiel le àl’appropriation du parcours évaluatif, du travail sur les termes de référence jusqu’à l’applicationdes recommandations. La question est de trouver le bon équilibre entre apprentissage etredevabilité.

L’évaluation ainsi conçue est perçue comme un exercice d’honnêteté et d’autocritiqueconstructive qui peut devenir un véritable outil du débat démocratique. Elle peut égalementêtre un levier d’influence et un instrument politique devant permettre d’appréhender leseffets des actions de développement et d’en tirer les enseignements pour une meilleurecontribution des politiques publiques à l’objectif commun de lutte contre la pauvreté.

L’évaluation des pratiques de développement, un outil en évolution

Pourtant, le séminaire l’a mis en exergue au travers de la diversité des approches présentées,le recours à l’évaluation prend des formes variées et les expériences évaluatives sont toujourssingulières. En premier lieu parce que l’origine, ce qui a motivé l’évaluation, diffère d’unestructure à l’autre, d’un programme ou d’un projet à l’autre, selon que l’on est redevable vis-à-vis de ses donateurs, de ses bail leurs ou de ses partenaires, selon que l’on priorise laredevabil ité ou l’apprentissage, etc. I l reste que la place de l’évaluation est partoutgrandissante : parce qu’il faut faire mieux, mais aussi parce qu’il faut montrer que l’on faitmieux et, de fait, il faut communiquer sur ses résultats. Les acteurs auprès desquels on chercheà communiquer sont également de différente nature. Pour certaines ONG, il s’agit de leursbailleurs, pour d’autres, de leurs donateurs. Pour les collectivités locales, il s’agit d’abord deleurs électeurs, auxquels l’élu est lié par un contrat moral et qui conditionnent sa réélection.


Bailleurs, donateurs, électeurs prennent ainsi bien souvent le pas sur les « bénéficiaires » finauxet influent très largement sur la manière dont est conduite l’évaluation.

Des outils et modes d’accompagnement qui se diversifient

Il y a consensus sur le fait que parler d’évaluation fait le plus souvent référence aux évaluationsexternes à mi-parcours ou finales. Pourtant, la démarche évaluative se décline à travers despratiques spécifiques comme les études préalables, les capitalisations, le suivi-évaluation,l’auto-évaluation, les études d’effets et d’impact, etc.

Les interventions sur les différents types et modalités d’évaluation mettent l’accent sur lechoix du temps de la démarche entreprise : il peut s’agir d’une démarche évaluative ex ante ,intermédiaire, ex post ou chemin faisant, et chaque moment recourra à un instrumentdifférent. De même, il a été rapporté que la multiplication des enjeux autour de l’évaluationimplique une palette d’outils évaluatifs et que la structure commanditaire peut recourir àl’évaluation finale et externe classique, ou bien décliner les instruments et faire appel tantôtà l’étude préalable, tantôt au suivi-évaluation, ou encore à l’étude d’impact, etc. Pour certainesONG par exemple, la démarche évaluative peut se transformer en processus de capitalisation,plus internalisé. Pour d’autres, il s’agit plutôt de suivre une démarche de suivi-évaluation àl’échelle de l’organisation, pour aller vers plus de cohérence entre projets et programme, enidentifiant par exemple des variables de changement ou des aires de progrès permettantd’appréhender les effets, voire l’ impact de l’action et de l’organisation. Ces démarchesévaluatives sont souvent plus transversales, plus globales, plus institutionnelles, et à vocationplus stratégique aussi. Elles sont entreprises pas des structures que l’on pourrait qualifierd’organisations apprenantes, pour qui la démarche évaluative est conçue comme un parcoursconduisant vers un changement organisationnel et sectoriel positif. La question que l’on peutalors se poser est la suivante : puisqu’on ne conteste plus le bénéfice de ces démarches,pourquoi ne pas davantage promouvoir ces méthodes alternatives aux outils de gestionclassiques et rétablir l’équilibre entre redevabilité et apprentissage ?

L’innovation dans l’évaluation

La place donnée dans l ’évaluation aux différents acteurs impliqués dans un projet dedéveloppement (bailleur, commanditaire, consultant, intermédiaire, bénéficiaire, Nord-Sud,etc.) est une question clé. Si la question de la participation suscite de prime abord unconsensus, quel jeu se joue entre les différents acteurs, et comment trouver le bon équilibre ?Entre consultation et association véritable, les partenaires du Sud, par exemple, sont-ilstoujours bien considérés dans l’évaluation ?

I l est de plus en plus fréquent de constater que les partenaires du Sud contribuent àl’évaluation dès l’étape de construction des termes de référence puis dans la mise en œuvreet le suivi. L’appropriation des résultats est ainsi facilitée. Tous les intervenants sont d’accord


sur un point : plus la participation des partenaires du Sud dans l’évaluation est réelle, plusl’évaluation contribue au dialogue entre partenaires, et plus la participation des partenaires duSud se fait en amont de la démarche évaluative, plus elle influe sur le type de démarche oul’outil choisi. De plus en plus de structures au Sud recourent d’ailleurs aux outils de pilotage,dans le cadre de démarches évaluatives axées sur l’apprentissage. En cela, le suivi-évaluation oul’auto-évaluation peuvent répondre à des besoins institutionnels et/ou organisationnels etparticiper au renforcement des capacités des partenaires en favorisant l’appropriation de ladémarche évaluative et l’opérationnalité de ses résultats.

En témoigne l’Association de coopération et de développement des initiatives locales (ACDIL),il est plus rare que l’impulsion de l’évaluation vienne du Sud, du fait de moyens financiers pluslimités. Or, l’adage « qui paye, commande » est souvent encore de mise et fait du tort àl’exercice évaluatif , souvent vécu par les partenaires comme subi plutôt que choisi .Malheureusement, il arrive aussi que la participation reste au stade de l’incantation, déplore leCollectif d’échanges pour la technologie appropriée (COTA) : la participation dans l’évaluationest le reflet de la participation dans l’action de développement et reste bien souvent un idéalà atteindre car le contexte international de concurrence accrue entre acteurs dudéveloppement lui est défavorable. Une piste d’action est de privilégier des démarches quiobligent à prendre conscience de la multiplicité des interlocuteurs, de leurs divergencesd’intérêts pour une meilleure acceptation du dialogue. Penser l’impact et la qualité des actionsde développement en termes de changements et d’environnement complexe, par exemple,c’est changer de prisme de lecture et privilégier la contribution aux résultats plutôt que leurattribution : « moi, parmi d’autres acteurs, qu’ai-je contribué à changer ? ».

Pour beaucoup, les questions d’évaluation doivent devenir aussi importantes que la mesuredes résultats de l’action elle-même, afin de mettre en exergue les changements produits et lesdifférentes contributions aux changements. En ce sens, le rôle des politiques publiques estévoqué dans la promotion d’approches innovantes. L’audiovisuel, via des évaluations filmées,peut par exemple être un outil évaluatif pertinent et innovant, en permettant, grâce à sesvertus pédagogiques, l’implication de toutes les parties prenantes à la démarche évaluative. Enaval du processus, le public se forge par ailleurs une idée des contextes social et économiquede l’évaluation plus proche de la réalité que lorsqu’il l’appréhende à travers des courbes ou desconcepts. Ainsi, l’image, davantage que l’écrit, contribue à la constitution d’une mémoire.D’autres démarches comme celles qui privilégient la recherche-action permettent une prise derecul distanciée avec l’action de développement et le contexte dans lequel elle prend place.

Recommandations : de l’utilité de l’évaluation dans la coopération audéveloppement

L’évaluation a connu en vingt ans, dans le champ de la solidarité internationale et de lacoopération décentralisée, des avancées notables. Cependant, tous les acteurs aujourd’huiconcernés ne semblent pas à égalité dans leur compréhension et leur pratique de la démarche


évaluative. De nombreux défis restent encore à relever, pour certains en termes d’acceptationet d’appréhension de l’objet, pour d’autres en termes d’objectifs de l’exercice et d’innovation.

Chez les collectivités territoriales françaises, dans le cadre de la coopération décentralisée,l’évaluation n’est pas toujours comprise et certains n’en perçoivent pas même le bien-fondé.Il faudra sans doute redoubler d’efforts de sensibilisation et de communication pour quel’évaluation soit comprise comme une démarche utile de progression dans l’action. Favoriserl’approche territoriale de l’évaluation pourrait contribuer à cette reconnaissance et servir lescollectivités locales comme les ONG et autres acteurs du développement. On déplore tropsouvent le manque de considération qu’ont les acteurs les uns vis-à-vis des autres sur unmême territoire d’intervention. « Il n’y a pas toujours de mutualisation, pas même dedialogue parfois, pire, il peut y avoir de la concurrence », nous confie l’élue de la communautéd’agglomération de Cergy Pontoise ! Pour pallier l’absence de regard porté aux autres acteurs,il est essentiel de s’attacher à promouvoir cette approche territoriale collective.

Face à ces évolutions de l’évaluation, Coordination Sud identifie un certain nombre de risquesdont il faut se prémunir :

• la banalisation : l’évaluation ne doit pas devenir un simple moment du cycle de projetpour des raisons de redevabilité ou de dévolution. L’importance accordée à ce momentprivilégié déterminera sa bonne utilisation ;

• la normalisation : en normalisant les termes de référence (TdR) et les profils desexperts-évaluateurs, on prend le risque de normaliser aussi les produits de l’évaluation ;

• l’exhaustivité : il faut choisir et ne pas déléguer à l’expert la résolution de tous lesproblèmes. Il faut également distinguer l’attente des différents acteurs ex ante et savoirêtre inclusifs.

La reconnaissance de ces risques permettra, au démarrage d’un projet, d’avoir en tête unestratégie d’évaluation qui rendra le processus plus utile. L’évaluation est un « couteau suisse »dont la multiplicité d’outils permet de parer à de nombreuses situations.


Synthesis

Charlotte Boisteau

The changing face of evaluation

Evaluation practices and issues in the context of development effectiveness

Boisteau Charlotte, Aberlen Emilie (eds.)

AbstractCharlotte Boisteau

On 15th October 2012, F3E and AFD held their first joint seminar on evaluation. The aim of thisseminar was to review evaluation practices and issues in the changing context of developmenteffectiveness. This summary provides an analytical reading of the contributions and debatesduring this seminar.

Foreword

Since aid has existed – but much more so since the 2000s – development effectiveness hasbecome an increasing concern for development actors. Following on from the ParisDeclaration – which in 2005 defined the principles of aid effectiveness –, various processesand major declarations have reinforced these principles, considered their applicability to CivilSociety Organisations (CSO), and initiated a multi-actor dialogue including the latter. Indeed,international organisations, public authorities, donors, civil societies from the North and South,trade unions, associations, foundations, local authorities, etc. are today all working together toenhance the effectiveness of both aid and development. In this favourable context for multi-actor consultation and learning , the role of evaluation as a vehicle for effectiveness is essentialas much as it raises questions: What do we understand by evaluation? What type of evaluationshould be conducted? For what objectives and how?

It is often implicitly the exercise of the external and ex post evaluation of developmentoutcomes which – within the broad array of existing evaluative methods – is understoodthrough the generic term “evaluation”. It measures, or at least considers, outcomes andcommonly meets an objective of accountability. However, there has been a considerablediversification in evaluative methods in recent years, as actors’ concerns change and, especially,as the scope of effectiveness is being extended from aid to development. Can evaluation


become as much a tool for organisational learning and orienting future strategies as foraccountability? Would recourse to results-based management or the logical framework bejeopardised? Today, methodologies are evolving towards a more holistic and qualitativeassessment and an inclusive and pedagogical learning-oriented evaluative process, focusedon the points of view and participation of actors. Partnership-based evaluations, capitalisationwork, the analysis of change and complexity, supervision-evaluation procedures, the evaluationof effects or impacts� are increasingly being used.

This diversification raises new issues:

• The need for actors to agree upon a common and shared definition of evaluation andwhat can be expected from it;

• The need to give meaning to methods by putting them at the service of a vision andintervention strategy;

• The concern to ensure that it does not lead to standardised approaches that areunrelated to action and learning.

It is in the light of these current issues that in this summary we set out to conduct an analyticalreading of the background of NGOs and regional and local authorities, which shared theirexperience of different practices, reflection and contributions in terms of developmenteffectiveness during the F3E-AFD seminar.

Evaluation at the service of the international political agenda fordevelopment effectiveness

From the Paris Declaration to the Global Partnership for Effective DevelopmentCo-operation

The OECD DAC Evaluation Department emphasises that while a consensus was reached onaid coordination back in the 1980s, there was a real turning point in March 2005 with theParis Declaration on Aid Effectiveness, which aims to respond to the incessant proliferationand diversification of international aid donors and actors.[5] The Declaration was signed by allOECD member countries and endorsed by a number of developing countries. It establishesthe principles and recommendations for development agencies and partner countries, withthe aim of enhancing aid delivery and management. These recommendations include: localownership of development strategies; alignment with national development strategies; theharmonisation of development actions; the evaluation of results and mutual accountabilityand transparency.


[5] There are currently over two hundred international, regional and multilateral aid mechanisms.

F3E recalled the history of the international context and emphasised that this consensus,which is a significant step towards enhancing aid effectiveness, did not initially regard CSO orlocal and regional authorities as actors in this effectiveness. It was only in September 2008 withthe Accra Agenda for Action (AAA) that their complementary role and added value wererecognised. CSO, organised within two complementary initiatives, Better Aid (which aims tofollow and influence the AAA) and Open Forum (also called Forum for CSO DevelopmentEffectiveness), thus engaged in the consultation process in order to promote their role in thepolitical agenda for development effectiveness. In addition, they defined their own principlesof effectiveness – the Istanbul Principles –, considering that the principles of the ParisDeclaration were not appropriate for their specific roles as development actors. They alsowish to act on the institutional, legal and political framework that affects their action and itseffectiveness: it is the issue of the enabling environment [6] that becomes a key issue andcrystal l ises expectations. For CONCORD, promoting an enabling environment meanssupporting appropriate financing tools and recognising the multiplicity of actors and theircomplexity in order to work for greater convergence, particularly to ensure that public policiesare consistent. For Coordination Sud, a consensus emerges from the different contributions:it is essential to share and take ownership of points of view on development cooperation andthis must be democratic, i.e. through the full participation of all actors, particularly the finalbeneficiaries.

In November 2011, a Partnership Agreement was concluded at the 4th High Level Forum on AidEffectiveness in Busan with the evocative title: “Global Partnership for Effective DevelopmentCo-operation”.[7] It came into force in the summer of 2012, while CSO were at the same timeorganising and establishing their CSO Partnership for Development Effectiveness.[8]

The semantic slide from aid effectiveness to development effectiveness can mark a paradigmshift. According to Coordination Sud, we need to move away from the technocratic logic ofthe aid effectiveness process and consider development assistance as a developmentinstrument among others. This view is shared by CONCORD: the international developmentcooperation framework thus provides the opportunity of moving from public aid policiestowards a development whose current model we must, however, question.


[6] “An enabling environment is a set of interrelated conditions – such as legal, bureaucratic, fiscal, informational,political, and cultural – that impact on the capacity of […] development actors to engage in development process-es in a sustained and effective manner” , Brinkerhoff, D.W., 2004, “The Enabling Environment for Implementing theMillennium Development Goals: Government Actions to Support NGOs”. Available online athttp://www.rti.org/pubs/Brinkerhoff_pub.pdf

[7] “A new, inclusive and representative Global Partnership for Effective Development Co-operation to support andensure accountability for the implementation of commitments at the political level.” (§36 a)

[8] New tool for CSO created in Nairobi in December 2012. It merged Better Aid with Open Forum.

Declarations of principles: What benefits for development practices?

As AFD pointed out, while international action is unquestionably one of the most evaluated publicpolicies, this does not mean that it is a straightforward exercise. Evaluations involve a multiplicity anddiversity of issues: accountability towards final beneficiaries, partner countries, donors, voters, funders,the general public, etc. It is necessary to justify one’s development action, communicate, promote,show transparency, ensure that there is effective ownership of the exercise and its outcomes, so thatthere is both individual and collective learning. This is what makes evaluations an eminently politicalinstrument in which we have great expectations, despite the significant constraints of time and means.For CONCORD, we must now therefore move towards the ideal of joint programming targeting asingle strategy, which involves an evaluation that develops a useful and strategic exercise. It isimportant to make an analysis of both outcomes and processes, which provides a morecomprehensive view of the effectiveness of development practices. As Solidarité Laïque pointed out,there is a tendency to break out of the confinement of the logical framework in order to conductevaluations in motion that recognise the share of risk in development action and in the evaluationitself, and let go of taking ownership of the outcomes. The learning process is inseparable fromownership of the evaluative process, from the work on the terms of reference to the application ofrecommendations. It is a question of striking the right balance between learning and accountability.

Evaluation devised in this manner is perceived as being an exercise of honesty and constructive self-criticism that can become a real tool for the democratic debate. It can also leverage influence andserve as a political instrument to understand the impacts of development actions and learn lessonsfrom them, so that public policies make a more effective contribution to the common objective ofpoverty reduction.

The evaluation of development practices, a changing tool

However, through the diversity of approaches that were presented, the seminar highlighted thatrecourse to evaluation takes a variety of forms and that evaluative experiences are always unique.Firstly, because the origin, the reason for the evaluation, differs from one structure to another, fromone programme or project to another, depending on whether one is accountable to one’s funders,donors or partners, depending on whether one prioritises accountability or learning , etc. The factremains that evaluation is becoming increasingly important everywhere. This is, of course, becausethere is a need to do better, but also because there is a need to show that one is doing better and,consequently, to communicate on one’s results. The actors we seek to communicate to are alsodifferent in nature. For certain NGOs, it is their donors, for others their funders. For local authorities,it is firstly their voters, to whom the elected official is bound by a moral contract and who determinehis/her re-election. Consequently, funders, donors and voters often take precedence over the final“beneficiaries” and greatly influence the way in which the evaluation is conducted.


Support tools and methods increasingly diversified

There is a consensus that when we speak about evaluations, we are generally referring toexternal mid-term or final evaluations. Yet the evaluative process breaks down into specificpractices, such as preliminary studies, capital isation work, supervision-evaluation, self-evaluation, studies on effects and impacts, etc.

Contributions on the different types and methods of evaluation focused on the timing of theapproach taken: it may involve an ex ante, interim, ex post or en route evaluative approach andeach moment will use a different instrument. Similarly, it was stated that the increasing numberof issues related to evaluation means a range of evaluative tools is required. The entityfinancing the evaluation can use the classic external final evaluation or various instruments,and sometimes preliminary studies, sometimes supervision-evaluation, sometimes impactassessments, etc. For example, for some NGOs, the evaluative process can turn into a moreinternalised capitalisation process. For others, it is more a question of adopting a supervision-evaluation approach within the organisation in order to achieve greater consistency betweenprojects and programmes, for example, by identifying change variables or areas of progress.This makes it possible to understand the effects or impact of the action and organisation.These evaluative approaches are often more cross-cutting , broader, more institutional andalso with a more strategic purpose. They are undertaken by entities that could be describedas learning organisations, for which the evaluative approach is perceived as a process leadingto a positive organisational and sectoral change. The question that one might then well ask isthe following: As one no longer disputes the benefit of these approaches, why not promotethese alternative methods to classic management tools more and restore the balance betweenaccountability and learning?

Innovation in evaluation

The place given in evaluation to the various actors involved in a development project (donor,sponsor, consultant, intermediary, beneficiary, North-South, etc.) is a key question. While theissue of participation on the surface leads to a consensus, what exactly is at play between thedifferent actors and how to find the right balance? For example, between consultation and realinvolvement, are Southern partners always well taken into account in the evaluation?

It is increasingly common to see Southern partners contributing to the evaluation right fromthe phase where the terms of reference are defined and subsequently during theimplementation and supervision. This facilitates ownership of the outcomes. All the speakersagreed on one point: the more Southern partners actually participate in the evaluation, themore the evaluation contributes to the dialogue between partners, and the earlier Southernpartners participate in the evaluative process, the more influence they have on the type ofprocess or tool that is selected. Furthermore, an increasing number of entities in the South areusing management tools in the context of learning-based evaluative processes. In this respect,


supervision-evaluation or self-evaluation can meet institutional and/or organisationalrequirements and contribute to building partners’ capacities by fostering ownership of theevaluative process and the operationality of its outcomes.

As ACDIL explained, it is more unusual for the impetus for the evaluation to come from theSouth, simply because the financial resources are more limited. The adage “he who pays thepiper calls the tune” is still often the rule and does a disservice to the evaluative exercise,which is often viewed by partners as something that is forced upon them rather than chosen.COTA regrets that participation unfortunately sometimes also remains at the incantation stage:participation in evaluation reflects participation in development action and often remains anideal to be achieved, as the international context of increased competition betweendevelopment actors is unfavourable to it. A possible course of action is to focus on approachesthat oblige us to recognise the multiplicity of stakeholders and their differences of interests,so that there is greater acceptance of the dialogue. For example, thinking of the impact andquality of development actions in terms of changes and complex environments changes theprism of understanding and fosters contribution to outcomes rather than attributing them:“Me, among other actors, what have I helped to change?”.

For many, issues related to evaluation must become as important as the measurement of theoutcomes of the action itself, in order to highlight the changes induced and the differentcontributions to the changes. In this regard, the role of public policies in the promotion ofinnovative approaches is evoked. Audiovisual media, via video-based evaluations, can, forexample, be a relevant and innovative evaluative tool as it can, thanks to its educational virtues,allow all the stakeholders to be involved in the evaluative process. Furthermore, after thecompletion of the process, the public gains an idea of the social and economic context of theevaluation that is closer to reality than when they view it through curves and concepts.Consequently, images more than words help to create a memory. Other approaches, like thosefocusing on action-research, make it possible to stand back from the development action andthe context in which it takes place.

Recommendations: The value of evaluation in developmentcooperation

In the past twenty years, evaluation has made substantial progress in the field of internationalsolidarity and decentralised cooperation. However, all the actors who are today concernedwould not appear to be at the same level in terms of their understanding and practice of theevaluative approach. Many challenges also still need to be met, for some in terms of acceptingand understanding the subject, for others in terms of the objectives of the exercise andinnovation.

In the context of decentralised cooperation, evaluation is not always understood by France’sregional and local authorities and some do not even perceive its validity. It will certainly be


necessary to redouble awareness-raising and communication efforts to ensure that evaluationis understood as an approach than can help ensure progress in action. Promoting the territorialapproach to evaluation could contribute to this recognition and be of service to localauthorities, NGOs and other development actors. A frequent criticism is that actors within thesame intervention area lack consideration towards each other. There is not always sharing andsometimes not even a dialogue, but even worse� competition, explains an elected member ofthe Urban Community of Cergy Pontoise! To compensate for the lack of consideration ofother actors, it is essential to focus on promoting this collective territorial approach.

Coordination Sud has identified a number of risks that need to be guarded against in the faceof these developments in evaluation:

• Trivialisation: the evaluation must not simply become a moment in the project cycle forreasons of accountability or devolution. The importance given to this key moment willdetermine how effectively it is used;

• Standardisation: by standardising the ToR and profiles of evaluation experts, there isalso a risk of standardising the evaluation products;

• Completeness: there is a need to make choices and not delegate the resolution of allthe problems to the expert. It is necessary to identify the expectations of the differentactors ex ante and to be inclusive.

Recognising these risks will allow us – when a project starts – to keep in mind an evaluationstrategy that will make the process even more useful. Evaluation is a “Swiss army knife” witha multiplicity of tools that allows many situations to be addressed.


Introduction générale

Louis-Jacques Vaillant

L’AFD se félicite de ce séminaire co-organisé avec le F3E qui s’est inscrit dans un dialogue etun partenariat de qualité noué depuis quatre ans. Le nombre de participants a démontrél’intérêt des ONG et des collectivités locales à l’exercice d’évaluation, considéré désormais nonplus comme un exercice obligé et contraint, mais comme un exercice de transparence,d’amélioration des pratiques, et un support au dialogue entre l’ONG ou la collectivitéterritoriale (CT) et ses partenaires techniques et financiers.

La question de l’évaluation des projets est au centre des préoccupations de l’AFD, y comprispour les propres projets qu’elle finance.

Enfin, l’évaluation est l’un des supports importants sur lequel l’AFD s’appuie dans son dialogueavec ses partenaires ONG et CT. Source d’échanges et de dialogue, elle permet une meilleurecompréhension mutuelle.

Ce séminaire s’est inscrit nécessairement dans les grands débats internationaux sur l’efficacitéet la cohérence de l’aide, la redevabilité et la transparence, sujets sur lesquels reviendra LaurentDelcayrou. Il s’inscrit également dans un contexte national favorable à l’action des acteursnon gouvernementaux.

Depuis bientôt quatre ans, l’AFD gère l’activité de cofinancement des initiatives ONG. L’AFDinstruit chaque année près de 60 nouveaux projets ONG. Elle possède un portefeuille de prèsde 300 projets vivants. L’enveloppe annuelle de crédits est stable depuis quatre ans,s’établissant entre 40 et 42 M € . L’AFD a lancé une étude concernant les relations entrel’Agence et les ONG. Cette étude aboutira, d’ici f in 2013, à la rédaction d’un Cadred’intervention transversal en faveur des initiatives des OSC. Parallèlement aux financementsaccordés aux projets des ONG en matière d’évaluation des projets ONG, l’AFD a mis en place,dès 2010, un dispositif d’évaluation des projets ONG qu’elle a soutenus. Ce dispositif, enconstruction, permettra à l’AFD d’affiner sa stratégie de transparence sur sa politique desoutien aux initiatives ONG. Le séminaire qui a donné lieu à cette publication ainsi que letravail effectué par le F3E sont essentiels à l’élaboration de ce dispositif.

Les perspectives que les crédits dédiés aux initiatives des ONG soit augmentés dès 2013, selonles engagements pris par le président de la République et confirmés par le ministre du


Développement, sont aujourd’hui inscrites dans les projets de loi de finances (PLF) 2013, 2014et 2015 (+ 9 M € par an). Ceci induit une pression accrue pour une utilisation optimum de cescrédits, par rapport à un contexte budgétaire national contraint.

L’évaluation revêt donc une importance toute particulière dans ce contexte ; elle devientobjet de transparence et de redevabilité, support à la discussion et au partenariat, outil destinéà améliorer une meilleure connaissance mutuelle. Mais une évaluation n’a de véritable intérêtque si elle est partagée, restituée à d’autres acteurs, les ONG et les collectivités localesnotamment, pour produire de la réflexion et de l’échange de bonnes pratiques.

Cela entraîne aussi une responsabilité accrue en termes de redevabilité et de transparence,tant pour les bailleurs de fonds que pour les acteurs non gouvernementaux.

Nous avons un devoir accru vis-à-vis des populations du Sud auxquels nos projets s’adressentet qui doivent répondre aux nouveaux enjeux du développement et de lutte contre lapauvreté.

Ce devoir, nous l’avons également envers les populations du Nord. Nous devons leur rendredes comptes, car elles sont à la fois les financeurs des politiques publiques nationales oudécentralisées d’aide au développement, mais aussi, bien souvent, les donateurs, bénévoles etmilitants des ONG de solidarité internationale.

Nous devons par ailleurs sortir d’une simple logique de recherche d’efficacité de l’aide, évaluéeà partir des résultats, pour tendre vers une mesure des effets et impacts de l’aide, vastechantier bien plus complexe, sur lequel travaillent de plus en plus les acteurs publics et privésinvestis sur le champ de l’aide internationale.

Les prochaines Assises du développement et de la solidarité internationale, souhaitées par leministre du Développement, prévoient d’aborder prioritairement ces dimensions quinécessitent un engagement de toutes les parties.

Enjeux et perspectives de l’évaluation à l’AFD

L’évaluation joue un rôle essentiel dans le dialogue de l’AFD avec les collectivités locales et lesONG. C’est un exercice d’amélioration des pratiques et donc d’amélioration de l’efficacité desprojets menés par les ONG et les collectivités locales et soutenus par l’AFD, un exercice deredevabilité et de transparence.

C’est aussi un exercice d’amélioration des relations partenariales entre l’AFD et ses partenairesnon gouvernementaux sur les enjeux de l’aide au développement et de la solidaritéinternationale.


L’AFD, à travers sa division des Partenariats avec les ONG (DPO), a ainsi suivi ou accompagnéchaque année près de 30 évaluations de projets ONG, notamment à travers le F3E, dont ellesoutient les activités et avec lequel elle a noué un dialogue très intense.

L’évaluation est donc au cœur du dialogue quotidien que l’AFD, à travers la division DPO,entretient avec les ONG dont elle soutient les projets : elle nourrit le dialogue en amont,après l’exécution d’un projet cofinancé, et dans la perspective éventuelle d’un nouveaufinancement sollicité.

Elle nourrit également de façon plus transversale la relation partenariale entre l’AFD et l’ONG :celle-ci permet d’avoir une meilleure connaissance des modes opératoires de l’ONG, sastratégie, ses résultats, ses réflexions, voire ses réorientations stratégiques et opérationnelles,pouvant découler de travaux d’évaluation.

El le n’est pas considérée comme un exercice obligatoire et procédurier. Le guideméthodologique de l’AFD concernant le financement des initiatives ONG n’oblige pas l’ONGcofinancée à évaluer son projet (hormis le Programme concerté pluri-acteurs –PCPA– et lesconventions-programmes pour lesquels l’évaluation est imposée et son coût budgété), maisl’y encourage très fortement (pour les projets de terrain comme pour les projets dits d’intérêtgénéral tels que l’éducation au développement ou la structuration du milieu associatif).

Aujourd’hui, près de 85 % des projets ONG soumis à l’AFD prévoient une évaluation externefinale et le budgètent (avec parfois une tendance à sous-estimer le coût d’une évaluationexterne).

L’AFD, de son côté, a mis en place son propre dispositif expérimental d’évaluation des projetsONG soutenus. Elle pilote en direct plusieurs exercices d’évaluation de l’action ONG, certainsnon encore terminés. Elle compte à ce jour deux évaluations pays achevées, Madagascar etPalestine, une évaluation sectorielle en cours sur la santé, une évaluation instrumentalerestituée, PCPA, une évaluation en cours d’un acteur collectif , Coordination Sud, unecartographie des projets d’EAD.

D’autres évaluations sont prévues pour 2013 : une évaluation pays : Haïti ; une évaluationsectorielle : les projets ONG dans le secteur des Droits de l’homme ; une cartographie sur lesplateformes et collectifs.

Chacun de ces exercices a donné lieu à une intense concertation entre les services de l’AFD,en particulier la DPO, et les ONG concernées. Dès le lancement du processus, les ONG, àtravers des représentants désignés par Coordination Sud et à travers le F3E, ont étésystématiquement associées à ces exercices, en siégeant au Comité de pilotage des études eten étant invités à la restitution des études.


Ainsi, l’exercice est bien considéré par l’AFD comme un exercice de totale transparence et dedialogue.

Limites de l’exercice à prendre en compte

Parallèlement, l’exercice présente des limites pour l’ensemble des acteurs du développement :bailleurs de fonds, pouvoirs publics comme acteurs non gouvernementaux.

Les ONG, par exemple, craignent la banalisation d’un exercice jugé parfois comme un exercicede style, destiné à rassurer le bailleur. Certaines ONG, pensant que sans évaluation externe,elles n’obtiendront pas ou difficilement des financements publics, peuvent être amenées àréaliser des évaluations de leurs projets.

Elles peuvent avoir du mal à intégrer les conclusions d’une évaluation, à les partager avec leurspartenaires, y compris leurs partenaires du Sud, à rebondir sur les recommandations,s’approprier les conclusions et se projeter au-delà de l’exercice. D’autres enfin, parfoistraumatisées par une évaluation trop sévère ou de mauvaise qualité, ne parviennent pas à ladépasser pour mieux avancer.

Il est important de toujours rappeler l’importance d’accorder à l’évaluation suffisamment detemps, de ressources financières et d’éviter ainsi des évaluations de mauvaise qualité.L’évaluation doit être portée par l’ensemble d’une équipe, du responsable opérationnel, auxresponsables de la structure et à ses instances de gouvernance (assemblée générale, conseild’administration, bureau, salariés), sans oublier d’y associer les partenaires du Sud, le plus enamont possible.

Il convient donc de toujours avoir à l’esprit qu’une évaluation n’est jamais une fin en soi, ellen’est pas l’alpha et l’oméga du projet, elle est un support, un outil. Elle complète l’outillagehabituel du pilotage et du suivi de projet, elle permet, à travers un regard extérieur, de prendrede la distance vis-à-vis de son action, de réinterroger sa stratégie et ses modes opératoires, devérifier les résultats par rapport aux objectifs, de mesurer son réel impact.

L’évaluation est aussi un support de visibilité et de communication vers l’extérieur, y comprisquand l’exercice a conclu sévèrement, et surtout si l’ONG sait s’en servir à bon escient.

Pour le bailleur, notamment l’AFD, l’évaluation est un enjeu important et permet de vérifierque les résultats sont à la hauteur des ambitions affichées par le projet au moment de soninstruction. Etant aussi un support parmi d’autres, l’évaluation est considérée à l’aune de seslimites (temps et subjectivité). Elle vient en complément du suivi régulier de l’état d’exécutiondes projets (validation des comptes rendus d’exécution annuels, visites de terrain, dialogueavec l’ONG, etc.).


De mauvaises conclusions d’une évaluation d’un projet n’entraînent pas nécessairement l’arrêtdu financement, dans la mesure où l’ONG est volontaire pour revoir ses modes opératoires,voire se remettre en question plus profondément.

Nous pouvons tous être confrontés à de mauvaises évaluations, à des évaluations décevantes,voire superficielles en termes de qualité d’analyse et de recommandations ; l’évaluation n’estpas une vérité en soi. Il convient de garder un regard critique sur les évaluations réalisées etd’en conserver la nature stratégique et prospective.

Perspectives et opportunités

Les points évoqués nourrissent la réflexion que mène l’AFD en lien étroit avec les ONG, et enparticulier le F3E, sur les limites de l’évaluation et les moyens d’en améliorer les résultats et laportée stratégique. Il est important pour l’AFD de réfléchir à de nouvelles formes d’évaluation,à des processus plus complémentaires, de ramener l’évaluation dans un tout et de ne pas ladissocier d’autres exercices. Les ONG ont dans ce domaine des capacités d’innovation etd’expérimentation qui nous paraissent tout à fait intéressantes.

Ainsi, avec le F3E, l’AFD a largement encouragé ces dernières années les exercices de suivi-évaluation, notamment pour les projets complexes ; le suivi-évaluation ne vient pas remplacerl’évaluation externe finale, il la complète et l’enrichit. La mise en place d’un outillage spécifiqueet le regard d’un évaluateur extérieur tout au long du projet permet de piloter plusétroitement le projet, de vérifier en continu l’adéquation des résultats du projet et desobjectifs de départ, d’en corriger les faiblesses avant l’exercice final d’évaluation.

L’AFD et le F3E ont convenu de lancer en 2013 le bilan de cette nouvelle forme d’évaluation,à laquelle l’AFD accorde beaucoup d’importance afin d’en vérifier la réelle plus-value.

Face à la complexité grandissante des projets, l’AFD réfléchit aux aspects qu’il conviendrait demieux prendre en compte dans l’analyse des projets ONG, notamment la mesure des effetset impacts des projets et celle des processus de renforcement de capacités.

En matière de renforcement de capacités, les ONG préoccupées par le renforcement de lasociété civile se sont fortement repositionnées en appui à leurs partenaires du Sud. Cetengagement se mesure autrement qu’à travers les schémas classiques de l’évaluation.

Nous touchons à des processus plus complexes prenant en compte des critères sociologiques,culturels et sémantiques. La mesure du résultat est plus subtile. Elle s’inscrit dans des processusplus longs, parfois difficiles à quantifier, à qualifier et à anticiper en termes d’effets.


Sur ces sujets, aujourd’hui au cœur des enjeux de développement, les acteurs de l’aide audéveloppement, les acteurs bilatéraux, internationaux et non gouvernementaux cherchentde nouveaux modèles de redevabilité et de mesure.

L’AFD souhaite travailler avec les ONG sur ces nouvelles dimensions de l’évaluation, véritablesenjeux pour renouveler l’aide au développement et en améliorer l’efficacité, mais qui exigentl’élaboration de critères d’évaluation bien plus complexes.

Je souhaite que ces réflexions, qui seront au cœur des discussions d’aujourd’hui, sepoursuivent au-delà de ce séminaire, qu’elles nourrissent l’ensemble de notre dialogue avecles ONG et les CT, ainsi que notre action dans le développement.


Mesurer l’impact et la qualité des actions dans le contexte del’efficacité du développement

Laurent Delcayrou

I l y a 18 ans, les acteurs associatifs au premier rang desquels les ONG, convainquaient leministère des Affaires étrangères de leur confier un dispositif technique et financier quisoutienne leurs propres études et évaluations. Quelques années plus tard, au tournant dusiècle, les ONG étaient rejointes par les autorités locales et constituaient la base associative duF3E tel qu’il existe aujourd’hui, un dispositif pluri-acteur d’une centaine de membres (2/3d’ONG, 1/3 d’Autorités locales et régionales (ALR), 2 hôpitaux), fort d’une équipe techniquede dix salariés et d’un pool de consultants de haut niveau. Tous sont mobilisés pour travaillerensemble sur la qualité et l’impact des actions de solidarité internationale et de coopérationdécentralisée.

La publication présentée ici est le fruit d’un important travail conjoint avec l’AFD, ayant eucomme point de départ un premier séminaire organisé le 15 octobre 2012, intitulé« L’évaluation en évolution. Pratiques et enjeux de l’évaluation dans le contexte de l’efficacitédu développement » et qui, pour le F3E, a constitué une opportunité sans précédent pourtrois raisons principales :

- 18 ans après le séminaire « Evaluer pour évoluer », à l’issue duquel le F3E a été créé, cettejournée a permis de dresser un état des lieux ou de la question des pratiques et des enjeuxde l’évaluation. Qu’en est-il en 2012 ? Ce séminaire a ainsi mis en perspective les évolutionspropres du F3E. De l’objectif historique de diffusion de la culture de l’évaluation àl’adaptabilité des méthodes et modalités d’accompagnement, quel chemin parcouru pour leF3E en tant que réseau, mais également pour les membres qui le constituent ? En matièred’évaluation, le secteur de la solidarité internationale et de la coopération au développementn’est-il pas avant-gardiste ?

- Ce séminaire a constitué une nouvelle forme de collaboration avec l’AFD, complémentaire denotre partenariat institutionnel et stratégique, mais davantage orienté sur le partage decontenus. Ce premier séminaire AFD-F3E a traduit des centres d’intérêt communs et lavolonté partagée d’approfondir le pendant substantiel et stratégique de l’évaluation. Ce


séminaire n’est que le premier d’une série destinée à éclaircir les enjeux de l’évaluation dansun contexte d’efficacité croissante du développement. La thématique choisie était ainsivolontairement large mais est destinée à se resserrer chaque fois autour de questionnementsspécifiques et circonstanciés. L’année 2014 sera ainsi dédiée au changement social.

- Ce séminaire s’inscrit dans un contexte national et international particulièrement propice.L’accroissement annoncé des financements français destinés aux ONG renforce l’intérêt despouvoirs publics sur les questions de transparence, de redevalibité et, plus largement,d’évaluation de la qualité des actions.

L’Agenda international du développement, en faisant une place croissante aux organisations dela société civile et désormais au secteur privé, en parlant d’efficacité du développement et nonplus seulement d’efficacité de l’aide, fournit une actualité nouvelle aux questions, y comprisméthodologiques, d’évaluation de cette « efficacité ». Sujet sur lequel travaille le F3E depuis sacréation.

La réflexion sur l’efficacité du développement, si elle n’est pas récente, se formalise, depuispeu, en plan d’action pour les ONG. Ce n’est qu’en 2008, à Accra, que les OSC sont reconnuescomme des acteurs clefs du développement, aux côtés des bail leurs internationaux etnationaux, qu’elles observent depuis de longues années, et sur lesquelles elles se veulentinfluentes. Les OSC sont alors interpellées sur leur propre efficacité et commencent à enélaborer la vision. A peine deux ans plus tard, sont présentés à Istanbul les « principes surl’efficacité de la contribution des OSC au développement », plus connus sous le nom deprincipes d’Istanbul, se réclamant « de valeurs et de qualités, censées inspirer les relationspolitiques, socioéconomiques et organisationnelles » et se voulant « des références universellespour les activités qu’elles mènent au service du développement ». Au 4e forum de haut niveau,en 2011, ces principes d’Istanbul sont reconnus par l’ensemble des acteurs du développement,rejoints à Busan même par le secteur privé, sans autre forme de procès�

Au moins quatre de ces principes interpellent le F3E directement dans son métier.

Les OSC sont des acteurs du développement efficaces lorsqu’elles :

• pratiquent la transparence et la redevabilité (principe n° 5),

• instituent des partenariats équitables et solidaires (principe n° 6),

• créent et mutualisent les savoirs et s’engagent dans l’apprentissage mutuel (principe n° 7),

• s’engagent à obtenir des changements positifs et durables (principe n° 8).


Entre apprentissage et redevabilité, l’évaluation se situe au cœur de ces principes d’Istanbulportés par les OSC, et sa conception s’ancre de plus en plus dans les pratiques des acteurs, avecle premier objectif de les servir. Le collectif F3E, par son expérience unique des problématiquesde l’évaluation, se positionne en phase avec ces agendas national, mais aussi européen etinternational[9].

Devant le risque croissant de banalisation des évaluations externes, du fait de leursystématisation, le F3E promeut des démarches évaluatives soucieuses de rendre compte dela complexité des pratiques, à l ’ instar de celle des processus de développement, desméthodologies nouvelles capables d’apprécier la contribution de l’action au changement,plutôt que la recherche d’une attribution linéaire entre activités-résultats-effets et impacts. En1994, à la naissance du F3E, mener une évaluation ex post pour une ONG devait probablementêtre très innovant. Où se situe aujourd’hui l’innovation en matière d’évaluation ? C’est ce àquoi le séminaire a tenté en partie de répondre, et nous remercions de nouveau l’AFD decette co-organisation qui a déjà montré à quel point elle pouvait se révéler efficace et agréable.Merci également à tous les panelistes et contributeurs à cette journée.


[9] C’est pourquoi le F3E a souhaité en 2013 contribuer aux Assises du développement et de la solidarité internationaleet est membre des groupes de travail sur l’efficacité du développement au sein de CONCORD et du partenariatmondial pour l’efficacité des OSC.


1. Enjeux et défis ducontexte de l’efficacité

de l’aide et dudéveloppement

[ ] ©AFD /L’évaluation en évolution / Février 201434

1.1.1. Des enjeux de l’évaluation àreplacer dans le bon ordre depriorités

Les enjeux de l’évaluation sont divers etnombreux et je souhaiterais revenir sur troisd’entre eux, par ordre d’importance.

Le premier enjeu est la notiond’accountability downwards . C’est envers lebas, le terrain, les gens avec lesquels ontravail le, les populations locales que noussommes avant tout redevables. Quelleinformation, quel type de communicationadopter envers les personnes avec lesquelleset pour lesquelles nous travail lons ? C’estd’abord à el les que nous devons plus detransparence, d’information et de redeva -bilité. C’est la première priorité des ONG,réaffirmée à l ’occasion du processusinternational du forum ouvert sur l’efficacitédu développement pour la société civile.

Le deuxième est l’apprentissage. Apprendrede nos pratiques pour faire mieux etéchanger entre acteurs pour enrichir notresavoir-faire.

Ensuite seulement, l’exigence des donateursde disposer d’outils pour rendre compte vis-à-vis de leur propre constituency. Les fameux

‘tax payers’ qui donneraient aux citoyens quipaient des impôts des droits spécifiques parrapport à ceux qui n’en paient pas. Pournous, les institutions publiques sontredevables vis-à-vis de tous les citoyens etdes partis politiques.

Paradoxalement et depuis 20 ans, nousfaisons de l’évaluation construite princi -palement pour répondre aux attentes desdonateurs. Au sein de CONCORD, nousremettons profondément en cause cet ordrede priorités.

1.1.2. Le cadre international de Paris àBusan et l’engagement de lasociété civile en faveur del’efficacité du développement

Le débat sur l’évaluation s’inscrit aujourd’huidans un cadre international qui n’est pasnouveau mais qui suit cette longue route quiva de Rome (2002) à Busan (2011) en passantpar Paris (2005) et Accra (2008). Nouspouvons être satisfaits car si ce processusintéressant est le fruit de nombreusescontributions, nous avons joué un rôle clépour faire évoluer l’agenda sur l’efficacité del’aide (qui, dès le début et dans la Déclarationde Paris, était principalement centré sur latechnique et la tuyauterie de l’aide) vers un


1.1. L’évaluation, Paris, Busan et la société civile

Olivier Consolo

agenda où il est question de l’efficacité dudéveloppement (de l’eau qui coule dans lestuyaux).

Il s’agit d’un changement majeur qui ne seserait sans doute pas produit spontanémentsi les donateurs étaient restés à discuterentre eux des questions techniques etd’efficacité de l’aide. A Bruxelles, lors de lapremière consultation formelle avec lasociété civile mondiale sur la Déclaration deParis, organisée par CONCORD à lademande de l’OCDE, en octobre 2007, Jean-Louis Vielajus, délégué Europe de Coor -dination Sud et membre du conseild’administration de CONCORD ainsi queJustin Kilcullen, président de CONCORD,encourageaient les représentants des ONGdes pays de l’OCDE à al ler au-delà del’efficacité de l’aide et de l ’approchetraditionnelle de l’évaluation, c’est-à-direl’évaluation par les résultats (des projets). Cefut le point de départ d’un processus inclusif,long et complexe, le forum ouvert de laSociété civile pour l’efficacité du dévelop -pement, rebaptisé, à Busan, « Partenariatmondial pour l’efficacité du développementet de la coopération ».

L’AFD, depuis le début de ce processus, s’estintéressée aux propositions de la sociétécivi le et a investi quelques ressourcesnécessaires à son démarrage. L’AFD a ainsiété l ’un des premiers bail leurs bilatérauxeuropéens à offrir des ressources financièresen faveur de cette initiative.

1.1.3. L’importance des mots, desobjectifs et des définitions

Bien que la question de savoir si lacoopération est une politique publique

comme les autres fasse l’objet de débats, ilest clair qu’elle répond tout de même à uncadre international et européen. Or, lapolitique de coopération au développementdans l ’Union européenne est aujourd’huieuropéenne, même dans sa dimensionbilatérale. El le répond à un consensuseuropéen approuvé par la Commissioneuropéenne et les Etats membres, et s’inscritdans des instruments financiers et politiques,notamment dans le traité de Lisbonne. Ellerépond à un seul objectif , clair : la luttecontre la pauvreté. Tout ce qui tient del’évaluation, quel que soit le niveau considérédoit être examiné au regard de cet objectifmajeur, contraignant et réaffirmé maintesfois par les institutions, notammenteuropéennes.

Nous pensons ainsi que toute évaluation dela coopération au développement doitporter — avant toutes autres considérations —sur l’analyse de l’impact de nos actions sur lalutte contre la pauvreté. Cela ne va pasnécessairement de soi. Bien souvent encore,ce sont des objectifs indirects qui sontévalués. Aujourd’hui, par exemple, l’évalu a -tion de l’ impact de la coopération sur lacroissance économique est de mise, laissantentendre que la croissance mène auto -matiquement et directement à la réductionde la pauvreté... Au regard de la croissancedes inégalités partout dans le monde, et dufait que deux tiers des pauvres viventactuellement dans des pays à fortecroissance économique depuis plus de dixans, pouvons-nous encore faire l’économiede cette question cruciale ?

I l convient de placer au centre de nosdémarches de coopération et de dévelop -pement, la participation au processus de


développement et la question des Droits del’homme. Ces deux aspects nous semblenttout aussi importants que les indicateurs derésultats (development outcomes) .

Ainsi , cette façon traditionnelle deconsidérer l’évaluation comme une analysedes résultats obtenus par un projet sur lecourt terme nous semble obsolète, et il estbienvenu que le nouveau cadre international(Partenariat de Busan pour une coopérationefficace au service du développement) ailleau-delà. La communauté internationaledispose d’ai l leurs de mil l iers de rapportsfinancés et exigés par les donateurs, mais quepersonne n’utilise. Il est temps de porter unnouveau regard sur ces outils dépassés.

La société civile s’est aujourd’hui engagée auniveau international et national à suivre sespropres principes pour l ’efficacité dudéveloppement : les principes d’Istanbul[10].Ce n’est pas chose facile, car si la critique estaisée, notre pratique est toujours plusexigeante. Nous sommes résolumentengagés, mais le chemin à parcourir pourmettre en œuvre ces principes dans chacunede nos organisations, programmes oupartenariats est encore long.

Sur les huit principes d’Istanbul, quatre sonten relation directe avec l’évaluation, au senslarge : les principes 5 et 7 qui concernent laresponsabilité, la création et le partage desconnaissances, ainsi que le principe 3 quitouche à l’appropriation par les populationslocales et l’ownership démocratique. Vientenfin le principe 8, qui a trait à l’engagement

pris par la société civi le de réaliser deschangements positifs et durables envers lespopulations les plus pauvres et marginaliséeset les générations futures.

Le lien entre l’efficacité du développementde la société civi le et ce qu’on appellel’environnement favorable pour lesorganisations de la société civi le estégalement une question clé, sachant que lesperformances de la société civile dépendenten grande partie du cadre institutionnel, légalet politique dans lequel elle se développe,ainsi que des outils de financement. C’estaussi vrai en Europe, mais surtout de misedans les pays en développement. I l s’agitd’une responsabilité prise par les États et parles autorités nationales. Ce cadre général,politique et juridique ne dépend pasdirectement de la société civi le quoiqu’i limpacte lourdement les acteurs nongouvernementaux. Si l’on veut une sociétécivile performante, il faut lui donner un cadreet un environnement qui lui permette defonctionner et de jouer au maximum de sespotentiels. Cela n’est pas acquis.

Les ONG et la société civile en général fontun suivi (monitoring), au niveau international,du droit associatif et des conditions del’environnement propice aux OSC. Lesnouvelles ne sont pas bonnes, même enEurope. En Russie, par exemple, on assiste àune réduction des espaces de libertés pour lasociété civi le. C’est pourquoi les Nationsunies viennent de nommer le Kenyan MainaKiai rapporteur spécial pour la l ibertéd’association et d’assemblée.


[10] http://www.cso-effectiveness.org/IMG/pdf/principles_french.pdf

Pour autant et de manière plus optimiste, enoctobre 2012, la Commission européenne apublié sa nouvelle communication sur lasociété civile dans le développement[11]. Nousconsidérons qu’i l s’agit d’un excellentdocument qui reconnaît pour la premièrefois de manière officielle le rôle politique desacteurs de la société civi le et leurcontribution à tout processus dedémocratisation. Cette communicationdevrait avoir des effets positifs sur le longterme.

1.1.4. Que nous dit Busan surl’évaluation à un niveauinstitutionnel et vis-à-vis desdonateurs bilatéraux etinternationaux?

Quatre principes importants ont été retenuset approfondis à Busan par la communautéinternationale : l’ownership , le focus sur lesrésultats, les partenariats inclusifs et tout cequi relève de la transparence et de laredevabil ité mutuelle. Au moins trois desquatre principes de Busan sont directementliés à la question de l’évaluation.

Busan a également entériné la création dupartenariat global pour le développement,censé être mis en place actuellement. Dansune démarche évaluative et autocritique,notons qu’i l aura fal lu dix ans à lacommunauté internationale pour mettre enœuvre l’objectif Huit du Millénaire, appelantà créer des partenariats globaux pour ledéveloppement. Dix années pour accepter

l’idée de nous mettre tous ensemble autourd’une même table et au même niveau, entrepairs.

Dans ce nouveau cadre, l ’évaluations’orientera sans doute davantage vers desévaluations « pays », régionales ousectoriel les, de manière à regarder lescontributions des différents acteurs à uneproblématique donnée sur un territoire, unprocessus ou un secteur d’activité. Cela seratrès enrichissant. Cessera-t-on enfin decloisonner les évaluations : une évaluationpour l’État, une pour une agence de coopé -ration, une autre encore pour les ONG ? Aucontraire, il nous faudra examiner ce qui s’estpassé sur un territoire donné au cours desdix ou quinze dernières années, lesdifférentes synergies, ce qui a été fait , lesprocessus qui ont fonctionné. Ce partenariatglobal pour le développement, l’ambition deBusan, devrait influencer positivement nosmanières de conduire les évaluations.

I l est également intéressant de porter unregard sur l ’évaluation des processusinternationaux eux-mêmes. Le processus del’efficacité de l’aide a été évalué[12] et a faitl’objet de benchmark[13]. Les évaluations ontnotamment montré que les donateurs n’ontpas fait « la moitié du quart du chemin »pour lequel ils s’étaient engagés en 2005. Desrapports ont été publiés, à Accra, puis àBusan dans lesquels nous rappelions la règleselon laquelle aujourd’hui une ONG a intérêtà montrer que sa dernière évaluation estplutôt positive, si el le veut garder ou


[11] Elle remplace et dépasse la communication de 2002 où il était question alors des acteurs non étatiques (ANE). Les ins-titutions européennes reviennent à la définition internationale initiale qui est celle des acteurs de la société civileorganisée (CSO).

[12] Voir : http://www.oecd.org/dac/evaluation/

[13] Voir : http://www.betteraid.org

renouveler l ’appui des donateurs institu -tionnels. Mais du côté des donateurs, il peuty avoir des évaluations qui montrent que celane fonctionne pas correctement, sans quecela ne change quoi que ce soit. Sans parlerde sanctions, nous aimerions qu’il y ait deseffets, une rétro al imentation et que cesévaluations garantissent une pression sur lacommunauté internationale. I l faut que laformulation de recommandations et d’indi -cateurs de suivi, incite aux changements dansles orientations futures et influe sur lesdécisions politiques, plutôt que de fairefonctionner l ’ industrie de l ’aide telle uneusine à gaz.

Les Nations unies sont maintenant engagéesdans ce processus, au niveau d’un co-pilotage avec l ’OCDE. Mais interrogeonsnous sur l’expérience des Nations unies enmatière d’évaluation. S’il y a des ajustementset des synergies à construire entre leséquipes de l’OCDE et celles du départementdes Affaires économiques et sociales desNations unies (UNDESA) ou du Programmedes Nations unies pour le développement(PNUD), quels seront les changementsaffectés à la culture de l’évaluation ?

De la même manière, l’un des building blocksqui ont émergés à Busan concerne le « secteur privé dans le développement ».S’agissant d’une initiative volontaire, en tantque société civi le, nous nous retrouvonsofficiellement avec le secteur privé autour dela table de la coopération au dévelop -pement, mais sans aucun engagement précisde leur part. Mais lorsque les ONG et autresacteurs de la société civi le ont pour lapremière fois critiqué la Déclaration de Parissur l’efficacité de l’aide , les donateurs nousont renvoyé à nos responsabilités.

C’est pourquoi nous nous sommes engagésà lancer un processus de cinq années detravail intense, le forum ouvert sur l’efficacitédes OSC . Aussi, autorisons-nous aujourd’huià interroger le secteur privé sur ses principesde transparence avant d’envisager desallocations de fonds publics.

1.1.5. Quelques clés du succès del’évaluation et des pistes àapprofondir

Le parcours dans l’évaluation est une notionimportante car l’élaboration des termes deréférence et l’identification des indicateurspour l ’évaluation constituent par eux-mêmes une grande partie du chemin àaccomplir. Par ai l leurs, le suivi desrecommandations selon une visiontransversale doit s’ imposer au-delà dessecteurs et des services concernés, desdépartements concernés au sein de nosorganisations et institutions. Le l ien entreévaluation, formation, ressources humaines(notamment le phénomène du turn over descollaborateurs qui l imite l ’ investissementdans le capital humain sur le long terme),doit aussi être étayé.

Vingt ans d’expérience d’évaluation pour leF3E, c’est peut-être aussi le bon momentpour « évaluer l’évaluation ». Depuis dix ouquinze ans, l ’évaluation a tendance à sestandardiser et à se professionnaliser. Lesacteurs qui arrivent sérieusement à aborderl’évaluation sont souvent des organisationsde grande tail le avec des ressourceshumaines et financières adaptées. Pour lespetites et moyennes organisations, point desalut sans des outils collectifs. A ce titre, leF3E reste une expérience unique au niveaueuropéen, qui mériterait d’être répliquée


ail leurs ou intégrée dans un dispositifeuropéen.

Il faut également rappeler que l’évaluationparticipe du débat démocratique puisqu’elleest une remise en question, un exerciced’honnêteté et d’autocritique constructive.

Enfin, quand nous parlons d’évaluation nousparlons des opérateurs, des acteurs, despopulations, des institutions ou des

politiques publiques, mais i l serait bon dediscuter aussi du modèle de développementqui est promu explicitement ou implici -tement à travers la coopération au dévelop -pement. La question du modèle dedéveloppement que nous exportons àtravers toutes nos coopérations sembleencore rester un tabou. Un modèle quipourrait après tout s’avérer être un mauvaismodèle� ?


Parmi les principales limites et critiques quela société civile avait porté au processus deParis[14], il y avait le fait que la Déclaration etles engagements qui en découlaient,privilégiaient une approche trop technique,et pas suffisamment politique dudéveloppement. Si les principes de Paris nousparaissaient parfaitement valables, voireindispensables pour une grande part d’entreeux, notamment celui de l’appropriation, dela responsabilité mutuelle, de l’harmonisationdes pratiques ou encore de la prévisibilité etde la transparence de l’aide, il n’en demeuraitpas moins qu’i ls souffraient de deuxfaiblesses originelles fondamentales.Premièrement, i ls ne s’appliquaient qu’àl’aide et non pas aux conditions dudéveloppement, et se déclinaient de ce faitdans un cadre trop isolé du contexteéconomique et politique environnant, de la

réalité des enjeux et des rapports de forceentre acteurs locaux, nationaux etinternationaux. Deuxièmement, le cadreconcernait strictement les Etats et lesbail leurs, ignorant alors les rôles etcontributions, positifs ou négatifs, mais entout état de cause influents, des autresacteurs : OSC, CT ou secteur marchand.C’est pourquoi, depuis 2005, les OSC se sontorganisées au niveau mondial dans le cadredu forum ouvert pour l’efficacité de lacontribution des OSC au développement[15],pour affirmer d’abord leur présence, maisaussi leur légitimité à prendre part auxdébats et à travail ler sur leurs propresengagements et critères en matièred’efficacité. Ce processus a permis, dès leforum de haut niveau à Accra en 2008, defaire reconnaître le rôle et l’importance de laprise en compte des OSC dans les processus


1.2. De l’efficacité de l’aide àl’efficacité du développement.Des pas mesurés vers une lecture

moins technocratique dudéveloppement

Philippe Jahshan

[14] Déclaration de Paris sur l’efficacité de l’Aide – 2 mars 2005

[15] www.cso-effectiveness.org

de développement et d’efficacité del’aide, pour finir de les intégrer pleinement àBusan, dans un partenariat mondial pourl’efficacité de la coopération au dévelop -pement. Un partenariat pluri-acteurs quiengage l’ensemble des parties. Sur le papier,c’est une belle avancée.

1.2.1. Les succès et limites de Busan

Les engagements du 4e forum de haut niveausur l’efficacité de l’aide à Busan demeurentdans le domaine de la soft law, qui souffred’absence de contraintes juridiques sur lesacteurs. Ils ouvrent néanmoins la voie d’unrenouvellement indéniable de l’analyse ducontexte et d’un début de sortie desornières restrictives de la Déclaration deParis.

Tout d’abord, i l ne s’agit plus strictementd’efficacité de l’aide , mais de la coopérationau développement , évolution sémantiqueimportante portant vers une dimension plusintégrée du processus, même si dans les faitscomme nous le verrons, le système demeurefondamentalement conçu autour del’analyse et du suivi de l ’aide, de sonattribution et de son utilisation.

Ensuite, il y a un élargissement bienvenu ducercle des parties prenantes : le partenariat estmondial, il intègre les pays émergents, et lesacteurs non étatiques. Cet élargissement estfondamental pour consolider une logique deresponsabilité mutuelle et de redevabilitéintégrant tous les acteurs agissant dans lechamp du développement. Certains principes

connaissent une évolution notable, et qui a étépoussée par les OSC : le principe de l’appro -priation démocratique est intégré et cité àdeux reprises. Il ne concerne plus les seuls Etatsbénéficiaires, mais également la nécessaireimplication et appropriation des politiques dedéveloppement par les parlements, les éluslocaux, la société civile et les populations ausens large. Il ouvre de nouvelles perspectives, ycompris pour l’évaluation.

Enfin, parmi les problématiques portées parles OSC et retenues à Busan, il y a égalementla question de l’environnement favorable àl ’action libre et non entravée des sociétésciviles. Principe fondamental pour plusieursraisons : d’abord, pour aider à l’émergenceet à la structuration des sociétés civi les,notamment dans des territoires où cela n’estpas encore possible ; ensuite, pour rendreeffective l’appropriation démocratique despolitiques de développement et de contrôlede l’aide, ou encore son accessibil ité auxacteurs de proximité ; enfin, pour permettreune participation réelle des OSC auxdialogues nationaux sur les priorités, ladéfinition des résultats et leur suivi. Il étaitdonc important que ce principe soit retenupar les parties prenantes, d’autant plus quec’est sur ce terrain, entre autres, que lesévaluations de la mise en œuvre desprincipes de la Déclaration de Paris ont notéd’importantes disparités [16]. Busan enfinrenforce le principe de responsabil itépartagée, notamment pour les bail leurs,réaffirme l’ importance d’une meil leureprévisibilité de l’aide de 3 à 5 ans, laquelle aeu tendance à régresser[17], et redonne via la


[16] OCDE (2012), Efficacité de l’aide 2011 : progrès accomplis dans la mise en œuvre de la Déclaration de Paris, pourune meilleure aide au développement , OCDE, Paris.

[17] Ibid.

logique des building blocks, un élan àcertains principes dont la mise en œuvreétait demeurée faible depuis 2005.

Néanmoins, le forum de Busan n’est pas alléau bout de sa logique et des l imitesimportantes au processus demeurent : toutd’abord, l ’analyse reste fondée sur unelecture des relations parfois trop binaire, et lesystème est encore trop structuré autourd’une approche restrictive et dépassée dumonde : les donneurs et les pays béné -ficiaires – le Nord et le Sud – adaptation del’aide aux priorités nationales. Premi èrement,l ’aide n’étant pas le seul ni le principalvecteur de développement il convenait dedépasser ce strict cadre d’analyse pourenglober tous les facteurs qui concourent audéveloppement, et travail ler sur desprincipes adaptés à cela. Deuxièmement,l’interdépendance crois sante des économies,des sociétés et des écosystèmes, ne peut sesatisfaire de stratégies (dites) strictementnationales. Celles-ci peuvent-elles l ’êtred’ailleurs encore aujourd’hui ? Avec quellescapacités et quelle réelle indépendance sont-elles établies ? Cela sans compter la nécessité,loin d’être garantie, que ces stratégies aientété élaborées en associant véritablementl’ensemble des parties prenantes, nonétatiques notamment, et de façontransparente. Que l’aide doive correspondreaux besoins et demandes réelles des paysbénéficiaires, c’est un principe intangible ;mais si l’on sort de la seule logique de l’aideet que l’on se place dans une logique departenariat solidaire entre parties co-responsables d’un même espace mondial, sur

lequel les politiques domestiques, qu’ellessoient au Nord ou au Sud, produisent deseffets au-delà des frontières nationales, alorsc’est une toute autre interprétation duprincipe de responsabilité mutuelle que l’ondevrait avoir, fondée sur une plus grandeparité et équité des acteurs, quels qu’i lssoient. Enfin, le développement étant l’effetd’une combinaison complexe de politiquespubliques et d’interventions non étatiques, ilne peut y avoir efficacité du développementsans régulation et mise en cohérence despolitiques et des acteurs, afin de ne pasréduire d’une main ce que l’on fait de l’autre.Par conséquent, la responsabilité desdits paysdonateurs ne doit plus porter uniquementsur leur gestion de l’aide et son adaptationaux stratégies locales, mais sur l’ensemble deleurs politiques publiques ayant un effet surle développement. Aussi, cela nécessite-t-ilun suivi et un système de veil le sur cescohérences (ou incohérences) que leprocessus de Busan ne prévoit pas.

Enfin, si la logique des building blocks[18] estintéressante par sa souplesse, el le peutporter en elle un risque d’éclatement de lacohérence du système fondé sur desprincipes complémentaires, et finalement decreusement des différences d’avancemententre la mise en œuvre des principes, d’unepart, et entre groupes de pays, d’autre part.La logique d’émulation peut avoir des effetssains, mais cela suppose d’avoir une volontépolitique suffisante pour faire avancer leprocessus dans son ensemble ; autrementelle peut constituer un risque de recul sur lefond et un progressif délitement du cadre. Et


[18] Les building blocks sont des initiatives lancées à l’occasion du 4e forum de haut niveau sur l’efficacité de l’aide pourinviter les partenaires à unir volontairement leurs efforts et faire progresser certains principes clés de la Déclarationde Paris. Voir : www.oecd.org/fr/cad/efficacite/

quoi qu’on en dise, l’un des intérêts forts dela Déclaration de Paris, réside dans ce qu’elleconstitue un cadre de référence global, portépar des principes cohérents et complé -mentaires. En définitive, c’est le champd’application de ces principes qu’il convientd’élargir au-delà de l’aide, et leur ratta -chement à des objectifs et des engagementspolitiques plus nets. De ce point de vue,Busan n’aura pas permis de franchir le cap.

1.2.2. Une évaluation plus efficace au service de l’efficacité dudéveloppement

Le rôle de l’évaluation dans ce cadre et sonimportance dans le processus ne font aucundoute. C’est un exercice fondamental . Lafaçon dont il est traité détermine son degréd’influence et la qualité de l’évaluation. Enoutre, reflétant toujours une certaine réalité,il est indispensable que ce reflet puisse être lemoins biaisé et le plus partagé possible. Aussi,dans la suite du forum de Busan, le rôle del’évaluation s’est trouvé renforcé etdémultiplié. Plusieurs conséquences endécoulent, pesant sur ses objectifs toutd’abord, sur son objet ensuite, et enfin surles modalités de son traitement par lesparties prenantes. Ainsi , pour améliorerl’efficacité des politiques, i l convient decontinuer à travail ler sur la qualité etl’efficience des évaluations de ces politiques,tout autant dans leur objet que dans leurconduite ou leur mode de gouvernance.

1.2.3. Enjeux de l’évaluation

Tout d’abord, il paraît essentiel de soulignerla multiplicité des enjeux que l’évaluationcomporte, son degré d’importance et sa

dimension éminemment stratégique. Labonne « reddition » des résultats de l’actionest une de ses fonctions majeures, toutefoisl’exercice évaluatif en tant que processusprésente aussi des fonctions parti culi -èrement utiles, comme l’appropriation, latransparence, la responsabil ité mutuelle,notamment. L’évaluation, toujours commeprocessus, est fortement porteused’apprentissage collectif . Lui ajouter lesfonctions de correction, d’aide au pilotage,de communication ou de valorisation desrésultats, auprès d’un nombre d’acteurstoujours croissant (bail leurs, bénéficiaires,électeurs, élus, grand public, etc.) , laissecraindre une charge trop lourde à assumer,sans compter les risques permanentsd’instrumentalisation, proportionnels auxenjeux.

Par conséquent, en faire un instrument à lafois plus efficace et objectif d’analyse auservice de politiques de développement dequalité, requiert de revenir sur les objetsprioritaires de mesure de l’évaluation et surles indicateurs de ces mesures, de revenirégalement sur la conduite et la gouvernancedes évaluations, et enfin, très probablement,sur une démultiplication des instrumentsévaluatifs.

1.2.4. Mieux évaluer les processus etsortir des standards du cadrelogique

Avant toute chose, l ’évaluation doits’attacher davantage à la mesure desprocessus engagés et de leur qualité ainsiqu’à la qualité des résultats obtenus. Ledéveloppement, nous le savons, n’est pas unétat mais un processus mouvant et non


délimité, qui s’accommode mal du courtterme. Enfin, il est constitué de croisementset d’interactions multiples, de politiques,d’événements et d’acteurs divers, tout à lafois endogènes et exogènes. Il faut en ce sensreconnaître une part d’inconnu et de risqueà toute politique ou projet de dévelop -pement, ainsi qu’une relativité du lien entrel’action et les résultats attendus. Commeacteurs ou décideurs, que maîtrisons-nousvraiment ? Notre action consiste princi -palement dans une influence des processus,en faisant le pari plus ou moins risqué, selonle contexte, qu’un bon processus produira debons résultats. Cette conviction estfermement ancrée dans l ’ idée qu’unprocessus de qualité est de nature plusdurable qu’un résultat, fût-il bon, de mêmequ’i l est producteur d’effets et d’impactcertainement plus importants. Lesinstruments d’acheminement de l’aideprennent encore insuffisamment en comptecette logique des processus et l’analyse deleur qualité. Cette logique fait-el le assezl’objet d’attention des évaluations et de leursconclusions ? La tentation récurrente decommunication, de visibi l ité et deredevabil ité des parties, amène souvent àprivilégier ce qui se communique facilement(le résultat) et ce qui est visible, au détrimentdu processus ou des effets ; plus complexes àanalyser, i ls sont en effet plus diffici les àdémontrer. Ainsi , i l nous semble que desmarges certaines de progrès et d’innovationsont encore possibles sur ces champs,notamment en matière de méthodologie etd’indicateurs pour sortir de l’enfermementdu cadre logique ou de standards souffrantd’une universalisation excessive.

1.2.5. Un instrument de dialogue etd’apprentissage collectif

Au-delà de l’objet même de l’évaluation, laquestion des modalités de pilotage nousparaît également fondamentale. Pour que lesinnombrables études ne soient plus ignorées,oubliées au mieux, mal appropriées, biaisées,non reconnues ou délégitimées au pire, nousdevons nous pencher sur des principesinsuffisamment pris en compte :

• Tout d’abord, faire de l’évaluation unprocessus pleinement démocratique etgouverné par toutes les partiesprenantes, impliquant les commanditairesde l’évaluation, les acteurs comme objetsde l’évaluation et toute autre partieprenante à la politique ou au programmeanalysé. Dès lors que l’élaboration despolitiques de développement aura étéparticipative et concertée, comme l’ontpréconisé les partenaires à Busan,l ’évaluation devrait l ’être également,depuis l ’établissement des objectifs etTdR de l’étude, jusqu’à son terme — nondans l’optique d’un outil de sanction oude contrôle, mais d’apprentissagecollectif. Cela permettrait de nourrir laconfrontation des points de vue, ledialogue entre des acteurs dont lesintérêts particuliers sont potentiellementdivergents. Pour que l’exercice soit à lahauteur de la complexité du dévelop -pement et qu’il serve à son appropriationdémocratique, i l doit permettre auxdifférentes parties de s’ interroger surelles-mêmes et entre elles. I l doit aussidonner une plus grande place à l’analysedes contextes et des autres stratégies encours au moment de l’action.


• Notre expérience de praticiens nous aenseigné que l’ intérêt majeur d’uneévaluation réside autant, sinon plus, dansce qu’elle comporte de processusapprenant et de dialogue — expliciter lesattentes, malentendus, objectifs etintérêts implicites entre acteurs — quedans ce qu’elle dit de l’action évaluée etde ses résultats. L’évaluation commeopportunité de dialogue et de concer -tation pluri-acteurs, est une garantied’appropriation et de responsabil itémutuelle.

• Cela amène à s’interroger sur le dialoguesouvent tendu et mal géré qui s’instaureentre l ’expert et l ’acteur. Quelle voixprivilégier ? Quel équilibre trouver entreles différents points de vue ? Là aussi ,démocratiser l’évaluation, c’est rappro -cher les acteurs de l’expert, susciterl’ intérêt de faire plus d’évaluation.L’expérience montre toute la difficulté des’engager dans de tels exercices, notam -ment la crainte de ne pas saisir l’appa -rente complexité du jargon, de se voirconfronté à un jugement sans appelpouvant conduire à un rejet desconclusions. Le risque est amplifié sil’acteur n’a pas été suffisamment associéà la démarche. Les acteurs manquentparfois de confiance dans la capacité del’expertise à nous enseigner plus que l’onne sait déjà, un coût que l’on préfèreraalors investir ailleurs. Aussi, la posture del’expertise est-elle à interroger. En quoifavorise-t-elle l ’expression ? De quelsleviers dispose-t-on contre l’inhibition ?

Enfin la portée stratégique de l’évaluation estlimitée par des moyens et une durée trop

souvent sous-estimés, ce qui réduit la fiabilitéde l’exercice.

1.2.6. Démultiplier les instruments etles formes d’évaluation

Pour toutes les raisons évoquées, i l nousparaît fondamental de ne pas faire reposersur un seul exercice trop d’enjeux et tropd’attentes, et de relativiser les résultats d’unexercice. Pour répondre au paradoxe del’ importance d’évaluer et la relativité del’évaluation, il faudrait examiner l’utilité de ladémultiplication des outils évaluatifs — évaluations externes, autoévaluationsaccompagnées, suivi-évaluation, mesures etévaluations d’impact, etc. — pour privilégierune combinaison d’instruments pouvantaider à mieux répondre aux différentsenjeux, à donner une photographie moinsstatique et plus proche des réalités vécues lelong d’un programme, et par conséquent duprocessus mis en œuvre. Enfin, continuer à mil iter pour que plus de moyens et detemps dédiés aux évaluations, demeureindispensable.

1.2.7. L’après Busan et quelqueséléments de perspective pourune autre lecture dudéveloppement

En conclusion, revenons sur deuxperspectives qui s’ouvrent après Busan, etqui sont davantage au diapason du mondeactuel, multilatéral, multipolaire et porté surplusieurs axes d’influence. La première sefonde sur l ’engagement d’un partenariatmondial plus intégré et pluri-acteurs, véritablenouveauté. Ce partenariat sans contraintesjuridiques fortes est aussi porteur des forcesde la soft law qui, par l’effet du nombre et du


regard des pairs, oblige chacun à faire face àses responsabilités. Ce partenariat engagel’ensemble des parties prenantes, dès lorsqu’elles sont effectivement actrices, et doncredevables vis-à-vis des autres de leursactions. I l ouvre ainsi des perspectivesnouvelles pour progresser sur le champ del’appropriation publique des politiques dedéveloppement. I l est aussi porteur d’unenouvelle vision, qui peut faciliter la voie versune lecture et un suivi plus politiques desprocessus de développement, fondés plusexplicitement sur l’articulation entre acteurset politiques diverses. Cela devrait enfin faireévoluer les positionnements entre les partiesprenantes du partenariat, et amener à revoirune répartition, aujourd’hui dépassée, desresponsabil ités d’un Nord qui ne ferait

qu’aider et qui ne serait responsable que deson aide, et d’un Sud qui ne ferait querecevoir et qui ne serait responsable que dela bonne gestion de cette aide.

Enfin, le principe d’appropriation démo -cratique posera plusieurs défis : l’implicationeffective des parlements, des élus et de lasociété civile, des populations au sens large,dans l’élaboration des politiques publiques.C’est une clé fondamentale de réussite d’unepolitique publique, et plus encore despolitiques de développement. L’ interdé -pendance des économies et des politiquesdoit nous amener à mettre au débat public laquestion de leur cohérence. Décloisonnonsdavantage les frontières entre hémisphères,Etats, politiques, acteurs et citoyens.



2. L’évaluation : un parcours entreredevabilité et apprentissage

2.1.1. Contexte / Unité d’évaluationMSF Paris

Médecins sans frontières (MSF) est régu -l ièrement concerné par l ’évaluation desrésultats de ses interventions. L’organisationa une responsabil ité face aux populationssecourues, au public, et à ses donateurs. Leconcept d’évaluation des activités serenforce à MSF ces dernières années. Si cetteapproche existe depuis des années, la« culture » de l ’évaluation doit encore sedévelopper en interne à MSF[19].

Au-delà de la notion de « rendre compte »,c’est surtout celle de « leçons apprises » quiest recherchée : ceci représente un tournantimportant pour MSF qui a souhaité, à partirde son conseil d’administration en 2003,formaliser davantage les activités d’évalu a -tion en interne. MSF évolue commeorganisation apprenante en créant, depuis

25 ans, ses propres formations, à partir de lacapitalisation[20] des expériences vécues surle terrain. Dans ce cadre, le but desévaluations à MSF est de mener uneautocritique interne constructive de sesprojets pour améliorer ses interventions.

Depuis 2008, le processus d’évaluation s’estinstitutionnalisé à MSF avec la création d’uneUnité d’évaluation à Paris, dont le volumed’activité a augmenté de 28 % entre 2011 et2012. Outre l’évaluation assez systématiquedes opérations d’urgences à leur démarrage(Chédorge et al., 2009), les thèmes traités etles types d’évaluation se sont beaucoupdiversifiés avec l’analyse des projets à pluslong terme. L’ensemble représente près dedix évaluations par an.

Entre 2008 et 2012, les évaluations(majoritairement internes et parfoisexternes) concernent trois domaines


2.1. Retour d’expérience sur l’évaluation de projets àMédecins sans frontières

Vincent Brown, Filipe Ribeiro

[19] Création par MSF d’un satellite Epicentre en 1987 : développement des études scientifiques et de l’épidémiologied’intervention sur le terrain, marquant le début d’une culture de l’évaluation à MSF (exemple, l’évaluation des résul-tats/impact de projets nutritionnels spécialisés ou vaccinaux de masse à partir d’enquêtes sur la couverture effectivedes populations bénéficiaires à risque).

[20] Terme souvent utilisé à MSF lors d’évaluations internes stratégiques des projets ou de thèmes spécifiques. En menantune réflexion critique sur ses interventions et un retour sur ses expériences de terrain, MSF peut adapter et amélio-rer ses actions.

majeurs : pour près de la moitié, des projetshospitaliers développés par MSF, d’une duréede vie de 5 ou 10 ans, et des budgets de 2 à5 M€ par an (soit environ 50 % du budgetopérationnel total MSF-Groupe Paris, 2012),intégrés ou non dans la carte sanitaire despays où MSF intervient. Le reste desopérations sont les opérations d’urgencesmenées lors de conflits armés ou decatastrophes naturelles, de déplacementsmassifs de populations ou d’épidémies degrande envergure.

D’autres évaluations internes spécifiques,comme la revue critique des briefings pour laprise de postes de coordination oul’évaluation des pools d’urgence terrainconcernent en priorité le département desressources humaines dans le cadre de sesactivités en 2013.

Tous les départements supports auxopérations MSF sont invités à participer à cesévaluations, ce qui amène à parlerd’évaluation « transversale » de nos activités.Ainsi, un projet médical donné est analysé enfonction des activités réalisées avec lesdépartements supports que sont lalogistique, les finances ou les ressourceshumaines. L’évaluation permet de revenirsur les aspects prioritaires stratégiques et de proposer des solutions ou desrecommandations.

La complexité de certaines opérations MSFamène parfois à choisir un seul thèmecomplexe majeur, afin de réaliser un travailcritique interne et inscrire les acquis dans nospratiques, identifier les faiblesses de nosinterventions et proposer des réponses.

2.1.2. Approche et méthodes /évaluations à MSF

Les évaluations globales de projets ou dethèmes spécifiques concernent toutes lesactivités de mise en œuvre opérationnellesur le terrain et impliquent les diversdépartements de MSF. Ces activités sontmises en œuvre selon un certain cadrestratégique qui varie beaucoup en fonctiondes contextes.

La méthodologie des évaluateurs s’adapte àces diverses situations en partant d’un cadreassez classique d’analyse des stratégies d’unprojet et des résultats atteints par rapport àdes objectifs fixés, reportés dans les plansd’action, avec un descriptif d’activités et desmoyens variables définis selon les personnesresponsables. L’évaluation se veut argu -mentée couplant les aspects qualitatifs etquantitatifs : elle est basée sur des faits réelset des activités mesurables ; pour cesdernières, leur tendance est suivie au fil dutemps, et en comparaison avec d’autressituations, lorsque cela est possible.

Les entretiens auprès des acteurs et desdécideurs sont systématiques dans unelogique participative et de triangulation [21],avec le souci d’être le plus représentatifpossible et de toucher le plus grand nombrepour objectiver les réponses. Ainsi , enmoyenne, plus de soixante entretiensindividuels ou en groupes peuvent êtreréalisés par évaluation, et davantage s’il s’agitde comparaison de projets entre plusieurssections MSF.


[21] Technique d’évaluation qui tient compte de l’avis de plusieurs personnes pour plus de précision.

L’évaluation analyse longuement lesinformations recueil l ies et les interprète.Dans un but de capitalisation en interne, unévaluateur senior supervise des évaluateursjuniors sélectionnés selon leur expérience etintérêt pour l’évaluation. Cette approche leurpermet de développer leur capacitéd’analyse et de présenter leurs résultats avecdes recommandations. Ceci s’ inscrit dansleur parcours individuel et professionnel àMSF, lors de changements de poste oud’évolutions vers d’autres responsabilités.Une évaluation à MSF dure en moyenneentre deux et trois mois.

Journées de réflexion et d’évaluation par thèmes

Les évaluations sur un thème donné fontappel à l’organisation de journées d’évalu -ation et de réflexion particulières, avec laparticipation des techniciens et décideurs dedivers départements. Les évaluateurspréparent ces journées pendant les deux outrois mois qui précèdent une réunion detravail avec une trentaine de personnesconcernées à MSF, décideurs et acteurs.

2.1.3. Interprétation des résultats /utilisation / capitalisation

Les résultats sont interprétés selon lescontextes d’intervention, le plus souvent enfonction de plusieurs paramètres :

- l’ensemble des paramètres techniques etstratégiques nécessaires à la réalisationd’une intervention terrain ;

- leur pertinence, en se focalisant sur lesarguments et critères retenus, l iés auxbesoins prioritaires et urgents desbénéficiaires ; la valeur ajoutée d’uneintervention est prise en compte, avec sesaspects techniques, ses besoins média -tiques et politiques (dans le but, parexemple, d’alerter la communauté inter -nationale) ;

- l’efficacité, avec surtout le contrôle de lamorbi-mortalité, la proportion deguérisons et d’améliorations ;

- l ’efficience, qui met en perspective lesrésultats obtenus avec les moyens mis àdisposition, en essayant d’objectiver laqualité des soins médicaux, sans oublierune vision globale de santé publique. Lesrésultats sont aussi interprétés et comparésà d’autres sources[22].

Les aspects qualitatifs et quantitatifs sontévalués selon des normes internationales ounationales lorsqu’elles existent. Ce domainedes indicateurs ou référentiels évolue ets’affine selon les besoins : il existe une listede plus de 80 indicateurs de pilotage etsuivi/mois, des centaines toutes spécialitésconfondues. La fiabil ité des donnéesdisponibles est un enjeu essentiel. Des listes


[22] Les référentiels utilisés sont reconnus internationalement, au sein des pays concernés ou obtenus à partir d’autresexpériences MSF. Ces référentiels ou indicateurs sont choisis parce qu’ils sont issus d’un environnement présentantdes activités comparables. Les indicateurs d’activités sont néanmoins toujours adaptés et interprétés selon les diverscontextes d’intervention où a lieu une évaluation. Le plus souvent, il s’agit de situations très complexes (pénurie ouabsence d’accès aux soins), de conditions graves d’insécurité, de situation de précarité économique extrême despopulations.

et guides MSF existent, comportant cesindices (Depoortere et Brown, 2006 ;Peyrassol, 2009 ; Fermon et al . , 2013). Uneévaluation des indicateurs d’hôpitauxgénéralistes MSF a été finalisée (Roquefortet Brown, 2013).

Les bibliographies internes de MSF, quirésultent la plupart du temps de longstravaux de recherche, sont aussi une sourceimportante d’informations et sont souventconsultées lors des exercices d’évaluations[Centre de réflexion sur l’action et les savoirshumanitaires – CRASH, (Magone et al.,2011) ; Epicentre (Brown et al ., 2008)].

2.1.4. Utilisation des résultats /capitalisation

Les résultats des évaluations sontcouramment uti l isés pour orienter lesstratégies, à partir d’objectifs opérationnelsredéfinis chaque année. Cette vision annuellea tendance à évoluer avec les projetshospitaliers qui durent plus de cinq ans.

En pratique, les évaluations des projets santécontribuent à suivre la mise en œuvre et lerespect des bonnes pratiques médicales etlogistiques, notamment dans les hôpitauxsoutenus par MSF (Voiret et Brown, 2011).Ceci est aussi vrai pour le respect despriorités sanitaires majeures, en s’assurant durespect des besoins vitaux de populationsmassivement déplacées dans des camps oulors d’épidémies.

Les recommandations issues des évaluationssont discutées en groupe et largementdiffusées, surtout en interne (MSF, 2013).

Certains résultats sont utiles sur le momentdurant l ’ intervention, comme lors desévaluations des réponses MSF aux épidémiesdévastatrices de choléra ou de rougeole(Brown et al ., 2008 ; Seguin et Brown, 2012).Pour des projets durables, l ’util isation desrésultats aux différents niveaux del’organisation peut varier en fonction despriorités mais sont toujours intégrés, aumoins en partie, dans des formationsadéquates organisées pour divers postes deresponsabilités terrain MSF.

Une réflexion est en cours à MSF pouraboutir à une analyse plus fine de certainsindices de coût des soins, par exemple lessoins en hôpitaux, le coût vaccinal ou le coûtd’une réhabilitation nutritionnelle (Jouquetet al ., 2010)[23].

2.1.5. Domaines d’évaluations à MSF :une grande diversité

A MSF, les évaluations stratégiques menéesconcernent les divers projets hospitaliers, lesurgences avec déplacements massifs depopulations, et les épidémies de grandeenvergure. Tous ces domaines d’interventionfont appel à d’importants moyens, avec desstratégies qui varient selon les contextes.

Evaluations des hôpitaux MSF

MSF intervient dans divers types de projetshospital iers dont le démarrage se faitsouvent dans un contexte d’urgence, lorsd’un conflit ou d’une catastrophe naturelle.Les évaluations jugées nécessaires sontensuite réalisées soit précocement avec desactivités d’urgence de type « chirurgie/


[23] Cette réflexion s’inspire aussi de travaux réalisés dans d’autres contextes (Ridde et Olivier de Sardan, 2012 ;Mathonnat, 2010).

traumas/brulés », ou plus tard en cours deprojet, l ’évaluation du projet hospital iers’ inscrivant alors dans une dynamique deréhabil itation à moyen ou long terme. Laplupart de ces projets, menés en mil ieuurbain ou rural, s’inscrivent dans un contextede désert sanitaire, et ceci pendant desannées. L’envergure des opérations obligeparfois à concentrer l ’évaluation sur dessous-thèmes spécifiques, comme parexemple la chirurgie post-traumatique.

Dans ces situations où le but est decontribuer efficacement à améliorer la santédes bénéficiaires, le rôle de l’évaluation estde revisiter ces expériences de façon globale,de vérifier l ’atteinte ou non des objectifsopérationnels recherchés par MSF, et demesurer les résultats atteints. Généralement,l’efficacité se mesure avec la réduction de lamortalité et un réel contrôle de la morbiditéavec la prise en charge efficace desmalades, jusqu’à leur guérison ouamélioration. Le suivi des malades resteessentiel , notamment pour les malades

opérés ou ceux souffrant de pathologieschroniques.

L’évaluation revisite aussi la bonne efficiencedes actions menées, à l ’hôpital et dans sapériphérie, ceci faisant référence aux moyensadéquats mis en œuvre, en particulier lesressources humaines, logistiques, etfinancières.

Projets hospitaliers urgentistes

La performance des actions menées dans lesprojets hospital iers MSF est analysée audétour des situations d’urgence, après lesconflits ou catastrophes naturelles, lorsque lasituation s’est stabilisée, afin de mieux tirerles leçons de ces interventions spécialisées.

Dans chacun des cas, les évaluateursadaptent leurs analyses aux actionsprioritaires indispensables, menées dans unpremier temps pour « sauver des vies » etsoigner les malades traumatisés en urgence.


L’hôpital de campagne / tentes gonflables (2010)1Encadré

Ce travail revisite dix urgences MSF où l’outil « tente gonflable » de 42 m² a été utilisé,la première fois, lors du séisme majeur au Pakistan en 2005. Il s’agissait à l’époque d’uneapproche innovante. Dans de telles situations où tout est détruit, y compris les hôpitaux,MSF doit trouver des solutions efficaces pour pouvoir opérer dans des conditionsacceptables dès les premières heures.

Les évaluations tiennent compte des paramètres liés à l’environnement contraignant etl’isolement géographique, les moyens logistiques très limités sur place, l’absence depersonnel qualifié disponible, etc. Il existe aussi les divers paramètres liés à l’acheminementdu matériel, la praticabilité, la rapidité du montage des tentes. Les aspects qualitatifsévalués concernent alors la surface en m² disponible, le respect des règles d’hygiène, lessources d’eau et d’énergie adéquates, etc. (Cleary M. et Brown, 2010).

Projets hospitaliersmoyen/long termes : des enjeux multiples

L’évaluation en temps réel de ces projets apour objectif d’analyser les stratégies encours lors de leur exécution sur le terrain etde proposer des réorientations de certainesactivités, si nécessaire. Parfois, ces évaluationssont menées en fin de projet pour en retirerplus d’enseignements pratiques.

Il est constaté que souvent l’insuffisance oul’absence de plan cadre au départ compliquele développement rationnel des projets : ceciest souvent constaté lors de projets en « post-conflit » où la situation d’urgenceinitiale rend difficile la planification à 3 ou

5 ans, par exemple. Pourtant in fine la duréemoyenne de nos projets hospitaliers dépasselargement 5 ou 7 ans, évoluant souvent versla décennie.

Ainsi , les évaluations intermédiaires sontnécessaires. Celles-ci sont complétées par lesdispositifs de suivi en routine des donnéesd’activités. Dans des contextes trèsdifférents, l ’approche multidisciplinaire des évaluations est prépondérante. Ledépartement qui déclenche les interventionset les suit est celui des opérations ; i l estappuyé dans sa réalisation par diversdépartements supports, tels que lesressources humaines, les finances, lalogistique, etc. , qui font tous partie desévaluations stratégiques présentées.


Il a été possible de suivre les évolutions techniques depuis 2005 et d’analyser les diversmoyens util isés, en tenant compte des aspects pratiques actuels nécessaires. Lesconclusions de l’étude reposent surtout sur l’expertise des acteurs MSF impliqués sur leterrain, la documentation écrite étant restreinte.

Au final, les évaluateurs proposent deux scénarios opérationnels extrêmes, avec unnombre limité de tentes gonflables : l’un minimal en moins de 3 jours et qui se focalisesur le bloc technique opératoire, un autre plus élaboré, en moins de 10 jours, avec unelarge capacité d’hospitalisation.

Les évaluateurs préconisent également la recherche d’améliorations techniques futureset rappellent le besoin de disposer de plans pour standardiser les procédures d’urgenceà MSF, avec un personnel formé prêt à partir.

Evaluations d’interventionsMSF : urgences déplacés etréfugiés

Au fil du temps, MSF, qui a 40 ans, a acquisune expertise reconnue lors des réponsesaux urgences et des crises humanitaires.Toutefois, l ’organisation considère quechaque intervention est l ’occasiond'apporter des améliorations, voire de raviver

les bons réflexes pour secourir lespopulations démunies.

Souvent, l’évaluation des priorités sanitairesdoit être remémorée aux nouvelles équipes.Dans de telles situations de crises, où réduirela mortalité est l’objectif suprême, MSF doitpouvoir maintenir un haut niveau deréactivité, qui se compte en jours ou ensemaines. MSF doit intervenir auprès des


Evaluation des hôpitaux en conteneurs en Haïti (2011 - 2012) 2Encadré

Quatre hôpitaux MSF en conteneurs ont été mis en place, quelques mois après le séismequi a dévasté la région de Port au Prince et de Léogane en Haïti, le 12 janvier 2010. Ceshôpitaux de quatre sections MSF ont été évalués pour comparer les stratégies et lesenjeux des diverses composantes logistiques et médicales. Il s’agit d’une demande initiéepar les bureaux logistiques de quatre sections MSF en Europe, relayée par les co -ordinations MSF en Haïti.

Pour décrire brièvement ces projets, le transport des conteneurs venus d’ailleurs a prisen général moins de quinze jours, mais leur montage en hôpital a duré environ huit moispour trois hôpitaux, respectant un ensemble de normes attendues. Un quatrième hôpitala mis davantage de temps à être construit.

Comme il est question d’évaluer à la fois la durabilité de la structure et le respect desbonnes pratiques médico-chirurgicales et managériales, une équipe de trois évaluateursexpérimentés a été nécessaire, un architecte, un médecin évaluateur, et une évaluatriceanalysant les ressources humaines et financières[24].

L’analyse financière a permis de rapporter les coûts à l’unité et de les comparer : ilapparaît qu’après trois ans, à fin 2012, les coûts de maintenance sont au final plusimportants pour les sections ayant fait le choix de monter elles-mêmes la structure enconteneurs ; celles qui ont eu recours à des sous-traitants s’en sortent mieux. Le coût desprojets culmine au final de 7 à 12 M€ fin 2012, quand les budgets de fonctionnement etde maintenance sont inclus. Ce travail permet de capitaliser sur les diverses expériencesMSF menées et, ce qui est confirmé par la plupart des logisticiens et architectes eux-mêmes, d’envisager les meilleures options pour l’avenir.

[24] Toutes les recommandations nécessaires à ce type de projet ne peuvent être présentées ici ; elles ont été regroupéessous forme d’encadrés utiles pour usage immédiat ou pour une capitalisation future (Lathelize et al ., 2012).


Interventions auprès de déplacés et réfugiés3Encadré

De nombreuses évaluations ont été menées en temps réel au cours des interventionsde MSF auprès de population réfugiées dans un pays tiers voisin ou plus souventdéplacées dans leur propre pays. Quelques exemples d’évaluation de telles opérationsMSF auprès de ces populations sont présentés ici.

Réfugiés au Congo Brazzaville, Bétou : en 2011, dans le projet d’assistance auprès des réfugiésde la RDC arrivant à Bétou au Congo Brazzaville, la révision par les évaluateurs del’ensemble des priorités sanitaires a permis de valider la bonne couverture par MSF dessoins primaires et secondaires pour les réfugiés, tout en identifiant certaines priorités,telles que la vaccination, les maladies endémiques et l ’eau. La rationalisation desdéplacements sur le fleuve vers certains postes de santé a été recommandée pourcontrôler certains coûts.

Réfugiés au Sud Soudan, Yida : en 2012, l’évaluation de l’intervention MSF auprès desréfugiés Nubas à Yida, au Sud Soudan a permis de constater une réactivité insuffisanteentre avril et juin, période pendant laquelle la population a quadruplé. Ceci concerneMSF, mais également les autres acteurs de l’aide. Dans ce cas, il est aussi noté que lemanque de systèmes de suivi et d’alerte performants des décès est en cause. Il s’en estsuivi une mortalité par excès dépassant les seuils d’urgence, en particulier chez lesenfants. Celle-ci aurait pu être contrôlée plus tôt.

L’absence de montée en puissance, avec notamment l’attente de la réactivité des autresacteurs internationaux, pour l’eau et la nutrition spécialisée a été soulevée à MSF.L’association MSF aurait-elle dû prendre les devants dans ces domaines ? Suite auxactions correctrices, la situation s’est améliorée au cours des mois suivants, pour revenirà la normale à partir de septembre 2012 (Busson et al., 2013).

Violences lors d’élections à Nairobi : en 2008, dans un tout autre domaine, l’évaluation del’intervention MSF en milieu urbain violent, lors des élections au Kenya, a permis dedocumenter et capitaliser à partir d’une stratégie innovante. MSF a pu détecterprécocement des blessés graves et les référer vers les hôpitaux avec un systèmeambulancier efficient, couplé par la mise en place d’un réseau local de téléphonie mobile.Les évaluateurs ont conclu à la valeur ajoutée de ce dispositif.

En effet, le réseau téléphonique organisé avec du personnel national MSF vivant dans lesquartiers sensibles a permis de se rapprocher au maximum des blessés pour les évacuer,ceci à partir de rendez-vous jugés accessibles d’un point de vue sécuritaire. Par ailleurs,pour des malades chroniques soignés pour VIH ou tuberculose par exemple, une hotlinediffusée dans les médias a permis aux patients de prendre contact avec MSF qui assuraitautant que possible la continuité des traitements, qu’ils soient ou non des patients MSF.

De telles leçons apprises sont utiles au moment d’élections qui peuvent être violentes,au Kenya (dernières, en mars 2013), ou ailleurs.

malades dans des hôpitaux de campagnefonctionnels, assurer l ’accès aux soins debase et à la réhabil itation nutritionnelle.L’organisation doit souvent aussi assurerl’eau et l’hygiène-assainissement, et parfoisles distributions d’items domestiques debase, etc. L’exercice d’évaluation amène à« vérifier » le bon respect de ces principes.

Cet ensemble requiert une coordination desacteurs de l’aide. Dans ces situations, MSFdoit chaque fois s’adapter aux enjeuxconsidérables face à la pénurie locale et auretard de l’aide internationale en général.L’évaluation prend aussi en compte cesaspects.

Le rôle des évaluations est donc ici aussi deconstater l’efficience des opérations prio -ritaires, menées dans des délais très courts.L’efficacité de la réponse est évaluée selonle facteur temps, et par rapport à une séried’indicateurs connus internationa lement : labaisse de la mortalité, l ’ incidence desmaladies tueuses et à potentiel épidémique,l ’amélioration du statut nutritionnel desenfants, etc.

L’ensemble des paramètres à vérifier a étéregroupé dans un guide MSF/Epicentre« Evaluation rapide des priorités sanitaires »en situation d’urgence avec populationdéplacée ou réfugiée (Depoortere et Brown,2006).

Evaluations des réponses auxépidémies

Pour les épidémies, le rôle des évaluations estde revisiter les stratégies opérationnelles etde s’assurer qu’elles ont permis la prise encharge adéquate et précoce des malades en

contrôlant la morbi-mortalité, paramètreprioritaire. En termes de réactivité les « délaisopérationnels » sont essentiels et mesurés enjours : ils incluent la préparation, les missionsd’explorations et d’investigations, la réponseeffective, etc. Suivant l ’extension del’épidémie, la réponse ou les choixopérationnels de MSF sont analysés enfonction de divers paramètres épi -démiologiques : la population à risquecouverte, les taux d’attaque par classe d’âgeet l ieux, la létal ité, etc. La fiabil ité desdonnées est un enjeu à tous les niveaux, àMSF qui bénéficie de l’aide d’Epicentre, sonsatellite épidémiologique, et aussi chez lespartenaires (ministère de la Santé,Organisation mondiale de la santé — OMS, leFonds des Nations unies pour l’enfance —UNICEF, les organisations non gouver -nementales internationales - ONGI, etc.).

L’évaluation des stratégies MSF fait intervenirl’analyse des décisions prises et leur degréd’anticipation avec des plans de contingencesur les moyens nécessaires à des opérationsde grande envergure. Concernant lescontacts avec les partenaires précités, i lsdoivent souvent faire l’objet de lobby pourêtre stimulés dans leurs actions, le plussouvent tardives et dépendantes des aidesfinancières institutionnelles. MSF en ce sensdispose d’une réelle l iberté d’action, sonfinancement reposant en majorité sur desdonateurs privés.

Les évaluations menées sont réalisées entemps réel, alors que l’épidémie est encoreen cours et les acteurs encore en place. Ellesconcernent les divers aspects précités,opérationnels, épidémiologiques, moyens,stratégies décisionnelles pour contrôlerl’extension. Pour illustrer ces situations, deux


situations épidémiques récentes ont faitl ’objet de journées d’évaluation et deréflexion en interne à MSF (cf. encadré 4).

Les autres enjeux essentiels qui ont retenul’attention ont concerné la capacitéd’extension des moyens et la définition desgroupes à risque, par âge et par lieux, qui,dans certains cas, auraient pu être mieuxciblés. Le résultat global avec une létalité de 1 % est très correct pour ce type d’épidémieau Katanga, 11 millions d’habitants, avec uneproportion majoritaire d’enfants. Les actionsde lobbying international ont étécompliquées et ont retardé la réponseglobale, le ministère de la Santé de Kinshasan’ayant reconnu l’épidémie que tardivement,6 mois après ses débuts.

2.1.6. Formation / Apprentissage

L’amélioration de la qualité des interventionsMSF est en partie basée sur la possibilité derevisiter et discuter les résultats desinterventions au sein du groupe à tous lesniveaux, des sièges du groupe OCP [25]

jusqu’aux divers terrains. Au fi l de sesexpériences, la capitalisation à MSF se fait defaçon continue à travers les différentsdépartements et métiers. El le mériteraitnéanmoins d’être davantage formalisée. Lanotion même de « leçons apprises » à partird’expériences réelles implique d’évidence unprocessus d’apprentissage, lequel prend uncertain temps.

Cette capitalisation a lieu notamment lorsdes journées d’évaluation et de réflexion, qui


Situations épidémiques récentes, objet de journées d’évaluation et de réflexionà MSF

4Encadré

- Evaluation choléra Haïti (2011) : cette évaluation a permis de couvrir et préciser tous lesaspects techniques nécessaires au fonctionnement spécialisé de centres MSF detraitement du choléra, d’analyser la dynamique des opérations en termes de réactivitéet d’envergure des actions menées. Le captage et la distribution d’eau chlorée, ainsique l’extension du projet en rural ont été reconnus comme « valeurs ajoutées ». Lesrecommandations ont ensuite été diffusées aux équipes, acteurs et décideurs sousforme d’encadrés. Celles-ci sont mises en pratique avant la fin de l’épidémie en cours,ou lors des épidémies suivantes.

- Evaluation, Rougeole Katanga (2011) : la vaccination de masse par MSF et le ministère dela Santé de 1,5 mil l ion d’enfants, avec 300 000 cas de rougeole traités, est uneperformance. Ces succès amènent néanmoins l’organisation à s’interroger sur lesmoyens conséquents à mettre en œuvre pour réaliser de telles interventions. Au début,il est noté que le retard pour vacciner certaines zones de santé est souvent lié à unelogistique et coordination déficientes sur un vaste territoire.

[25] MSF groupe OCP : le centre opérationnel MSF de Paris comprend quatre sections partenaires basées à New York,Sydney, Tokyo et Paris.

abordent l’ensemble des points spécifiquesretenus par les évaluateurs, avec un certainnombre d’acteurs du terrain et en présencedes décideurs. Les évaluateurs sontindépendants dans cette démarche, maisl’approche, nous l’avons vu, se veut sur lemode de la « critique constructive » interneet d’une mise en commun pour mieuxréfléchir à nos actions.

Les résultats et les recommandationspeuvent correspondre à des acquisopérationnels déjà existants qu’i l fautremettre dans « la mémoire collective », ou àde nouvelles stratégies qu’il faut diffuser etfaire connaître. Ainsi , deux notions secomplètent en permanence à MSF : le« devoir » de mémoire pour tenir comptedes expériences vécues et utiles, et la volontéd’explorer de nouveaux terrains. Cettecombinaison assure la dynamique interne deMSF depuis quatre décennies. C’est ainsiqu’on parle d’apprentissage permanent àMSF. Ainsi, les évaluations stratégiques, enposant un cadre plus formel de travail, jouentun rôle prépondérant.

2.1.7. Utilisation des résultats, leçonsapprises et apprentissage

Dans un but d’apprentissage, le processusd’évaluation participe à la dynamiquegénérale de formation et d’information eninterne. Le processus d’apprentissage est enrapport avec le développement d’uneculture de l’évaluation et de l’utilisation desrecommandations proposées. Le retour surexpérience aboutit en général à la réflexionindispensable à nos activités opérationnelles.

Le premier à en bénéficier est ledépartement des opérations MSF qui, le plus

souvent, demande ces évaluations ets’approprie les résultats. Mais lesdépartements supports sont aussi deman -deurs (RH, logistique, médical, financier, etc.).Les résultats sont toujours partagés, sur leterrain pendant l’évaluation, puis au siègeauprès des responsables concernés.

Un objectif indirect de l’évaluation est detoucher, lors des entretiens individuels, uncertain nombre d’interlocuteurs, permettantainsi à chacun d’échanger ses points de vuelibrement et de façon confidentiel le. Ladémarche des évaluateurs avec les personnesconcernées est appréciée et participe ausouhait de capital isation en interne qui amotivé la création de l’unité d’évaluation àMSF, et qui réalise une dizaine de travaux paran, participant activement aux diversesformations internes ou externes.

Le processus de l’évaluation en internecommence dès l’élaboration des TdR, avecles personnes responsables impliquées etleurs équipes, l’exercice prenant souvent uncaractère pédagogique : définition d’uncadre de travail et sélection des questionsprioritaires à évaluer, échange sur lesrésultats attendus, etc.

Les analyses de données demandent unedémarche participative des différentssecteurs concernés au siège et sur le terrain,rappelant l’importance des données de suivides activités. Ceci rappelle les insuffisances àaméliorer, notamment en termes d’analysesplus fines, problème récurrent à MSF etailleurs.

Au final, les résultats contribuent à améliorerles pratiques et les stratégies en rappelant lesgrands principes stratégiques à respecter,


comme la prise en charge d’une populationde réfugiés ou de déplacés en urgence, oules pratiques médicales et chirurgicalesrecommandées après une catastrophe oulors d’interventions en projets hospitaliers.

A MSF, l ’ implication dans le processusévaluatif des divers départements etdécideurs reste un enjeu : i l doit sedévelopper en invitant à davantaged’investissement institutionnel. En ce sens,les journées d’évaluation ont réussi à créerune véritable dynamique interne, regroupantles personnes de divers métiers autour d’unemême table. Mais la prise d’action qui suitune évaluation varie encore selon lespriorités de chacun, ce qui est attendu à MSFdu fait des nombreuses urgences l iées àl’actualité internationale. Le contenu est parcontre largement pris en compte lors deformations spécifiques, sur le choléra, larougeole ou les priorités sanitaires, parexemple. Dans d’autres domaines, commepour les hôpitaux, les indicateurs à suivre, ilexiste des formations spécifiques où lesleçons apprises à partir d’expériences réellessont utilisées et comparées aux différentesphases de leur évolution.

2.1.8. Capitalisation en interne :évaluateurs juniors

La politique de MSF est souvent de travailleravec des évaluateurs et évaluatrices« juniors » dans un but constructif . Cecipermet de mettre en pratique avec euxl’apprentissage des méthodes d’évaluations,en améliorant leurs capacités de synthèse,d’analyse et de réflexion. La présentation desrésultats en les argumentant devant unpublic interne ou externe, fait partie de ladémarche.

Par ai l leurs, les études de cas à partird’exemples réels d’évaluations, sont trèsutiles pour animer des formations ou desateliers spécifiques. En ce sens, le contenudes évaluations y contribue largement.

La diffusion des résultats se fait sur les sitesweb de MSF en interne et dans lemouvement, et auprès des partenaires.Certains travaux sont aussi présentés àl’extérieur lors de conférences ou deformations internationales (masters ouautres), et peuvent conduire à despublications dans des revues internationales(Busson et al . , 2013). Une plus grandeproduction de publications ou d’articlesinternationaux est envisagée.

Conclusion

Le séminaire sur les évaluations proposé parl’AFD/F3E permet d’enrichir la réflexion sur« la redevabilité et l’apprentissage » au seind’ONG comme MSF-Groupe Paris.

Les évaluations MSF sont caractérisées parune grande diversité de sujets et deméthodes. L’unité d’évaluation MSF à Parisse focalise sur les évaluations stratégiquestransversales qui s’adaptent et innovent d’unpoint de vue méthodologique en fonctiondes contextes très divers rencontrés.

Cet article, apportant un éclairage sur ledéveloppement d’une certaine « culture » del’évaluation à MSF, est aussi le reflet dudialogue constructif interne, qui prévaut lorsde ces exercices d’évaluation, et qui se veutcritique, de nos interventions.

Ceci est vrai pour les exemples présentés ici,qu’i l s’agisse des « revues critiques » de


projets hospitaliers, urgentistes ou à plus longterme, ou lors de crises humanitaires,conflits, séismes, épidémies.

Les résultats des évaluations rappellentl’importance de l’analyse globale stratégique,ceci au moment où les domaines d’activités

dans le cadre la médecine humanitairetendent à se sectoriser et devenir pluscomplexes. Ces résultats permettent unretour sur expérience indispensable pouraméliorer les opérations à MSF, ce qui resteun aspect essentiel dans une organisationMSF qui se veut « apprenante ».


BEUZELIN, C. ET V. BROWN (2011), Evaluation of MSF Emergency Response, Tohoku Earthquakeand Tsunami, March 11, Japan, MSF, Paris.

BROWN V., PH. J. GUERIN, D. LEGROS, C. PAQUET, B. PÉCOUL ET A. MOREN (2008), “Research inComplex Humanitarian Emergencies: The Médecins Sans Frontières / Epicentre Experience”,PLOS-Medicin , Vol. 5, 4, 89.

BUSSON, P., A. LANDMANN, K. PORTEN ET V. BROWN (2013) , “Humanitarian Response in YidaRefugee Camp, Unity State, South Sudan”, Humanitarian Practice Network , Londres.

CHÉDORGE, D., J.P. BARROY ET V. BROWN (2009), Revue critique des urgences, MSF, Paris.

CLEARY, M. ET V. BROWN (2010), Evaluation of the Use of Modular Field Hospital (MFH) withInflatable Tents, MSF, Paris.

DEPOORTERE, E. ET V. BROWN (2006) , Rapid Health Assessment of Refugee or DisplacedPopulations , MSF/Epicentre, 3e édition, Paris.

FERMON, F., C. DANET, M.E. BURNY, N. HURTADO, C. BACHY, O. BLANCHET, R. GRAIS ET K. PORTEN(2013), Prise en charge d’une épidémie de rougeole , MSF, Paris (en cours de finition).

JOUQUET G., F. PONSAR, C. VANOVERLOOP, D. LAMBERT ET M. PHILIPS (2010) , “Simulation ofRunning Cost Needs for a Rural District Hospital in DRC, Based on Real Life Cost Data: LessonsLearned from Post-conflict Restart of Health Services in Lubutu District Hospital”, Poster MSF,Bruxelles.

LATHELIZE, M., M.-L. LE COCONNIER ET J. BÉGOU (2012), Technical Evaluation of Four ContainerHospitals in Haiti , MSF, Paris.

MAGONE, C., M. NEUMAN ET F. WEISSMAN (2011), Agir à tout prix ? , MSF, La Découverte, Paris.

MATHONNAT, J. (2010) , Disponibilité financière pour la santé dans les pays d’Afriquesubsaharienne , AFD. Paris.

MSF (2013), http://intranet.paris.msf.org/intranet/documents.nsf, IT-Support-PAR, Paris.

PEYRASSOL, S. (2009), Les priorités – Check-lists, Indicateurs, Standards , V3, MSF, Bruxelles.


Bibliographie

RIDDE, V. ET J.-P. OLIVIER DE SARDAN (2012), Les politiques de suppression et de subvention dupaiement des soins au Burkina Faso, Mali et Niger , CRCHUM/LASDEL, Montréal.

ROQUEFORT, S. ET V. BROWN (2013), Revue critique des indicateurs hospitaliers généralistes ,MSF, Paris

SEGUIN, C. ET V. BROWN (2012) , Evaluation de l’épidémie de rougeole, Katanga/RDC , 2010-11 , MSF, Paris.

VERSEAU, P. ET V. BROWN (2011), Journée de revue-réflexion transversale choléra en Haïti, MSF,Paris.

VOIRET, I. ET V. BROWN (2011), Revue critique, Projet hospitalier de Rutshuru, Nord-Kivu, RDC2005-11 , MSF, Paris.


Evolution institutionnelle majeure dans lasous-région ouest africaine depuis le milieudes années 1980, la décentralisation s’estinstal lée de façon progressive comme unnouveau mode de gouvernance locale qui avu émerger de nouveaux acteurs, que sontles autorités locales élues, appelés à jouer unrôle central en termes d’animation, degestion et de conduite du développementde leur territoire. La plupart des pays del’Union économique et monétaire ouest-africaine (UEMOA) ont suivi le vastemouvement de démocratisation et dedécentralisation de l’administrationterritoriale, qui s’est fait selon des rythmes

variables et des dispositions légalesdifférentes en fonction des pays concernés.Aujourd’hui, la décentralisation[26] est inscritedans les différentes constitutions de ces paysqui font référence aux collectivitésterritoriales comme un niveau à part entièrede la gouvernance publique.

L’avancée du processus s’est accompagnéed’un élargissement et d’un accroissement descompétences et responsabilités des jeunescollectivités territoriales en matière deservices publics et de gestion urbaine, avec,pour conséquence, leur plus grandeparticipation à la fourniture de plusieurs


2.2. Le renforcement descapacités des collectivités

territoriales en matière de suivi etévaluation : une démarche

nécessaire pour consolider la miseen œuvre de la décentralisation

en Afrique de l’Ouest

Mamadou Sembene

[26] Elle est déjà effective dans six pays (le Bénin, le Burkina Faso, la Côte d’ivoire, le Mali, le Niger, le Sénégal), qui ontadopté une politique et une stratégie nationale en la matière et disposent d’une législation relativement fournie avecun grand nombre de textes d’application (décrets, arrêtés� ). Dans les autres pays, elle n’est pas encore mise en œuvresur le terrain, mais le cadre légal existe (au Togo) ou est en cours d’élaboration (en Guinée Bissau).

services essentiels (assainissement, urbanisme,entretien de la voirie, traitement des orduresménagères, gestion des équipementsmarchands, accès à l’eau potable, l’éducationde base et la santé de base, etc.). Aujourd’hui,les collectivités territoriales sont confrontées àun défi majeur, celui de l’améliorationquantitative et qualitative de l’offre deservices aux populations et la gestion de lacontinuité du service public au niveau local,alors que le transfert de la maîtrise d’ouvrageet des ressources liées aux compétencestransférées est encore timide. Dès lors, laquestion du renforcement de leurs capacitésde maîtrise d’ouvrage, de leurs responsabilitésdans le management de leurs institutions, dela fourniture et la gestion des services publicslocaux, devient centrale. Les collectivitéslocales doivent agir et se doter des outils,compétences et moyens nécessaires pourpouvoir relever les différents défis qui seposent à elles, notamment : i) être en capacitéde définir des stratégies de développementde leur territoire et favoriser la synergie desinterventions avec les autres acteurs(organisations de la société civile, partenairesau développement) ; ii) assumer véritable -ment leur rôle de maître d’ouvrage et« d’ensemblier » capable de promouvoir despolitiques de développement ouvertes,équitables et évolutives dans lesquelles tousles groupes peuvent trouver leur place etapporter leurs contributions à l’effort collectif ;iii) trouver des réponses efficaces auxsollicitations multiples et urgentes despopulations en matière d’accès aux servicesde base et d’amélioration des conditions devie ; iv) pouvoir agir dans le cadre departenariats constructifs avec leurs sociétés

civiles (associations de jeunes, de femmes, dequartier, groupement d’intérêt économique,groupements professionnels, .. .), qui ont unrôle et une place importante dans l’animationde la vie publique locale.

Par ailleurs, les collectivités territoriales, enlien avec leurs associations de pouvoirslocaux (APL), ont un rôle important à joueren termes de promotion, de diffusiond’approches innovantes pour améliorer lagouvernance locale et le développementterritorial . Avec l’accroissement de leurscompétences, elles ont besoin d’outils et deméthodes de travail pour gérer à la fois leursinstitutions, les partenariats et les services àrendre aux populations. Dans cette optique,la problématique du renforcement de leurscapacités en suivi et évaluation se posecomme un enjeu clé pour une mise enœuvre efficace de la décentralisation, et pluslargement des politiques publiques au planlocal. Les démarches d’évaluation doiventleur permettre de continuer à avancer dansl’animation, la conduite et la gestion desinitiatives de développement local.

2.2.1. La participation des collectivitésterritoriales aux démarchesd’évaluation

Pourquoi promouvoir la participation descollectivités territoriales aux démarchesd’évaluation ?

Dans l’espace UEMOA, un des défis majeursauxquels sont confrontées les autoritéslocales et leurs APL [27] porte sur la faibleimplication des collectivités territoriales dans


[27] On peut citer au Burkina Faso, l’Association des municipalités du Burkina Faso - AMBF, l’Association des régions duBurkina Faso - ARBF, Au Bénin, l’Association nationale des communes du Bénin - ANCB, au Mali, l’Association desmunicipalités du Mali - AMN, l’Association des régions du Mali -ARM, etc.

les processus de dialogue, négociation etdéfinition des politiques publiques et desprojets et programmes afférents négociésavec les partenaires techniques financiers(PTF), aux niveaux bi et multilatéral. L’autredéfi porte sur la faiblesse de leurparticipation et de leurs capacités à assurerun suivi de qualité de la mise en œuvre deces politiques publiques.

Ainsi aujourd’hui, au-delà du fait qu’il failletrouver des réponses positives à la demandedes collectivités territoriales qui souhaitentêtre impliquées de façon effective auxdiscussions sur l’élaboration des politiquespubliques, ainsi que sur la négociation desprojets avec les PTF et leur mise en œuvre, ils’agit également de voir commentpromouvoir leur participation au suivi etévaluation de ces politiques publiques par lebiais du renforcement de leurs capacités.

L’enjeu est de leur donner l’occasion de : i) mieux comprendre ce qu’est le suivi-évaluation et leur permettre de mieuxpositionner le suivi-évaluation dans l’exé -cution de leurs plans de dévelop pement oudes projets spécifiques initiés ; ii) développerleurs capacités ainsi que celles de leursstructures faîtières à s’ impliquer dans lesprocessus locaux, nationaux de prise dedécisions ; iii) améliorer leur reconnaissanceet accroître leur rôle en tant que partenairedes politiques de développement, et éleverleur participation dans la mise en œuvre de ladécentralisation et des politiques de luttecontre la pauvreté.

Le renforcement des capacités en matière desuivi-évaluation des collectivités territorialesdoit toutefois se faire en association avecleurs sociétés civiles locales, pour améliorer

la capacité de dialogue des acteurs, d’unepart, les collectivités territoriales et leursassociations faîtières et les organisations de lasociété civile en direction de l’Etat, et d’autrepart, les organisations de la société civile endirection des collectivités territoriales.L’objectif visé étant de favoriser dessynergies entre les collectivités territorialeset leurs sociétés civiles et de renforcer leurscapacités à interagir avec les pouvoirs publicsaux plans local et national.

Comment les collectivités territoriales sont-elles impliquées dans les démarchesd’évaluation?

En règle générale, les collectivités territorialesdu sud sont très peu positionnées commedes commanditaires des démarchesd’évaluation externe (à mi-parcours oufinale), mais interviennent le plus souventcomme des « acteurs impliqués » dans lesexercices d’évaluation de projets etprogrammes dont elles ont été bénéficiaires.I l peut s’agir notamment de l’évaluationd’actions d’ONG intervenant sur leurterritoire ; de l ’évaluation de projets ouprogrammes nationaux ou transnationauxqui sont intervenus sur leur territoire ; ou del’évaluation d’une coopération décentraliséeavec une autre collectivité du Nord. Enfonction du type de projets à évaluer, laparticipation et l’implication des collectivitésterritoriales du sud différent.

Dans le cas de l’évaluation d’actions menéespar des ONG ou des projets et programmesnationaux ou transnationaux, l’ implicationdes collectivités territoriales reste trèslimitée. Les collectivités territoriales ne sontque très peu, voire pas du tout, associées enamont dans la préparation de l’exercice


d’évaluation (par exemple la définition desattentes, la formalisation des termes deréférence, le choix de l’équipe deconsultants, etc.) . Toutefois, en tant quebénéficiaires, elles sont dans la plupart descas consultées lors des missions terrain desconsultants, mais leur association auxséances de restitution n’est passystématisée ; ce qui est aussi un facteurlimitant en termes de retour et de partagedes résultats des évaluations.

Dans de tels cas de figure, les autoritéslocales, confrontées à leur faibleconnaissance de l’exercice d’évaluation et àl’absence de maîtrise des enjeux etincidences, vivent les évaluations engagéescomme des démarches « qui les inter -pellent en tant que bénéficiaires », mais ellesles considèrent le plus souvent comme des« commandes extérieures » à leur collectivitéet surtout comme « l’affaire » des structuresqui en sont à l’initiative. Ce qui amène de faità s’ interroger à la fois sur : i) la façon deconcevoir et conduire l ’évaluation, surl’efficacité et les effets retours de l’évaluationsur les collectivités territoriales ; i i) lacapacité de l’évaluation à produire desrésultats uti les et qui peuvent aider lescollectivités territoriales concernées àaméliorer leurs pratiques et façons defaire dans la conduite et la gestion desaffaires publiques locales ; iii) la capacité del’évaluation à inscrire les autorités locales etleurs services dans une logique d’apprentis -sage et d’appropriation des démarches etméthodes utilisées et aussi de redevabilitévis-à-vis des acteurs de leur territoire parrapport aux actions engagées.

Dans le cas de l ’évaluation de projet decoopération décentralisée, le position -

nement des collectivités territoriales du Sudest différent et leur implication dansl’évaluation est plus forte, puisqu’elles sontassociées à la fois : i) en amont, dans lapréparation de l’évaluation (définition desTdR, choix du prestataire) ; ii) dans le suivide l’exercice d’évaluation via la mise en placede comité de pilotage ou de suivi inter-acteur sur leur territoire ; i i i) dans lesdifférentes phases de restitution et departage des résultats de l’évaluation. Celaamène les autorités locales du Sud à vivrel’exercice d’évaluation comme unedémarche partagée visant à les aider àaméliorer ce qu’elles font sur le terrain,même si elles ne l’ont pas impulsé et ne sontpas à l’origine de la commande. Et pour leurspartenaires du Nord, à considérer l ’éva -luation comme un exercice qui doit aider àaméliorer les pratiques et façons de faire descollectivités, à la fois au Sud et au Nord.

Toutefois, toutes les évaluations de projet decoopération décentralisée ne s’inscrivent pasdans cette logique. Certaines sont parfoisengagées surtout du fait de « l’obligationadministrative » de répondre aux attentesdu bailleur pour pouvoir bénéficier de cescofinancements. Dans ce cas, les enjeux,l ’ intérêt et les résultats de l ’évaluationpeuvent être faussés, aussi bien au Nordqu’au Sud.

Dans le cadre des démarches d’évaluationexterne, la participation des collectivitésterritoriales ne signifie pas seulement leurconsultation lors de la réalisation de l’étude etaccessoirement leur association lors desséances de restitution. Il est aussi importantqu’elles soient impliquées en amont dans ladéfinition des attentes et l’élaboration destermes de référence. Ce qui permet également


une préparation et une définition partagée dela commande. C’est la mobilisation d’expertisecroisée Nord et Sud, pratique de plus en pluscourante, qui concourt à élargir la promotiondes démarches d’évaluation et à renforcerl’expertise au Sud. En même temps, cetaccompagnement des collectivités territo rialeset de leurs sociétés civiles par une expertiseSud est aussi un facteur favorable à l’appro -priation des démarches et des résultats desévaluations.

2.2.2. Les facteurs d’appropriation del’évaluation

En règle générale, lorsque l’on parled’évaluation, on évoque le plus souvent lesexercices d’évaluation externe finale, qu’ilssoient portés par des collectivités territorialesdu Nord dans le cadre de coopérationdécentralisée avec des collectivitéshomologues du Sud, des ONG, ou par l’Etatvia des dispositifs projets en ce qui concerneles programmes nationaux. Ces démarchesqui sont ponctuelles et irrégulières sont trèspeu appropriées ou internalisées par lescollectivités territoriales du Sud. A côté decela, on relève les expériences développéespar les différents projets et programmesnationaux, qui réalisent très souvent desformations et mettent à la disposition descollectivités territoriales des outils pour lesuivi-évaluation des actions mises en œuvre.Toutefois, les formations et outils mis enplace sont en règle générale destinésuniquement au projet et ne permettent pasd’outiller les collectivités territoriales pour lesuivi global des actions de développement deleurs territoires. En conséquence, lescollectivités territoriales sont confrontées à

différentes démarches et utilisent différentsoutils propres aux projets concernés, qui nesont pas forcément utilisables en dehors ducadre de ces projets. Dans un contexte globalde réflexion sur l’efficacité du dévelop -pement, il est important que les partenairestechniques et financiers veil lent à lacohérence des approches proposées et àl’efficacité des outils mis à disposition pour lerenforcement des capacités des collectivitésterritoriales.

En général , en réalisant ces évaluationsexternes et finales, on vise implicitement àrenforcer les capacités des collectivitésterritoriales dans la gouvernance locale desterritoires et la fourniture des servicespublics locaux aux populations. Maisparadoxalement, très peu de moyens leursont consacrés, notamment pour laformation des acteurs, la vulgarisation desoutils et la promotion de dispositifs d’appui(à l’image du F3E) en France, qui permettentd’accompagner les collectivités territorialeset les acteurs de leur territoire souhaitants’engager dans des démarches d’évaluation.

Au Burkina Faso, l’AMBF, avec le soutientechnique de la Maison de la coopérationdécentralisée , a initié un projet pilote derenforcement des capacités en suivi-évaluation des collectivités territoriales[28]. Leprincipal intérêt des actions de sensibilisation-formation au suivi-évaluation des collectivitésterritoriales, est d’aider ce groupe d’acteursà se familiariser au suivi-évaluation, et leurpermettre de s’approprier ce type dedémarches et outils pour améliorer laconduite des politiques et actions dedéveloppement de leurs territoires.


[28] Cofinancé par le bureau de la coopération suisse au Burkina Faso.

En partant du constat de la méconnaissancedes démarches d’évaluation et des craintesdes collectivités territoriales vis-à-vis del’évaluation, en particulier de l’évaluationexterne finale plutôt considérée comme uneaffaire d’experts, le projet a initié diversesactions visant à promouvoir le renforcementde leurs capacités de suivi-évaluation avec,d’une part, des actions de sensibil isation-formation des collectivités territoriales (élus,techniciens) et de leurs sociétés civi leslocales, et, d’autre part, des actions dans descommunes test portant sur l’auto-évaluationdes services publics locaux, l ’évaluationparticipative de projet, l’auto-évaluation desperformances des communes, le recueil desdonnées et l ’état des indicateurs dedéveloppement communal, l’organisation debilan public au niveau communal.

La diversité des formes d’évaluation commevecteur d’appropriation et d’efficacité desévaluations

Les démarches d’évaluation externe à mi-parcours ou en fin de projet demeurentutiles et nécessaires, en termes deredevabilité vis-à-vis des bail leurs, surtoutpour les structures porteuses, et constituentaussi des temps forts pour les différentsacteurs, pour faire le point, t irer lesenseignements et leçons des actionsmenées. Toutefois, le caractère ponctuel dece type de démarches, leur programmationirrégulière dans le temps ne permettent pasaux autorités locales et acteurs locauxconcernés de se l’approprier totalement etde l’ internaliser dans leurs pratiquesquotidiennes de management et de gestiondes affaires publiques locales. Comme, lescollectivités territoriales ne sont en outrequasi jamais en position d’impulser et de

commanditer les évaluations externes, ellespeinent à maîtriser leurs enjeux etincidences.

Une autre limite non moins importante desévaluations externes porte sur l’adéquationdifficile entre les objectifs fixés et les moyensmobilisables qui sont à l’origine notammentde la réduction du temps de travail consacréà l’exercice par les experts mobilisés, ainsique les difficultés à mettre en place undispositif de suivi de l’évaluation efficace.

D’autres outils, comme l’auto évaluation (desservices, des performances des collectivités)et l’évaluation participative (des projets, etc.),peuvent favoriser l ’appropriation desdémarches de suivi et évaluation par lescollectivités territoriales. En effet, que ce soitl ’auto-évaluation ou l’évaluation partici -pative, le processus est porté directementpar les acteurs locaux et un appui léger, avecla possibilité d’améliorer la participation dela société civile et une « réplicabilité » plusaisée. Ce sont des démarches qui permettentaux collectivités territoriales d’identifier lesniveaux de satisfaction des usagers desservices, d’en comprendre les raisons et desuivre dans le temps le degré de satisfaction,dans la perspective d’une améliorationcontinue des services offerts.

Le renforcement des capacités descollectivités territoriales en matière de suiviet évaluation

Plus globalement, les démarches d’évaluationsont encore balbutiantes et ne sont pasencore des pratiques courantes au niveaudes collectivités territoriales. La mécon -naissance des collectivités territoriales et desorganisations de la société civile conforte


l ’ intérêt d’engager des actions desensibilisation et formation pour renforcerleurs capacités en la matière. En effet, que cesoit les collectivités ou les organisations de lasociété civile, l’on peut retenir que chaquegroupe d’acteurs pris isolément ne peut pastout seul apporter les changements néces -saires au développement territorial . C’estensemble que ces groupes d’acteurs coaliséspeuvent apporter des changements dans lamise en œuvre de la décentralisation et despolitiques publiques au plan local.

Le renforcement des capacités en suivi etévaluation peut revêtir différentes formes :

- l ’engagement de démarche de sensibil i -sation et de formation au suivi-évaluationpour les collectivités locales (élus ettechniciens), et leurs sociétés civiles. Lesactions engagées peuvent porter sur lasensibilisation des élus à l’importance dusuivi et de l’évaluation (convaincre les élusest une condition indispensable à la réussitede la démarche), et à l’intérêt que de tellesdémarches peuvent avoir pour eux. Demême, des actions de formation destechniciens des collectivités à la mise enplace de dispositif de suivi-évaluationpeuvent être initiées, tout comme laformation d’un réseau de personnesressources au niveau local , susceptiblesd’encadrer des démarches d’évaluation ;

- des initiatives peuvent aussi être engagéespour accompagner les collectivitésterritoriales dans la réalisation de diversesformes d’évaluation, notamment l’auto-évaluation des services publics locaux,l ’évaluation participative de projets, lerecueil des données et l’état des indicateurs

de développement communal, l ’auto-évaluation des performances des com -munes, et l’organisation de bilans publics auniveau communal ;

- l’utilisation de certains outils d’informationet de communication comme le « théâtreforum », qui peuvent permettre en amontdes évaluations, de sensibiliser les acteurslocaux concernés sur les enjeux et l’intérêtde ce type d’exercice ;

- enfin, l ’expérimentation de dispositif adhoc , de type F3E ou assimilé peut êtresalutaire pour familiariser les collectivitésterritoriales aux exercices d’évaluation etleur apporter le soutien techniquenécessaire dans leur mise en œuvre. Il s’agitde voir comment promouvoir ce typed’outils . Comment tester à titreexpérimental , la mise en place de fondsd’accompagnement, pour que lesdifférentes formes d’évaluation soientdéve loppées et appropr iées , sanscrainte, par les collectivités territoriales etleurs sociétés civiles locales.

Pour les collectivités territoriales du Sud, plusspécifiquement, i l s’agit aujourd’hui detravailler en relation avec leurs partenaires, àintensifier les actions de sensibil isation etformation, et surtout à diversifier et s’ouvrir,au-delà des évaluations externes, à d’autresformes d’évaluation (mise en place dedispositif d’appui, auto-évaluation, évalu a -tion participative, accompagnement post-évaluation, etc.). C’est la combinaison de cesdifférentes démarches d’évaluation qui peutles aider à améliorer leurs connaissances et às’approprier des démarches et outils.


Il s’agit donc, sur la base des préoccupationsactuelles des collectivités territoriales, entermes de renforcement de leurs capacitésde maîtrise d’ouvrage, de promouvoird’autres modalités en matière de suivi-évaluation, qui leur permettent de mesurerconcrètement l’avancée de la mise en œuvrede la décentralisation sur le terrain, d’assurerune meilleure gestion de leurs institutions etdes services publics locaux et de conduire,en l ien avec leurs structures faîtières, unplaidoyer efficace pour l’amélioration de ladécentralisation et des politiques publiques.Ces démarches d’évaluation, au regard desenjeux et défis auxquels sont confrontées lescollectivités territoriales sont nécessaires etcomplémentaires aux évaluations externes.

De façon pratique, la promotion de laparticipation des collectivités territoriales etdes organisations de la société civi le auxdémarches d’évaluation, doit reposer enamont sur des actions de sensibilisation et deformation qui puissent leur permettred’intégrer les démarches d’évaluation dansleurs pratiques pour pouvoir avancer. Eneffet, un maire, qui bénéficie d’un pro -gramme d’une ONG ou d’une coopérationdécentralisée, a tout intérêt à ce que lesrésultats de l ’évaluation engagée nedébouchent pas sur l’arrêt ou l’abandon duprojet par le partenaire.

Malgré le chemin restant à parcourir, on nepeut que saluer l ’ intérêt grandissant descollectivités locales pour l’évaluation, parcequ’elles doivent répondre à des exigences deredevabil ité, mais aussi parce qu’ellesressentent de plus en plus l’utilité de ce typed’exercice. En même temps, et de façonparadoxale, peu d’acteurs consacrent desmoyens spécifiques et conséquents pour

promouvoir l ’évaluation dans toutes sesdimensions auprès des acteurs, en particulierdes autorités locales.

2.2.3. Promouvoir la participation descollectivités territoriales etorganisations de la société civileaux démarches d’évaluation :une nécessité

La participation est un principe qu’il convientde ne pas théoriser. Ce que les collectivitésterritoriales du Sud en attendent etdemandent, c’est que l’on n’agisse pas à leurplace, qu’elles aient leur mot à dire et soientimpliquées dans les négociations, les prisesde décision et la mise en œuvre des actionsqui impactent sur le développement de leursterritoires. Si elles ne sont pas associées auxprocessus d’élaboration, montage et de miseen œuvre des projets, i l est alors diffici led’espérer que l’évaluation de ces dits projetsse fasse de façon participative et les impliquedavantage.

Cependant, la réalité du terrain montre queplusieurs évolutions et innovations positivessont en cours :

• le caractère de plus en plus participatifdes évaluations avec une plus grandeimplication des acteurs du Sud. Lesméthodologies dans la conduite desexercices d’évaluation, pour ne rester quedans le champ des partenariats decollectivité à collectivité, se caractérisentaujourd’hui par leur dimension de plus enplus participative ;

• la préparation et la définition partagéedes commandes entre collectivité duNord et du Sud. Elle permet de mieux


cerner les enjeux et prendre en compteles attentes des collectivités du Sud ;

• la mobilisation d’expertise Sud et Nord,considérée comme un facteur positifqui favorise un regard croisé sur l’évalu a -tion et constitue surtout une occasion depromouvoir l’expertise en évaluation auSud ;

• l ’organisation de temps de partage etd’appropriation des résultats de l ’éva -luation sous forme d’ateliers ou autres.Toutefois, cela se fait le plus souvent defaçon séparée, à la fois au niveau de lacollectivité Sud et au niveau du Nord. Lesmoments de partage et d’appropriationen commun entre acteurs Sud et Nordsont rares ! Et le plus souvent, lorsque cesmoments sont organisés, ils ne sont pasl’occasion de mobiliser l’ensemble desacteurs clés du processus de co -opération ;

• la mise en œuvre de démarches d’appuipost-évaluation permettant aux collecti -vités du Sud de mieux s’approprier lesrésultats des évaluations, et surtout de lesmettre en pratique et les opérationnaliser.Toutefois, les appuis post-évaluation, quiconstituent pourtant une démarchenécessaire, ne sont que très rarementinitiés. Là aussi , les commanditaires etleurs partenaires soulèvent la questiondes moyens financiers nécessaires pourmobiliser l ’expertise qualifiée pour lesaccompagner dans cet exercice !

Ainsi, la mise en œuvre de ces innovations estconfrontée à plusieurs écueils, parmi lesquelssont relevées : la faiblesse des ressourceshumaines au Sud, en particulier au sein des

collectivités locales, pour porter et animer cetype d’exercice ; l ’absence de dispositifd’appui et d’accompagnement des collec -tivités du Sud ; la difficulté à mobiliser desressources financières et matérielles pourpromouvoir ces innovations. De ce point devue, l’expérimentation de dispositifs d’appuiaux collectivités territoriales dans la mise enœuvre des démarches d’évaluation estnécessaire.

Dans les démarches d’évaluation, plusieursgroupes d’acteurs interviennent à différentsniveaux : le partenaire technique et financierqui est souvent le donneur d’ordre ou lecommanditaire, le porteur du projet, l’expertqui accompagne l’évaluation, les béné -ficiaires, etc. Chaque groupe d’acteurs a engénéral des attentes et préoccupationsparticulières et aussi sa propre perception del’exercice d’évaluation et de ses enjeux. Laquestion centrale alors posée est commentfavoriser une parole pluriel le et la parti -cipation de tous dans une démarche multi-acteurs ?

Pour les collectivités du Sud, rarement àl’initiative ou commanditaire des évaluations,la prise en compte de leurs points de vuedemeure encore faible, mais elle est quandmême de plus en plus une réalité, enparticulier dans le cas des évaluations desprojets de coopération décentralisée qui ontpermis au fil des années une collaborationactive entre collectivités du Nord et du Sud.Cette dynamique doit se renforcer ettoucher également les organisations de lasociété civi le. Plus globalement, i l s’agitaujourd’hui, de mettre l’accent sur les voieset moyens pour améliorer la gouvernance etl’efficacité des démarches d’évaluation.


Conclusion

Ainsi, s’agissant des évaluations externes,quelques clés et principes opérationnelsdoivent être renforcés : i) la dimensionparticipative des évaluations ; i i) la pré -paration et la définition partagées descommandes ; iii) la mobilisation d’expertisecroisée Sud et Nord ; iv) l’organisation detemps de partage suffisamment longs etd’appropriation des résultats de l’évaluation,et la mise en œuvre de démarches d’appuipost-évaluation nécessaire pour aider lesacteurs à opérationnaliser les résultats.

Par ailleurs, il convient aussi d’aller au-delàdes évaluations classiques externes (à mi-parcours, ex post) et accompagner lescollectivités locales du Sud dans la mise enœuvre de démarches complémentaires,

notamment en favorisant les démarchesd’auto-évaluation et d’évaluation partici -pative, en accompagnant la mise en place dedispositif de suivi-évaluation et en pro -mouvant les exercices de capitalisation.

De telles initiatives permettraient, enparticulier aux collectivités du Sud, d’êtredavantage dans des positions d’appren -tissage d’appropriation et de capacité àrendre compte. Cela leur servirait égalementà s'inscrire dans des processus et dispositifsintégrés de suivi et d’évaluation qui serventd’outil de mana gement du développementde leur territoire. Cela permet d’analyser defaçon plus fine, ce qui avance, ce qui marcheet ne marche pas, et d’apporter au fur et àmesure des corrections pour progresser versplus d’efficacité.


Pour une collectivité locale, avant tout pourl’élu(e) qui a en charge le dossier de lacoopération décentralisée, se pose à unmoment ou à un autre, la question du« pourquoi ». C’est-à-dire la question del’opportunité du choix de cette politiquepublique, de ses objectifs et de sesorientations, et de sa place dans la politiquegénérale de la collectivité.

La communauté d’Agglomérations de Cergy-Pontoise, ancienne ville nouvelle créée à lafin des années 1960, a inscrit dans sescompétences (facultatives) la coopérationdécentralisée. Cependant ce choix n’a pasété dicté par une réflexion et des objectifspolitiques déclarés ; il ne s’est imposé quepar l ’existence et la reconnaissance dejumelages initiés dès les années 1970. Rien deconcerté ni de construit dans cettecompétence, au commencement de cetteaventure de solidarité internationale.

C’est dans ce contexte que la convention decoopération avec la vi l le de Porto-Novo,capitale du Bénin, a été renouvelée en 2004.

Jusqu’à 2002, le partenaire béninois était lacirconscription urbaine, gestion étatique etadministrative de la ville. La décentralisationamorcée allait changer le contexte béninoisde ce partenariat, la ville étant désormaisdirigée par une équipe municipale élue quidevait se structurer autant politiquementqu’administrativement. Notre collectivitéallait être amenée à accompagner ceschangements dans le cadre d’un appuiinstitutionnel au développement duterritoire.

La convention prévoyait l’évaluation externedes projets établis dans son cadre commecondition de la pérennité du partenariat au-delà de la période 2004-2007. En réalité, parl’adoption de plusieurs avenants, la périodede la convention s’établit de 2004 à 2010.

2.3.1. Origines et motivations del’évaluation

Quelles raisons ont motivé l’inscription del’évaluation externe comme conditionpréalable au renouvellement du partenariat ?


2.3. L’évaluation du projet decoopération décentralisée dansune collectivité : entre redevabilité

et apprentissage

Rose-Marie Saint-Germès Akar

Nous désirions, les uns et les autres, faire unbilan « sincère » des résultats des actionsengagées et, au-delà, se poser la question dudevenir de nos engagements réciproques.D’un côté, nous faisions face aux doutesquant à l’efficacité de l’aide, de l’autre, à lasuspicion quant à la véritable uti l ité desprojets pour le développement de nosterritoires. Un regard externe, neutre etcritique à la fois, s’imposait à nous commeétant le meil leur moyen de justifier nosengagements passés et à venir.

Dans une institution publique et politique,l’élu est le garant de la bonne utilisation desdeniers publics. La transparence et l’efficacitédoivent guider ses actions et il doit rendredes comptes sur ses choix stratégiques et surses engagements financiers, à ses électeurs,mais aussi aux éventuels bail leurs [29]. Uncontrat moral l ie les différentes parties etconditionne la crédibilité et la pérennité dumandat de l’élu !

Cette approche de la notion de redevabilitécentrée sur des raisons politiques, est sansdoute réductrice. C’est une vision « par lehaut » (ce sont les décideurs qui sontcommanditaires de l’évaluation) alors que« le bas » (les bénéficiaires) n’est pas pris encompte dans cette décision.

C’est pourquoi, il est impossible de se limiterà cet enjeu. Dans le cadre de partenariat etd’engagements avec une collectivitéappartenant à un autre système étatique etpolitique, avec des problématiques spéci -fiques, des cultures différentes, il ne suffit pasde justifier, il faut aussi convaincre du bien-fondé de l’aide au développement, à la fois

comme élément structurant d’une politiquepublique et comme outil de développementprogressif du territoire.

I l faut faire la preuve, auprès des élus, desdécideurs, que nos choix sont les bons, quenos stratégies et nos actions sont efficaces.Pertinence, efficience, efficacité ? Qui tirebénéfice de cette coopération ? Lepartenaire du Sud, le premier concerné ?Mais qui est bénéficiaire ? La vi l le ? Lescitoyens ? Quelques individus ? Qu’apporte-t-on à nos territoires ? A nos concitoyens ?

Autant de questions qui se posent plusparticulièrement encore dans le contextesocioéconomique tendu que nousconnaissons en France, et qui peutencourager certaines formes de repli sur soi.Il n’est pas rare que s’expriment, de manièreplus ou moins triviale, des doutes quant àl’ intérêt même d’accompagner unecollectivité du Sud lorsque des urgencessociales s’ imposent sur notre propreterritoire et que les capacités financières necessent de diminuer.

L’évaluation devient alors un outil au servicede l’élaboration d’un argumentaires’appuyant sur le constat – concret – dubien-fondé de nos actions et de l’intérêt quele partenariat représente pour nos politiquespubliques. C’est dans les valeurs de solidarité,dans la notion d’échange et d’enrichis -sement réciproque que nous devons puisernos arguments. C’est la participation etl’implication d’acteurs locaux constituant unréseau de solidarité qui justifie en partienotre action. Est-ce suffisant ?


[29] Dans ce cas le MAE.

L’évaluation nous offre la possibil ité dedépasser le simple discours, aussi généreuxet convaincant soit-i l , et de présenter unbilan distancié et crédible qui ouvre sur desperspectives visant l’amélioration, voire laréorientation du projet global. In fine , nousattendons de cet exercice, à la fin d’unprocessus dont la mise en place et ledéroulement nous engagent, dès soncommencement, dans une réelle démarched’apprentissage, une amélioration de nospratiques.

2.3.2. Un processus d’apprentissage

L’objectif d’apprentissage a été égalementau cœur de notre volonté de recourir àl‘évaluation. Cet exercice ne s’impose pasnaturellement et rencontre bien souvent desréticences. Logiquement, lorsque l’ons’engage dans des actions de solidaritéinternationale, on le fait souvent avec sérieuxet professionnalisme, toujours avec convic -tion, et le regard de l’évaluateur peut veniraltérer l ’opinion que l’on se fait de nosactions, qui peuvent s’avérer moinsconcertées, moins bien menées et mêmemoins efficaces que nous ne le pensions.L’évaluation peut remettre en questionl’existant.

Nous nous sommes interrogés sur notredémarche de coopération décentralisée auregard des résultats des actions menées, del’analyse des méthodes, mais surtout enconsidérant la cohérence globale de cettecoopération.

Quel est finalement l ’ intérêt pour noscollectivités au Nord et au Sud de mobiliserinstitutions locales et acteurs du territoirepour accompagner la décentralisation au

Bénin, appuyer et renforcer les capacités dedéveloppement de la ville partenaire ? Aussiimpossible que cela puisse paraître, nous nenous étions pas réellement posé la question,en tout cas ni en l’approfondissant politi -quement, ni en partageant la réflexion dansun cercle élargi ! Jusqu’alors, notre politiquede coopération décentralisée recueil laitl ’assentiment des élus politiques et leurbienveil lance à l ’égard d’un pays ami,considéré comme en attente de notre aide.Cela suffisait à justifier nos choix.

A cette étape, la question de l’évaluationprenant prétexte de la redevabilité, commenous la concevions, a trouvé une nouvelledéfinition, prenant en compte une orien -tation plus formatrice. Les rencontresorganisées dans le cadre de la restitution, àCergy-Pontoise comme à Porto-Novo, ontété l’occasion d’une réflexion partagée sur lesens donné à nos engagements et sur lesbénéfices du partenariat sur nos territoiresrespectifs en ouvrant sur les questionsprospectives de ce que nous en attendons àprésent. Ce moment très fort de la démarchea permis d’interroger les fondamentaux del’action internationale de nos collectivités,sans pour autant apporter toutes lesréponses, mais permettant, dans un premiertemps, de se positionner dans cettedynamique.

Aujourd’hui, alors que nous actons lanouvelle convention triennale de partenariat,c’est à partir de ces réflexions que nousbâtissons les nouvelles bases. L’évaluationnous aura permis de prendre appui sur uneconception de la coopération qui soit unvéritable outil pour le pilotage politique duprojet global d’agglomération dans lequelelle prend toute sa place, permettant de


réinterroger d’autres politiques publiques, lesdispositifs existants ou les modes d’inter -vention.

En bonne place dans l ’Agenda 21 del’agglomération, où le chapitre « êtresolidaire » lui est en grande partie consacré,la politique de coopération décentralisée estreconnue, à l’ interne, comme transversaledans sa mise en place (intervention dedifférents services concernés par lesquestions d’appui institutionnel, d’amélio -ration des services publics), et, à l’externe,comme source d’animation territoriale et departenariats (enseignement supérieur,acteurs socioéconomiques ou culturels), quifavorisent la prise de conscience citoyenneet la participation.

Par ailleurs, Cergy-Pontoise s’engage dans lemême temps dans un nouveau partenariatavec Haïti et nous souhaitons dépasser lasimple démarche de solidarité « réactive » auséisme de 2010, en partant de lacapitalisation de l’expérience béninoise et enla valorisant.

Pour ce nouveau projet, nous avonsreconsidéré et réorienté le pilotage de lacoopération, technique comme politique :l ’ importance de la transversalité de cettepolitique publique qui avait été soulignée aété prise en compte, et de nouvellesdémarches, mises en œuvre. Les différentsprojets se construisent ensemble, dans unpartage des compétences permettant deconcil ier des approches politiques ettechniques autour d’une réflexion communequi s’enrichit des confrontations oudifficultés appelant consensus. Cette démar -che tend à modifier les comportements et

engage les techniciens à porter un nouveauregard sur leurs pratiques.

Notamment, la coopération n’est plusl’exclusivité d’une élue et d’un service. Dèsla mise en place de ce nouveau projet decoopération, un groupe de travail a été initié,composé d’élus et de responsables deservices, et les échanges s’enrichissentd’approches diverses, d’engagementsmultiples et partagés. Nous affichonsl’ambition de valoriser la transversalité denotre projet, dépassant la participationsectorielle ou actorielle, pour développerune construction commune.

Par ailleurs, nous avons souhaité élargir etmutualiser nos actions en nous associant àd’autres partenaires sur le territoire haïtien(français et internationaux) autour d’uneplateforme internationale composée de sixacteurs différents, afin de favoriser l ’évo -lution des projets soutenus, de s’enrichir lesuns et les autres de pratiques différentes etde rendre plus lisibles et plus efficaces nosactions pour nos partenaires Haïtiens et lesautorités.

2.3.3. Le suivi de l’évaluation et lapérennité du processus

I l est incontestable que l’évaluation,considérée au départ comme un simpleexercice de contrôle et compte rendu deprojets et de leurs réalisations, dontl’extériorisation était censée apporter unegarantie d’objectivité, s’est avérée être unfabuleux outil, d’abord de réflexion sur lesfondements des choix politiques effectués,ensuite de construction de nouveaux modesde fonctionnement, politique et stratégique.


Reste la question du suivi et de la pérennitéde cette approche. Sans doute, de nouvellesdifficultés apparaîtront : dans l’élaborationdu nouveau projet, la question du rythme dechacun dans l ’appropriation des recom -mandations de l’évaluation se posera ; lacapacité de réaction ou de résilience face auxfaiblesses ou échecs des projets pourraconstituer un obstacle. De nouveaux besoinsémergent, comme la prise en compte de lanécessaire formation des participants auprocessus.

L’évaluation ne doit pas rester un exerciceisolé dans le temps ; el le doit, pour être

véritablement efficace, se prolonger par unsuivi formel, un accompagnement durable.

Dans un premier temps, c’est-à-dire aumoment de la restitution de l’évaluation, lavolonté de réorientation du partenariat a étéaffirmée et partagée. Cependant, la capacitéde mise en œuvre de ces changements n’apas été réellement abordée. Pour être plusefficace, et ne pas reposer sur une simpledéclaration de bonnes intentions, ladémarche aurait certainement dû êtreaccompagnée et planifiée afin de capitalisersur l ’expérience passée en assurant etconsolidant les acquis de cette expérience.



3. Des pratiques d’évaluation innovantes

Préambule

L’utilisation de l’audiovisuel dans les sciencessociales n’est pas vraiment récente. Dès lesannées trente, les anthropologues et lesethnologues discutent de la place de cetoutil dans le travail d’observation lorsqueque les premières captations sur le terrainsont rendues possibles par le matériel. Aucours des trois dernières décennies, ladémocratisation de l’audiovisuel et lesréductions notables des coûts et del’encombrement ont permis l ’émergenced’utilisations novatrices et de plus en plusfréquentes de la vidéo dans le domaine dudéveloppement[30].

Pour autant, la démarche consistant à utiliserl’audiovisuel dans un processus d’évaluationest nouvelle et n’a pas encore fait l’objet derecherches particulières.

Cet article s’attache à poser la question de lapertinence de l’util isation du médium

audiovisuel et s’interroge sur les change -tments que cela peut entraîner dans lespratiques. I l s’appuie sur trois expériencesd’évaluations filmées réalisées en partenariatavec l’AFD[31], un mémoire universitaire et uneenquête effectuée auprès des spectateurs del’évaluation filmée « Prey Nup ».

3.1.1. Le déroulé d’une évaluationfilmée : l’exemple de Soweto

Le second film évaluatif, réalisé entre 2010 et2011, concernait un projet d’alimentation eneau en Afrique du Sud, à Soweto, dirigé parune fil iale de la vil le de Johannesburg ,Johannesburg Water [32], et financé par unprêt concessionnel de l’AFD. L’objectif duprojet était de réduire les pertescommerciales et techniques sur le réseaud’eau qui alimentait le township de Soweto. Ilconsistait à la fois en la rénovation totale duréseau secondaire (près de 200 km) et la miseen place d’un nouveau mode de paiementpour le million de clients privés de Soweto : le


[30] Pour en savoir plus, nous pouvons nous reporter à l’étude commandée par le Centre technique de coopérations agri-cole et rurale sur ce thème et qui recense les différents modes d’utilisations de l’audiovisuel dans le développementrural : Rico, L. et A. Mandler (2009), Video for Development, Filming for Rural Change , Kay Sayce, Words at Work,Londres.

[31] Ces trois films évaluatifs sont consultables sur le web : Evaluation Afrique du Sud : http://www.afd.fr/home/publica-tions/Videos/documentaires/evaluation-sowetoÉvaluation Prey Nup (Cambodge) : http://www.afd.fr/home/recherche/evaluation-capitalisation/autres-produits-de-capitalisation/evaluation-prey-nupPalestine : http://filmdevaluations.fr/

[32] À cette époque, Johannesburg Water était une entité juridiquement autonome, appartenant à 100 % à la ville, et encharge de la gestion des portefeuilles clients, de la facturation et de l’entretien du réseau d’eau.

3.1. L’évaluation filmée

Eric Mounier

prépaiement. L’approche de l’opérateur,Johannesburg Water, fut très critiquée, toutparticulièrement sur la mise en place decompteurs à prépaiement, et le projet connutdes difficultés qui engendrèrent des procèsau retentissement médiatique important,jusqu’à ce que soit saisie la Cour constitu -tionnelle de l’Afrique du Sud.

L’évaluation filmée s’est déroulée sur prèsd’un an et demi, entre 2010 et 2012.

On ne peut pas parler de méthodologie ausens strict du terme, mais plutôt d’unprocessus qui s’est déployé en quatre phases.

Sur le projet Soweto, i l n’existait aucundocument évaluatif ou de capital isationpréalable. Le parti pris par l ’AFD était deconstruire une évaluation uniquement par lebiais de l’audiovisuel.

Préparation sur le terrain

La première phase a consisté en premier lieuà recueillir les données du projet (réductiondes pertes techniques, économies réaliséespar Johannesburg Water , etc.) et à effectuerune première visite d’étude sur place,d’environ deux semaines. Celle-ci visait àrencontrer tous les partenaires du projet, àrecueil l ir les données et à organiser desvisites sur le terrain, à la fois dans uneoptique de prise de connaissance maiségalement de repérage des l ieux detournage. Notre souhait était de travailleravec des équipes et techniciens nationaux, etces visites ont permis également deconstituer les équipes locales.

Ce processus a été identique sur les troisfilms évaluatifs et, pour chacun d’eux, nous

avions un relais sur place — un « fixeur » —c’est-à-dire une personne chargée de faire lel ien entre nous, basés à Paris , et nosinterlocuteurs sur place pour préparer letournage.

Ces visites d’études servent également unobjectif essentiel d’explication de ladémarche et du processus de l’évaluationfilmée. La grande majorité des intervenantsont du mal à associer l ’audiovisuel à unprocessus rigoureux et neutre d’évaluationet, par ai l leurs, i ls sont également assezsouvent inquiets sur ce qu’i l va leur êtredemandé. Lors de ces visites le but est à lafois d’ancrer la démarche audiovisuelle dansun processus d’évaluation et de les rassurersur leur participation.

Enfin, dans cette relation fondamentale avecles intervenants, i l faut souligner que, s’i lssont présents devant l ’objectif , avec unetendance à un certain discours convenu, lavisite d’étude permet une plus grande libertéde parole. C’est à partir des informations etavis recueillis lors de ces premiers entretiensque le réalisateur doit travailler pour sortirdes discours « langue de bois ». Le contact etla relation de confiance qui peuvent s’établirau cours de la première visite sont essentiels.

On peut également ajouter que le film etl’évaluation débutent réellement lors de cespremières rencontres. Au fil des discussions,les acteurs engagent une démarche deréflexion et d’analyse autour des questionscentrales de l’évaluation. Ces entretiens leurpermettent également de cerner le champd’étude du film et son approche. C’est uneco-construction, car le réalisateur-évaluateurva bâtir le discours du film et sa structure enfonction de ces entretiens.


Dans le même temps, deux comités depilotage ont été mis en place, l’un à l’AFD quicomprenait des représentants dudépartement d’Évaluation de l’AFD, dudépartement technique concerné, dudépartement géographique et de laCommunication. Un autre comité depilotage a été créé à Johannesburg , dirigépar le directeur financier de JohannesburgWater et qui comprenait les différentsservices techniques concernés. De plus, YvesFicatier, évaluateur sénior de la division del’Évaluation et de la capitalisation de l’AFD,était chargé de suivre de près l’évolution del’évaluation filmée et a été un interlocuteurprivilégié et structurant tout au long de laproduction. Enfin, Roger Odin, sémiologueet théoricien de la communication, estintervenu plusieurs fois pour apporter un avisconsultatif sur le sens et l’interprétation dela réalisation audiovisuelle dans une optiqued’évaluation.

Malgré ces nombreux partenaires, j’ai eu uneliberté totale pour mener l’évaluation et laréalisation et, s’il y a eu des discussions, ellesn’ont jamais menacé mon indépendance devues et mes opinions concernant l’ordre del’évaluation.

Le synopsis

La deuxième phase a consisté à produiredeux documents : d’une part, un rapport demission à caractère évaluatif qui s’appuyaitclairement sur les critères d’évaluation duCAD. Puis, à partir de ce document, unsynopsis a été présenté aux deux comités depilotage. Ce synopsis, élaboré à partir durapport de mission, proposait les thèmes quiseraient traités dans le film et jugés pertinentsau regard de l’analyse produite sur le projet.

L’objectif de ce document était de présenterun canevas qui s’ouvrait sur de nouveauxpoints de vue, informations ou situationsintéressantes pouvant survenir pendant letournage, sans enfermer le fi lm évaluatifdans un discours préconstruit.

Le tournage

Au cours de cette troisième phase, letournage, le réalisateur-évaluateur est trèsprésent. De fait , s’ i l s’effaçait , sa positionserait peu propice à susciter la confiance qu’ilrecherche chez les acteurs du projet. Ainsi, ilfait partie du projet, le temps de l’évaluation,et doit tendre vers un rôle d’acteur ponctuel,sa participation devant être alors considéréecomme un apport au projet.

Le tournage est la production de la matièrepremière de l’évaluation fi lmée et s’ i l estorganisé en suivant les lignes conductricesfixées par le synopsis, il offre également unematière nouvelle, des informations et desavis. Ainsi , lors de la première évaluationfilmée réalisée sur le Cambodge, le tournaged’une réunion d’agriculteurs bénéficiaires duprojet a permis de faire surgir uneproblématique particulière dont l ’ impor -tance n’avait pas été jusqu’alors suffisam -ment mesurée.

Le tournage permet une immersion assezlongue sur le terrain du projet et, si la camérapeut induire une certaine méfiance, elle peutégalement être le déclencheur de réactionsintéressantes. Par exemple, des difficultés detournage provoquées par un élu d’arrondis -sement ont permis de révéler la forte tensionpolitique qui entourait le projet.


Les entretiens sont préparés à l’avance, lesintervenants connaissent les thèmes quiseront abordés. Ils sont assez longs pour uneinterview (entre 40 et 60 mn) et sont réaliséssur le mode d’une conversation relativementouverte et dans laquelle le réalisateur n’estpas seulement un questionneur maiségalement un interlocuteur qui accompagnela personne interviewée.

Le montage, la validation

Le montage et les étapes de validation sontla quatrième phase. La matière recueillie autournage fournit généralement une visionlégèrement différente de ce qui étaitenvisagé au moment du synopsis. Lemontage consiste à mettre en regard lespositionnements des acteurs du projet, àvérifier et recouper les informationsnouvelles et à évaluer les différents élémentsdu tournage pour les agencer de manière àce qu’ils soient justes et mesurés par rapportaux composantes du projet.

Les comités de pilotage en France et enAfrique du Sud ont été consultés pourdonner un avis, proposer des réajustementsou rééquilibrage et finalement valider le film.

3.1.2. Apports et limites de l’audiovisueldans le processus évaluatif

L’évaluation, un processus decommunication

L’évaluation est un processus de commu -nication [33], c’est-à-dire, dans un enchaîne -

ment ordonné d’échanges d’infor mations etde communication en vue d’obtenir unrésultat particulier, une analyse d’unprojet/programme de développement. Etcette succession d’échanges interactifs, à lafois entre individus et organisations, répondà des règles particulières (termes deréférence, indépendance de l’évaluateur,collecte de données, etc.).

Ces échanges ont lieu à toutes les étapes del’évaluation : en commençant par larédaction des TdR où les informationsdonnées et les questions posées vont guiderle travail de l’évaluateur. Ils se poursuivent parla collecte d’informations de l’évaluateurauprès des partenaires du projet, celle-cis’inscrivant dans un tissu relationnel existantet dont il doit tenir compte. Les entretiens,par lesquels l’évaluateur va construire sonopinion, sont par essence même unedémarche d’échanges. Il s’ensuit la rédactiondu rapport évaluatif , autre étape detransmission de l’analyse, et enfin larestitution : l ’évaluation s’achève sur unexercice de communication.

Ces échanges, ces transmissions d’infor -mations et d’opinions qui tissent le processuscommunicationnel de l’évaluation sont, pourcertains évaluateurs, l ’essence même duprocessus évaluatif . Par exemple, dans ledébat sur l ’uti l ité des évaluations, deschercheurs-évaluateurs avancent l ’ idée,reprise de nombreuses fois, que l’uti l itéprincipale de l’évaluation se situe dans leprocessus même et, dans une moindremesure, dans les résultats : l’effet majeur de


[33] Nous donnons cette définition, très générique, du processus de communication pour éviter la confusion entre leconcept de communication, telle que l’entendent les sciences sociales et sur lesquelles nous nous appuyons, et lesens commun qui lui est attribué, généralement plus proche de la valorisation et du plaidoyer. Ce dont nous parlonsici ne concerne pas le contenu, mais le processus mis en place.

l ’évaluation est dans la démarche detransmissions d’informations, d’échanges depoints de vues et de dialogue qui permet unapprentissage mutuel[34].

Quelle que soit l’utilisation faite du processusd’évaluation, la démarche de communicationsur laquelle il s’appuie a une forme un peuparticulière marquée par deux caracté -ristiques fortes :

- c ’est , ma jor i ta i rement , un processusinclusif : les acteurs donnent leur message àun récepteur qui, à la fin, les renvoie auxmêmes personnes en uti l isant un codecommun à tous : un lexique, un vocabulaireet des concepts qui peuvent être partagéspar tous. Le rôle de l’évaluateur estd’apprécier ces différentes paroles auregard des projets pour construire uneopinion. On pourrait dire qu’i l crée unmessage nouveau et spécifique en fonctiondes messages reçus précédemment et desinformations données ;

- l ’évaluation a une fonction de miroir :renvoyer une image et une analyse duprojet à ceux-là mêmes qui l’ont demandé,impulsé, conduit et reçu.

Quel langage ? Le verbe vs l’image

Quelles sont les spécificités de l’audiovisueldans ce processus de communication ?

En général, les sémiologues et les linguistesposent deux principales différences entre le

langage verbal et le langage audiovisuel .D’une part, le langage verbal est basé sur uncode symbolique et arbitraire : le mot n’aaucun rapport direct avec l ’objet qu’i ldésigne[35]. À l’inverse, le langage iconique ouaudiovisuel est plutôt analogique, il semblerendre compte d’une réalité « telle qu’elleest », sans transposition par un langageabstrait. D’autre part, alors que le verbe estmonosémique, i l ne désigne qu’une seulechose à la fois, l’audiovisuel est polysémique :l ’ icône renvoie à une multitude de senspossibles. On peut dire que la valeurinformative de l’ image est plus complètemais moins précise.

Ces distinctions de nature entre ces deuxmédiums vont évidemment avoir desimpacts différents sur le lecteur ou lespectateur.

Le « miroir »

La nature analogique de l’audiovisuel activede manière forte la fonction « miroir » del’évaluation. Elle appuie son caractère réflexif,à double titre : d’abord l’ intervenant, oul’organisation, reçoit sa propre image et sesparoles, il devient spectateur de lui-même enquelque sorte, mais également de son action,de son intervention. Réflexif ensuite, parceque cette image est utilisée pour réfléchir sursoi-même (en tant qu’individu ou groupe) ousur l’action qui a été menée.

C’est un des traits systématiques des troisévaluations fi lmées : les acteurs du projet


[34] Une revue de littérature décrit différentes approches qui défendent ce point de vue : Delarue, J., J.-D. Naudet et V. Sauvat (2009), Les évaluations sont-elles utiles ? , Connaissances et décisions, mars, AFD, Paris.

[35] Le mot « arbre » n’a absolument aucun rapport direct avec l’objet qu’il désigne (« tree » en anglais par exemple).L’image de l’arbre semble être le reflet direct de la réalité. Mais le mot n’a qu’un seul sens, alors que l’image peut sug-gérer plusieurs sens notamment avec le contexte de l’objet (l’hiver, la verdure, la forêt, une plaine, etc.)

prennent la parole et s’expriment direc -tement, sans le biais du rédacteur. I ls sontmaîtres de leurs expressions et i lscontribuent à la construction du discours etde l’analyse. Cette spécificité de l’audiovisuelnourrit le caractère participatif de l’évalu -ation, et concourt également à uneappropriation plus importante de l’évalu -ation que ne le permet l’écrit.

Le spectateur reçoit quant à lui uneinformation plus riche et plus complexe : encomplément de la parole de l’interlocuteur, ily a le « sous texte », c’est-à-dire le ton, lesmimiques, le rythme de la parole, l’attitudephysique, etc., pratiquement impossibles àretranscrire à l’écrit. Ces informations sontutiles parce qu’elles permettent de fairesurgir « l ’ implicite » et le non-dit, el lesdonnent une vision plus globale à la fois surl’ interlocuteur, en renseignant sur sonintention, mais également sur son contexte.

« Monstration »

La seconde fonction forte de l’audiovisuelest descriptive. Les sémiologues diraient« monstratrice » : il s’agit de donner à voir (età entendre) des situations, des personnes,des contextes pour les soumettre au regardd’une tierce personne, un public, dansl’objectif de le renseigner.

Cela apporte à l ’évaluation une qualitéinformative et pédagogique particulières : letype d’habitation, la manière dont les piècessont meublées, les véhicules uti l isés, lespublicités, les vêtements que les gensportent, l’état des routes, la nourriture, lesoutils de travail , etc. La l iste est volon -tairement longue parce que les occasionssont excessivement nombreuses et variées

pour le spectateur « d’entrer dans unmonde » et d’y piocher des informations surle projet et son contexte d’intervention.

Cette nature analogique de l’audiovisueloffre également une approche moinsvirtuelle de la réalité qui change l’angle devue générale que l’évaluation écrite portesur le projet, c’est-à-dire – généralement –une analyse distanciée et idéelle. L’audio -visuel rend compte de la réalité de manièrerapprochée et factuelle. I l donne lesentiment de voir les choses telles qu’ellessont et non pas retranscrites à travers unlangage et des idées, des concepts. Il donnel’impression d’une réalité palpable pour lespectateur, avec un important degré devéracité. D’une certaine manière, i l a lacapacité de « reconnecter » les partenaires,notamment les bail leurs, avec la réalitécomplexe du terrain.

Cette caractéristique de l’audiovisuel, uneapproche concrète et contextualisée, faitapparaître aussi une des l imites de cemédium car i l ne permet pas vraimentd’aborder facilement des abstractions. Parexemple, une discussion sur la formulemathématique de l’indice de développementhumain (IDH) ou sur les différentes théorieséconomiques, fonctionnerait difficilementsous la forme d’un film.

Quelle relation entre l’image et le commentaire ?

Cette fonction d’analyse pose alors laproblématique fondamentale de l‘utilisationdu langage dans le fi lm ou, en d’autrestermes, du rapport entre l ’ image et lecommentaire (ou l’absence de commen -taire). Cette question est essentielle car elle


sous-tend le type d’évaluation qui est donnéà regarder au spectateur, voire même larecevabilité de l’évaluation elle-même.

Cette question peut se résumer ainsi : doit-on guider le spectateur par un commentaireanalytique et dirigiste, ou plutôt s’appuyersur les images seules, les situations rap -portées et la parole des acteurs ? La voix del’évaluateur, c’est-à-dire son point de vuedistancié et interprétatif des images, doit-ilêtre dominant ou doit-on plutôt offrir auspectateur les éléments audiovisuels« bruts » pour qu’i l se forge sa propreopinion ? Dans le premier cas où la voix ducommentaire est au premier plan, cela créede fait une distanciation entre le spectateuret les images qui bloquent « l’immersion » duspectateur dans l’espace du projet rapportépar les images. Mais, si les caractéristiquesparticulières de l’audiovisuel énoncées plushaut ont alors un impact moindre, cetteapproche est plus en phase avec ce que lecommanditaire attend généralement d’uneévaluation : un avis formulé et, le plussouvent, des recommandations.

Dans le second cas, lorsque le commentaireest en retrait ou totalement absent, lorsqu’ilne « dirige » pas la lecture du film, il permetune plus grande immersion du spectateur,mais le laisse, seul , construire réellementl’analyse.

Le choix entre ces deux approches doit êtrefait au moment de la rédaction des TdR cari l conditionne fortement la nature del’évaluation filmée.

Les dynamiques du projet

Une autre différence importante tient à laconstruction d’un film et sa différence avecl’écrit : le documentaire est basé sur unecontinuité et sur une durée l imitée. Parcequ’un film, même de 52 minutes, ne peut pasaborder tous les aspects du projet demanière complète, il doit donc se concentrersur les composantes significatives, lesévénements majeurs, les résultats les plusimportants. I l tente de retracer alors ladynamique du projet en y portant un regardcritique. Mais, de fait , i l met « de côté »certains éléments du projet. A l’inverse desdémarches évaluatives écrites, i l n’estabsolument pas en recherche d’exhaustivité.Comme le dit Carol Weiss[36], chaque projet aun sens et une histoire particulière quis’inscrit dans un mouvement visant à réaliserun changement. L’évaluation audio vi - suelle rend compte de la dynamique duprojet plutôt que de l’ensemble de sescomposantes de manière exhaustive.

L’audiovisuel dans le processus decommunication de l’évaluation

Par rapport aux deux caractères particuliersde la communication dans l’évaluation, lafonction « miroir » et le fonctionnementinclusif des échanges, l ’audiovisuel sedifférencie de l’écrit . Nous l ’avons vu, lafonction « miroir » ou réflexive est plus forteavec l’ image. Cela a certainement uneincidence sur la perception que les acteursont d’eux-mêmes, et certains penseront qu’il


[36] Weiss, C. (1998), Evaluation , Prentice Hall, New Jersey, p. 284.

est nécessaire d’avoir plus de recul (ce quepermet l’écrit), d’autres argumenteront quecela permet de faire émerger plus clairementles éléments importants.

À l ’ inverse, l ’écrit a plutôt tendance àrenforcer la dimension inclusive du processusd’évaluation, notamment à cause du lexiqueet de la structure du texte bâti sur desnormes et des concepts qui éliminent de faitun large public. L’image, à l’inverse, est unoutil qui peut permettre de sortir de cettesphère fermée des partenaires du projet,pour ouvrir la démarche évaluative vers unpublic plus large.

C’est également une des plus-values del’audiovisuel : la visibi l ité est plus grande,l ’évaluation devient accessible à uneaudience plus large et plus hétérogène.Chaque évaluation filmée réalisée au sein del’AFD a été vue par plusieurs centaines depersonnes, et continuent à être montréesrégulièrement.

3.1.3. Changement de paradigme ?

Ces caractéristiques particulières del’audiovisuel imposent un changementd’angles de vues et, probablement,modifient quelques paradigmes del’approche évaluative.

En résumé, les principales caractéristiques del’audiovisuel pour l’évaluation sont :

• de rendre compte prioritairement desdynamiques du projet ;

• de privi légier la parole des acteurs duprojet ;

• de situer ces paroles dans leurs contextes ;

• de donner à voir les interactions à l’œuvreentre les différents acteurs du projet.

On s’aperçoit alors que, si la teneur del’évaluation écrite est plutôt de l’ordre desconcepts et des normes, celle de l’évaluationaudiovisuelle est plutôt de l’ordre del’expérience et des interactions. L’évaluationfilmée se fonde sur la parole des acteurs, ellelaisse les points de vue s’exprimer et les meten regard les uns par rapport aux autres, etce qui est donné à voir principalement estl’interaction entre les partenaires qui révèlentles dynamiques, les intérêts, les motivationset les contraintes de chacun d’eux. El lemontre ainsi comment i ls s’accordent, serejoignent ou s’opposent, et comment seconstruit le projet dans ce processusd’échanges.

Faut-il pour autant formaliser cette approcheet donner une grille d’analyse sur les basesévoquées ci-dessus ? I l y a un risque fortd’enfermer la démarche dans un schématrop contraignant ou non opérationnel.Cette proposition ne doit pas être prise aupied de la lettre, mais plutôt comme uneouverture à la réflexion sur les changementsque peut apporter l’audiovisuel.

On peut tenter d’imaginer, avec beaucoupde prudence, un schéma qui, s’appuyant surles données objectives du projet, tenterait derelater les dynamiques et les actionsentreprises à travers l’interaction entre lesacteurs et leurs organismes.

Cette approche par les interactions pourraitse dérouler en quatre phases :


1) la première, fortement liée à la pertinence,serait axée sur l’analyse de la situation etsurtout sur la manière dont les acteurspartagent ou non les mêmes points devue, notamment sur les objectifs. C’est laprise d’information de la problématique etla formulation des besoins, le partage desdiagnostics du problème, ainsi que lespositionnements de principe sur le typed’intervention nécessaire, le cadrage de larelation entre les acteurs. On pourraitrésumer cette phase par « Attention etintention » ;

2) la deuxième phase pourrait être la prise deresponsabilité : elle inclut la formalisationde la relation, le positionnement despartenaires, la manière dont ils souhaitentintervenir et la collaboration qu’ils veulentmettre en place de manière effective.C’est aussi le phasage de l’action, larépartition des rôles et des fonctions ;

3) la troisième phase est celle de la mise enœuvre, avec le déploiement des compé -tences et des moyens, la multiplication desacteurs et la gestion de cette multiplicité.La complexité de la réalité perturbe oumodifie les plans prévus et peut parfoisremettre en question les objectifs initiaux.De nouveaux acteurs apparaissent,certains sont désirés – comme lesopérateurs, les responsables decommunautés ou les organisationspubliques –, d’autres peuvent être moinssouhaités parce qu’ils contestent le projetou proposent d’autres objectifs, parexemple. C’est généralement la phase laplus longue et la plus complexe, celle ou

des détails et des imprévus peuventremettre en cause tout ou partie duprojet, et, souvent, mettre à l’épreuve larelation établie entre les partenaires ;

4) la dernière phase serait celle des effets etdes résultats du projet traités sous l’angledes réactions et des commentaires desacteurs du projet. On rejoint ici lesdoubles objectifs d’un projet : à la fois larecherche d’efficacité en termes derésultat, mais également les effets entermes d’apprentissage. Les donnéesprincipales des résultats sont discutées et commentées par les protagonistes,qu’i ls soient impliqués – opérateurs,bénéficiaires, bailleurs etc. – ou expertsextérieurs.

Cette analyse du projet par les interactions al’avantage de s’appuyer directement sur lesqualités particulières de l’audiovisuel etcherche à discuter une approche différentede l’évaluation. Elle décentre le point de vuede l’évaluateur, de la redevabil ité et del’efficacité vers la relation. De fait, elle tend àdonner à voir la solidarité active, c’est-à-diresituée dans la pratique, guidée par larecherche d’efficacité, et qui implique qu’unecollaboration soit mise en place pour mettreen œuvre un projet. Les acteurs – bailleurs,opérateurs, etc. – sont dépendants les unsdes autres et, de fait, sont en coopération.Cela ne signifie pas qu’ils n’ont pas d’avis etd’objectifs divergents, ni même qu’i lsarrivent à s’entendre. Mais, de fait, dans ladurée d’un projet ou d’un programme, i lspartagent des objectifs communs et sontplacés dans une communauté d’intérêts.


Conclusion

Avec ou sans cette approche particulière, est-ce que l’évaluation fournie par l’audiovisuelest recevable ?

En ce qui concerne la démarche, laméthodologie et tout le processus deconstruction de l’évaluation, la réponse estpositive. L’évaluation effectuée sur le projetAEP Soweto a été reconnue et acceptéecomme telle par les partenaires, et pourl’évaluateur senior de l’AFD qui a suivil’ensemble du processus, l’évaluation s’estdéroulée rigoureusement, en respectant lesrègles et les exigences.

Maintenant, de fait, la forme audiovisuelle decette évaluation, même si elle emprunte lesangles de vues et les critères évaluatifs duCAD, n’entre pas dans les canons classiquesde l’évaluation écrite.

La question de la recevabilité nous renvoiealors, d’une part, au champ d’application del’évaluation fi lmée et, d’autre part, àl’utilisation souhaitée par le commanditaire.

L’analyse des caractéristiques del’audiovisuel permet de mieux cerner lesdomaines dans lesquels son util isation est

pertinente, voire plus efficace que l’écrit, etceux dans lesquels i l fonctionne mal.L’audiovisuel est peu approprié pour toutesles évaluations qui étudient une abstraction :une évaluation organisationnelle parexemple, ou une évaluation des métho -dologies. Il fonctionne bien lorsqu’il y a uneréelle matière d’images, que ce soit pour desévaluations ex ante , des post-évaluations,mais aussi des évaluations d’impact, parexemple. Dans certains cas, i l peut mêmeapporter une matière plus riche que l’écrit,comme pour certaines auto-évaluations.

Bien entendu, même s’i l est efficace danscertains secteurs de l’évaluation, le recours àl’audiovisuel dépend essentiel lement del’uti l isation que souhaite en faire lecommanditaire. Quels objectifs fixe-t-i l àl’évaluation ? Souhaite-t-il une évaluation laplus exhaustive possible, ou préfère-t-il uneétude sur les points saillants, les dynamiquesdu projet ? Veut-il qu’elle soit visible ou doit-elle rester confidentielle ? Souhaite-t-il unrapport structuré sur les normes ou préfère-t-il une analyse plus vivante ?

Ce sont quelques-unes des questionspréalables que le commanditaire doit seposer pour que le recours à l ’audiovisuelévaluatif soit opportun et efficace.


Cet article s’appuie sur les apprentissages enmatière d’amélioration de la qualité desactions des acteurs non gouvernementaux,tirés des évaluations, études et accompa -gnements menés par le COTA [37], essentiel -lement en Belgique. Il développe aussi uneperspective européenne qui pourra offrir deséclairages uti les pour appréhender lapratique évaluative des ONG françaises.

3.2.1. L’impulsion gouvernementale

Les acteurs belges de la coopérationbilatérale indirecte (dits « acteurs indirects » :ONG syndicats, universités et institutsspécialisés, association de migrants, villes etcommunes) bénéficient depuis plusieursannées d’un cadre de financement publicfavorable sous la forme de cofinancements

de projets ou de programmes pluriannuelsoffrant une certaine stabilité sur le moyenterme. Ainsi , jusqu’en 2007, les ONG, enparticulier, bénéficiaient d’un engagementsur des programmes quinquennaux. Depuis2010, l ’engagement se base sur un cadrestratégique de 6 ans décliné en programmestriennaux. Un grand nombre d’acteursindirects restent structurellement dépen -dants de ce financement public quireprésente jusqu’à 80 % de leur budgetannuel. En volume, le MAE belge estimaitqu’en 2011, 11,8 % de l’aide publique audéveloppement (APD) belge étaient destinésaux acteurs indirects dans leur diversité, et6,1 % aux ONG (contre 1 à 2 % de l’APDfrançaise, selon un rapport de CoordinationSud[38] et les données du MAE français). Cesengagements donnent aux ONG une


3.2. Des évaluations orientées sur l'apprentissage pour unemeilleure prise en compte

de la complexité

Hédia Hadjaj-Castro

[37] Le COTA est une association de droit belge, spécialisée dans le renforcement des capacités de capitalisation et d’in-novation des acteurs de solidarité internationale. Créé en 1979 autour de la promotion des technologies appropriées,l’ONG s’est rapidement tournée vers l’évaluation des interventions de développement. Fort de la diversité des expé-riences observées, le COTA a senti la nécessité de promouvoir l’apprentissage et la réflexion critique au sein du sec-teur. Aujourd’hui, son action vise la promotion de l’apprentissage collectif et des approches collaboratives et, dansune perspective de développement durable, plaide en faveur d’une appropriation critique des technologies, métho-dologies, concepts et stratégies orientées vers le renforcement des capacités d’émancipation et d’autodétermination.

[38] Coordination Sud (2012).

certaine capacité à se projeter, mais génèrentune forte dépendance envers le bail leurpublic, dont les exigences de redevabil itén’en deviennent que plus diffici les àsatisfaire.

En 1997, la direction générale de laCoopération au développement duministère belge des Affaires étrangères(DGD) souhaitait amener les ONG àaméliorer leurs « pratiques et leurs actions »en les obligeant à dédier 1 % de leurssubventions à l’évaluation des programmessoutenus. Ces évaluations dites « internes »étaient com man ditées par les ONG auprèsd’évaluateurs externes.

L’Institut de recherches et d’applications desméthodes de développement (IRAM) aréalisé en 2005 une évaluation[39] (Doligez etvan Eyde, 2005) de cette politique de soutiensur la période 1998-2002. Malgré lesfaiblesses relevées dans les démarchessoutenues (au niveau du processuspréparatoire, de l ’ identification del’expertise, etc.), il est intéressant de releverque ce soutien budgétaire a contribué à lapromotion de la culture de l’évaluation auregard des ONG consultées [40]. Ainsi, 93 %des ONG ayant participé à cette étuderelèvent que « l’évaluation est un exerciceutile, voire indispensable à leur activité ».Les ONG considèrent que le « 1 % », qui pourun grand nombre d’entre elles correspondau démarrage de ce type d’exercice, est pourbeaucoup dans cette prise de conscience.

Dans son classement des démarchesentamées sur le 1 %, l ’ IRAM relevaitcependant que la moitié seulement desinitiatives prises sur la base de cetteallocation pouvait être assimilée àproprement parler à des exercicesd’évaluation, tout au moins selon uneconception classique de la démarcheévaluative.

3.2.2. L’apprentissage

De son côté, le COTA, de par ses travauxd’accompagnement ou de recherche auprèsd’acteurs indirects francophones, aeffectivement pu observer et recenser desdémarches extrêmement diverses soutenuesà travers cette allocation : autoévaluationaccompagnée, mise en place de dispositif desuivi-évaluation, accompagnement deréflexions stratégiques sur des pratiquesinstitutionnelles (partenariat, collaborationONG-entreprises, etc.) . Toutes cesdémarches impliquaient, selon desapproches et des angles différents, unprocessus évaluatif des pratiques et/ou desstratégies de l’organisation.

L’accent était plutôt mis sur l’apprentissageet l ’exercice ciblé sur des préoccupationsinternes précises (ex : politique departenariat, gestion du cycle de projet, priseen compte des recommandations desbailleurs,� ), davantage que sur un survol del’ensemble des critères « classiques » del’évaluation, promus par l’OCDE (Pertinence,Efficacité, Efficience, Durabilité, Impact).


[39] Synthèse disponible en téléchargement sur le site de l’OCDE, http://www.oecd.org/derec/belgium/40778589.pdf

[40] 61 % des ONG ayant répondu au questionnaire d’appréciation de l’étude IRAM considèrent que le « 1 % » a contri-bué de façon importante, voire très importante, à la diffusion de cette culture de l’évaluation.

Le coût conséquent d’une évaluation[41] a pufreiner le recours à une évaluation classiqueexternalisée, en particulier pour les petitesstructures disposant de faibles moyens [42],plus nombreuses du côté francophone.Effectivement, pour les plus petits budgets,le montant alloué à « l’évaluation 1 % » resterelativement bas, et les ONG ne sont pastoujours en mesure de compléter cet apportsur des fonds propres : le type d’exercice etson ambition ne peut donc être que trèslimité. Mais la difficulté d’appropriation parles parties prenantes des conclusions ou desrecommandations construites selon desnormes externes (celles de l ’expert) acertainement joué aussi , car souvent lesconditions nécessaires à leur appropriationne sont pas réunies. L’appropriation impliqueune mise en débat des conclusions pourvalidation ou amendement, dans des espacesoù les acteurs sont mis en condition de réagiren limitant les contraintes liées aux rapportsde force entre acteurs (relations de genre,rapports entre organisation, rapportspublic/privé, etc.) , en donnant le tempsnécessaire à l’émergence de ce débat et enmettant à disposition les compétencesd’animation adéquate. De notre expériencede bureau associatif , les démarchesparticipatives et d’appropriation nécessairessont rarement considérées à leur justemesure dans des budgets d’évaluation deplus en plus restreints, alors que les termesde référence, pour leur part, sont de plus enplus ambitieux.

Si l ’apprentissage a été favorisé au niveauinstitutionnel, le partage des apprentissagesau niveau du secteur demeure laborieux. Lesfédérations d’ONG belges ont vouluconstituer une base de données desévaluations, mais ont et continuent d’avoirdes difficultés à réunir les informations. �

D’autres outils ou démarches internes ausecteur de la coopération au développementpermettent d’alimenter les apprentissages :des communautés de praticiens, desrecherches-actions collectives (bien qu’encorepeu nombreuses), des évaluations secto rielles,etc. Parmi ces dernières, on relèvera lesévaluations menées par le Service del’évaluation spéciale de la coopérationinternationale (SES), qui permettent deconfronter les acteurs indirects à leurspratiques [43]. En 2009, les ONG belges ontainsi été évaluées sur leurs pratiques derenforcement des capacités des partenaires auSud entre 1998 et 2008 (Huyse et al.,2010).

Malgré les efforts de dialogue entre lebailleur public et les ONG (notamment dansle cadre de ces évaluations sectoriel les) ,l’évaluation reste un exercice de redevabilitésouvent imposé par un partenaire financierdans une relation déséquil ibrée. Pour denombreux acteurs, el le reste un exercicedavantage subi que choisi . Mais cedéséquilibre ne concerne pas que la relationau bailleur public et on retrouve le mêmedilemme dans la relation entre partenaires du


[41] Coût de l‘expertise, de la collecte et du traitement des données, du partage des informations.

[42] Le montant minimal affecté à l’évaluation a été fixé à 1 150 € . Si le montant, calculé est inférieur, l’ONG a droit à unsubside supplémentaire à charge du budget de l’administration, à concurrence de la différence.

[43] Le SES a été créé en 2003. Il est mandaté par le Parlement pour rendre compte des actions de la coopération belge.http://diplomatie.belgium.be/fr/politique/cooperation_au_developpement/evaluation/service_evaluation_spe-ciale/

Nord et du Sud. L’évaluation externeclassique est souvent vécue diffici lement,tant dans son rapport à l’expert, que dansson rapport au bailleur. L’IRAM relevait à cepropos la diffici le adéquation entre ladélégation de moyens pour l ’« apprentis -sage » des ONG et l’exigence de redevabilitédu bail leur de fonds. L’évaluation estpratiquée avec réticence lorsqu’elle ne faitpas partie d’un engagement contractuel.

Aujourd’hui, l’obligation du 1 % a disparu. LesONG peuvent financer des évaluations surle même budget, mais cette démarche,autrefois obligatoire, est mise enconcurrence avec d’autres activités duprogramme dans un contexte où lesressources financières se font rares. Uneméta-évaluation portant sur les programmesONG a récemment été commanditée par leSES. Elle devrait fournir un éclairage actualiséet complémentaire sur cette réalité.

De notre expérience et de ces quelqueséléments, on retient donc que, lorsque lesacteurs indirects s’approprient l’évaluation,celle-ci est plutôt tournée vers l’apprentis -sage et plutôt orientée sur l’autoévaluationou intégrée dans un dispositif de suivi-évaluation. Néanmoins, la place laissée auxacteurs locaux et aux populations dansl’exercice d’évaluation reste relativementfaible et l ’apprentissage est plus souventinstitutionnel que partagé avec l’extérieur.

3.2.3. Une démarche schizophrène ?

Les deux grands objectifs [44] poursuivis parl’évaluation en font un exercice fortementschizophrénique. D’une part, i l s’agitd’assurer la redevabil ité (rendre compte,rendre des comptes) notamment par unreporting normé par des critères de qualitéconvenus (ceux de l’OCDE). D’autre part,l’évaluation sert à favoriser l’apprentissageen tirant des enseignements réplicables autravers de démarches participatives, sous des contraintes de temps et de budgetimportantes.

La redevabilité a longtemps été pensée entermes financiers, sous la forme d’un compteà rendre sur les résultats d’un investissementauprès des « investisseurs » (commanditaires,bailleurs, donateurs). De notre point de vue,el le ne se préoccupait que rarement, etaccessoirement des partenaires, populationsciblées et autres parties prenantes desinterventions vers lesquels elle n’était pasdirigée ou pensée. L’introduction de lanotion d’impact dans les débats a conduit àune évolution de cette notion de redevabilitéen axant celle-ci également sur les résultatsde développement (chaîne : résultat, effets,impact) et en rendant plus évidente lanécessité d’impliquer et/ou d’adresser cetteredevabilité auprès des partenaires de terrainet des acteurs impliqués et ciblés par lesinterventions. La prise en compte des acteurset des divergences d’intérêt et d’enjeuxautour d’une action et de son évaluation


[44] Ils sont au nombre de quatre, si l’on considère également un objectif de gestion des interventions (l’évaluation estune phase d’une intervention) et un objectif de capitalisation (alimenter une capitalisation sur l’intervention).

permet immanquablement de révéler lacomplexité des changements qui seproduisent dans le cadre et autour d’uneintervention.

3.2.4. La contribution au changementcomme réponse à la complexité

En réponse à des approches orientées versl’atteinte de résultats quantifiables etmesurables sur le court terme et dictées parles logiques budgétaires (Déclaration deParis, 2005, pour l ’efficacité de l’aide), lediscours des OSC organisées à l ’échelleinternationale (Principes d’Istanbul, 2010) et,particulièrement celui des ONG, affirmedavantage les valeurs politiques qui sous-tendent l’action de développement. Au-delàde l’atteinte de résultats managériauxplanifiés selon une logique linéaire, telle quela promeut le système de la coopération audéveloppement, c’est le changement socialdans toute sa complexité qui est visé àtravers l’accompagnement d’acteurs porteursde changements.

Si pareille conception de l’action de solidaritéinternationale valorise le rôle des acteurslocaux, el le met également mieux enévidence la complexité de leurs interactionsavec les interventions. Il devient dès lors plusdiffici le de distinguer l ’attribution desmérites ou des influences sur les change -ments obtenus. L’évaluation le réclame, maiscela n’a plus de sens. C’est bien en termes decontribution au changement qu’i l fautdésormais penser. Toutefois, la plupart desacteurs y restent réticents. Il est difficile de

faire le deuil de cette attribution perçuecomme une justification de la pertinence de l’action et une légitimation du rôle de chacun dans les processus dedéveloppement.

Pourtant, la redevabil ité revêt une plusg rande d imens ion d ’ apprent i s s age ,lorsqu’elle s’adresse aux acteurs concernésp a r l e s c h a n g emen t s p romu s p a rl’intervention.

3.2.5. Une prise de conscience qui peine à se transposer en pratique�

Les débats sur l’impact ou sur la qualité ontinscrit dans les esprits la nécessité d’établirun l ien entre évaluation et apprentissage.L’approche qualité est en plein essor dans lesONG belges, comme une réponse auquestionnement sur leur efficacité. EnBelgique, la certification de la Fondationeuropéenne pour le management par laqualité (EFQM) a été choisie commeréférence commune par les fédérationsd’ONG depuis plus d’un an[45]. Apprendre deses erreurs, réinjecter les apprentissages dansl’action, innover par le partage desexpériences et des savoirs, le cercle vertueuxde la qualité n’est plus un secret pourpersonne. Du moins dans le discours.�

Car si les évaluations orientées sur l’appren -tissage sont certes plus à mêmes de produirede l’ innovation, el les requièrent certainesconditions préalables, comme l’existenced’une culture d’apprentissage, une prise de


[45] Le modèle d’auto-diagnostique EFQM développé en Belgique reprend par ailleurs un certain nombre de théma-tiques développées dans les Principes d’Istanbul des OSC pour l’efficacité du développement : partenariat, participa-tion démocratique, genre, etc.

risque, des moyens adaptés, des relations deconfiance entre évaluateur, évalués etcommanditaires, un débat politique entreacteurs autour des impacts attendus� Or, lecontexte s’y prête peu :

• la concurrence accrue entre acteurs dedéveloppement ne favorise pas le partagede la connaissance et des innovations quireprésentent une plus-value sur le marchéde l’accès aux financements ;

• si la reconnaissance du caractère innovantde l’action ONG n’est guère partagée, lesrares bail leurs qui continuent de lasoutenir sont tenus par une contradictionqui les pousse à continuer d’exiger desrésultats garantis (Beuret et Hadjaj-Castro,2011) ;

• comme les ONG sont fortementdépendantes des bailleurs institutionnelscommanditaires (ou tiers exigeant) del’évaluation, i l leur est diffici le dereconnaître des erreurs et d’en tirer desenseignements sans craindre pour leuravenir financier ;

• il existe une culture de la performance àmoindre coût, notamment en termes deressources humaines et de capacités, quilaisse peu de place à la mise en place dedispositifs innovants, et de dispositifs decapitalisation ;

• l’expertise normative (ce qui est bien oupas) et quantitative continue de prévaloirsur des approches qui tiennent compte dela pluralité des points de vue et rendentmieux compte de la complexité (MickaelaRaab, 2013).

3.2.6. Quelles pistes pour rendrel’évaluation plus utile ?

De nouvelles méthodes se développent etcommencent à être reconnues par certainsbailleurs (Cartographie des incidences, MostSignifiant Change , Theory of Change , etc.).Un groupe de travail du F3E-COTA « Agirpour le changement », se penche sur cesapproches plus qualitatives. Elles intègrent engénéral le suivi et l ’évaluation dans unedémarche cohérente. Elles prennent du reculavec l’expertise normative, notamment enredonnant la parole aux acteurs qui vivent ouportent le changement, en leurreconnaissant le pouvoir d’identifier, ce quifait sens à leurs yeux en termes dechangement, mais également celuid’apprécier la valeur du changement qui a eulieu. L’évaluateur devient facil itateur deprocessus évaluatif et d’appropriation.

Cependant, ces démarches peinent à êtrereconnues dans le monde francophone.Ail leurs, comme chez les britanniques(notamment le Département du dévelop -pement international - DFID), même si celane se fait pas sans peine, el les sontcombinées à des approches plus classiquestelles que le cadre logique ou la Gestion axéesur les résultats en matière de dévelop -pement (GRD).

Des diverses expériences existantes, on peuttirer quelques leçons dont le système actueldevrait s’ inspirer. La première, dontdécoulent les autres, revient à affirmer lecaractère multi-acteurs des interventions, cequi permet de se distancer par rapport àl’attribution des résultats et deschangements résultant d’une action. Pour


cela, un certain nombre d’orientationspeuvent être encouragées comme :

• réduire les ambitions des évaluations auxquestions qui font réellement enjeux etpermettre le développement de démar -ches participatives qui tiennent comptedes points de vue des acteurs enparticulier des acteurs du changement ;

• repenser le reporting en fonction desobjectifs d’apprentissage de l’évaluation,de manière à en faire un support pour ledébat entre acteurs et l’appropriation ;

• faciliter/accompagner une réelle partici -pation des porteurs de changement dansla définition et la réalisation des

évaluations, en les mettant en conditionsde participer,

• promouvoir des démarches intégrant suiviet évaluation qui soient appropriables à lafois par les porteurs de projet et lesacteurs locaux, afin que les démarchesd’apprentissage et d’évaluation soientintégrées dans la philosophie desinterventions ;

• favoriser les démarches d’évaluation(intermédiaire ou finale) multi-acteursorientées vers l’apprentissage, notammentautour d’une même intervention, d’unemême zone, ou d’un même grouped’acteur.


Rapports d’études

AUSSEMS, A. ET H. HADJAJ-CASTRO (2008, 2009), Capitalisation des pratiques d’évaluation enéducation au développement , ACODEV, Bruxelles.

BEURET, J.-E. ET H. HADJAJ-CASTRO (2011), Etude sur la facilité d’innovation sectorielle pour lesONG (FISONG) , AFD, Paris.http://www.afd.fr/webdav/site/afd/shared/PUBLICATIONS/RECHERCHE/Evaluations/Evaluation-capitalisation/48-Evaluation-capitalisation.pdf

DESCROIX, S. (2002) , Etude Capitalisation des pratiques d’évaluation des ONG , COTA,Bruxelles.

DOLIGEZ, F. ET K. VAN EYDE (2005) , Evaluation de l’utilisation du 1 % du programmequinquennal des ONG consacré à l’évaluation , SES, Avril 2005.http://www.oecd.org/derec/belgium/40778589.pdf

HADJAJ-CASTRO, H. (2004), « Pratique des ONG belges francophones en matière de gestiondes interventions », Note d’avancement étude recherche, COTA, décembre.

HUYSE, H., G. PHLIX ET C. DHAENE (2010), Evaluation des partenariats des ONG orientés versle renforcement de capacitées , SES, juin.http://diplomatie.belgium.be/fr/binaries/evaluation_partenariats_ong_renforcement_capacites_tcm313-112949.pdf

TOTTÉ, M. ET H. HADJAJ-CASTRO (2004) , « Enjeux généraux du débat sur le cofinancementONG et sur l’évaluation – capitalisation – appréciation de l’impact - Note de discussion »,COTA/ F3E, octobre, http://www.cota.be/?wpfb_dl=43

Publications

BUCCI, M. ET H. HADJAJ-CASTRO (2010), Le suivi des interventions de développement : prise encompte des différentes perspectives des acteurs, Hors-Série N° 9, juin, COTA, Bruxelles,www.cota.be/?wpfb_dl=52

COORDINATION SUD (2012), « L’Aide publique au développement (APD) française - Projet de loide finances 2012 : plaidoyer pour un budget en phase avec les priorités »,http://www.coordinationsud.org/wp-content/uploads/Dossier-PLF-20121.pdf


Bibliographie

COTA (2012) , « Le changement social », Echos du COTA, N° 136, septembre,http://www.cota.be/?wpfb_dl=101

COTA (2012) , « Innover dans la coopération », Echos du COTA, N° 135, juin,http://www.cota.be/?wpfb_dl=100

COTA (2011) , « Excellence et qualité », Echos du COTA, N° 131, juin,http://www.cota.be/?wpfb_dl=95

COTA (2009), « Suivre et évaluer le changement en éducation au développement », Echos duCOTA N° 124, septembre, http://www.cota.be/?wpfb_dl=66

DESCROIX, S. (2003) , « Histoires d’évaluations COTA », Hors-Série N° 4, mars, 130 pages,www.cota.be/?wpfb_dl=51

DESCROIX, S. ET C. LELOUP (2002) , « Organiser l’évaluation d’une action de développementdans le Sud », Hors-Série N° 2, COTA, 82 pages, www.cota.be/?wpfb_dl=49

HADJAJ, H. (2008), « La gestion axée sur les résultats (GAR), Principes de base» -, in « Gestionaxée sur les résultats », Echos du COTA, N°119, http://www.cota.be/?wpfb_dl=96

IRAM-COTA (2008), « « Introduire la perspective d’acteurs dans l’analyse d’impact » - Hors-Série N° 7, 60 pages, COTA, www.cota.be/?wpfb_dl=47

Blogs

MICKAELA RAAB , 10/02/2013, “Measuring Time with a Yardstick?”, People-centredDevelopment, a Personal-public Notebook about Human Development(s)...,http://www.developblog.org/ http://www.cota.be/exaequo/

RAMALINGAAM BEN , Aid on the Edge of Chaos: Exploring Complexity & Evolutionary Sciencesin Foreign Aid , http://aidontheedge.info/


Introduction

Gevalor, association française créée en 2004,apporte un appui à des organisations du Suddans le domaine de la valorisation desordures ménagères. Financé par le Fondsfrançais pour l ’environnement mondial(FFEM) et l’AFD, le projet Africompost, misen œuvre conjointement avec la FondationGoodPlanet et l’association ETC Terra, doitpermettre le développement de six unités decompostage en Afrique et à Madagascar. Lesorganisations partenaires sont de petitesentreprises à vocation sociale (Madagascar,Togo) ou des ONG locales (Bénin,Cameroun). Les objectifs spécifiques de cesprojets sont le traitement des déchets pourassainir les villes, la réduction des émissionsde gaz à effet de serre, et la créationd’emplois durables pour les populationsurbaines défavorisées.

Le modèle de développement de ces projetsrepose sur la volonté d’en rechercher larentabilité au bout de quatre à six années :après une phase d’investissement soutenuepar des financements extérieurs, l ’auto -nomie financière doit être atteinte grâce auxventes des produits recyclés et des crédits

carbone (dans le cas des opérations decompostage) et, bien entendu, grâce à unegestion maîtrisée du processus technique etdes coûts.

Dans cette perspective, la mise en placed’outils de pilotage mensuels et périodiquesest nécessaire. Ces informations alimententde plus un dispositif de suivi-évaluationrépondant aux exigences de redevabilité despartenaires extérieurs. En outre, le modèlede ces projets, aux contours relativementsimilaires, justifie des efforts particuliers pourpermettre le partage des connaissancesentre les partenaires par la capitalisation[46],tout autant qu’elle permet une comparaisonde leurs performances respectives. Enfin,certaines innovations peuvent être testéesde façon plus rigoureuse lorsqu’ellesimpliquent l’organisation de changementsimportants, à l ’ impact potentiel lementélevé : des expérimentations concrètespeuvent alors être mises en place.

3.3.1. Répondre au besoin de pilotage

Les partenaires, opérateurs locaux des unitésde traitement des déchets, doivent répondreau défi de traiter, en quatre à cinq ans, 25 000


3.3. L’évaluation au service des acteurs locaux

Jocelyne Delarue

[46] Entendue comme l’analyse formalisée de différents aspects de mise en œuvre des projets, pour en tirer des leçonsutiles pour la réorientation d’un projet en cours ou de formulation de futurs projets.

tonnes de déchets bruts (l’équivalent d’unegrosse unité de tri en France). Les techniqueset les outils de gestion à acquérir sontnombreux, la formation et la gestion dupersonnel doivent s’accompagner d’un suivid’indicateurs quantitatifs permettant unpilotage opérationnel en continu.

La première étape consiste pour lepartenaire local à définir ses objectifsopérationnels, la programmation et lebudget annuel sur la base des éléments decontexte local (progression des appro -visionnements, saisonnalité des ventes,organisation du travail, rythme d’embauchedu personnel, etc.). Les outils de pilotage misen place permettent sur cette base de faireune comparaison mensuelle entre lesobjectifs et les réalisations (du mois etcumulatives) : un tableau de bord couvretous les indicateurs techniques (quantitéstraitées et produites, vendues, prix de ventemoyen, productivité du travail . . . ) et estcomplété par le suivi budgétaire.

Ce suivi d’indicateurs est un outil au servicedu responsable de l’unité locale detraitement des déchets pour suivre etévaluer le travail de ses collaborateurs : chefde production, responsable technique etresponsable commercial . I l lui permetd’établir un dialogue sur des bases concrèteset chiffrées, en comparant le réalisé auxobjectifs prédéfinis.

Sur cette base, un rapport mensuel d’activitéest rédigé et transmis à Gevalor et ETCTerra : outre la compilation des indicateurs(qui restent en nombre limité), ce rapportexpose les mesures prises ou envisagéespour réduire les écarts avec les objectifsopérationnels préalablement définis. Cet

effort d’analyse et de rédaction par lepartenaire local favorise l ’exploitationeffective des indicateurs pour en tirer desleçons. Le rapport sert de base à deséchanges avec notre partenaire, pourdéterminer les besoins d’appuis spécifiquesdont il peut avoir besoin au vu des difficultésrencontrées.

Ce suivi d’un nombre limité d’indicateurs clépermet donc avant tout de réaliser unpilotage uti le au partenaire, dans laperspective de sa progression continue versl’autonomie technique et financière.

3.3.2. Permettre la comparaison desexpériences entre acteurs

Le fait que le projet Africompost accom -pagne simultanément plusieurs unités detraitement des déchets assez similaires rendles comparaisons intéressantes et possibles.

Un premier aspect est la comparaison desindicateurs opérationnels évoqués supra . Ilssont pour l ’essentiel des indicateursd’activité et de résultats qui ont été proposésdans le cadre logique du projet Africompost.A l’issue d’une année d’activité, et en lienavec le rapportage dû aux bailleurs de fonds,les données issues des différents partenairessont donc synthétisées dans un tableur desuivi-évaluation. Les indicateurs sontcommuns à toutes les unités.

Pour en permettre une comparaison visuelle,le taux d’atteinte des objectifs par indicateurest indiqué sur un graphique en rosace (les objectifs sont atteints lorsque le taux estde 3). Une rosace est élaborée pour lesindicateurs d’activité et une autre pour lesindicateurs de résultats. Les indicateurs


d’activités et de résultats correspondant aumême objectif spécifique du cadre logiquesont codifiés selon la même couleur, et dansle même cadrant de la rosace. I l est ainsi

possible d’interpréter visuellement le l ienentre activités et résultats atteints pour unmême objectif spécifique.


Représentation de l’atteinte des objectifs en termes d’activités et de résultats, sur les projetsde Lomé (Togo) et de Dschang (Cameroun), en première année

Source : l’auteur.

1 à 4Graphiques

Compostage Finance carbone Autonomie Capitalisation

0

0,5

1

1,5

2

2,5

3

Activité du projet Lomé

0

0,5

1

1,5

2

Résultats Lomé

0

0,5

1

1,5

2

Résultats Dschang

0

0,5

1

1,5

2

2,5

3

Activité du projet Dschang

Ces résultats de suivi, les tableaux de bord etles rapports sont archivés dans une base dedonnées en ligne, conçue grâce au logicielSIGMAH[47]. Cet archivage permet à chaquepartenaire et aux bailleurs de fonds d’avoiraccès aux rapports, y compris à certainsrapports des autres partenaires. Il faciliterales évaluations externes à mi-parcours etfinales du projet.

Un second aspect de l’échange d’infor -mation entre partenaires du Sud repose surles efforts de capitalisation réalisés en coursde projet. Par exemple, les pratiques detraitement des déchets sont testées selondifférentes modalités adaptées au contextede chaque partenaire (qualité des déchets,quantités traitées, accès à l’eau, etc.). Avecl’appui de Gevalor, des solutions techniquessont proposées face aux principalescontraintes. Ces innovations sont suivies etsystématiquement capital isées par lesresponsables techniques des plateformes,avec l ’appui des volontaires de solidaritéinternationale basés sur place : cet effort deconnaissance vise à mettre à la disposition dechacun les meilleures pratiques, en termesd’efficacité et d’efficience du procédétechnique, ou d’optimisation de leurs effetséconomiques et sociaux, notamment pour lacollectivité.

Cette capital isation est la base du chan -gement d’échelle attendu au niveau descollectivités locales et des Etats sur laquestion de la gestion des déchets ménagers.En effet, en analysant les effets positifsobtenus grâce à ces pratiques de gestion desdéchets dans différents contextes, nousespérons qu’i l soit possible d’en faire le

plaidoyer et de convaincre progressivementles décideurs de l’opportunité de leuradoption – voire de leur financement surressources locales.

3.3.3. Evaluer les impacts

Evaluer rigoureusement les impacts de telsprojets, sur l ’environnement ou surl’économie locale, n’est pas aisé. Ainsi , la mise en avant d’indicateurs d’impact, dans le système de suivi des indicateursd’Africompost, appelle quelques com -mentaires. Les indicateurs d’impactsd’Africompost sont listés dans le tableau 1.Imaginons dans un premier temps que desmoyens suffisants sont mis à disposition duprojet pour collecter toutes ces données surun site donné, et qu’i l est possible, parconséquent, d’observer l’évolution de cesindicateurs entre le moment où l’unité decompostage s’installe et l’année d’évaluationde ces impacts.

La difficulté d’évaluation des impacts est liéeà la question de l’attribution au projet évaluédes changements constatés dans le temps :par exemple, si la salubrité des quartiers deLomé s’améliore entre les deux dates, nousne pouvons pas conclure avec certitude qu’ily a un lien de cause à effet entre le projet etcette évolution. D’autres événementscontemporains ont en effet pu avoir uneinfluence sur la propreté, comme des effortsparticuliers de la commune pour leramassage des déchets.

Les indicateurs suivis d’un (3) dans le tableau 1rencontrent tous cette même contrainte : onignore ce qui se serait passé en l’absence du


[47] Logiciel libre de gestion de projets humanitaires.

projet, et l ’ intégralité du changementconstaté ne peut être avec certitudeattribuée au projet.

Est-i l possible, dans ce cas, d’uti l iser uncontrefactuel, c’est-à-dire l ’observationd’une situation « hors projet » durant lamême période de temps, pour qu’elle nousrenseigne sur ce qui se serait passé enl’absence du projet ? Oui et non. Non, pourles indicateurs de « salubrité du quartier » etde réduction du coût de gestion des déchetspour la collectivité ; l’installation de l’unité decompostage concerne un quartier bienprécis et peut (et doit) avoir desrépercussions à l’échelle de toute la ville. Iln’y a donc pas de contrefactuel observablepossible.

En revanche, c’est possible pour la mesuredu gain économique réalisé par unagriculteur grâce à l’utilisation du compost.Nous pouvons envisager pour cetteévaluation de tirer deux groupesd’agriculteurs au hasard, pour que leurscaractéristiques soient en moyennestrictement équivalentes, et observerl’évolution des résultats économiques desdeux groupes, qui ne se distinguent que parl’uti l isation, ou non, du compost. Cettetechnique d’assignation aléatoire du« traitement » (ici le compost) demande desmoyens importants, en lien avec le nombred’observations nécessaires ; la collecte dedonnées de qualité auprès d’un grandnombre d’agriculteurs est en outre difficile.Des techn iques quas i -expér imenta les


IMPACTS SUR LES POPULATIONS URBAINES ET RURALES

% population cible dont les déchets sont compostés (1)

Salubrité des quartiers cibles (3)

Nb d’agriculteurs clients (1)

% du compost vendu pour l’agriculture péri-urbaine (1)

Gain économique (en % de la VAN) réalisé par un agriculteur qui utilise du compost (3)

IMPACT SUR L’ENVIRONNEMENT MONDIAL

t CO2 évitées (2)

IMPACTS ECONOMIQUES ET SOCIAUX POUR LA COLLECTIVITE

Nb d’emplois créés par l’unité de compostage (1)

Nb d’emplois féminins créés par l’unité de compostage (1)

% d’habitants du quartier employés dans l’unité de compostage (1)

% d’informels employés dans l’unité de compostage (1)

% de travailleurs de l’unité ayant bénéficié d’un suivi médical préventif (1)

Réduction du coût de la gestion des déchets à la charge de la municipalité (3)

Liste des indicateurs d’impact du projet Africompost1Tableau

Source : l’auteur.

(Gertler et al. , 2011) ou une modélisationéconomique simple, basée sur laconnaissance des pratiques des agriculteurset un nombre plus l imité d’observations(Delarue et Cochet, 2011), apparaissent dansce cas plus pertinentes à envisager.

De même, en l’absence de contrefactuelobservable, l’estimation de la réduction ducoût de la gestion des déchets pour lacollectivité pourrait être abordée grâce à unetechnique d’évaluation économique deprojet par l ’analyse coûts-avantages ( lecontrefactuel y est modélisé). Cetteinformation s’avère cruciale dans le dialogueà instaurer entre l’opérateur de l’unité detraitement et les pouvoirs publics locaux.

En ce qui concerne la salubrité des quartiers,une troisième méthode pourrait êtreenvisagée pour pall ier l ’absence decontrefactuel : l ’analyse de contribution(Mayne, 2001). Cette méthode se base sur lachaîne causale théorique allant du projet àl’indicateur : l’évaluateur tente de confirmerou de réfuter l ’existence de chaque l iencausal avec toutes les informations dont ilpeut disposer par enquêtes, recherchesbibliographiques, recueil de dire d’experts,etc.

Avoir des informations sur l’impact du projetsur ces trois indicateurs (salubrité, coût pourla collectivité, et gain économique pour lesagriculteurs) demanderait par conséquentdes efforts importants dédiés à leurévaluation avec des méthodologies rigou -reuses, mais leur estimation n’est théori -quement pas impossible. Cependant, pourune ONG locale, le coût de ce typed’évaluation dépasse en général l’utilité de

conclure rigoureusement de cette manièresur l’impact du projet.

A l ’opposé, les indicateurs de type (1) nepeuvent évoluer en l’absence du projet, etune simple observation de leur évolutiondans le temps suffit à les renseigner. Lacollecte de cette information est de plusdirectement maîtrisable par les partenaireslocaux. Elle leur est utile pour vérifier qu’ilsatteignent les objectifs économiques etsociaux qu’ils se sont fixés.

Pour finir, l’indicateur relatif à l’impact surl’environnement mondial (2) est estimé entonnes de CO2 évitées, et selon uneméthodologie définie par La Convention-cadre des Nations unies sur les changementsclimatiques — United Nations FrameworkConvention on Climate Change (UNFCCC)permettant la valorisation des réductionsd’émissions de gaz à effet de serre. Cetindicateur est calculé sur la base d’uneéquation où certains facteurs sont définis pardéfaut, et d’autres observés, tant pour lecontrefactuel (les émissions des déchets enl’absence de compostage) que pour lescénario avec projet (les émissions liées aucompostage). Le suivi des facteursobservables et le calcul des réductionsd’émissions selon cette méthodologie estréalisé dans le cadre du projet Africompost àLomé et sera mis en place à Dschangégalement. La qualité de ce suivi et de cecalcul doit ensuite être validée par uncabinet agréé pour donner la possibilité devaloriser financièrement les réductionsd’émission. Le partenaire local y a direc -tement intérêt, dans la mesure où celareprésente un quart à un tiers des recettespotentiel les de l ’unité de traitement desdéchets.


3.3.4. Proposer des innovations defaçon rigoureuse

Le recours à des évaluations très ciblées peutenfin éclairer très utilement la conceptionconcrète d’un projet.

I l est en particulier diffici le de savoircomment des ménages réagiront à uneinnovation proposée : le taux d’adoptiondans la population d’une innovation est unpremier indicateur important et utile, et peutêtre estimé sans beaucoup de difficulté. S’ilpeut être constaté un taux élevé d’adoption,il peut être intéressant d’aller plus loin et demesurer l ’ impact de l’adoption de cetteinnovation.

Dans le cas de projets de valorisation desordures ménagères, l ’étape de tri desdéchets bruts pour en extraire les fractionsvalorisable (déchets organiques, plastiques,etc.) est longue, coûteuse, et la plus risquéepour les travailleurs. Il est alors naturel de sedemander par exemple si la mise en placed’un tri sélectif chez les ménages pourraitêtre adoptée avec succès.

Pour engager ces changements decomportement, on peut penser à plusieursincitations : f inancières, techniques (quifacil itent l ’adoption de l’ innovation) ousimplement de la sensibilisation. Il n’est pasaisé cependant de déterminer a priori defaçon certaine l’incitation (le « traitement »)qui aura davantage de succès.

Pour cela, la réalisation d’une expérimen -tation avec assignation aléatoire de différents

traitements sur des groupes de ménageséquivalents, tirés au sort, peut apporter uneréponse fiable. Elle permet d’observer lesréponses des ménages aux incitationsproposées, avant leur généralisation. C’est ladémarche qui a, par exemple, été adoptéepar des chercheurs du Jameel Poverty ActionLab (JPAL) au Kenya pour déterminer lemeil leur moyen de réduire l ’absentéismescolaire (Miguel et Kremer, 2004 ; Evans etal. , 2008).

Cette démarche doit cependant se faire avecun appui scientifique extérieur, et le coût dece type de recherche doit pouvoir êtrejustifié par l ’ intérêt des conclusionsattendues, soit d’un point de vue écono -mique (notamment pour les gouvernementslocaux), soit d’un point de vue théorique(pour contribuer à faire avancer laconnaissance à un niveau global).

Conclusion

L’évaluation est souvent conçue et perçueuniquement comme un instrument deredevabilité vis-à-vis des bailleurs de fonds.L’un des défis de l’évaluation consiste en sonutil isation in fine , notamment par lesstructures évaluées, mais aussi par lesgouvernements et par les citoyens. Lesquelques exemples évoqués montrentcomment un système de suivi et d’évaluationcombinant plusieurs instruments peut êtreutile au pilotage opérationnel, à l ’appren -tissage et à une meilleure concep tion desopérations, toutefois avec divers degrés decoûts et de facilité de réalisation.



DELARUE, J. ET H. COCHET (2011), « Proposition méthodologique pour l’évaluation des projetsde développement agricole. L’évaluation systémique d’impact », Économie rurale , (3), 36-54.

EVANS, D., M. KREMER ET M. NGATIA (2008), The Impact of Distributing School Uniforms onChildren’s Education in Kenya , Banque mondiale, Washington D.C.

GERTLER, P. J., S. MARTINEZ, P. PREMAND, L. B. RAWLINGS, ET C. M. VERMEERSCH (2011), ImpactEvaluation in Practice , Banque mondiale, Washington D.C.

MAYNE, J. (2001), “Addressing Attribution through Contribution Analysis: Using PerformanceMeasures Sensibly”, Canadian Journal of Program Evaluation , 16(1), 1-24.

MIGUEL, E. ET M. KREMER (2004), “Worms: Identifying Impacts on Education and Health in thePresence of Treatment Externalities”, Econometrica , 72(1), 159-217.

Bibliographie

Pour le Centre international pour ledéveloppement agricole (CICDA), commepour Vétérinaires sans frontières (VSF), lapolitique d’évaluation est très ancienne et lamise en place d’une démarche de suivi-évaluation (S/E) institutionnelle remonte à ladécennie 1990. Le recours aux évaluationsfinales systématiques des projets s’estimposé prioritairement pour rendre comptedes effets et de l’impact générés. Par la suite,sur des projets d’une durée minimale de troisans, la nécessité de prévoir des évaluations àmi-parcours afin de permettre la réalisationde bilans d’avancement du projet (constatdes premiers résultats et effets, confirmationou ré orientation du cheminement pris parle projet dans le but d’atteindre les objectifsfixés au départ) est apparue. La fusion deVSF et de CICDA en 2004 signe le change -ment d’échelle en matière de S/E des projetspuisque le nombre d’actions suivies s’accroÏttrès fortement en quelques années.Parallèlement, une volonté institutionnelle

forte place la qualité comme unepréoccupation majeure de nos programmesde coopération, impliquant l ’emploi desystèmes de pilotages simplifiés etstandardisés des actions mises en œuvre. Parailleurs, l’équilibre nécessaire entre appren -tissage interne et redevabilité à l’égard denos partenaires techniques et financiers nousobligeait à faire des choix sur les outils àmettre en place.

L’une des raisons ayant provoqué le besoind’harmonisation des pratiques de suivi-évaluation au sein d’AVSF a été le rapidechangement de volume d’activités etl’augmentation de la quantité d’actions auSud à suivre, consécutifs à la fusion deCICDA et VSF en 2004. Au préalable,chacune des deux ONG suivait unportefeuille d’une vingtaine de projets, puisune cinquantaine au total en 2005, et plus dequatre-vingt aujourd’hui. Ainsi, auparavantles responsables des projets aux sièges


3.4. L’exercice du suivi-évaluationpour AVSF, un processus

d’amélioration continu vers uneintégration transversale de

l’association

Barbara Guittard

assuraient sans trop de difficultés leur suiviau moyen d’outils simplifiés et selon unmode plus direct et plus minutieux. Avecl’augmentation du volume de projets àsuivre, après la fusion, et la réduction desmoyens pour le suivi, de nouvelles nécessitésde pilotage global et de suivi efficace desrésultats atteints se sont fait sentir.

3.4.1. Les évaluations finales etintermédiaires

AVSF pratique des évaluations externes enfin de projet en puisant dans son réseaud’experts indépendants internationaux, voireen faisant appel à des évaluateurs locaux auSud en binôme national/international. Enplus des attentes classiques d’une évaluationfinale (atteinte des objectifs fixés audémarrage, évaluation de l’efficacité,efficience et durabilité des actions mises enplace), et à l’issue d’une première phase deprojet, bien souvent une vision prospectiveest demandée à l’évaluateur, afin d’anticiperla construction d’une éventuelle phaseultérieure. Nos partenaires de l’action sontassociés aux différentes étapes du processusde pilotage de l’évaluation (rédaction destermes de référence et choix des évaluateurs,analyse des méthodologies proposées,restitution et analyse critique des résultatsde l’évaluation). I ls sont aussi parfoismobilisés pour effectuer des évaluations surd’autres projets que les leurs, dans le but detransférer et renforcer des compétences eninterne.

Les évaluations intermédiaires à mi-parcourssont réalisées en puisant dans le vivier decompétences d’AVSF en interne, ou par des professionnels proches, adhérents oubénévoles. Cela constitue autant une façon

de valoriser et de renforcer les compétencesinternes en partageant la pratique del’évaluation parmi les cadres et chefs deprojets ou assistants techniques, que defavoriser le transfert des connaissances, lesavoir-faire et les innovations entreterritoires. Ces évaluations mesurent tant leniveau d’avancement du projet que l’apportde recommandations pertinentes destinées àrenforcer la stratégie d’intervention et lacréation de processus de réflexions au seinde l’équipe de terrain, pour rechercher unebonne cohérence et cohésion dans la miseen œuvre.

Plus récemment, AVSF se penche sur laréalisation d’évaluations ex post plusieursannées après la fin d’un programmepluriannuel. Un premier test réalisé par unbénévole, en avri l 2013, en Bolivie, devaitpermettre d’apprendre de cet exercice, avecla perspective de le renouveler sur denouveaux terrains.

3.4.2. Le développement d’unepolitique de suivi-évaluationnécessaire

Dès lors que s’opère le choix d’une politiquede suivi-évaluation institutionnelle forte,l’amélioration de la qualité des dispositifsconstruits pour le suivi-évaluation desactions de coopération est placée au cœurdes préoccupations du secteur de coopé -ration d’AVSF, depuis les différents projetsjusqu’au niveau des coordinations nationalesd’AVSF, et intégrant aussi le niveau deschargés de programme au siège pour uncontrôle qualité finale. Afin de diffuser cettepolitique et de faire passer les conseils etméthodes en vue d’harmoniser la qualité desdispositifs, le siège commence par produire


un guide méthodologique[48] avec quelquesoutils pour aider à la construction dedispositifs simples. Ce guide est traduit enespagnol pour les pays d’Amérique centraleet d’Amérique latine et en brésilien pour leBrésil, dans le but de le mutualiser avec leséquipes techniques des projets et certainspartenaires associés à l’exécution des projets.Un accompagnement en continu desresponsables de projets sur la création etl’amélioration des dispositifs a permis d’entirer un premier bilan en 2012 : 62 % des 80projets d’AVSF disposent de dispositifs desuivi-évaluation construits et en fonction -nement, respectant les recomman dations etformats proposés par le siège. I ls sontconstruits en équipe sur le terrain et validéspar le siège.

En dépit d’une forte volonté d’harmoniser laqualité des dispositifs de suivi-évaluation del’ensemble des pays de coopération d’AVSF,les changements ne se font pas en un jour.Les échanges sont nombreux entre le siègeet les terrains, et l ’accompagnement« rapproché » pour appuyer chaque projetdans la tâche de construction de sondispositif de suivi-évaluation est biensouvent nécessaire, au moins au démarragedu projet, et de manière plus approfondielorsqu’i l s’agit d’une nouvelle équipe àformer sur le suivi-évaluation. Le processusd’accompagnement dès le démarrage duprojet passe par une première phase dedéfinition des principaux outils , desprocédures et indicateurs qui seront suivissur la durée du projet, jusqu’à la mise enœuvre du dispositif par les équipes du projet

et les techniciens de terrain, période crucialepour évaluer les écarts entre la théorie et lapratique, et réajuster les outils et lesindicateurs si nécessaire.

Le partage des responsabilités et leséchanges entre terrain et siège au cœur de laconstruction et de la vie des dispositifs desuivi-évaluation

C’est le responsable de projet qui est biensouvent en charge de définir et mettre enplace le dispositif de suivi-évaluation adaptéaux actions du projet, en étroite collabo -ration avec son équipe, les partenaires surplace, et de manière coordonnée avec lecoordinateur national chargé de superviseret de l’appuyer dans cet exercice, de vérifierla cohérence et la pertinence du dispositif.Dans la phase de construction du dispositif,des échanges méthodologiques ont l ieuentre l’équipe du projet et le responsable dusuivi-évaluation. Une fois le dispositifconstruit, il est ensuite envoyé au siège pourvalidation par le chargé de programme[49] etle responsable suivi-évaluation, qui analysentensemble la pertinence des indicateurssélectionnés, le partage des responsabilitésconcernant la collecte des données et lesystème de systématisation des donnéesretenus. I ls s’entendent ensuite sur lescommentaires et recommandations àrenvoyer au terrain. L’ importance de larépartition des rôles au sein de l’équipe duprojet est fondamentale dans la fluidité deséchanges par la suite, notamment concer -nant la collecte et la remontée desinformations au siège.


[48] Amélioration des dispositifs de suivi-évaluation – AVSF, avril 2010.

[49] Le chargé de programme au Siège est responsable de suivre la coopération d’une zone géographique.

Dans le schéma organisationnel, leresponsable du suivi-évaluation au siègepilote l ’ensemble des dispositifs de suivi-évaluation. Il porte une attention prioritaireaux nouveaux projets et aux nouvelleséquipes avec lesquelles il travaille à la mise enplace de nouveaux dispositifs. Il programmeles formations de base sur le S/E avant ledépart des assistants techniques expatriéssur le terrain, bien souvent porteursd’appuis-conseils aux équipes locales enplace. A distance, i l apporte un appuiméthodologique et porte un regard critiquesur les dispositifs en cours de construction.Parfois, une mission peut s’avérer nécessaire.Enfin, le responsable du suivi-évaluation estaussi le garant de la bonne remontée desinformations au siège d’AVSF et doit s’assurerde la qualité des informations collectées parles dispositifs de suivi-évaluation de l’ONG.

Des dispositifs de suivi-évaluation simplifiéspour permettre la mesure effective desindicateurs sur la durée du projet

Dans cet exercice, est réaffirmée la volontéd’avoir enfin des dispositifs simples — tantpour les équipes en charge que pour lesiège — facilement compréhensibles etuti l isables, et d’éviter la construction dedispositifs complexes qui ne serventnullement au pilotage efficace des actions.Dans cet esprit , une recommandationessentiel le est l ’emploi d’une vingtained’indicateurs de résultats et d’effets biendifférenciés. Mieux vaut mesurer peu et dansla durée que de tenter de mesurer beaucoup,mais sans parvenir à le faire de manièrerégulière. Cette réflexion est le fruit d’unconstat maintes fois observé par le passé etqui oblige à faire des choix au démarrage duprojet. Une fois la réalisation d’une situation

de référence prenant en compte lesindicateurs définis pour le S/E du projet, lesiège reçoit au cours de la première annéeune grille d’indicateurs caractérisés grâce à lasituation de référence, puis à chaque find’année, les données et informations del’année écoulée.

Quelques outils testés dans certains payssont devenus la règle pour tous les projets :

• deux formats de travail standardspermettent de véhiculer l ’ informationentre le terrain et le siège : 1/ undocument de description des documentsde base du pilotage du projet, desprocédures de communication ettransferts d’information au sein del’équipe projet, des principaux indicateursretenus (20 au maximum), lesmécanismes, périodicités et respon -sabilités partagées pour la collecte desinformations quantitatives et qualitativespour renseigner les indicateurs, 2/ unformat tableur (sur Excel de préférence)pour enregistrer les informations relativesaux indicateurs (situation de départ,année 1, année n+1...) ;

• un guide méthodologique rappelant lesprincipaux concepts et définitions, etcontenant les explications nécessaires à laconstruction d’un dispositif de suivi-évaluation.

Par ailleurs, neuf variables de changementsont imposées pour l’analyse des résultats eteffets générés par les actions des projets. Ils’agit des champs d’observation et d’analysede notre coopération qui importent le pluset n’ont pas vocation à enfermer leraisonnement dans des cases, mais plutôt à


orienter la recherche d’effets possibles surl’ensemble de ces champs quand cela faitsens, et à documenter l’action :

1. Les changements des systèmes deproduction

2. La situation économique des famil lespaysannes

3. Les changements des modes de vie (au-delà des systèmes de production)

4. Le développement d’une gestion desressources plus durable, plus participativeet plus équitable

5. Les capacités d’adaptation desagricultures paysannes au changementclimatique et/ou capacité de réductiond’émission de gaz à effets de serre

6. Les changements socioéconomiques dela situation des femmes

7. Les évolutions des organisations rurales(dispositif IRI — Indice de renforcementinstitutionnel — [50] facultatif) :

- légitimité et représentativité,

- capacités techniques et opération -nelles,

- capacités administratives et financières,

- capacité d’incidence (dont capacitésd’analyse, de négociation et d’alliance),

- fonctionnement interne,

- capacité d’autofinancement.

8. L’évolution des partenaires (dispositif IRIfacultatif) :

- capacités techniques et opération -nelles,

- capacités administratives et financières,

- capacité d’incidence sur les pratiqueset politiques du développement rural(incluant la capitalisation),

- fonctionnement interne, démocratieet transparence,

- capacité d’autofinancement,

- légitimité et représentativité.

9. L’incidence sur les politiques locales et/ou nationales.

Si l ’on peut parler d’une certaine« standardisation » concernant les proto -coles, les modalités et les formats detransmission de l’information, il n’en est riendes outils et méthodes de collected’informations sur le terrain. Les contexteslocaux sont respectés car chaque équipeavec sa culture dispose le plus souvent de sespropres outils et mécanismes de partaged’informations.

Quelques années après, le bilan nous montreque les outils de suivi-évaluation proposéspar AVSF aux projets s’inscrivent dans unedémarche appréciée par les équipes deterrains, bien que le suivi-évaluation soitchronophage et que le besoin d’unemeilleure appropriation des outils (méthodeset finalité) se fasse encore sentir pourcertains terrains et certains partenaires du


[50] Cet index est un outil simple d’application, fiable et quantifiable, qui se nourrit de l’expérience d’AVSF, de celle de sesassociés et partenaires. Il propose d’évaluer le renforcement des organisations rurales, que ce soit des organisationspaysannes (de différents degrés d’organisation) ou des partenaires d’exécution, à partir de l’analyse partagée de sixcomposantes essentielles de son renforcement, sans prétendre décrire totalement la situation d’une organisation.

Sud (les situations étant hétérogènes suivantles pays).

Certains outils , comme l’ IRI , ne sont pasimposés en tant qu’outils de suivi et sontencore en développement. D’autres outilsde mesures de renforcement de capacitésdes organisations paysannes ont étéexpérimentés, voire sont nés de certainsprojets, adaptés à des contextes particuliers,et nous semblent encore diffici lement« standardisables » à tous les projets, toutesles organisations partenaires et bénéficiairesd’AVSF.

Pour quelle finalité ?

Tout d’abord, pour garantir un pilotageadéquat des projets et des actions mises enœuvre, grâce à la collecte et l ’analysed’informations pertinentes, quantitatives etqualitatives, par un suivi de la réalisation desactivités, des résultats obtenus et uneappréciation des effets. Cette collected’informations doit permettre de concevoiret effectuer à temps avec les partenaires etbénéficiaires, des modifications dans lastratégie d’intervention du projet et dansl’exécution des différentes activités program -mées, afin d’atteindre les objectifs fixés et lesrésultats attendus. Elle doit par conséquentpermettre une meil leure efficacité [51] etefficience[52] des projets sur place.

Ensuite, pour permettre une intégration desdonnées collectées sur les résultats, les effetset impacts, du niveau local jusqu’au niveaunational, régional, et, globalement, au niveaude l’ensemble de notre coopération sur les

agricultures paysannes. Ces donnéesobtenues grâce aux dispositifs de suivi desprojets servent d’intrants à l’analyse qui a lieuau cours des évaluations intermédiaires etfinales, et permettent donc d’alimenter laréflexion localement sur l ’ impact de nosactions. A d’autres niveaux (national, voirerégional, et au siège), cela peut nous aiderpour : i) appuyer la capital isation desinnovations et la capitalisation transversale ;ii) témoigner du travail de notre associationet de son impact, en particulier (mais nonexclusivement) dans le but de nourrir unestratégie de communication au Nord, etsoutenir l’action de plaidoyer au Nord, demême que celle de nos partenaires du Sud ;i i i) permettre un apprentissage partagéentre terrains et siège des résultats et impactdu travail mené et une certaine appro -priation du combat d’AVSF par les équipes dusiège, qui n’ont pas toujours l’occasion d’êtresur le terrain. C’est grâce aussi à ce fluxd’informations du Sud vers le Nord qu’il estplus facile de partager les motivations, lesambitions et les convictions de l’associationau niveau global de la structure ; iv)démontrer finalement le postulat guidantl’action d’AVSF (l ’appui aux agriculturespaysannes est une voie d’avenir pour undéveloppement durable et équitable dans lespays du Sud) et affirmée dans les documentsproduits (textes de référence, article, rapportd’activités, etc.). Dans les cas où le besoin estidentifié, par exemple un projet de portéerégionale, il peut être proposé la définitiond’indicateurs communs ; v) enfin, pourfournir une information précise et objectiveà nos partenaires techniques et financiers (enparticulier les bailleurs publics et privés) sur


[51] Efficacité du projet : rapport entre les objectifs et les résultats atteints.

[52] Efficience du projet : rapport entre les moyens utilisés et les résultats obtenus.

nos activités, les résultats et effets obtenus,l ’ impact final de nos actions et notrecoopération au Sud.

3.4.3. Quel équilibre entre pilotage,apprentissage et redevabilité ?

Ces diverses exigences obligent encoreparfois les équipes à multiplier les bases dedonnées et les tableaux, car au-delà dusystème interne à AVSF, les équipes ontsouvent l ’obligation de suivre d’autresbatteries d’indicateurs, des cadres logiquesqui avaient été définis plusieurs annéesauparavant. De plus, les exigences propres decertains bail leurs amènent parfois àmultiplier les batteries d’indicateurs. Si bonnombre d’entre eux restent ouverts etcompréhensifs à des remaniements après lasignature d’une convention, il reste parfoisnécessaire de poursuivre en parallèlel’enregistrement de données selon certainsindicateurs qu’ils jugent prioritaires, ou dansdes formats de suivi-évaluation imposés, cequi génère un double travail pour l’équipe duprojet, pouvant s’avérer chronophage etinefficace, au détriment de l’action en elle-même. On peut alors s’interroger sur la finrecherchée par l’entité financière. Commentne pas y voir des exigences plus aigües entermes de redevabilité, dépassant parfois lacompréhension de l’atteinte des résultats etdes effets du projet financé ? Quelle est lajuste mesure à respecter pour ne pasdétourner les ressources et moyens duprojet des objectifs prioritaires fixés ? Parexemple, lorsqu’i l y a un objectif decommunication institutionnelle s’alimentantdes résultats des projets de développement,i l nous semblerait normal qu’i l soitclairement affiché et que des moyenssupplémentaires soient prévus en sus des

coûts du projet. Mettre en place desdispositifs de suivi-évaluation intégrant lesdiverses attentes exige du temps et requierten toutes circonstances de s’entendre sur lespriorités. Des règles harmonieuses deredevabil ité entre ONG et bail leurs, aumoment d’un accord de travail commun,devraient être mieux définies et prendre encompte les cadres institutionnels de suivi-évaluation préexistants, lorsqu’ils existent.Tout en reconnaissant leur existence, celapermettrait de travailler dans le sens de leuramélioration, et de définir, dès le départ, lesattentes et les exigences de redevabilité.

3.4.4. Moyens et recommandationspour renforcer les processusd’évaluation et suivi-évaluation,d’analyse des effets et impacts

Le suivi-évaluation est un travail chrono -phage et rigoureux, qui nécessite d’yconsacrer un temps spécifique dédié. Encomplément des budgets projets, certainsoutils financiers ont permis à AVSF deconsacrer plus de moyens aux questions desuivi-évaluation. Tout d’abord, les conven -tions d’objectifs pluriannuelles accordées parle ministère des Affaires étrangères à CICDAet VSF incluaient l’appui au renforcementinstitutionnel. Le renforcement de lapolitique de suivi-évaluation au sein dechaque institution était l ’un des aspectsessentiels. Par la suite, l’AFD a renouvelé sonaccord pour soutenir une nouvelleconvention-programme qui vise entre autrela consolidation des dispositifs internes desuivi-évaluation, la capital isation et ledéploie ment d’une action articulée deplaidoyer au Nord en faveur de l’agriculturepaysanne et la reconnaissance de sesmultiples fonctions dans la société. Ce


mécanisme de financement transversal apermis de concentrer des efforts sur laconstruction d’une politique institutionnellede suivi-évaluation, de faire vivre cettepolitique en interne et de la décliner autravers d’actions concrètes d’accompa -gnement des équipes au Sud. Le processusd’intégration des données collectées àdifférents niveaux a encore besoin d’êtreamélioré. D’une part, les données derésultats et d’effets des projets méritentd’être mieux exploitées pour nourrir lacommunication institutionnelle et mesurer

l’incidence politique nationale dans nos paysde coopération. D’autre part, au niveau dusiège, les procédés d’utilisation et d’analysedes grilles de suivi-évaluation à différentesfins restent encore insuffisamment définis.Une meilleure articulation entre les diffé -rentes fonctions du suivi des programmesd’AVSF, concernant l’emploi et la valorisationde ces données, permettra certainementune meilleure définition des modalités detravail et d’intégration des effets et impactobtenus dans les documents d’analysethématique ou de plaidoyer.


Toutes mes félicitations au F3E et à l’AFD quiont conçu et organisé ce séminaire dequalité, ainsi qu’aux intervenants qui ontsuscité de bons débats avec la salle. Le titredonné à ce séminaire – L’évaluation enévolution – nous renvoie à la premièrerencontre organisée sur ce thème en 1994,dans le cadre de la Commission coopérationdéveloppement [53]. Cette dernière avait untitre voisin – Evaluer pour évoluer . C’est aulendemain de cette rencontre qu’a été crééle F3E.

3.5.1. L’évaluation dans le champ de la solidarité internationale : un parcours évolutif

Ce démarquage subtil des mots, d’unerencontre à l ’autre, montre à lui seul lechemin parcouru entretemps. Il y a dix-huitans, l’enjeu pour les associations de solidaritéinternationale était de s’approprier lapratique de l’évaluation de leurs actions. Ledomaine était très nouveau et provoquaitparfois bien des réactions de réserve et deméfiance. La réserve était fondée sur l’idéeque l’évaluation servirait principalement auxbail leurs de fonds pour juger de l’oppor -tunité de cofinancer telle ou telle ONG. Et ladéfiance concernait l ’ intervention des

experts. En forçant le trait, la question seposait de la façon suivante : « qui sont cesexperts ? Comment peuvent-ils comprendrevraiment ce que nous faisons, puisque c’estnous qui le faisons ? Et nous savons que ceque nous faisons est bien ». Au fil du tempset de la montée en puissance du F3E, lesbarrières sont tombées et l’évaluation s’estpeu à peu inscrite dans la pratique desassociations, comme dans celles descollectivités territoriales.

Au regard des pratiques de l’ensemble dusecteur associatif français, celui de lasolidarité internationale est aujourd’huiplutôt en avance sur cette questiond’évaluation. A coup sûr, cette avancée est laconséquence de notre engagement àl’international et donc de l’éloignement denos terrains d’action. Quelle que soitl’ intensité du suivi assuré auprès de nospartenaires et des sociétés dans lesquelless’inscrit l’action, il est difficile d’en avoir uneconnaissance fine des résultats et des effets.Cette distance crée un besoin d’évaluationbeaucoup plus fort pour nos associationsque pour celles qui agissent sur le territoirefrançais et nous nous devons de l’assumer aunom de la redevabilité auprès des partenairesinternationaux, de notre gouvernance


3.5. L’évaluation en évolution

Jean-Louis Vielajus

[53] La Commission coopération développement, créée en 1981 et supprimée en 2011, était une commission interminis-térielle, présidée par le/la ministre de la Coopération, chargée du dialogue et de la concertation avec les associationsde solidarité internationale.

associative et de nos donateurs privéscomme publics.

Le débat d’aujourd’hui est celui del’évolution des pratiques de l’évaluation.Cette évolution peut en réalité être observéeselon deux axes : celui de l’objet et celui desoutils d’évaluation.

L’objet, c’est-à-dire l’action à évaluer, s’estlargement transformé, en réponse à ladiversité des missions associatives, del’humanitaire au développement, de l’accèsaux services de base au renforcement dessociétés civiles, de l’action internationale àl’action d’éducation au développement etde plaidoyer en France. Il a évolué aussi aurythme de l’émergence d’acteurs locaux etdes enjeux des partenariats. Alors que lapriorité était donnée, il y a quelques annéesà la seule évaluation de « projet », on en estvenu progressivement à s’ intéresser àanalyser des démarches de programme, maisaussi à intégrer les enjeux du partenariatNord/Sud dans les processus d’évaluation.

Les outils se sont eux aussi diversifiés. Lepremier à avoir été uti l isé a été celui del’évaluation ex post et indépendante, avec ledouble objectif de redevabilité auprès desdiverses parties prenantes et d’apprentissageà partir des pratiques. La maîtrise progressivedes critères et de la méthode par lesassociations en a conduit certaines àpratiquer des exercices d’auto-évaluation, enlien étroit avec leurs partenaires du Sud etdans l ’objectif d’une meil leure maîtrisecollective de leur action conjointe. Plusrécemment, s’est installée une pratique desuivi-évaluation, visant quant à elle à piloter« en temps réel » l’action et à la faire évolueren fonction des acquis intermédiaires. Ceci

rejoint la notion de « parcours », selon laformule employée par le F3E. Elle conduit àinternaliser partiellement les compétencesd’évaluation dans les associations : un atoutpour la professionnalisation de nosassociations, mais, en revanche, la perte dubénéfice du regard extérieur et indépendant.Il faut citer enfin le développement récent etprogressif de la pratique de capitalisation,complémentaire mais bien distincte de cellede l’évaluation.

Toutes ces avancées sont les signes d’unemaîtrise croissante de leurs actions par lesassociations de solidarité internationale. Ence sens, le développement de la culture del’évaluation – comme celle de lacapital isation des pratiques – a produitd’importants résultats. Attention, toutefois,de ne pas tomber dans quelques traverspossibles.

3.5.2. Reconnaître les risques encourus

De l’évolution de l’évaluation, nous pouvonsidentifier trois risques majeurs : la banali -sation de l’outil , la normalisation de lademande d’évaluation, l’attente d’exhaus -tivité.

La banalisation survient dès lors que lerecours à l ’évaluation se réduit au strictrespect de la « gestion du cycle de projet »,sans autre attente que de pouvoir produireun rapport formel – notamment en directiondes bailleurs de fonds. Cette pratique produitune faible valeur ajoutée, même si elle gardetout son sens au plan de la redevabilité.

L’excès de normalisation peut se produiredans deux directions. La première consiste àconvoquer systématiquement et sans


hiérarchie l’ensemble des critères définis parle CAD de l’OCDE, quelle que soit la natureou le stade d’évolution de l’action à évaluer.Ce respect de la norme vient souvent encontradiction des attentes réelles desporteurs et partenaires de l’action. Même siceux-ci ont souvent un questionnementrelevant principalement de la pertinence ouencore de la cohérence, i ls se feront undevoir de décliner tous les critères, sansnécessairement formuler de hiérarchie. I lrestera aux évaluateurs le choix entre trierpar eux-mêmes les priorités, ou survolerdans des délais très réduits le kit complet descritères. La deuxième tendance à lanormalisation touche à la commande faiteaux évaluateurs. On constate une tendancedes porteurs de projets à décrire en détaildans leurs termes de référence la démarcheméthodologique attendue des candidatsconsultants. Sans surprise, les offresprésentées en retour en viennent à seressembler si fort que la sélection finaledevient très difficile. L’enjeu n’est pas, enréalité, de vérifier la conformité de laréponse des consultants à nos principesméthodologiques. I l est de vérifier à quelpoint ceux-ci ont compris notre demande etde leur laisser les marges de manœuvrenécessaires pour expliquer comment i lsentendent y répondre, dans le respect de ladémarche d’évaluation.

L’attente d’exhaustivité va souvent de pairavec l’excès de normalisation. On voudraitparfois que les consultants réussissent à nousdocumenter sur tous les aspects du projetou du programme qu’i ls vont analyser, etqu’i ls nous donnent toutes les clés decompréhension pour aujourd’hui et pourdemain : répondre au besoin de redevabilité,al imenter nos processus d’apprentissage,facil iter le dialogue avec nos partenaires,documenter l’impact, imaginer l’avenir et enformuler les « l ignes directrices ». Le toutdans un temps record et avec un budgetrestreint. Encore une fois, et pour éviter lesdéceptions, mieux vaut s’en tenir à quelquesquestionnements forts et structurants,autour desquels l ’évaluation pourra seconcentrer et donner des élémentsconsistants en réponse à des questionsclairement posées.

Toutes ces difficultés peuvent être faci -lement dépassées pour faire de l’évaluationun outil puissant au service de l’action et desacteurs. Année après année, la palette desdémarches et des outils d’évaluation s’estenrichie pour répondre à la diversité de nosbesoins. L’effort à faire consiste désormais àmaîtriser cette palette et à la mettre auservice d’une réelle stratégie d’évaluation auservice de nos projets associatifs, de laqualité de nos programmes et durenforcement de nos acteurs internationaux.C’est bien là l’enjeu d’une « évaluation enévolution ».


Pour le F3E, ce séminaire organiséconjointement avec l’AFD se voulait être unmoment d’échange, en vue de construireune culture commune de l’évaluation quitienne compte des enjeux dudéveloppement et de son efficacité d’unepart, qui facilite une conciliation des enjeuxde redevabilité et d’apprentissage d’autrepart.

I l s’agissait plus spécifiquement decontribuer à faire converger les attentes dubailleur dominées par l’enjeu de redevabilitéet les contraintes des acteurs nongouvernementaux qui cherchent dans lemême temps à rendre compte auxpopulations bénéficiaires, à apprendre etaméliorer leur impact.

Le séminaire a atteint son objectif. Il en estressorti des enseignements à retenir sur lesenjeux de l’évaluation dans le contexte dudéveloppement et de son efficacité, ainsique sur les pratiques concrètes et innovantesen matière d’évaluation.

Le contexte du ‘partenariat mondial pourl’efficacité du développement’ est uneopportunité inédite et unique pour uneévaluation renouvelée et plus utile.

Le passage de l’efficacité de l’aide àl’efficacité du développement invite àrevoir les approches traditionnelles de

l’évaluation par les résultats des projets àcourt terme.

Ce nouveau contexte amène à prendre unedimension beaucoup plus politique eninterrogeant les modèles de développementqui sous-tendent les actions. Il vise à intégrerla réalité complexe du développement, quifait appel à une multiplicité de partiesprenantes. Cela renvoie notamment auxenjeux de dialogue pluri-acteurs et decohérence entre les politiques publiques, quisuggèrent de mener par exemple desévaluations à l ’échelle d’un pays, d’unerégion ou d’un secteur en vue de regarderles contributions des différents acteurs.

Les notions d’appropriation démocra-tique, d’ownership, de partenariats inclu-sifs, de redevabilité mutuelle, de pro-duction de connaissances, de recherchede changements positifs et durablesfavorisent un renouvellement de l’éva-luation.

En ce sens, l’évaluation est un outil pour ledébat démocratique, le dialogue etl’apprentissage collectif , une garantied’appropriation et de responsabil itémutuelle. C’est la gouvernance même desévaluations qui doit évoluer vers desdémarches beaucoup plus participatives etinclusives, en cherchant à progresser vers unemeil leure appropriation des processus


Conclusions

Laurent Denis

d’évaluation. De nombreuses interventionsont mis en avant l ’ intérêt de l’évaluationcomme processus davantage que lesrésultats de l’évaluation eux-mêmes.

Les acteurs institutionnels doiventfavoriser la création d’un environnementfavorable, tant pour les OSC etcollectivités territoriales du Nord que duSud dont l’enjeu est de permettre uneappropriation et une internalisation de laculture de l’évaluation.

Il s’agit de mieux spécifier le rôle attendu del’évaluation dans les démarches d’appren -tissage d’une part, et de redevabilité d’autrepart. La priorité étant pour les OSC derendre d’abord compte aux populationsbénéficiaires, de favoriser l ’apprentissageensuite, de rendre des comptes aux bailleursenfin. Pour les ONG de tail le moyenne,l’expérience de mutualisation que constituele F3E en France peut être intéressante àmieux faire connaître et partager, au Nord etau Sud.

Beaucoup d’évolutions et d’innovationssont constatées dans les pratiquesd’évaluation, qui vont au-delà de laredevabilité ou en modifient les modali-tés.

Pour mieux prendre en compte et ren-dre compte de la complexité du déve-loppement vu comme un processus dechangements, l’évaluation doit davan-tage être conçue « sur mesure ».

I l s’agit de s’affranchir du carcan du cadrelogique et des critères du CAD OCDE,analyser autant les processus que lesrésultats, relativiser le l ien entre action et

résultats, intégrer la difficulté à démontrer etattribuer. Cela invite à poursuivre lesinnovations en matière de méthodologie etd’indicateurs.

L’évaluation ne se suffit pas à elle-même,il faut en démultiplier les modalités etinstruments, dans une acception large dela notion d’évaluation.

On a trop tendance à empiler des fonctionstrès différentes sans forcément avoir lesmoyens nécessaires pour les gérer : le suivide projet, l’évaluation intermédiaire, l’évalua -tion finale, les études transversales, lesdispositifs de suivi-évaluation, de pilotage etde remontée de l’information, l’élaborationde variables de changement communes à unensemble de projets, etc.

L’évaluation n’est pas seulement externe, ellepeut être effectuée en interne, dans uneoptique d’organisation apprenante quicherche à améliorer ses interventions auprèsdes bénéficiaires. Cela suppose d’une part unsoutien institutionnel dans les organisations,de la part des décideurs et des élus, d’autrepart de mieux valoriser les exercicesd’évaluation, entre acteurs du Nord et duSud.

Les évaluations fi lmées par exemplerenforcent la dimension participative etl’appropriation du processus d’évaluation.Elles améliorent la visibilité et l’accessibilitéde l’évaluation auprès d’un public élargi.

Les collectivités territoriales engagées encoopération décentralisée se sontemparées de la culture de l’évaluation,pour rendre compte de leurs politiques,


renforcer leurs partenaires et le sens deleurs actions.

Evaluer permet à la collectivité territoriale auNord de faire un « bilan sincère », d’opérerdes choix et de s’interroger sur le devenirdes engagements réciproques. Le regardexterne sert à justifier des engagementspassés et futurs. L’évaluation est utile pourconvaincre les élus et construire des argu -mentaires objectivés, au-delà du discourspolitique.

Les évaluations des partenariats decoopération décentralisée contribuent àrenforcer les capacités des collectivitésterritoriales du Sud dans la mesure où leurscollectivités partenaires du Nord leurdonnent une pleine place dans les processusévaluatifs. Les temps d’échanges en coursd’évaluation permettent une réflexionpartagée sur le sens donné aux engagementset sur les bénéfices du partenariat sur lesterritoires respectifs.

Nous retenons enfin qu’un certain nom-bre de sujets n’ont pu être suffisammentabordés au cours de ce premier sémi-naire et qu’ils pourraient être approfon-dis à l’avenir :

• l’articulation entre l’évaluation externe etdes outils complémentaires, tels que lesuivi-évaluation, l’auto-évaluation ou lacapitalisation d’expériences,

• l’articulation entre apprentissage, redeva -bilité et qualité globale,

• l’évaluation du renforcement des capa -cités, illustratif de la complexité à analyserles processus de dévelop pement,

• l’évaluation des effets et de l’impact, et ledébat sous-jacent entre attribution etcontribution,

• la place de l’évaluateur dans le processusd’évaluation et son rôle dans la diffusionde l’innovation méthodologique.


En décidant d’organiser ce séminaire avec leF3E, l’objectif pour la division Evaluation etcapital isation de l’AFD était d’avoir unéchange sur ce que les OSC et l’AFD devaientet pouvaient faire en matière d’évaluationdes initiatives des OSC dont nous soutenonsl’action.

D’abord, ce séminaire a montré la richessedes expériences et la qualité de leur réflexionsur l’évaluation, à la fois individuellement − et ceci ne concerne pas que les « grandes »OSC, comme la montré l ’exposé de ladirectrice de Gevalor – mais aussi collec -tivement : Olivier Consolo, Philippe Jashanet Jean-Louis Vielajus nous ont montré queles OSC avaient une véritable vision politiquede l’évaluation.

Dans ses rapports avec les OSC, l’AFD devraitpouvoir orienter sa demande d’évaluationdes activités menées en collaboration avecles OSC dans trois directions :

• Reconnaître la pluralité des démarchesdes OSC et insérer sa propre demanded’évaluation ex post indépendante visantprioritairement la redevabilité dans leurspropres démarches de suivi et évaluation.Si elles prennent des formes très variéesd’une OSC à l ’autre, el les impliquenttoutes une insertion dans un processusde type évaluatif . Aussi , la demanded’évaluation de l’AFD doit pouvoirs’ insérer et uti lement compléter undispositif d’évaluation dont on comprendqu’i l soit tourné sur un objectifd’apprentissage, mais pas seulement, dèslors que l’on souhaite aussi donner une

place aux acteurs locaux et auxbénéficiaires dans l’activité d’évaluation.Cela signifie qu’au-delà des procédures etobligations établies en matièred’évaluation sur les différents guichets definancement des OSC, l ’AFD doit faireautant que possible du « sur mesure »dans l ’obligation qu’elle fait aux OSCd’évaluer les financements qu’elleaccorde. Cette demande pourrait êtreajustée dès l ’ instruction du dossier definancement.

• Prendre ses distances vis-à-vis du cadretrès normé des critères d’évaluation duCAD, trop souvent uti l isé de manièresystéma tique, pour ne pas dire demanière rituelle. El le doit, commed’ail leurs le recommande le CAD del’OCDE, les interpréter avec intelligence,pondérer l’intérêt de chaque critère et lesdécliner de manière précise, en fonctionde la nature de l’intervention menée.

• Intégrer la complexité croissante desinterventions, en acceptant de sortir duréférentiel d’évaluation que constitue lecadre logique de l’ intervention, et ens’attachant davantage par exemple à laqualité des processus. Les évaluationsdemandées par l ’AFD peuvents’affranchir, si c’est opportun, del’évaluation « basée sur les objectifs »recommandée par le CAD, et envisagerd’autres formes d’évaluations : desévaluations délibérément participatives,par exemple où les acteurs qui animentou subissent le changement participentdirectement à l ’évaluation de l’ inter -


Laurent Fontaine

vention. Nous n’avons pas été très loindans cette réflexion méthodologique quipourrait être l ’objet d’un prochainséminaire.

Ces principes supposent que la démarched’évaluation qui sera demandée par l’AFDsoit bien comprise ex ante avec l’OSC, aumoment où le financement est accordé :c’est la seule manière de pouvoir l’articuleravec les autres démarches de l’OSC en visantleur complémentarité, et on l’a aussi évoquélors de ce séminaire, de pouvoir optimiserl’effort d’évaluation. L’évaluation demandéepar l’AFD doit finalement autant que possibleêtre intégrée dans la propre démarched’évaluation de l’OSC. C’est aussi la seulemanière d’avoir un véritable dialogue entreles OSC et l’AFD sur ce qui fera le véritablesuccès de l’opération.

L’AFD doit aussi conduire des évaluations desfinancements qu’elle accorde aux OSC. Elle acommencé à le faire sur une base expéri -mentale, avec cinq évaluations réalisées ouen cours. De ce séminaire, on peut retenirquatre leçons principales, la premièredécoulant de ce qui précède.

Les évaluations commanditées par l ’AFDn’ont pas besoin d’être exhaustives. El lesdoivent venir compléter les démarchesd’évaluation menées par les OSC elles-mêmes. Dès lors que l’AFD peut s’assurer queses partenaires ont une démarched’évaluation crédible, el le n’a pas besoind’être systématique, comme cela a étél’intention avec les premières évaluations desinitiatives ONG que nous avons menées.

La notion de « résultat » de développementdoit être définie dans un sens large, incluant

les dimensions de renforcement descapacités des acteurs du Sud, de partici -pation et de Droits de l’homme. Nous avonsaussi effleuré une tension entre le degréd’atteinte des objectifs, qui est la mesurecourante de l’efficacité, et la qualité desprocessus mis en œuvre. Les évaluationsconduites par l’AFD devront donc prendre encompte cette notion plus large de résultat dedéveloppement.

La participation des parties prenantes doitêtre la règle. Les évaluations conduites parl’AFD doivent avoir une dimensionparticipative plus marquée, qui doit setraduire par un renouvellement de lagouvernance des évaluations pilotées parl’AFD, avec la systématisation de groupe deréférence susceptible de refléter la pluralitédes points de vue et une implication desOSC – ou de leur organisations — à ladéfinition des termes de référence. On peutaussi retenir l’importance de la mise en débatdes conclusions des évaluations, avec untemps et un budget qui devront êtreconsacrés à cette dimension qui fait partiedu processus évaluatif de qualité.

Le champ des évaluations doit être limité àce qui est utile. On peut servir un objectif deredevabilité et d’apprentissage en ciblant letravail d’évaluation sur les questionsvraiment utiles qui se posent aux OSC et aubailleur. Au contraire, en cherchant à toutcouvrir de manière uniforme, et exhaustive,on perd en profondeur et donc en qualité.Les évaluations pilotées par l’AFD pourraientcouvrir des sujets transversaux sur desthèmes qui intéressent à la fois les OSC et lebailleur, permettant à l’évaluation d’être plusstratégique.


Biographie des intervenants

Emilie ABERLEN, chargée de mission, division Evaluation et capitalisation,AFD

Emilie Aberlen est chargée de mission à la division Evaluation et capitalisation de l’AFD depuis2011. Elle est impliquée dans la réflexion sur l’évaluation de l’aide au développement au traversde différents travaux et organisation d’événements (politique d’évaluation de l’AFD,rapprochement des pratiques avec les bail leurs européens, 9e conférence EUDN surl’évaluation, etc.). Elle suit également des études relatives aux financements par l’AFD desONG. Juriste de formation et diplômée de l'Institut d'études politiques de Paris, elle a occupédes fonctions d’assistante de recherche (Programme de recherche urbaine et dedéveloppement du groupe URD), de consultante en évaluation de politiques publiques auxniveaux local, national et européen (Eureval, Ernst & Young), et d’évaluatrice interne (Banqueeuropéenne d’investissement). El le s’ intéresse plus particulièrement au l ien urgence –développement et aux politiques sociales et urbaines.

Charlotte BOISTEAU, chargée de mission internationale, F3E

Charlotte Boisteau est chargée de mission internationale au sein du F3E, réseau pluri-acteursd’échange de pratiques et de méthodologies innovantes dans le domaine de la solidaritéinternationale et de la coopération décentralisée.

Docteur ès sciences de l’Ecole polytechnique fédérale de Lausanne, elle travaille à la recherche-action dans le champ du développement depuis plus d’une quinzaine d’années. Elle a occupédes postes de praticien (Samu social international , ONG locale en Afrique du Sud), deconsultante (ONU-HABITAT, UNITAR, etc.) et d’enseignant-chercheur (EPFL, Sciences po Paris,etc.) . Son intérêt thématique se centre aujourd’hui sur l ’évaluation et l ’efficacité dudéveloppement après avoir particulièrement travail lé et publié sur les thèmes de lagouvernance, de l’exclusion sociale et des violences urbaines. Son parcours l’a amenée à vivreen Afrique du Sud, en Colombie, en Espagne et en Suisse.

Vincent BROWN, responsable de l’unité d’évaluation de MSF Paris(ex-directeur général d’Epicentre)

Vincent Brown est médecin épidémiologiste avec une longue expérience de terrain pourMédecins sans frontières (MSF). Il a d’abord été responsable de divers projets en Afrique ouen Amérique latine, en situation de crise humanitaire ou lors de projets de réhabilitation. Il apar ai l leurs travail lé quinze ans à Epicentre (satell ite de MSF pour l ’épidémiologied’intervention), terminant au poste de directeur général. Depuis 2008, il a créé et animel’unité d’évaluation de MSF à Paris, attaché à la direction générale.


Olivier CONSOLO, directeur, CONCORD

Olivier Consolo est le directeur de la Confédération européenne des ONG de développementet d’urgence qui regroupe 2 000 ONG de solidarité internationales dans les vingt-sept pays del’Union européenne. CONCORD est une plateforme de plaidoyer qui contribue à la définitiondes politiques de développement au niveau européen et international . CONCORD estmembre de la plateforme internationale pour l ’efficacité du développement – CSOPlateforme for Developement Effectiveness (CPDE) et de la campagne internationale Beyond2015. Olivier Consolo a travaillé avec plusieurs ONG françaises sur le terrain en tant quedirecteur pays, et au siège comme coordinateur d’une campagne d’éducation audéveloppement. Il a aussi travaillé quatre ans au Guatemala avec la Commission européenneet les Nations unies sur les questions de société civile. Il a vécu huit ans en Amérique centrale.Depuis 2011, Olivier Consolo est membre du Comité international de la Fondation de France.

Le développement local, les droits humains et la démocratie, la participation de la sociétécivile et la citoyenneté sont au cœur de son engagement depuis vingt-deux ans.

Jocelyne DELARUE, directrice, Gevalor

Jocelyne Delarue est la directrice de Gevalor, une association qui appuie des projets de gestionet de valorisation des déchets dans les pays en développement. Ces projets ont l’ambition degénérer des impacts positifs à la fois environnementaux, sociaux et économiques. Avant cepassage récent à l ’associatif , el le était en charge pendant cinq ans du portefeuil le desévaluations d’impact à l ’AFD et a, à ce titre, supervisé plusieurs études uti l isant desméthodologies quantitatives et qualitatives. Elle a soutenu, en 2007, sa thèse de doctorat surl’évaluation des impacts des projets de développement agricole sur les revenus desagriculteurs en Guinée Conakry.

Laurent DELCAYROU, président du F3E, directeur des Opérations,Centre international de développement et de recherche

De formation ingénieur agronome et économiste, Laurent Delcayrou accompagne, depuisvingt ans, des politiques et programmes de développement. Sur le terrain, en Afriquesubsaharienne, comme consultant, puis directeur d’études au sein de bureaux spécialisés enFrance. Depuis 2008, au sein de l’ONG française CIDR, il conduit régulièrement des démarchesd’évaluation, suivi-évaluation et planification.

Il participe activement aux travaux de recherche action du F3E en matière de suivi-évaluationde « processus de changement », ainsi qu’à l’expérimentation de « démarches qualité » menéeconjointement par le F3E et Coordination Sud.

Administrateur depuis 2009, Laurent Delcayrou préside désormais le conseil d’administrationdu F3E, réseau d’acteurs français non gouvernementaux (ONG et Collectivités territoriales)


engagés pour l’amélioration de la qualité et de l’ impact des actions de solidarité et decoopération internationale.

Laurent DENIS, directeur du F3E

Economiste de formation, Laurent Denis est, depuis 2001, le directeur du F3E, réseau nationalfrançais dédié à la promotion de la culture de l’évaluation, de l’impact et de la qualité desactions de solidarité internationale et de coopération décentralisée.

Il a auparavant travaillé sept ans pour différentes ONG françaises de développement (GRDR,Handicap International, etc.) sur différentes thématiques (développement rural, éducation,sécurité alimentaire, eau potable, microfinance, lutte contre le VIH, ...), dans plusieurs pays(Laos, Liban, Mali, Maroc, Mauritanie, Sénégal, . . .) , occupant diverses fonctions (direction,coordination, formation, consultance). Il est également membre de la Société française del’évaluation (SFE).

Laurent FONTAINE, responsable de la division Evaluation et capitalisation,AFD

Economiste de formation et diplômé de l’ Institut d’études politiques de Paris, LaurentFontaine a réalisé l’ensemble de sa carrière dans le secteur du développement international,principalement au sein du dispositif institutionnel de l’aide en France, mais également en tantque conseiller au Bureau de l’administrateur à la Banque mondiale et du FMI. Il a occupé despostes de responsabilité au sein de PROPARCO et du ministère des Affaires étrangères, et adirigé plusieurs agences dans les géographies d’intervention de l’Agence Française deDéveloppement en Afrique et dans les collectivités d’Outre-mer avant de prendre la tête dela division Evaluation et capitalisation en 2011.

Barbara GUITTARD, responsable du suivi-évaluation, Agronomes etVétérinaires sans frontières

Barbara Guittard est responsable du suivi-évaluation au sein de l’ONG française Agronomeset Vétérinaires sans frontières (www.avsf.org). Elle est également chargée des programmesde coopération dans les Andes et sur la thématique Organisations paysannes et Marchés.Agroéconomiste - diplômée en 1999 de l’Institut supérieur des techniques d’Outre-mer(ISTOM), elle a complété sa formation en 2009 par le DESS Développement agricole etPolitiques économiques à l’Institut d’études du développement économique et social – Paris 1 Sorbonne (IEDES).

Elle a acquis une expérience du développement rural dans les Andes (Bolivie, Pérou) et auCambodge durant sept années. Ayant débuté sa carrière professionnelle au sein du SCAC de


l’ambassade de France en Bolivie sur le suivi des projets de coopération française, elle a ensuitepoursuivi en ONG, VSF puis AVSF entre 2002 et 2008 sur deux projets de développement auSud : un programme de sécurité al imentaire financé par l ’UE au Cambodge, puis unprogramme financé par l’UE de renforcement de capacités de partenaires péruviens autourd’actions de structuration de filières locales vivrières et de gestion des ressources pastoraleset hydrauliques. Elle travaille au siège d’AVSF depuis 2010. En 2009, elle a également travailléune année au sein de l’association Max Havelaar France, sur le suivi et développement defi l ières certifiées équitable et sur un travail documentaire de synthèse de l’ impact ducommerce équitable labellisé Fairtrade à partir d’études d’impact réalisées en Amérique latine,Amérique centrale et Caraïbes.

Dans le cadre de son activité sur le suivi-évaluation au siège, elle est chargée d’assurerl’harmonisation des dispositifs de suivi-évaluation élaborés et utilisés sur les différents projetsd’AVSF, et fournit dans ce cadre une assistance méthodologique aux équipes à distance.

Hédia HADJAJ-CASTRO, chargée d’études et de projets collaboratifs,consultante, COTA, Belgique

Hédia Hadjaj-Castro est ingénieur agronome formée aux approches systémiques appliquéesau développement en milieu rural. Après quelques années passées sur le terrain en Amériquelatine, elle rejoint l’équipe du COTAasbl (15 ans d’expérience en développement internationaldans le milieu associatif). Elle travaille depuis neuf ans en tant que consultante et chargéed’étude en accompagnement des acteurs de coopération « indirectes » belges (ONG,universités, syndicats, migrants, etc.) et de leurs partenaires de terrain sur les questions desuivi et d’évaluation des actions de coopération. Elle porte un intérêt particulier à la prise encompte du point de vue des acteurs dans leur diversité et aux approches multi-acteurs.

Alain HENRY, Directeur des Etudes et recherches, AFD

Alain Henry est directeur des Études et recherches de l’AFD. Ancien élève de l’Écolepolytechnique, ingénieur civil des Ponts et Chaussées, il est entré à l’AFD en 1981. Au cours desdix dernières années, il a été successivement directeur Infrastructures et Développementurbain (2002- 2007), directeur de l’agence du Vietnam (2007-2011) et directeur de Cabinet duministre de la Coopération (2011-2012). Il a été membre fondateur et président d’Europact(1994-2000), ONG d’appui et d’évaluation de projets auprès des ONG de développement.Depuis 1989, il est chercheur associé, membre du Groupe Gestion & Société au CNRS. Sesrecherches portent notamment sur la relation entre la gestion économique et le contexteculturel (notamment en Afrique subsaharienne et au Vietnam). Il a publié de nombreux articleset a contribué à plusieurs ouvrages, notamment Cultures et mondialisation , aux Editions duSeuil (collection Point) ; Tontines et banques au Cameroun, chez Karthala, et Rédiger lesprocédures de l’entreprise , aux Editions d’Organisation.


Philippe JAHSHAN, délégué aux Actions de coopérationinternationale, Solidarité laïque

Délégué aux actions de coopération internationale de Solidarité laïque, il dirige depuis 2009le secteur international de SL. Il compte à son actif dix ans d’expérience dans la conduite et lacoordination de programmes collectifs de solidarité internationale, en particulier dans lemonde arabe.

Il a monté et conduit plusieurs exercices de capitalisation et d’évaluation internes liés auxprogrammes ou aux réflexions transversales de l’organisation. Il a été membre du CA du F3Ependant six ans, vice-président puis président du F3E. Il est membre du CA de CoordinationSud, délégué aux questions européennes, et investi dans les réflexions européennes(CONCORD) sur les questions d’efficacité des OSC et d’impact. Il est membre du Comité depilotage des travaux sur la démarche qualité lancé par Coordination Sud et le F3E.

Eric MOUNIER, réalisateur

De formation journalistique, Eric Mounier a travaillé essentiellement sur les questions dedéveloppement ces dernières années, et tout particulièrement sur le continent africain. Avecl’AFD, il a récemment développé l’utilisation de l’audiovisuel dans l’approche évaluative. Il estl’auteur d’un mémoire sur cette question et il a réalisé trois films d’environ une heure àcaractère évaluatif pour l’Agence Française de Développement.

- La première évaluation filmée a été élaborée avec l’Agence Française de Développement,comme une évaluation ex post : un film d’une heure, « Prey Nup, construire contre lesmarées », analyse les enjeux et les résultats d’un projet d’irrigation et la construction d’uneorganisation sociale de gestion au Cambodge.

- Une deuxième évaluation a ensuite été également initiée par l’AFD et réalisée en 2010 sur unprojet d’amélioration de la distribution d’eau dans le township de Soweto.

- Un troisième film, qui tente de se démarquer de l’évaluation, a été réalisé en Palestine en2011. Il s’agit davantage d’un questionnement sur la pérennité d’un organisme palestiniensemi-gouvernemental et surtout d’un mécanisme d’allocation de fonds vers les municipalitéspalestiniennes.

Filipe RIBEIRO, ex-directeur général du centre opérationnel MSF,Groupe Paris

Filipe Ribeiro a été directeur général (DG) pour Médecins Sans Frontières (MSF), sectionFrançaise de 2008 à 2013. Il a poursuivi le développement des activités MSF avec 4 sectionspartenaires, regroupées sous la dénomination Centre Opérationnel de Paris (avec MSF New


York, Sydney, Tokyo et Paris). En tant que DG il a aussi activement participé au développementdu mouvement MSF.

Auparavant en 2007-2008, Filipe Ribeiro a œuvré en tant que responsable de programmepour la RDC, la RCA, le Pakistan, le Nord Caucase et l’Afghanistan, pays pour lesquels il a définil’orientation des projets et suivi les activités (techniquement, politiquement, et au niveau desmédias).

Entre 2006 et 2007, Filipe Ribeiro a aussi été coordinateur d’urgence dans les pays en crise, cequi l’a amené à rencontrer des situations humanitaires variées et complexes. Au cours desannées 1990, i l a travail lé avec Mondial assistance, où i l a terminé au poste de chef dudépartement des Opérations.

Rose-Marie SAINT-GERMÈS AKAR, vice-présidente, Communautéd’agglomération de Cergy-Pontoise

Elue, en charge de la politique culturelle à Saint-Ouen l’Aumône dans le Val d’Oise au sein dugroupe EELV (Europe Ecologie Les Verts) , et vice-présidente de la communautéd’agglomération de Cergy-Pontoise depuis 2001, el le a pour délégation la coopérationdécentralisée et l’économie solidaire. La communauté d’agglomération étant adhérente – active – de CUF (Cités Unies France) dans le cadre du Groupe-pays Bénin (coopération avecPorto-Novo), Rose-Marie Saint-Germès Akar en est devenue présidente en 2008. Elle estégalement au CA du F3E. La communauté d’agglomération a la particularité d’être, à l’origine,l’une des neuf villes nouvelles initiées dans les années soixante : elle a donc quelques 40 annéesd’existence. En 2001, elle avait en charge des jumelages, initiés pour certains depuis plus de 20ans. Lorsque la collectivité a repris son autonomie et est devenue communautéd’agglomération, elle a choisi de conserver dans ses compétences la politique de relationsinternationales et a fait évoluer son jumelage avec Porto-Novo au Bénin vers une coopérationdécentralisée (2004, Convention de coopération entre les deux collectivités). A ce jour etdepuis 2011, une nouvelle coopération a été mise en place avec Haïti.

Mamadou SEMBENE, évaluateur à l’ACDIL (Association decoopération et de développement des initiatives locales) et directeurde la Maison de la coopération décentralisée du Burkina Faso

Urbaniste-aménageur, expert en gouvernance locale, décentralisation, développement local etcoopération décentralisée, Mamadou Sembene a plus d’une vingtaine d’années d’expérienced’appui aux processus de décentralisation, de coopération décentralisée et de renforcementdes capacités de maîtrise d’ouvrage des collectivités locales et des acteurs de la société civile.Il contribue régulièrement à des travaux d’évaluation et de capitalisation de programmes decoopération décentralisée et d’activités d’ONG. I l collabore à plusieurs programmesd’échanges et de mise en réseau de villes et de programmes urbains entre la France et l’Afrique


de l’Ouest. Il est basé au Burkina Faso où il a créé l’ONG ACDIL (Association de Coopérationet de développement des initiatives locales) et est également directeur de la Maison de lacoopération décentralisée.

Louis-Jacques VAILLANT, conseiller Collectivités, villes et territoiresauprès de la direction générale de l’AFD

Directeur exécutif , en charge des relations extérieures et des partenariats jusqu’au 2 septembre 2013 et précédemment directeur du département Amérique latine et Caraïbesde l’AFD, Louis-Jacques Vaillant a également une longue expérience du financement descollectivités locales et du développement urbain dans l’Outre-mer et dans les pays étrangers,comme responsable de division.

Il est entré à l’AFD en 1988 où il a exercé différentes fonctions opérationnelles au siège et enagence ainsi qu’à la direction financière comme responsable de la division du Contrôle degestion des services financiers, en assumant aussi des responsabilités syndicales.

Economiste de formation, il a démarré sa carrière comme universitaire, à Paris 2 puis enGuadeloupe, avant d’assurer des responsabilités sur le terrain en Côte d’Ivoire durant cinqans dans des projets de développement rural, notamment comme chargé d’études de laSEDES (filiale de la CDC).

Jean Louis VIELAJUS, président de Coordination Sud, déléguégénéral du Comité français pour la solidarité internationale

Jean-Louis Vielajus est délégué général du Comité français pour la solidarité internationale(CFSI), ONG qui regroupe vingt-trois organisations françaises engagées dans la solidaritéinternationale. Depuis 2009, i l est élu président de la coordination des ONG françaisesd’urgence et de développement (Coordination Sud). Il a par ailleurs assuré, en 1995-1996, leSecrétariat général de la Commission coopération développement, instance interministériellede concertation avec les ONG françaises. Économiste et statisticien de formation, il a acquisune expérience de développement forgée au sein de plusieurs organisations françaises desolidarité internationale (Cimade, GRET, CFSI), ce qui l’a conduit à monter, suivre ou évaluer denombreux programmes d’appui au développement en Afrique, Asie et Europe de l’Est(notamment agriculture, alimentation, microcrédit, artisanat), en accordant une attentionparticulière à la participation des populations locales et de leurs organisations dès laconception de ces programmes. De 2005 à 2007, il a également été maître de conférences àSciences Po Paris (master carrières internationales / conférence sur les pratiques, acteurs etpolitiques du développement).


AAA Agenda d’action d’Accra

ACDIL Association de coopération et de développement des initiatives locales

AFD Agence Française de Développement

ALR Autorités locales et régionale

ANE Acteur non étatique

APD Aide publique au développement

APL Association de pouvoirs locaux

AVSF Agronomes et vétérinaires sans frontières

CAD Comité d’aide au développement de l’OCDE

CICDA Centre international pour le développement agricole

CONCORD Confédération européenne des ONG d’urgence et de développement

COTA Collectif d’échanges pour la technologie appropriée

CPDE Plateforme internationale pour l'efficacité du développementCSO Plateform for Development Effectiveness

CRASH Centre de réflexion sur l’action et les savoirs humanitaires

CSO Société civile organisée

CT Collectivité territoriale

DFID Department for International Development

DGD Direction générale de la coopération au développement (ministère belge desAffaires étrangères)

DPO Division du Partenariat avec les ONG (AFD)

EFQM European Foundation for Quality Management

EPS Etablissements publics de santé

EUDN European Research Development Network

FFEM Fonds français pour l’environnement mondial

F3E Fonds pour la promotion des études préalables, des études transversales etdes évaluations

GRD Gestion axée sur les résultats en matière de développement

IDH Indice de développement humain


Liste des sigles et abréviations

IEDES Institut d’études du développement économique et social

IRAM Institut de recherches et d’applications des méthodes de développement

IRI Indice de renforcement institutionnel

ISTOM Institut supérieur des techniques d’Outre-mer

JPAL Jameel Poverty Action Lab (Kenya)

MSF Médecins sans frontières

OCDE Organisation de coopération et de développement économiques

OMS Organisation mondiale de la santé

ONG Organisation non gouvernementale

ONGI Organisation non gouvernementale internationale

OSC Organisation de la société civile

PCPA Programme concerté pluri-acteurs

PLF Projet de loi de finances

PNUD Programme des Nations unies pour le développement

PTF Partenaire technique financier

S/E Suivi-évaluation de projet

SCAC Service de coopération et d'action culturelle

SES Service de l’évaluation spéciale de la coopération internationale

SFE Société française de l’évaluation

TdR Termes de référence

UEMOA Union économique et monétaire ouest-africaine

UNDESA United Nations Department of Economic and Social Affairs

UNICEF United Nations Children’s Fund

UNFCCC United Nations Framework Convention on Climate Change

VSF Vétérinaires sans frontières


Publications du département de laRecherche de l’AFD et du F3E

Division Evaluation et capitalisation de l’AFD[54]

- Evaluation stratégique de projets menés par des ONG dans le domaine de la santé (Mali,Burkina Faso et Cambodge) , Ex Post n° 52, décembre 2013.

- La politique d’évaluation de l’AFD, octobre 2013http://www.afd.fr/home/recherche/evaluation-capitalisation

- Etude sur la facilité d’innovation sectorielle pour les ONG (FISONG) , Ex Post n°48, SérieEvaluation et capitalisation, janvier 2013, AFD, Paris.

- Evaluation and its Discontents: Do We Learn from Experience in Development? Versionanglaise des actes de la 9e Conférence AFD/EUDN, Collection Conférences & Séminaires n° 05, décembre 2012, AFD, Paris.http://www.afd.fr/webdav/site/afd/shared/PUBLICATIONS/RECHERCHE/Scientifiques/conferences-seminaires/05-VA-Conferences-seminaires.pdf

- Malaise dans l’évaluation : quelles leçons tirer de l’expérience du développement ? Actes dela 9e Conférence AFD/EUDN, Revue d’économie du développement, Vol. 26, 2012/4, De Boeck Supérieur.

- Evaluation ex post de 15 projets ONG à Madagascar , Ex Post n° 40, Série Evaluation etcapitalisation, avril 2011, AFD, Paris.

- Les collaborations opérationnelles entre l’AFD et les ONG , Ex Post n° 22, Série Evaluationet capitalisation, janvier 2009, AFD, Paris.

A paraître

L’essor des évaluations d’impact dans le domaine du développement , Collection A Savoir,2014 (à paraître)


[54] Publications téléchargeables sur le site de l'AFD, à l'adresse suivante : http://www.afd.fr/home/publications/travaux-de-recherche/PublicationsExPost

Publications du F3E[55]

- Démarches qualité et solidarité internationale , F3E et Coordination Sud, 2011.

- Guide sur le suivi-évaluation des projets eau et assainissement , F3E, pS-Eau, en partenariatavec l’Arène Ile-de-France, 2011.

- Fiches pédagogiques « Genre et Développement», F3E, Adéquations, Aster-international,Ciedel, 2010.

- Accompagner les collectivités territoriales du Sud dans la gouvernance de leur territoire.Comment la coopération décentralisée peut-elle renforcer les capacités de maîtrised’ouvrage des collectivités partenaires ? , F3E, CUF, PAD-Maroc, 2009.

- Education au développement et à la solidarité internationale : comment autoévaluer sesactions ? , F3E, Educasol, 2009.

- Améliorer la qualité d’une politique publique de coopération décentralisée , F3E, ADF, 2008.

- Le suivi d’un projet de développement : démarche, dispositifs, indicateurs , F3E, Europact,2002.

- Prise en compte de l’impact et construction d’indicateurs d’impact , F3E, Ciedel, 1999.

- L’évaluation, un outil au service de l’action , F3E, IRAM, 1996.

A paraître

- Capitalisation des expériences : concevoir et conduire sa capitalisation d’expériences enreplaçant les acteurs au cœur de sa démarche , F3E, 2014.

- Agir pour le changement. Guide méthodologique pour accompagner des processus dechangement « complexe » : analyser, planifier, suivre et évaluer , F3E, COTA, 2014.

- Agir en pluri-acteurs pour une éducation de qualité. Enjeux et repères méthodologiquesd’une démarche pluri-acteurs dans les projets éducatifs , F3E, Inter-Mondes, 2014.


[55] Publications téléchargeables sur le site du F3E, à l'adresse suivante : http://f3e.asso.fr/-Guides-et-outils-F3E-.html

Présentation du F3ECrée en 1994, le F3E est un réseau associatif pluri-acteurs composé de près d’une centained’ONG, de collectivités territoriales et d’Etablissements publics de santé (EPS) français. Samission consiste à améliorer l’évaluation, l ’ impact et la qualité des actions de solidaritéinternationale et de coopération décentralisée. A cet effet, le F3E développe des activités derenforcement des capacités utiles à l’analyse et au partage des pratiques :

• Accompagnement et cofinancement de démarches d’études et d’appuis

• Animation de projets collectifs de recherche-action

• Production de connaissances et d’outils

• Formations

Ces activités encouragent les acteurs à analyser leur action, en tirer des enseignements, se lesapproprier et les réinvestir dans l’action. Ces étapes sont essentielles à l’amélioration desactions.

Centre de ressources actif, le F3E réunit, au-delà des ressources documentaires disponibles surson site, une pluralité d’acteurs qu’il concourt à mettre en réseau (membres, experts, pouvoirspublics, chercheurs, partenaires du Sud et de l’Europe etc.).

Le F3E anime ainsi un espace d’échanges et d’apprentissage qui promeut les méthodologiesdu développement, l’innovation et le renforcement des capacités des acteurs. Guidé par leprincipe de bénéfice collectif, il valorise les acquis de son action avec l’ensemble des acteursde la coopération et enrichit la réflexion collective du secteur de la solidarité internationale etde la coopération décentralisée.

Fort de sa connaissance des acteurs et de ses acquis en matière d’analyses des pratiques dedéveloppement, le F3E contribue aux débats stratégiques et politiques au sein du secteur.


Établissement public, l’Agence Française de Développement (AFD) agit depuissoixante-dix ans pour combattre la pauvreté et favoriser le développement dans lespays du Sud et dans l’Outre-mer. Elle met en œuvre la politique définie par leGouvernement français.

Présente sur quatre continents où elle dispose d'un réseau de 70 agences et bureauxde représentation dans le monde, dont 9 dans l'Outre-mer et 1 à Bruxelles, l’AFDfinance et accompagne des projets qui améliorent les conditions de vie despopulations, soutiennent la croissance économique et protègent la planète :scolarisation, santé maternelle, appui aux agriculteurs et aux petites entreprises,adduction d’eau, préservation de la forêt tropicale, lutte contre le réchauffementclimatique...

En 2012, l’AFD a consacré plus de 6,9 milliards d’euros au financement d’actions dansles pays en développement et en faveur de l’Outre-mer. Ils contribuerontnotamment à la scolarisation de 10 millions d’enfants au niveau primaire et de 3 millions au niveau collège, et à l’amélioration de l’approvisionnement en eaupotable pour 1,79 million de personnes. Les projets d’efficacité énergétique sur lamême année permettront d’économiser près de 3,6 millions de tonnes d’équivalentCO2 par an.

www.afd.fr

L’Agence Française deDéveloppement (AFD)

Agence Française de Développement5, rue Roland Barthes – 75598 Paris cedex 12

Tel.: 33 (1) 53 44 31 31 – www.afd.frDépôt légal : 1er trimestre 2014

ISSN: 2118-3872

L’év

alua

tion

en

évol

utio

n Emilie ABERLENCharlotte BOISTEAU

L’évaluation en évolutionPratiques et enjeux de l’évaluation dans le contexte de

l’efficacité du développement

Depuis que l’aide existe, et beaucoup plus fortement depuis les années 2000 et laDéclaration de Paris de 2005, l’efficacité du développement est au cœur despréoccupations de l’ensemble des acteurs du développement (bailleurs, bénéficiaires,pouvoirs publics, sociétés civiles du Sud et du Nord, ONG, chercheurs, etc.).

Dans ce contexte, le rôle de l’évaluation en tant que vecteur d’efficacité s’imposeautant qu’il interpelle. Qu’entendons-nous aujourd’hui par évaluation de l’aide audéveloppement ? Quel type d’évaluation mener pour satisfaire les attentes de sesdifférentes parties prenantes ? L’évaluation peut-elle, dans le même temps, servir à rendredes comptes et à tirer des enseignements sur les pratiques ? Comment concevoir lesprocessus d’évaluation à l’heure du pluri-acteur ?

Le 15 octobre 2012 s’est tenu le premier séminaire conjoint F3E-AFD sur l’évaluation.Olivier Consolo (Confédération européenne des ONG d'urgence et de développement),Philippe Jahshan (Solidarité laïque), Vincent Brown (Médecins sans frontières), MamadouSembene (Maison de la coopération décentralisée du Burkina Faso), Rose-Marie Saint-Germès Akar (Communauté d’agglomération de Cergy-Pontoise), Eric Mounier(réalisateur), Hédia Hadjaj-Castro (Collectif d’échanges pour la technologie appropriée)Jocelyne Delarue (Gevalor), Barbara Guittard (Agronomes et Vétérinaires sansfrontières) et Jean-Louis Viélajus (Coordination Sud) y ont partagé leur expérience etleur vision du rôle de l’évaluation dans ce contexte renouvelé.

Con

fére

nces

&Sé

min

aire

s /

Févr

ier

2014

/

L’évaluation en évolutionPratiques et enjeux de l’évaluationdans le contexte de l’efficacité du développement

09

Coordination : Emilie ABERLENDépartement de la Recherche, [email protected]

Charlotte [email protected]

Coordination :

Février 2014

Conférences & Séminaires 9 | L’évaluation en évolution - Pratiques et enjeux de...

Documents

Transcript of Conférences & Séminaires 9 | L’évaluation en évolution - Pratiques et enjeux de...