IDEV · 2020-02-05 · Évaluateur général Rakesh Nangia (Retraité); Karen Rot-Munstermann (par...

Rapport de synthèse sur la validation des Rapports

d’achèvement de projet de 2017

Une

synt

hèse

des

val

idat

ions

des

RAP

IDEV

Juillet 2019

Évaluation thématique Évaluation groupée de projets

Évaluation de stratégie d’intégration

régionale

Synthèse de validation

des RAP et R

SEÉvaluation d’impact

Éval

uatio

n de

stra

tégi

e pa

ys

Synthèse d’évaluation

Évaluation institutionnelle

Éval

uatio

n se

ctor

ielle

Évaluation de la performance des projets

Les différents produits qui servent à atteindre les trois objectifs de l’évaluation indépendante

Synthèse des

validatio

ns des

RAP et RSE

Rapport de synthèse sur la validation des Rapports

d’achèvement de projet de 2017

Juillet 2019

Une

synt

hèse

des

val

idat

ions

des

RAP

IDEV

© 2019 Groupe de la Banque africaine de développement Tous droits réservés – Publié Juillet 2019

Rapport de synthèse sur la validation des Rapports d’achèvement de projet de 2017

Une synthèse des validations des RAP ; Juillet 2019

Exclusion de responsabilitéSauf indication contraire expresse, les constatations, interprétations et conclusions exprimées dans cette publication sont celles de ses divers auteurs et ne correspondent pas nécessairement aux vues de la direction de la Banque africaine de développement (la « Banque ») et du Fonds africain de développement (le « Fonds »), de leurs Conseils d’administration, Conseils des gouverneurs ou des pays qu’ils représentent.

Le lecteur consulte cette publication à ses seuls risques. Le contenu de cette publication est présenté sans aucune sorte de garantie, ni expresse ni implicite, notamment en ce qui concerne la qualité marchande de l’information, son utilité à telle ou telle fin et la non-violation de droits de tierce-parties. En particulier, la Banque n’offre aucune garantie et ne fait aucune déclaration quant à l’exactitude, l’exhaustivité, la fiabilité ou le caractère « actualisé » des éléments du contenu. La Banque ne peut, en aucun cas, notamment en cas de négligence, être tenue pour responsable d’un préjudice ou dommage, d’une obligation ou d’une dépense dont on ferait valoir qu’ils sont consécutifs à l’utilisation de cette publication ou au recours à son contenu.

Cette publication peut contenir des avis, opinions et déclarations provenant de diverses sources d’information et fournisseurs de contenu. La Banque n’affirme ni ne se porte garante de l’exactitude, l’exhaustivité, la fiabilité ou le caractère « à jour » d’aucun d’entre eux ni d’aucun autre élément d’information provenant d’une source d’information quelconque ou d’un fournisseur de contenu, ni d’une autre personne ou entité quelle qu’elle soit. Le lecteur s’en sert à ses propres risques.

À propos de la BADLe Groupe de la Banque africaine de développement a pour objectif premier de faire reculer la pauvreté dans ses pays membres régionaux en contribuant à leur développement économique durable et à leur progrès social. À cet effet, il mobilise des ressources pour promouvoir l’investissement dans ces pays et leur fournit une assistance technique ainsi que des conseils sur les politiques à mettre en œuvre.

À propos de l'Évaluation Indépendante du Développement (IDEV)L’évaluation indépendante du développement a pour mission de renforcer l’efficacité des initiatives de développement de la Banque dans ses pays membres régionaux par l’exécution d’évaluations indépendantes et influentes et par des partenariats pour l’échange de connaissances.

Évaluation indépendante du développement (IDEV)Groupe de la Banque africaine de développementAvenue Joseph Anoma 01 BP 1387, Abidjan 01 Côte d’IvoireTél : +225 20 26 28 41Courriel : [email protected]

Conception graphique : CRÉON – www.creondesign.net)

REMERCIEMENTS

Chef de projet Foday Turay, Chef de division responsable, IDEV1

Membres de l’équipe Brenda Tautsagae, Consultante; Judith Ofori, Consultante; Clement Banse, Chargé d’évaluation principal; Souleymane B.D. Dieye, Assistant supérieur, base de données d’évaluation; Henda Ayari archiviste/assistante d'équipe

Consultant Centennial Group International

Pair évaluateur interne Akua Arthur-Kissi, Chargée supérieur d'évaluation, IDEV2

Pairs évaluateurs externes Mathias Sanou, Alphonse Gombe, Aoufa Ezzine, Hey Pegatienan, Judith Ofori, Janakiram Subramaniam, Tesfaye Teklu, Prem C. Garg

Groupe de référence Francis Konu, Spécialiste du suivi-évaluation, AHWS; Andrew Anguko, Conseiller en chef qualité et méthodes, IDEV0; Tanteliniaina Mioratina, Consultante, SNOQ2; Sandrine Alissoutin, Chargée d’assurance qualité, opérations non souveraines (ONS), SNOQ2; Stephanie Yoboue, Consultante, IDEV1; Horia Sohir Debbiche, Chargée principale de résultats, SNDR1; Fessou Lawson, Statisticien principal, ECST2; Olivier Shingiro, Chef de division, SNDR1; Helmi Hmaidi, Chargé principal d’assurance qualité, SNOQ2; Hermann Nare, Consultant, SNOQ2; Namawu Alolo Alhassan, Chargée de programme pays, SNSP1; Richard Humphrey Ndwiga, Chef de division sectoriel régional, RDGE1; M.A. Ojelade, Consultant - Programmes, RDGE4; Dejane Demissie, Chargé de programme pays principal, COTZ

Chargés de la gestion des connaissances Jayne Musumba, Chargée principale de la gestion des connaissances, IDEV3; Marc Ghislain Bappa, Consultant junior, gestion des connaissances et communication, IDEV3

Autres appuis fournis par : Myrtha Diop, Assistante administrative supérieure; Ruby Adzobu-Agyare, Secrétaire

Chef de division, responsable Foday Turay

Évaluateur général Rakesh Nangia (Retraité); Karen Rot-Munstermann (par intérim)

Acronymes et abréviations v

Résumé analytique 1

Réponse de la Direction 7

Contexte 13Objectifs 13

Méthodologie et limitations 13

Portefeuille 14

Performance globale des projets 15Pertinence des objectifs et de la conception des projets 16

Efficacité (produits, résultats et efficacité globale) 18

Efficience (respect des délais, efficience dans l’utilisation des ressources, analyse coûts-bénéfices, avancement de la mise en œuvre) 18

Durabilité (financiers, institutionnels et renforcement des capacités, appropriation et durabilité des partenariats, durabilité environnementale et sociale) 20

Performance des parties prenantes clés 25Performance de la Banque 25

Performance de l’emprunteur 26

Performance des autres parties prenantes 27

Qualité du suivi-évaluation 28

Qualité des RAP 31

Enseignements et recommandations 35Enseignements tirés de la cohorte des projets examinés 35

Recommandations tirées de la synthèse des projets examinés 35

Commentaires en guise de conclusion 40

Annexes 43

Table des matières

Liste des tableauxTableau 1 Répartition des RAP par secteur 14

Tableau 2 Notations moyennes pour les RAP et les NE-RAP par critère 15

Tableau 3 Performance de la Banque, de l’emprunteur et des autres parties prenantes pour les RAP et les NE-RAP 16

Tableau 4 Indicateurs de durée par région 20

Tableau 5 Indicateurs de durée par secteur 21

Tableau 6 Notes moyennes des NE-RAP pour les sous-critères de S&E 29

Tableau 7 Notes de qualité et de conformité des RAP dans les NE-RAP 32

Tableau 8 Critères notés dans les anciens et les nouveaux formats de RAP 37

Liste des encadrésEncadré 1 Avantages sociaux et recettes provenant de l’eau 19

Encadré 2 La flexibilité du personnel de la Banque et des cellules d’exécution des projets a facilité le travail sur les infrastructures agricoles à Sao Tome-et-Principe et au Burundi. 22

Encadré 3 La collaboration directe avec des organisations locales dans des régions reculées a facilité la mise en œuvre de projets pilotes de conservation des écosystèmes et de financement climatique en République démocratique du Congo. 23

Table des matières

vAcronymes et abréviations

Une

synt

hèse

des

val

idat

ions

des

RAP

IDEV

ACB Analyse coût bénéfice

BAD Banque africaine de développement

CCP Cellule de coordination du projet

CEP Cellule d'exécution du projet

E&A Eau et assainissement

E&M Exploitation et maintenance

EER Rapport sur l'état d'exécution et les résultats

EVRD Base de données des résultats d'évaluation

IDEV Évaluation indépendante du développement

IPR Rapport sur l'état d'avancement de la mise en œuvre

NE-RAP Note d'évaluation sur les rapports d'achèvement de projet

RAP Rapport d'achèvement de projet

REDD Réduction des émissions dues à la déforestation et à la dégradation forestière

RMP Revue à mi-parcours

S&E Suivi et évaluation

Acronymes et abréviations

1Résumé analytique

Une

synt

hèse

des

val

idat

ions

des

RAP

IDEV

Le Groupe de la Banque africaine de développement (BAD ou la Banque) procède à l'auto-évaluation de ses projets au moyen de rapports d'achèvement de projet (RAP) préparés par les départements opérationnels compétents à la fin du cycle de chaque projet. Par la suite, le Département de l'évaluation indépendante du développement (IDEV) examine tous les RAP sur une base annuelle et produit pour chacun une note d'évaluation (NE-RAP) ainsi qu'un rapport de synthèse sur la cohorte annuelle de NE-RAP.

Le présent rapport fait la synthèse des conclusions de l'examen des 88 RAP achevés en 2017. Ce travail a notamment pour objectifs de (i) évaluer la qualité et de valider la performance de chacun des 88 projets couverts par les RAP, (ii) aider la direction de la BAD et le personnel à améliorer la qualité du système de RAP ; et (iii) alimenter la base de données EVRD (base de données des résultats d’évaluation) d'IDEV sur la performance des projets et la qualité des RAP.

Les conclusions de cet examen devraient être largement diffusées auprès du conseil d'administration, de la direction et du personnel de la Banque, et partagées avec le public sous la forme de débats, d'ateliers, de rapports et d'activités menées par IDEV, ainsi que sur le site web de la Banque.

Principales conclusions

❙ Pertinence des objectifs et conception du projet

Les RAP et l’analyse qui en a été faite montrent que la pertinence des objectifs de développement pour les projets du portefeuille a été très satisfaisante. La grande majorité d’entre eux se sont révélés très pertinents par rapport à leurs objectifs, ce qui témoigne d'un bon alignement sur les priorités de développement du pays et sur les stratégies correspondantes de la Banque.

La pertinence de la conception du projet était, en moyenne, satisfaisante, mais son cadre de résultats était faible.

❙ Efficacité (produits, résultats et efficacité globale)

En moyenne, les RAP ont jugé l'efficacité du développement satisfaisante, tandis que les NE-RAP l'ont jugée moins que satisfaisante. La différence ne se situe pas au niveau des produits, puisque la plupart des projets ont livré les produits prévus, mais au niveau des résultats, pas toujours atteints, souvent en raison d’un cadre de résultats défaillant ou trop optimiste.

❙ Efficience (respect des délais, efficience de l’utilisation des ressources, analyse coûts-bénéfices et avancement de la mise en œuvre)

Si les RAP, en moyenne, jugent ce critère satisfaisant, le présent examen fait apparaître qu’il est moins que satisfaisant. Cette disparité de point de vue s'explique en grande partie par le fait que la majorité des projets d'infrastructure examinés, en particulier dans les secteurs de l'électricité, de l'eau et de l'assainissement, n'ont pas procédé à une analyse coûts-bénéfices acceptable (ACA). Les projets du secteur des transports sont un peu meilleurs à cet égard parce qu'ils utilisent des modèles de développement routier.

❙ Durabilité

La durabilité des projets examinés a été jugée satisfaisante, en moyenne, tant dans les RAP que par les NE-RAP. D'une manière générale, les perspectives de durabilité financière des projets d'alimentation en eau et d'assainissement et des projets énergétiques ont été jugées faibles.

Résumé analytique

2 Rapport de synthèse sur la validation des Rapports d’achèvement de projet de 2017

L'examen révèle que, dans ces deux secteurs, beaucoup de projets n'ont pas su mettre en place les dispositions nécessaires pour générer des recettes capables d’absorber les coûts d'exploitation des services publics. Il fait apparaître en revanche que les projets qui mobilisent le plus la population locale ont plus de chances d'être durables, même lorsque l'environnement opérationnel général est très difficile.

❙ Performance de la Banque

Dans le cas de la performance de la Banque, la revue lui a attribué une note inférieure à celle des RAP. En général, il a été observé dans les RAP que la performance de la Banque était systématiquement jugée satisfaisante ou plus, même lorsque le projet présentait des problèmes majeurs de mise en œuvre. La performance de la Banque a été un élément important dans les phases de préparation et d'instruction, où elle a souvent été jugée insuffisante, manquant de rigueur et de profondeur technique. Une attention accrue à la qualité de la préparation des projets devrait être soutenue par un renforcement des dispositions de la BAD pour le contrôle de la qualité à l'entrée des projets.

❙ Performance de l’emprunteur

En moyenne, tant les RAP que les NE-RAP lui a attribué une note satisfaisante. Dans la plupart des cas, la notation de la performance de l'emprunteur dans les RAP était moyenne et souvent jugée satisfaisante, même dans les cas où la performance de l'emprunteur était manifestement mauvaise. Une critique fréquente qui est ressortie de la revue est la lenteur de la fourniture des fonds de contrepartie, ce qui a ralenti la mise en œuvre en raison des retards dans la fourniture des certificats de paiement intermédiaires.

❙ Performance des autres parties prenantes

La performance moyenne des autres parties prenantes a été jugée satisfaisante tant par les RAP et les NE-RAP. Une analyse approfondie

indique que la qualité des travaux était parfois insuffisante. Les critiques portaient sur le fait que les entrepreneurs n’étaient pas à mesure de fournir les garanties de rendement à temps et que les rapports étaient parfois moins que diligents. La ponctualité des décaissements par les cofinanciers a également été signalée comme un problème.

❙ Qualité du suivi-évaluation (S&E)

La revue a révélé que le cadre de résultats du S&E était souvent inadéquat et qu'il y avait des problèmes d’inadéquation des données de base, d'indicateurs inappropriés, ainsi qu'une faible mise en œuvre et une utilisation faible du système de S&E. Les rapports d'avancement des produits étaient généralement acceptables, malgré le fait que le suivi et l'évaluation des résultats soient beaucoup plus faibles.

❙ Qualité des RAP

L'examen montre que la qualité des RAP est inégale. Plusieurs rapports confondent produits et résultats et, dans certains cas, les produits et résultats présentés dans les RAP diffèrent de ceux énumérés dans le cadre logique du rapport d'évaluation. On observe une tendance à traiter chaque RAP comme un exercice mécanique et à copier-coller des passages d’un rapport à l'autre, surtout quand des projets concernent un même secteur dans un même pays. Il est possible que le retard accumulé dans le traitement des RAP nuise à leur qualité. Sur les 88 RAP examinés, 65 précisaient s'ils avaient été ou non élaborés dans les temps et, sur cette proportion, 66 % répondaient par l’affirmative.

Recommandations à la Direction de la Banque concernant la préparation et la conception des projets

❙ Exactitude des estimations de coût du projet : Les évaluations initiales devraient certifier au

3Résumé analytique

Une

synt

hèse

des

val

idat

ions

des

RAP

IDEV

conseil que la conception des projets et les estimations de coûts sont pertinentes et fiables. Une norme de fiabilité devrait être définie et incorporée dans les lignes directrices relatives à l'évaluation initiale des projets.

❙ Capacité de l’emprunteur : La portée du projet doit être limitée quand la capacité de l’emprunteur est faible et que les ressources consacrées à l’exploitation et à la maintenance (E&M) sont insuffisantes. Il faudrait accorder une plus grande attention à cet aspect lors de l'évaluation initiale afin de s'assurer qu'il est à la hauteur du projet proposé.

❙ Étude de pré-investissement et assistance technique : La Banque devrait accorder cette assistance si les projets proposés ont une haute priorité dans ses stratégies pays, ou dans des circonstances exceptionnelles. Elle devrait également veiller à ce que la durabilité économique et financière soit soigneusement analysée et à ce que les critères utilisés pour tester les concepts soient clairement définis au moment de la préparation.

❙ Analyse coûts-bénéfices : La manière dont sont menées les analyses coûts-bénéfices est une question suffisamment sérieuse pour que la Banque souhaite mettre en place un groupe technique chargé de réévaluer l'approche utilisée, en particulier pour les projets d'électricité, d'eau et d'assainissement. Ce groupe technique devra examiner les lignes directrices actuelles et déterminer s'il y a lieu de les actualiser pour uniformiser la méthodologie employée et garantir une utilisation plus cohérente des moyens de mesure des avantages.

Recommandations à la Direction de la Banque concernant l’appui à la supervision / mise en œuvre des projets

❙ Qualité des rapports de supervision : Les rapports de supervision ne devraient pas se

contenter de cocher des cases ; ils devraient aborder tout problème majeur ou toute question stratégique pouvant être source de préoccupation et devant être renvoyé à la haute direction.

❙ Durabilité financière : Les évaluations de la durabilité financière dans les RAP devraient comprendre une analyse des tarifs moyens à appliquer, à la fin du projet, pour couvrir les coûts d’exploitation et de maintenance (E&M) et, le cas échéant, récupérer l'investissement.

Améliorations recommandées pour l’évaluation des projets (Direction de la Banque, en consultation avec IDEV)

❙ Projets restructurés : Les lignes directrices pour les RAP devraient préciser clairement que la base de chaque RAP doit être les produits et résultats qui figurent dans le cadre logique de l’évaluation initiale, sauf si le projet a officiellement fait l’objet d’une révision. Dans ce cas, la note demandant les modifications à apporter et expliquant leur justification doit être jointe au RAP.

❙ Il faut mettre davantage l'accent sur la conception et la préparation, et sur la mise en œuvre : La qualité de la préparation des projets (ou la qualité à l'entrée) devrait être beaucoup plus mise en évidence dans le cadre des performances de la Banque et de l'emprunteur et devrait couvrir spécifiquement (i) l'adéquation des études techniques sur lesquelles les décisions sont fondées ; (ii) l'exactitude des estimations de coûts ; (iii) la qualité et le réalisme du cadre de résultats ; (iv) le respect des engagements et des directives ; (v) la qualité de l'analyse coûts-avantages ou d'autres mesures d'efficacité ; et (vi) les plans de recouvrement des coûts d'exploitation et d'entretien.

❙ Échelles de notation : L'adoption d'une échelle en six points permettrait de différencier davantage les niveaux de performance, notamment en incluant les catégories « modérément satisfaisant » et


« modérément insatisfaisant ». L'utilisation de cette échelle réduirait probablement les écarts de notation entre les auto-évaluateurs et les évaluateurs d'IDEV.

❙ Nécessité de réunions de validation des RAP : L'introduction d'une réunion officielle de validation constituerait un pas vers l'amélioration de la qualité et vers la réduction de l'écart entre les notes d'auto-évaluation du personnel opérationnel et celles d'IDEV.

❙ Suivi et évaluation : Des systèmes de S&E devraient être mis en place d’office dès le début du projet. Les résultats devraient être clairement liés au projet en question, plutôt qu'à de grands objectifs nationaux.

❙ Insuffisance de capacité de la Banque : Le niveau de qualité des RAP et des NE-RAP peut être tributaire des capacités de la Banque. Une stratégie plus efficace pourrait consister à préparer des RAP abrégés pour tous les projets, et, pour certains projets présélectionnés, un RAP augmenté donnant lieu à des visites sur site renforcées par la présence d’un membre d'IDEV.

❙ Examen et synthèse des lignes directrices : IDEV devrait considérer réunir dans un document de référence unique l'ensemble des lignes directrices relatives à la validation des projets. Le format actuel est utile pour préparer un document de recherche ; il l’est beaucoup moins comme outil d’information permettant à la direction de rectifier éventuellement des procédures opérationnelles et de tirer les leçons des succès et des échecs.

❙ Améliorer la base de données de gestion et d’extraction des documents de la Banque :

Dans la mesure où ce type d'examen est effectué chaque année, il est important de consentir un effort concerté pour rassembler toute la documentation nécessaire avant le cycle suivant. Il est également suggéré que si les NE-RAP sont pré-intégrés dans la base de données EVRD, de baser le cadre des résultats sur le rapport d'évaluation approuvé et non sur le RAP.

❙ Schémas des RAP et des NE-RAP : Les schémas de rapport sont trop répétitifs et trop longs. Ils ne sont pas conçus pour attirer au mieux l’attention de la direction et ne se concentrent pas assez sur les questions prioritaires ou sur les mesures à prendre en priorité. Les schémas de rapport devraient être relativement brefs et être axés sur les éléments qui doivent retenir l'attention de la direction. Il faudrait également envisager une version courte pour les petits projets portant sur le renforcement des capacités.

Autres recommandations

❙ Nom des prestataires : Il est recommandé que les consultants, entrepreneurs, auditeurs et spécialistes auxquels il est fait référence dans les RAP ne soient pas nommément mentionnés, pour des raisons juridiques, si le RAP doit être rendu public.

❙ Services collectifs : De nombreux projets d'infrastructure, en particulier les routes et autoroutes, obligent à déplacer des réseaux de service public, ce qui peut provoquer d’importants retards. Pour réduire ce risque au minimum, il conviendrait de prévoir de tels déplacements le plus tôt possible dans la mise en œuvre du projet, et même avant.

7Réponse de la Direction

Une

synt

hèse

des

val

idat

ions

des

RAP

IDEVRéponse de la Direction

La Direction accueille favorablement le rapport de synthèse d'IDEV relatif à sa validation des rapports d’achèvement de projet (les « RAP ») 2016–2017, ainsi que les deux rapports sur lesquels il se fonde. L’exercice de validation est important, et la Direction l’utilisera à l’avenir pour améliorer davantage l’établissement des RAP. La Direction espère également qu'IDEV procèdera régulièrement à des évaluations similaires pour encourager l’amélioration continue et permettre à la Direction d’inclure des notations validées dans les rapports annuels. Globalement, 82 % des projets dont les RAP ont été validés par IDEV en 2016–2017, sont jugés satisfaisants ; une performance comparable à celles à d’autres institutions. IDEV constate également une amélioration de la qualité des RAP au fil du temps. Néanmoins, l’évaluation 2016–2017 est très franche et fait ressortir des domaines d’amélioration des orientations et du modèle concernant les rapports, la conformité et la qualité requises dans l’accomplissement des RAP. Sur les conseils d'IDEV, la présente réponse aborde directement les recommandations du document de synthèse.

Introduction

La validation des RAP par IDEV pour la période 2016–2017 est un exercice important et utile. Celui-ci s’inscrira dans une évaluation plus large des processus et du système de l’autoévaluation de la Banque. À son tour, cette évaluation sera la troisième d’une série d’évaluations d'IDEV portant sur différentes étapes du cycle de projet, comprenant des évaluations sur la qualité à l’entrée et sur la supervision, publiées en 2018.

Même si la Direction prévoit que l’évaluation plus large servira à un examen approfondi de l’autoévaluation au sein de la Banque, elle a toutefois estimé qu’il fallait apporter une réponse à cette composante précise, compte tenu de l’importance des sujets abordés. Plus précisément, elle évalue la qualité des RAP de la Banque pour 2016–2017 ainsi que la performance des projets traités dans ces RAP. IDEV a proposé des recommandations spécifiques auxquelles la Direction souhaiterait répondre. À l’avenir, les exercices de validation devraient revenir en priorité vers l’apprentissage afin d’encourager l’amélioration continue. La Direction estime également que la fonction de validation des RAP est

une composante vitale du processus, et elle espère qu’elle aura lieu régulièrement. De plus, alors que ce rapport se concentre sur les RAP qui couvrent les opérations souveraines, une approche de validation similaire pour les Rapports de supervision élargie (XSR) utilisés dans les opérations non souveraines serait tout aussi utile.

Dans l’ensemble, la Direction souscrit à l’évaluation d'IDEV, selon laquelle « les RAP sont de bonne qualité, mais il reste une grande marge d’amélioration ». L’analyse d'IDEV indique déjà une nette augmentation de la qualité des RAP entre 2016 et 2017, ainsi qu’une augmentation par rapport au niveau de référence de 2009–2010.

L’exercice a également conduit IDEV à conclure que « la performance d’ensemble des projets est généralement satisfaisante et stable », et que la performance des projets du FAD, en particulier, s’est améliorée depuis 2015. Toutefois, IDEV indique que l’évaluation des RAP au regard des quatre dimensions de la performance peut-être encore améliorée. Principalement concernant la partie sur les résultats de l’efficacité. Comme le fait remarquer IDEV, les RAP sont élaborés à un stade précoce et à partir d’une perspective de


résultats. Cette chronologie, combinée à des objectifs de résultats ambitieux dans des cadres de résultats originels, et à une chaîne de résultats qui, au fur et à mesure qu’elle s’allonge, laisse de moins en moins de contrôle au prêteur, a probablement joué un rôle dans la différence constatée dans les évaluations des résultats. De même, la différence qu'IDEV a décelée à propos des notes sur l’efficacité porte autant sur la qualité de l’analyse économique et financière de l’évaluation que sur le niveau réel d’efficacité obtenue.

Pour les années à venir, la Direction propose de renforcer davantage le processus et les rapports de validation. Par exemple, en partageant la méthodologie et les données en temps réel et en s’assurant que les allégations concernant « des exemples », « certains cas », et « des tendances » s’accompagnent de données sur leur prévalence. De plus, comme il est probable que les orientations sur les RAP et celles sur leur validation soient revues, l’examen de la procédure de validation et surtout de sa période d’exécution servira tant pour la reddition de comptes que pour l’apprentissage. IDEV formule des suggestions pertinentes à propos du stockage de données et des réunions avec les chefs de projet. De même, des enseignements sur le fonctionnement actuel de la procédure dans des institutions sœurs devraient être intégrés.

La Direction souscrit largement aux 12 recommandations (regroupées en trois catégories) du rapport de synthèse, formulées pour les deux résumés. Les actions précises pour y répondre sont énumérées dans les mesures à mettre en œuvre par la Direction (seconde partie de ce document). La Direction relève que même si l’étude s’est penchée sur les RAP, IDEV a formulé des recommandations relatives à la qualité à l’entrée et à la supervision, qui cadrent avec les évaluations plus larges sur ces questions, mais qui offrent une perspective légèrement différente dans certains domaines. De fait, plusieurs questions soulevées dans ces domaines ont été abordées dans le Plan de mise en œuvre de l’assurance de la qualité (le plan Qualité). Toutefois, une question supplémentaire est plus longuement abordée dans cette publication ; elle est donc prise en compte dans cette réponse de la Direction Il s’agit de la précision de l’estimation du coût

du projet et de la qualité de l’analyse coût/bénéfice, coût/efficacité et celle du moindre coût. La Direction admet qu’il s’agit d’éléments vitaux de la conception du projet, qui permet aussi d’établir des RAP solides. Il convient de remarquer cependant qu’une évaluation de la qualité à l’entrée au moyen des RAP est, par nature, limitative. En effet, l’évaluation des projets bouclés en 2016-2017 a principalement eu lieu avant 2012. Cependant, la Direction partage l’avis d'IDEV, selon lequel la qualité de l’analyse économique et financière préalable à l’approbation est importante, et que tous les secteurs doivent appliquer des normes de qualités appropriées. Dans ce contexte, les orientations actuelles du Manuel des opérations sont en cours de révision. Concernant les recommandations relatives aux RAP, la Direction a saisi cette occasion pour ajouter un engagement au plan Qualité : revoir et réviser le modèle et les orientations des RAP. Des actions plus détaillées sont énumérées dans le tableau des mesures prises par la Direction, dans la seconde partie de ce document.

Performances des projets

La validation d'IDEV révèle que 82 % des projets de la cohorte sont satisfaisants. La Direction constate les différences entre les notations de projets autoévalués et celles validées de manière indépendante. Les RAP 2016–2017 ont qualifié de « satisfaisante » la performance de 97 % des projets (contre 82 % après validation indépendante).

Il importe aussi d’apprendre des institutions similaires, de leur utilisation des données de validation des RAP. Dans les Tableaux de bord institutionnels 2017 du Groupe de la Banque mondiale, le pourcentage d’opérations jugées satisfaisantes lors de leur achèvement par l’IEG, est de 74 %1. À la Banque interaméricaine de développement (BID), 80 % des opérations ont été jugées satisfaisantes. Ces chiffrent confirment la solide performance des opérations de la BAD, après validation indépendante.

Même dans le contexte de cette performance relativement forte, les résultats soulignent la nécessité


Une

synt

hèse

des

val

idat

ions

des

RAP

IDEV

de communiquer aux équipes opérationnelles l'importance de la franchise et de l’honnêteté dans les rapports d'achèvement de projet et de respecter scrupuleusement la méthodologie, qui vise à minimiser toute marge de subjectivité dans les notations. Mieux comprendre la procédure des RAP est essentielle, à la fois pour comprendre pourquoi les notes sont différentes et dans quels domaines elles le sont, et pour savoir ce qui fonctionne ou pas, grâce au rapport d’achèvement de projet. Ceci bénéficiera aux projets à venir.

L’examen des données sous-jacentes indique également que les chiffres d'IDEV varient selon les régions et les secteurs. Par exemple, la différence entre les évaluations auto-évaluées et validées était plus faible dans le Sud et le Nord que dans les autres régions. La région qui affichait le plus grand écart en 2016 s’est améliorée en 2017. Par secteur, l’écart entre les notations auto-évaluées et validées de manière indépendante était plus faible dans les secteurs des transports, de l’eau et de l’assainissement.

Il est important de noter que les notations des RAP, bien qu’elles soient rapportées, ne sont pas la source des principaux résultats de la Banque. Les aspects les plus importants pour la communication des résultats sont les produits réels, la contribution aux résultats et le nombre de bénéficiaires. Ces faits restent inchangés, même en cas de divergence d’opinions sur les notations.

Qualité et conformité des RAP

La Direction convient que même si la qualité des RAP est généralement bonne, et IDEV l’a estimée satisfaisante au regard de sept paramètres, il reste une marge d’amélioration. La Direction remarque que malgré un fléchissement des chiffres de 2016, la situation s’est améliorée en 2017 avec 81 % des RAP jugés de qualité satisfaisante en 2017 contre 73 % pour cette période. L’examen de la différence de qualité par secteur et par région est informatif. 80 % des RAP au moins dans les secteurs de l’agriculture, de l’environnement, des transports, de l’eau et de

l’assainissement ont été jugés satisfaisants sur chacune des deux années.

IDEV indique également une amélioration de la couverture des sauvegardes et des questions fiduciaires, en comparaison à 2009–2010. Parallèlement, IDEV indique que la supervision et l’évaluation restent déficitaires, y compris le recours aux cadres de résultats originels qui étaient inadéquats ou irréalistes. Il convient de noter que les RAP 2016–2017 portent majoritairement sur des projets approuvés avant la mise en œuvre d’une série d’améliorations de la qualité. Une autre question, qu'IDEV a soulevée, était l’absence de documentation jointe aux RAP reçus pour expliquer les modifications apportées à mi-parcours. Cette lacune sera traitée avec la mise en service du Système de rapportage sur les résultats (RRS) développé dans le cadre de SAP. Le RRS nécessitera des approbations au sein du système, pour apporter des modifications et enregistrera les détails concernant les dates et les raisons des modifications apportées, ce qui facilitera à long terme les procédures des RAP et leur validation. Une réflexion sur le stockage plus étendu de la documentation est en cours par le biais d’autres initiatives appuyées par le service informatique.

La Direction a procédé à des évaluations annuelles de la conformité des RAP, par l’entremise de consultants indépendants. Les évaluations se fondaient néanmoins sur un échantillon plus petit, à savoir 2014–2017. Elles analysaient la conformité des RAP dans la notation des quatre critères (pertinence, efficience, efficacité et pérennité). Les évaluations ont conclu que dans l’ensemble, la conformité satisfaisante était passée de 65 % en 2014 à 90 % en 2015 (elle s’est stabilisée à 86 % en 2016 et à 89 % en 2017). Toutefois, seul un tiers des RAP environ a obtenu une conformité très satisfaisante, ou à 100 %. Ces évaluations confirment que la note sur l’efficacité était la moins conforme, en partie en raison de l’héritage de cadres logiques anciens et inadaptés.

La Direction admet qu’en 2016 et 2017, le respect des délais des RAP lui a échappé. 2016 a connu un creux, à 66 %. En 2018 pourtant, le taux a rebondi à 85 %.


En 2018, les équipes des opérations, principalement celles dans les régions, ont donné un important coup de collier pour tenir les délais. En 2019, une planification initiale a eu lieu pour éviter une concentration des activités sur les RAP. SNVP supervise régulièrement les taux d’achèvement et les communique aux équipes des opérations. Le moment de remise d’un RAP est plutôt rapide (six mois après l’achèvement, ou après 98 % du décaissement. L’événement qui se produit en premier est celui à exécuter). Le calendrier est semblable à celui de la Banque mondiale, mais plus court que celui de la Banque interaméricaine de développement2. Tout en poursuivant la supervision des échéances des RAP, l’attention porte désormais sur l’amélioration de la qualité de ces rapports.

Synthèse des actions a mener a l’avenir

La Direction a trouvé l’exercice de validation utile, et prévoit d’en faire un exercice régulier. Sur la base des conclusions et des recommandations de la synthèse 2016-2017, la Direction s’efforcera d’améliorer encore les RAP en termes de qualité, de conformité et de franchise grâce aux initiatives suivantes :

1. Amélioration des procédures, en dématérialisant l’élaboration et l’approbation des RAP dans le Système SAP intégré de rapportage sur les résultats.

2. Amélioration des outils en révisant le modèle de RAP et en fournissant des orientations. Ceci sera suivi d’une formation et d’un appui pour la mise en place des nouvelles orientations et du nouveau modèle. Les régions et les secteurs moins performants par rapports aux normes d'IDEV seront prioritaires lors du déploiement de la formation.

3. Appui aux processus de reddition des comptes et d’apprentissage en boucle, en accompagnant IDEV dans son travail de validation des PAR de façon régulière, et utilisation des conclusions à l’appui de l’apprentissage constructif et d’une meilleure conformité.

Le tableau des mesures prises par la Direction ci-dessous énumère les actions prises suite aux recommandations d'IDEV dans la synthèse 2016–2017.

Résumé des mesures prises par la DirectionRecommandations d'IDEV Réponse de la Direction

RECOMMANDATION 1 : Poursuivre l’amélioration de la qualité dans la préparation et la conception du projet en s’assurant systématiquement que :

❙ Les estimations du coût du projet sont correctes ;

❙ La portée du projet est adaptée à la capacité de l’emprunteur ;

❙ Les études préalables à l’investissement et l’assistance technique sont pertinentes et fiables ;

❙ L’analyse coût bénéfice est achevée et fiable ;

ACCORD — Certaines questions sont abordées en détail dans le plan Qualité existant, ainsi que dans le Manuel des opérations. Un travail supplémentaire sera toutefois mené, non seulement pour assurer la qualité, mais pour donner des orientations supplémentaires aux équipes en matière d’estimation des coûts des projets et d’utilisation d’analyses coût-bénéfice/coût-efficacité/alternative du moindre coût. En conséquence, la Direction : ❙ Renforcera les orientations relatives aux analyses coût/bénéfice et coût/efficacité, et l’analyse alternative du moindre coût dans le Manuel des opérations. (SNSP 2020)

❙ Inclura un cours sur les analyses de coût/bénéfice, coût/efficacité et sur l’alternative du moindre coût dans le parcours Académie des opérations du chargé de projet. (SNOQ, 2020)

RECOMMANDATION 2: Continuer à renforcer l’appui apporté à la supervision et à la mise en œuvre des projets, en se concentrant sur :

❙ L’amélioration de la qualité des rapports de supervision. Ils doivent répondre à n’importe quel domaine important ou question stratégique susceptible de poser problème ;

❙ La viabilité financière des résultats et de l’impact des projets, de manière cohérente et efficace ;

ACCORD — Ces questions sont largement examinées dans le plan Qualité. Grâce aux conclusions de l’évaluation 2018 sur la supervision, le plan Qualité s’efforce déjà de : ❙ Offrir des orientations supplémentaires sur l’appui à la mise en œuvre (RDVP, 2020), mettre à jour le Manuel des opérations (SNSP, 2020) ainsi que plusieurs autres questions relatives aux rapports sur la gestion de portefeuille, outre ceux existant à l’échelon du projet.

❙ Inclure un cours sur la supervision et le soutien à la mise en œuvre dans le parcours Académie des opérations. (SNOQ, 2020)

❙ Lancer le RRS pour numériser les rapports de mise en œuvre. (SNDR 2019)


Une

synt

hèse

des

val

idat

ions

des

RAP

IDEV

RECOMMANDATION 3 : Continuer à redoubler d’efforts pour améliorer la qualité des rapports d’achèvement de projets, grâce aux actions suivantes :

❙ Améliorer la base de données de gestion et de retrait des documents de la Banque ;

❙ Assurer la disponibilité des chefs de projet RAP afin qu’ils participent aux réunions de validation des RAP avec IDEV ;

❙ Collaborer avec IDEV à la révision du modèle RAP et des échelles de notation des projets ;

❙ Améliorer les compétences, les capacités et les incitations du personnel de la Banque en matière de préparation et d’établissement de RAP de qualité ;

❙ Garantir que les résultats et les réalisations du cadre logique des rapports d’évaluation servent de fondement aux RAP, sauf en cas de révision officielle du projet ;

❙ Garantir la mise en place des systèmes de Suivi et Evaluation (S&E) des projets à un stade précoce, et la normaliser.

ACCORD — Dans l’ensemble, ces recommandations sont utiles. Si elles rejoignent les recommandations de la prochaine évaluation des systèmes d’autoévaluation de la banque, la Direction prendra les mesures suivantes : ❙ CHIS a achevé une mise à niveau importante de DARMS et de Sharepoint. De même, la Politique du groupe de la banque relative à la gestion des dossiers des archives a été approuvée. Le défi qui se pose consiste à assurer la mise en place de la conformité dans tous les départements. Dans ce contexte, la Direction poursuivra les formations et la communication prévues (SNDI/CHIS/PESG 2019). De plus, CHIS travaille en étroite collaboration avec les départements des opérations pour développer une preuve de concept pour un « portail des opérations », ce qui apportera une solution à long terme à un ensemble de problèmes liés au stockage des données et autres, comme expliqué dans le plan Qualité. Compte-tenu des investissements importants, cela nécessitera que la Direction s’engage à adopter une approche progressive. (Preuve de concept, CHIS 2020)

❙ La Direction informera officiellement tous les directeurs et responsables des opérations que les chefs de projet RAP doivent se rendre disponibles auprès d'IDEV et transmettre la documentation afin de faciliter la procédure de validation (SNVP, 2019). La prochaine revue des orientations des RAP inclura les mêmes informations.

❙ La Direction collaborera étroitement avec IDEV à la revue du modèle et des orientations des RAP actuels. La Direction reconnaît que le modèle actuel est peut-être trop volumineux, et qu’une version plus succincte serait utile, en particulier pour les projets plus petits. La Direction a inclus un engagement de révision du modèle et des orientations RAP dans le plan Qualité révisé. La direction collaborera étroitement avec IDEV à la revue, après l’évaluation d'IDEV sur les systèmes d’autoévaluation de la Banque. (SNOQ/IDEV 2021)

❙ La Direction utilisera les rapports de validation pour communiquer les enseignements et les faiblesses actuelles des RAP au personnel et aux responsables des opérations, et propose de collaborer étroitement avec IDEV à un atelier en la matière. (SNOQ/IDEV 2019)

❙ Après la revue des orientations et du modèle RAP existants, la Direction mettra en place un programme de formation complet. (SNOQ 2021)

❙ Le problème de consignation des modifications apportées à mi-parcours se résoudra grâce à la mise en place du RRS. Ce système automatise également la production de documents essentiels relatifs à l’assurance qualité tout au long du cycle du projet, notamment lors des RAP. Cette mesure devrait sensiblement améliorer l’intégrité et la cohérence des données. Le système est développé et le déploiement est en cours. (RDVP, et complexe sectoriels 2020)

❙ Quant au plan Qualité, des révisions seront apportées à l’examen de l’état de préparation. Dans ce contexte, un critère de qualité à l’entrée pour les systèmes et les plans de S&E sera probablement inclus (SNOQ 2019). De même, l’importance des aspects de supervision et d’évaluation sera intégrée dans la mise à jour du Manuel des opérations. (SNSP 2020)

13Contexte

Une

synt

hèse

des

val

idat

ions

des

RAP

IDEVContexte

Le Groupe de la Banque africaine de développement (BAD) procède à des auto-évaluations de ses projets dans le cadre des rapports d'achèvement de projet (RAP) préparés par les départements opérationnels concernés. Par ailleurs, le Département de l'évaluation indépendante du développement (IDEV) examine les RAP sur une base annuelle et produit pour chacun une note d'évaluation (NE-RAP) ainsi qu'un rapport de synthèse sur l’ensemble des NE-RAP de chaque année. La présente mission porte sur l’examen de NE-RAP couvrant 88 RAP établis en 2017, dont elle fait une synthèse. Elle dresse un bilan général de ses conclusions dans le but de permettre une amélioration de la qualité du système de RAP, et formule des propositions à l'intention du personnel opérationnel afin d’améliorer les performances à l’avenir.

Objectifs

Les objectifs de la mission étaient les suivants :

❙ Évaluer la qualité et valider la performance de chacun des 88 projets ayant donné lieu à des RAP ;

❙ Aider la direction et le personnel de la BAD (ci-après « la Banque ») à améliorer la qualité du système de RAP en livrant les enseignements tirés de l’analyse et en formulant des recommandations appropriées, notamment sur le suivi-évaluation, ainsi que sur la conception et la mise en œuvre des opérations futures ; et

❙ Contribuer à la base de données EVRD (base de données des résultats de l’évaluation) d'IDEV sur la performance des projets et la qualité des RAP afin de renforcer la crédibilité de la base de données et de contribuer à la revue annuelle de l'efficacité du développement de la Banque.

Les résultats du présent examen devraient être largement diffusés au conseil d'administration, à la

direction et au personnel de la Banque, et partagés avec le public dans le cadre de débats, d'ateliers, de rapports et d'activités d'IDEV ainsi que sur le site web de la Banque.

Méthodologie et limitations

L'équipe était composée d'experts internationaux en évaluation dans les disciplines concernées. Elle a examiné la documentation pertinente relative aux projets et aux programmes et s'est appuyée sur des données provenant d’autres documents disponibles pour établir un schéma standard de note d’évaluation pour chaque RAP, conformément aux lignes directrices de la Banque relatives aux rapports d’achèvement de projet et à leur notation (2012).

L'équipe a également préparé pour IDEV des questions à transmettre aux responsables des tâches opérationnelles pour tenter de combler les lacunes d'information ou clarifier certains points. Les notes d’évaluation (NE-RAP) achevées ont ensuite été revues par des pairs évaluateurs indépendants choisis par IDEV, ajustées en fonction des commentaires ainsi reçus, et téléchargées, avec les leçons et recommandations validées, sur la plateforme EVRD. Un mécanisme a été mis en place pour trancher tout désaccord grave éventuel, avant téléchargement sur EVRD. Ce mécanisme n’a pas été employé dans ce cas précis. Lorsque le projet concernait un pays francophone, la NE-RAP a été rédigée en français. Dans tous les autres cas, la langue utilisée a été l'anglais. Tous les experts ont contribué au document de synthèse et au renforcement des enseignements et recommandations émanant des NE-RAP.

Sur l’ensemble des 88 projets, certains secteurs étaient représentés par un petit nombre de projets, ce qui n’a généralement pas permis de tirer des conclusions sectorielles mais a permis néanmoins d’identifier des tendances. Malgré les


efforts héroïques déployés par IDEV pour fournir à l'équipe toute la documentation demandée, les informations fournies présentaient de nombreuses lacunes, portant notamment sur les rapports de supervision et les revues à mi-parcours. Pour environ 10 % des projets, l'équipe n’a disposé, pour procéder à son évaluation, que du rapport d'évaluation initial du projet et de la version finale du RAP. La rareté de la documentation a pu nuire à la qualité de l'analyse, mais l'équipe a, chaque fois, porté le meilleur jugement possible compte tenu de l'information disponible.

Portefeuille

Les 88 projets examinés comprennent 14 opérations multinationales et couvrent 10 secteurs. La ventilation par région (hors opérations multinationales) est la

suivante : Afrique centrale 12, Afrique de l’Est 23, Afrique du nord 4, Afrique australe 15 et Afrique de l’Ouest 20.

Tableau 1 : Répartition des RAP par secteur

Secteurs des projets Nb de projets

% par secteur

Eau et assainissement 20 22,7

Transport 14 15,9

Agriculture 12 13,6

Énergie 11 12,5

Renforcement des capacités/Éducation 8 9,0

Développement du secteur privé 7 7,9

Environnement 4 4,6

Gouvernance 4 4,6

Ressources naturelles 4 4,6

Social 4 4,6

Tous secteurs confondus 88 100,0

15Performance globale des projets

Une

synt

hèse

des

val

idat

ions

des

RAP

IDEVPerformance globale des projets

Comme on le verra plus en détail dans l’analyse qui suit, après examen des 88 notes d’évaluation des RAP (NE-RAP), quatre critères de l’actuel système de notation ont été causes de préoccupations : (i) la pertinence de la conception des projets (ce qui pose un problème de qualité à l'entrée) (ii) la réalisation des objectifs de développement (problèmes pour atteindre les résultats tels qu’ils figurent dans les cadres de résultats) (iii) les analyses coûts-bénéfices (la méthodologie ou les hypothèses sont problématiques, ou les informations insuffisantes pour évaluer ces analyses) et (iv) la durabilité financière pour les projets dans le domaine des ressources hydrauliques et électriques, (absence

de provisions financières suffisantes pour les opérations et la maintenance des ouvrages).

Les NE-RAP donnent lieu à des notations moins généreuses que les RAP, mais les écarts ne sont pas très importants. Ce constat s'explique par plusieurs facteurs, notamment l'objectivité des évaluateurs, qui ont suivi les meilleures pratiques internationales, l'attention stricte portée au cadre de résultats, et l'examen supplémentaire effectué par des pairs désignés par IDEV. Les deux groupes d'évaluateurs ont été d'accord dans l’ensemble, mais, à la suite de la deuxième évaluation, plus de notes ont été revues à la baisse qu'à la hausse. Il y avait peu de valeurs extrêmes. Aucun projet n'a été jugé très insatisfaisant, que ce soit dans les RAP ou dans les NE-RAP. Huit projets ont été jugés très satisfaisants dans les RAP mais trois seulement dans les NE-RAP. Les trois projets les mieux notés sont la route Fufulso-Sawla au Ghana, l'interconnexion Ouganda-Bujagali et la réhabilitation d'urgence de l'infrastructure électrique du Zimbabwe.

En ce qui concerne la performance de la Banque (tableau 3), les principaux problèmes portent sur la conception et la mise en œuvre du système de suivi-évaluation. Toutefois, l'utilisation des enseignements tirés des opérations précédentes (c'est-à-dire ne pas répéter les mêmes erreurs) et la qualité de la supervision par la Banque (trop peu de revues à mi-parcours ou trop de changements de responsables de projet) sont aussi des éléments à prendre en compte. Les défaillances de performance des emprunteurs se sont manifestées dans la qualité de la préparation, les problèmes rencontrés au cours de la mise en œuvre et le respect des délais pour préparer les demandes de « non-objection ». Ces insuffisances sont probablement liées à une capacité inadéquate.

Tableau 2: Notations moyennes pour les RAP et les NE-RAP par critère

RAP NE-RAPPERTINENCE 3,6 3,3Pertinence de l’objectif de développement du projet

3,9 3,7

Pertinence de la conception du projet 3,3 2,8

EFFICACITÉ 3,2 2,7Objectif de développement 3,1 2,6

EFFICIENCE 3,0 2,7Respect des délais 2,5 2,5

Efficience de l’utilisation des ressources 3,4 3,3

Analyse coûts-bénéfices 3,2 2,5

Avancement de la mise en œuvre 2,9 2,7

DURABILITÉ 2,9 2,8Durabilité financière 3,0 2,8

Durabilité institutionnelle et renforcement des capacités

3,1 3,0

Durabilité environnementale et sociale 3,0 2,9

NOTATION GLOBALE A L’ACHÈVEMENT DU PROJET

3,2 2,9

Performance de la Banque 3,2 2,8

Performance de l’emprunteur 2,9 2,6

Performance des autres parties prenantes 2,8 2,7

Qualité globale du RAP --- 2,9


Pertinence des objectifs et de la conception des projets

La note moyenne des projets du portefeuille pour la pertinence des objectifs de développement était de 3,6 (très satisfaisant) dans les RAP et de 3,3 (satisfaisant) dans les NE-RAP. En d'autres termes, la plupart des projets ont été substantiellement ou extrêmement pertinents au regard de leurs objectifs, ce qui signifie qu'ils allaient dans le sens des priorités de développement du pays et des stratégies correspondantes de la Banque. Dans quelques cas, les produits et les résultats présentés dans les RAP diffèrent de ceux qui figuraient dans le cadre logique du rapport d'évaluation initial. Occasionnellement, il semble que les auteurs ont eu du mal à comprendre la différence entre pertinence

des objectifs de développement et pertinence de la conception des projets.

Bien que les résultats concernant la pertinence des objectifs aient été globalement satisfaisants, la pertinence de la conception des projets (en particulier la qualité du cadre de résultats) a été un sujet de grave préoccupation pour les évaluateurs et les examinateurs, notamment dans les secteurs des infrastructures. La note moyenne pour la conception des projets, tous projets confondus, a été de 3,3 dans les RAP et de 2,8 dans les NE-RAP, ce qui correspond, pour ces dernières, à une performance moins que satisfaisante. L'agrégation des deux critères de pertinence (objectifs de développement et conception) a donné une note de pertinence globale satisfaisante, mais qui masque le problème

Tableau 3: Performance de la Banque, de l’emprunteur et des autres parties prenantes pour les RAP et les NE-RAP

Critères Sous-critères Note travail RAP

Évaluation d’IDEV

PERFORMANCE DE LA BANQUE

Identification proactive et résolution de problèmes à différents stades du cycle du projet

3,1 2,8

Utilisation des leçons retenues d’opérations antérieures au stade de la conception et de la mise en œuvre

3,2 2,8

Encouragement de la participation des parties prenantes pour renforcer l’appropriation

3,1 3,1

Application de sauvegardes et de conditions fiduciaires 3,1 3,0

Conception et mise en œuvre du système de S&E 2,9 2,4

Qualité de la supervision de la Banque 3,2 2,9

Délais de réaction aux demandes 3,1 3,0

NOTE GLOBALE PERFORMANCE DE LA BANQUE 3,2 2,8PERFORMANCE DE L’EMPRUNTEUR

Qualité de la préparation et de la mise en œuvre 2,8 2,6

Conformité aux conventions, accords et sauvegardes 2,9 2,8

Apport dans les temps du financement de contrepartie 2,6 2,8

Réactivité aux recommandations concernant la supervision 2,9 2,8

Mesures prises pour établir les bases de la durabilité du projet 2,8 2,7

Respect des délais dans la préparation de demandes 2,9 2,6

NOTE GLOBALE PERFORMANCE DE l’EMPRUNTEUR 2,9 2,7PERFORMANCE DES AUTRES PARTIES PRENANTES

Respect des délais dans les décaissements par les cofinanciers* 2,4 2,9

Fonctionnement des accords de collaboration 2,8 3,0

Qualité du dialogue politique avec les cofinanciers (pour les OSP seulement) 3,0 2,9

Qualité du travail des prestataires de services 2,9 2,7

Réactivité aux demandes des clients 2,8 2,8

NOTE GLOBALE PERFORMANCE DES AUTRES PARTIES PRENANTES 2.8 2.7

* Ce critère a été pris en compte dans 7 RAP seulement et 20 NE-RAP..


Une

synt

hèse

des

val

idat

ions

des

RAP

IDEV

identifié. La plainte la plus fréquente concerne l'insuffisance d’études techniques permettant de déterminer les coûts avec un degré raisonnable de précision. Ainsi, de vieux plans dépassés ont parfois été adoptés, sans réexamen approprié, comme dans le corridor routier multinational de Nacala, phase II (Zambie). Les conséquences d'estimations de coûts inexactes ont généralement été importantes et ont conduit à restructurer le projet, avec abandon ou réduction de sous-composantes, ce qui signifie que les avantages identifiés lors de l'évaluation initiale n'ont pas tous été obtenus. Parmi les autres problèmes, citons la sous-estimation des conditions géologiques ou le fait de négliger d'obtenir un retour d'information complet de la part des bénéficiaires, ce qui peut entraîner des modifications coûteuses, par exemple dans le cas du projet d'amélioration de la route Nairobi-Thika au Kenya. Dans le projet de réhabilitation de la route Tema-Aflao au Ghana, un tronçon routier de 10,6 km a été totalement omis par erreur dans le plan utilisé pour l'évaluation. Dans le cas du projet de production électrique de Morupule B au Botswana, un grave défaut a été la faiblesse de la coordination entre les composantes du projet financées par la Banque et la composante de production d’électricité, financée séparément. Dans le cadre du projet PAEPAR à Madagascar et du projet de gestion des boues de Grand Nokoue au Bénin, les données de référence concernant les conditions relatives aux sites et à villes ciblées par le projet n'étaient pas disponibles au moment de l’évaluation initiale.

Les projets d'approvisionnement en eau ont été généralement conçus du côté de l'offre, en supposant des niveaux préétablis de besoins quotidiens en eau et en partant du principe que tous les ménages de la zone desservie auraient accès aux services. Or, dans plusieurs projets examinés, l'ensemble de la population de la zone a été considérée comme bénéficiaire, qu'elle ait ou non les moyens de payer l'eau. Dans le cas du projet PEASU en R.D. Congo, l'évaluation ne contenait aucune information sur les conditions existantes d'accès à l'eau dans les villes cibles, notamment pour Tshikapa. Les systèmes construits

pour cette ville se sont avérés financièrement non viables et non opérationnels, faute d’accès à l'électricité nécessaire pour faire fonctionner les pompes et l'usine de traitement. Au Congo, le projet de préinvestissement dans le domaine de l'eau et de l'assainissement pour les villes secondaires a fait l'objet d’études détaillées, sans tenir compte de la viabilité potentielle du projet, avec des dépenses d’E&M jusqu'à trois fois supérieures aux recettes prévues. Il est peu probable que de telles études attirent des financements ; dans l’affirmative, les projets ne seraient pas viables financièrement. Ce genre d’erreur fondamentale met en évidence l’insuffisance de contrôle sur la pertinence de la conception au stade de la préparation.

En outre, dans quelques exemples, notamment dans le secteur agricole, les projets, au stade de la conception, étaient trop ambitieux, ou trop optimistes quant à l'état de préparation de la mise en œuvre, y compris du point de vue de la préparation technique et de la capacité institutionnelle. Dans les pays fragiles et les pays sortant d'un conflit, une conception simplifiée des projets, qui prend en compte les réalités locales, a plus de chances de réussir. Le projet de développement agricole des petites exploitations de Bom Jesus-Calenga en Angola, approuvé après 15 ans de conflit, s’appuyait sur une conception traditionnelle avec une composante infrastructurelle lourde que l'emprunteur n'était pas en mesure de mettre en œuvre. D'une manière générale, on observe que les projets qui incluent dans leur conception une forte participation de la communauté locale autour de la réhabilitation d’infrastructures à petite échelle, de l'amélioration de la productivité ou de la commercialisation des produits ont souvent tendance à donner de meilleurs résultats que les approches imposées d’en haut. En outre, la portée d’un projet devrait être limitée au montant des ressources disponibles. Dans le cadre du projet de renforcement de la jeunesse et du tourisme au Zimbabwe, par exemple, des activités ont été planifiées qui n'étaient pas couvertes par le budget du gouvernement.


Efficacité (produits, résultats et efficacité globale)

En moyenne, les RAP jugent l'efficacité du développement satisfaisante, à 3,2, alors que le chiffre moyen pour les NE-RAP est de 2,7, c'est-à-dire moins que satisfaisante. La différence ne se situe pas au niveau des produits, la plupart des projets ayant livré les produits matériels, mais au niveau des résultats qui, souvent en raison d'un cadre de résultats imparfait ou trop optimiste, n'ont pas été atteints. Dans certains RAP et cadres logiques d'évaluation, les auteurs ont eu du mal à faire la différence entre les résultats et les objectifs. Le présent bilan conduit à faire remarquer que les résultats des projets doivent être clairement mesurables et liés au projet, et non relever d’objectifs nationaux généraux tels que « le pourcentage de la population du pays ayant accès à l'eau potable ». Presque tous les RAP ont mis l'accent sur les résultats et les produits à atteindre, mais ils ne les ont pas toujours placés dans le contexte plus large du programme, surtout lorsque d'autres bailleurs de fonds finançaient des projets dans le même programme ou dans un programme connexe. En outre, lorsque des composantes supplémentaires ont été ajoutées (par exemple, un poste frontière à guichet unique), peu d’informations ont été données sur ces ajouts, ce qui rendait l'évaluation difficile. Dans quelques cas, la cible a été dépassée dans une mesure telle que l’on peut se demander si elle n’avait pas été fixée trop bas lors de l'évaluation initiale.

En cas de restructuration d’un projet, le personnel de la Banque qui en a la charge ne mentionne pas toujours les produits qui sont modifiés ni les effets (éventuels) sur les avantages escomptés et les indicateurs de résultats. Dans de tels cas de figure, les RAP ne sont généralement pas en mesure de comparer les coûts initiaux et les coûts révisés et indiquent rarement comment les coûts ont été réaffectés par composante. De plus, les RAP n'ont pas nécessairement commenté les produits finalement livrés et les résultats obtenus par rapport à ceux attendus au stade de la conception initiale.

Certains projets ont été achevés tant bien que mal dans des circonstances difficiles. Par exemple, le projet de développement communautaire et de soutien aux groupes vulnérables en République centrafricaine n'a permis de réaliser que 28 des 338 améliorations prévues de l'infrastructure socioéconomique communautaire.

Dans le secteur de l'eau et de l'assainissement, certaines études de préinvestissement financées par la Banque ont été réalisées, mais n'ont pas abouti à des investissements. À titre d’exemple, citons les trois cas suivants : Mobilisation des ressources en eau et renforcement des capacités au Cap-Vert ; Traitement des boues de Grand Nokoue au Bénin ; et les projets d’eau et d’assainissement pour les villes secondaires au Congo. Au-delà des différences de contexte, il semble que la viabilité des propositions aurait dû être examinée plus attentivement dès le départ. Les études de préinvestissement ne devraient être financées que si la Banque a l'intention de financer les principaux projets dans le cadre de ses stratégies pays. En outre, il est indispensable, au stade de la préparation, d’analyser rapidement la viabilité économique et financière du projet et de bien définir les critères utilisés pour les vérifier.

Efficience (respect des délais, efficience dans l’utilisation des ressources, analyse coûts-bénéfices, avancement de la mise en œuvre)

La note moyenne pour les RAP est de 3,0 (satisfaisant, mais à peine) et, pour la NE-RAP, de 2,7. Ce score s'explique principalement par le fait que bon nombre des projets d'infrastructure examinés, en particulier dans les secteurs de l'électricité, de l'eau et de l'assainissement (51 %), n’ont pas fait l'objet d'une analyse coûts-bénéfices acceptable. Les projets du secteur des transports étaient un peu meilleurs à cet égard parce qu'ils utilisaient des modèles de développement routier. Toutefois, bon nombre d’analyses n'ont pas permis aux évaluateurs de procéder à une évaluation adéquate parce qu'elles ne comportaient pas de détails sur les hypothèses, les


Une

synt

hèse

des

val

idat

ions

des

RAP

IDEV

données et la méthodologie. Les problèmes typiques des analyses coûts-bénéfices ont été les suivants :

❙ La méthodologie n'était pas clairement exposée dans le rapport d'évaluation initial ou dans le RAP ;

❙ Dans de nombreux cas, ni le rapport d'évaluation ni le RAP ne contient d'annexe indiquant comment les calculs ont été effectués ni quelles hypothèses ont été utilisées, y compris concernant les données disponibles ;

❙ Il y a eu double comptage des avantages (p. ex. compter comme avantages le prix que les utilisateurs sont prêts à payer pour l'eau, mais aussi les retombées sur la santé et le confort de disposer de l'eau courante) ;

❙ Le système de suivi-évaluation (S&E) n'a pas fourni de données directes sur le nombre d'usagers du projet ; et

❙ Les avantages sociaux n'ont pas été identifiés (voir encadré 1).

Pour estimer les avantages d'un projet d’eau et d’assainissement, les retombées sur la santé sont plus souvent citées que les paiements effectués par les bénéficiaires. Les avantages pour la santé sont en effet une justification importante et, en principe, c’est un moyen valable d’appréhender les avantages d’un projet. Cependant, dans aucun des projets d’eau et d’assainissement examinés, le système de S&E n'a réellement effectué un suivi des avantages

sanitaires découlant de la mise en œuvre du projet. En l'absence de données spécifiques, les projets examinés ont utilisé des paramètres nationaux ou même internationaux (Organisation mondiale de la santé) pour estimer les avantages pour les usagers. Or, en raison des grandes variations entre pays et régions dans l'incidence des maladies, et des grandes disparités dans les pratiques sanitaires et les conditions au départ, il est peu probable que les paramètres nationaux ou internationaux éclairent vraiment les avantages réels d’un projet en un lieu donné. Il apparaît que le personnel de la Banque passe parfois beaucoup de temps, pendant la préparation d’un projet, à procéder à une analyse coûts-bénéfices qui, en définitive, ne fournit pas d'informations suffisamment précises pour améliorer la prise de décision ni même valider la justification du projet.

Il a également été observé que les analyses économiques et financières sont traitées de manière assez sommaire dans tous les projets du secteur de l'énergie. Par exemple, le projet d'amélioration du réseau de transport d'électricité, au Kenya, d'un montant de 90 millions de dollars, n'a traité des analyses économiques et financières que dans quatre paragraphes de l'évaluation initiale, et dans le RAP, l'évaluation économique ne donne aucun détail sur la méthodologie employée.

Le respect des délais pour les RAP et les NE-RAP a été de 2,5, ce qui est insatisfaisant d'après la formule contenue dans les lignes directrices, qui compare la durée prévue et la durée réelle de mise en œuvre.

L'analyse économique coûts-bénéfices comprend des avantages sociaux (santé, gain de temps, etc.)., qui ne se traduisent généralement pas par des recettes pour les exploitants des services d’alimentation en eau. L’analyse financière est donc importante aussi pour s'assurer que les recettes permettent au moins de couvrir les dépenses de fonctionnement et de maintenance. En règle générale, l'analyse économique fait apparaître un rendement plus élevé que l'analyse financière, si bien que si la durabilité financière est assurée, il est également probable que la valeur économique est positive. Dans un contexte de fortes contraintes budgétaires et de mauvaise gestion financière, il est peu probable que la solution consiste à subventionner l’opération et la maintenance. Conformément à la pratique internationale, les subventions devraient être réservées aux dépenses d'investissement et à l'appui technique des réseaux d’eau des petites villes et des zones rurales, tandis que les réseaux urbains devraient évoluer vers un recouvrement intégral des coûts, éventuellement avec des systèmes de péréquation entre catégories d’usagers.

Encadré 1: Avantages sociaux et recettes provenant de l’eau


Dans de nombreux projets d'infrastructure, les dates de clôture initialement prévues ont dû être prolongées, parfois plusieurs fois de suite. Les délais estimés au moment de l'approbation sont habituellement trop optimistes et il y a eu des retards dans les flux des coûts et des avantages (voir tableaux 4 et 5). En outre, dans plusieurs cas, le RAP n’a pas pu procéder à une analyse coûts-bénéfices ex post en raison de l'insuffisance des données, situation qui traduit à son tour des insuffisances dans les dispositions de suivi-évaluation des projets, y compris, dans certains cas, une absence ou une insuffisance de données de référence.

Des retards de mise en œuvre ont également été enregistrés dans les projets d'éducation et de renforcement des capacités. Par exemple, le projet d'amélioration de la qualité de l'appui à l'éducation au Lesotho avait une portée trop ambitieuse compte tenu de la capacité de mise en œuvre limitée et d'une unité de passation des marchés particulièrement faible. Le projet a duré neuf ans au lieu des cinq prévus. Pour certains projets de renforcement des capacités relativement modestes (moins d'un million de dollars), le manque d'appropriation du projet par le gouvernement a été identifié comme étant un problème important.

Le tableau 4 permet de conclure que les régions de l'Ouest et du Sud ont été les moins performantes, celles du Centre et les projets multinationaux les plus performantes. Le tableau 5 montre clairement les problèmes dans les secteurs de l'infrastructure en termes de manque de préparation à la mise en œuvre. Les projets agricoles sont passés relativement rapidement au stade du premier décaissement, mais ils ont connu d'importants retards par la suite.

Les notes moyennes d'avancement de la mise en œuvre se situent également dans la fourchette satisfaisante, c'est-à-dire à 2,9 dans les RAP et 2,7 dans les NE-RAP. Ces notes prennent en compte le respect des contrats, les systèmes et procédures des projets, ainsi que leur exécution et leur financement. Elles laissent penser que la supervision pourrait être améliorée. Notons à ce propos que les projets auxquels ont été associés les bureaux pays de la Banque ont généralement donné de meilleurs résultats.

En ce qui concerne l'efficience de l'utilisation des ressources, les scores sont positifs dans l’ensemble, avec une moyenne de 3,4 dans les RAP et de 3,3 dans les NE-RAP, ce qui veut dire que les projets ont livré les produits escomptés dans les limites du budget disponible.

Durabilité (financiers, institutionnels et renforcement des capacités, appropriation et durabilité des partenariats, durabilité environnementale et sociale)

Dans l'ensemble, la durabilité était satisfaisante, avec une note moyenne de 2,9 pour le RAP et de 2,8 pour le NE-RAP. La viabilité financière a spécifiquement obtenu une note moyenne de 3,0 dans les RAP, mais les NE-RAP ont obtenu une note de 2,8. La durabilité probable des avantages du projet varie, les projets d’eau et assainissement se distinguant par de faibles perspectives de durabilité financière. Dans certains cas, la durabilité probable est solide parce que les gouvernements des pays concernés ont pris des mesures énergiques

Tableau 4: Indicateurs de durée par région

Durée moyenne (région) Échantillon de 88

Ouest Est Sud Centre Multinatio-nal

Durée moyenne (en mois) entre approbation et premier décaissement

12,4 16,7 11,0 14,2 7,6 9,8

Durée moyenne (en mois) entre date d’achèvement prévue et date révisée

21,2 34,2 13,1 19,3 18,8 19,3


Une

synt

hèse

des

val

idat

ions

des

RAP

IDEV

pour améliorer la maintenance et renforcer les institutions ; dans d'autres, des incertitudes importantes persistent quant aux futurs arrangements financiers et institutionnels.

Comme nous l'avons mentionné à propos de l'analyse coûts-bénéfices, de nombreux projets d’eau et d’assainissement n'ont pas obtenu une note satisfaisante pour la durabilité financière. Souvent, il n'y a eu aucune étude des tarifs à facturer à l'achèvement du projet, ni du niveau des recettes nécessaires pour couvrir les coûts. Les évaluations de la durabilité financière par les RAP devraient comprendre au minimum une analyse des tarifs moyens pratiqués à l'achèvement des travaux, une analyse indiquant quels tarifs seraient nécessaires pour couvrir les frais d’exploitation et de maintenance (E&M), et, le cas échéant, lesquels permettraient de récupérer l'investissement. Couvrir uniquement les coûts d’E&M n'est pas une norme acceptée à l'échelle internationale en matière de durabilité financière. En règle générale, les analyses financières sont également superficielles.

De même, presque aucun projet énergétique n'offre de conclusion claire quant à la durabilité financière de l'entreprise mère et celle du projet, ni ne comporte de projections financières. En général, la durabilité financière n’apparaît pas comme étant un aspect important de la durabilité globale du projet. Notons que ni les RAP ni les rapports d’évaluation initiaux n’abordent directement la question de l’E&M des actifs financés par le projet, alors que cette question est capitale pour les projets d'électricité et que, dans ce domaine, la plupart des services publics n'ont pas obtenu de bons résultats dans le passé.

La continuité de l'appui de la Banque et d'autres partenaires de développement est souvent un facteur crucial de durabilité. Les pays dans lesquels la Banque a un programme important sont moins vulnérables que ceux où ses activités futures risquent d'être limitées. Ainsi, dans le cadre du projet sur l'eau aux Comores, le RAP se demande sérieusement si les interventions de suivi nécessaires auront lieu. La durabilité institutionnelle doit faire l'objet d'une plus grande attention dans les RAP car, bien que les activités de formation et de renforcement des capacités aient été fréquemment mentionnées, leurs résultats ne sont presque jamais mesurés et sont donc difficiles à évaluer. Lorsqu'un renforcement substantiel des capacités a eu lieu dans le cadre d'un projet d'infrastructure, il serait peut-être utile de distinguer les sous-composantes spécifiques de ces activités et les indicateurs qui les accompagnent.

La durabilité institutionnelle et le renforcement des capacités ont été jugés satisfaisants, avec une moyenne de 3,1 dans les RAP et de 3,0 dans les NE-RAP. Néanmoins, la principale plainte des évaluateurs porte sur l’insuffisance des détails fournis concernant les activités de renforcement des capacités, qui sont cochées comme « réalisées » mais donnent peu d'indications sur leur niveau de succès. Dans certains cas, en revanche, la flexibilité du personnel de la Banque et des CEP ont facilité la participation locale et renforcé les capacités des parties prenantes ; voir par exemple l'encadré 2.

Les projets avec forte participation de la communauté locale ont plus de chances d'être durables, même lorsque le contexte opérationnel général est très difficile. Le projet multinational

Tableau 5: Indicateurs de durée par secteur

Durée moyenne (secteur) Échantillon de 88

Agriculture Eau/assainissement Électricité Transport

Durée moyenne (en mois) entre approbation et premier décaissement

12,4 8 12,4 15,1 22,4

Durée moyenne (en mois) entre date d’achèvement prévue et date révisée

21,2 34,7 20,0 13,4 27,0


d'appui à l'infrastructure rurale dans la région naturelle du Bugesera et le projet de conservation des écosystèmes : par exemple le projet pilote multinational de REDD géographiquement intégré d’Isangi. Les indicateurs mesurant les progrès des activités de formation sont rares et il n'est généralement pas possible pour l'évaluateur de discerner dans quelle mesure les activités en question ont réellement porté leurs fruits. Les exceptions sont les grands projets pour lesquels le renforcement des capacités était l'objectif principal.

La Banque est associée à de nombreux accords avec d'autres partenaires du développement et elle a beaucoup œuvré à la mise en place d'accords pour des projets multi-pays. Des groupes de travail ont souvent été constitués pour permettre aux différentes organisations d'échanger des informations et de développer une approche commune sur des questions communes. Dans les projets examinés, la part de ces dispositions est traitée de façon inégale, tantôt en détail, tantôt superficiellement. Aucun RAP

n'a posé de question critique sur l'efficacité de telles dispositions (qui ont pu avoir des retombées bénéfiques), peut-être parce que le schéma ne pose pas les bonnes questions à cet égard.

La durabilité environnementale et sociale était pour la plupart satisfaisante ou à la limite de la satisfaction, avec des notes moyennes de 3,0 pour les RAP et de 2,9 pour les NE-RAP. La principale critique formulée par les évaluateurs est le manque d’informations. La mobilisation de fonds pour le déplacement des personnes touchées par les projets a parfois entraîné des retards, mais dans l'ensemble, la durabilité environnementale et sociale est une caractéristique robuste des projets financés par la Banque. Les procédures de sauvegarde ont généralement été suivies, les projets ont été correctement classifiés et, malgré les défauts mineurs observés, la plupart des problèmes identifiés auraient été traités de manière appropriée avant la fin du projet. En règle générale, les puits d’extraction de matériaux ont été remis en état, les talus des bas-côtés ont été enherbés et des mesures de lutte contre l'érosion ont été mises en place. Des programmes de

Les objectifs du projet de réhabilitation des infrastructures pour la sécurité alimentaire à Sao Tome-et-Principe étaient d'améliorer la disponibilité des produits agricoles et de la pêche grâce à la réhabilitation des infrastructures rurales dans l’agriculture et la pêche artisanale. Dans le cadre du projet d'appui à l'infrastructure rurale au Burundi, dans la région naturelle du Bugesara, les objectifs étaient d'accroître les revenus des agriculteurs et d'améliorer l'état nutritionnel des enfants par l'amélioration de la productivité agricole, l'accent étant mis sur le lait, le riz et les légumes, la protection des flancs de collines et les infrastructures rurales.

Les deux projets étaient fortement axés sur la participation locale et le renforcement des capacités des parties prenantes, sur un mode participatif. Ils comportaient des éléments d'infrastructure dont l’ambition a dû être revue à la baisse et repensée, mais la supervision proactive de la Banque a permis de s'adapter rapidement aux budgets disponibles et aux priorités des parties prenantes. Au Burundi, par exemple, les travaux d'irrigation prévus s'avérant trop coûteux et techniquement trop complexes à entretenir, l'accent a été mis sur la protection des micro-bassins versants, l'organisation de coopératives, le stockage, le développement de la chaîne de valeur et le soutien à l’élevage. Pour Sao Tome, plusieurs changements sont intervenus ; la remise en état des routes a été revue à la baisse, et la demande a été moindre que prévu pour les séchoirs solaires, mais plus forte pour les pépinières et les unités de transformation. En ce qui concerne la pêche, le soutien prévu pour un site de déchargement a été remplacé par un soutien à la fabrication de bateaux en fibre de verre. La Banque a aidé à s’adapter à ces changements.

Les deux projets s’appuyaient sur des unités locales de mise en œuvre dont les membres se sentaient très investis dans le projet et qui travaillaient directement avec les agriculteurs, les transformateurs, les organismes du marché et les pêcheurs. Dans les deux pays, les projets ont constitué la base d’opérations de suivi soutenues par la Banque, ce qui améliore d’autant les perspectives de résultats durables.

Encadré 2: La flexibilité du personnel de la Banque et des cellules d’exécution des projets a facilité le travail sur les infrastructures agricoles à Sao Tome-et-Principe et au Burundi.


Une

synt

hèse

des

val

idat

ions

des

RAP

IDEV

sensibilisation au VIH/sida ont également été prévus, le cas échéant. Les projets qui englobaient en outre des infrastructures socioéconomiques, comme le projet de route Fufulso-Sawla au Ghana, ont suscité une forte acceptation et une forte participation des populations locales. De même, certains projets ont jeté les bases d'une meilleure

durabilité environnementale : c’est le cas notamment du soutien à la mise en œuvre d'un plan de gestion intégrée des ressources en eau au Mali, ainsi que de trois opérations pilotes de réduction des émissions dues à la déforestation et à la dégradation forestière (REDD), pour la conservation des écosystèmes du bassin du Congo (voir aussi encadré 3).

Dans le bassin du Congo, la Banque a soutenu un certain nombre de programmes visant à aider les pays du Bassin à lutter contre la déforestation et à améliorer les moyens d'existence des populations rurales tout en les préparant à accéder au financement climatique dans le cadre de l’initiative de financement carbone REDD (Réduction des émissions dues à la déforestation et à la dégradation forestière). L'environnement opérationnel a été très difficile.

Les objectifs du projet pilote de REDD géographiquement intégré d'Isangi, dans l'est du Congo, et du projet pilote ECOMAKALA + REDD géographiquement intégré dans la zone du Parc national de Virunga, également dans l'est du Congo, étaient similaires. Tous deux visaient à réduire la pauvreté et la déforestation par une gestion durable des forêts, y compris par le reboisement et la planification de l'utilisation des terres agricoles, l'utilisation de fourneaux améliorés pour la cuisson, les initiatives locales de développement économique et de sécurité alimentaire, le renforcement et le suivi des capacités de développement de la chaîne de valeur, notamment par la mise en place de systèmes écologiques et socioéconomiques de suivi par cartographie, l’établissement de scénarios de référence, le développement des capacités locales pour le suivi des stocks de carbone. Ces mesures devaient permettre de déterminer les conditions pour être éligible au financement REDD par le fonds climatique et le marché carbone.

Les deux projets se sont heurtés à de nombreuses difficultés de mise en œuvre ; malgré l’existence de cellules d’exécution de projet (CEP) spécialisées au niveau local, le soutien des organisations centrales a été faible et, pour la supervision fiduciaire, la Banque s'est initialement appuyée sur un organisme basé à Kinshasa, qui avait peu d'expérience des conditions dans les zones reculées. Après modification de ces dispositions, la Banque a commencé à travailler directement avec les CEP locales et les activités ont progressé ; les deux opérations ont pu être clôturées, la plupart des produits ayant été livrés. En l'absence de mécanismes fiables de collecte de données compte tenu des conditions prévalant en RDC, notamment sur le reboisement et les perceptions du bien-être, le projet a eu recours à des approches novatrices pour les évaluations d'impact. On a observé au niveau local une forte appropriation des initiatives et une grande réflexion sur les mécanismes locaux de durabilité, bien que des défis subsistent concernant la durabilité financière.

Encadré 3: La collaboration directe avec des organisations locales dans des régions reculées a facilité la mise en œuvre de projets pilotes de conservation des écosystèmes et de financement climatique en République démocratique du Congo.

25Performance des parties prenantes clés

Une

synt

hèse

des

val

idat

ions

des

RAP

IDEVPerformance des parties

prenantes clés

Performance de la Banque

La performance moyenne de la Banque a été notée à 3,2 dans les RAP, mais seulement à 2,8 dans les NE-RAP, le plus grand écart portant sur la conception et la mise en œuvre du système de S&E (où la note des RAP est de 2,9 en moyenne, contre seulement 2,4 dans les NE-RAP).

La performance de la Banque a été une question importante lors des phases de préparation et d'évaluation où, dans de nombreux cas, elle s'est révélée inadéquate, manquant de rigueur et de profondeur technique. La qualité de la préparation des projets pourrait être améliorée par un renforcement des dispositions de la BAD concernant le contrôle de la qualité à l’entrée des projets. Il est possible que les pressions exercées par les institutions pour atteindre les objectifs globaux d'engagement ou les promesses faites à certains gouvernements aient eu des incidences sur le temps consacré à la phase de préparation/évaluation. Bien que les RAP n'évoquent pas précisément l'insuffisance de la préparation, il semble que, dans certains cas, le temps alloué à cette phase ait été inutilement réduit, par exemple dans les projets PEASU en R.D. Congo et PAEPAR à Madagascar. Dans ce dernier cas, bien que le projet ait été mal préparé et que l'équipe ait dû faire face à une réduction de 36 % du financement du Fonds international de développement agricole, le projet redimensionné a été raisonnablement efficace, même si son exécution s'est étendue sur neuf ans. Ce résultat est principalement dû à l'appui continu du personnel technique de la Banque.

Il importe également de renforcer l'appui à la mise en œuvre et le suivi de la Banque sur les aspects liés aux

choix techniques ainsi qu'à l'efficacité et à la viabilité opérationnelle. D'une manière générale, les RAP jugent la performance de la Banque systématiquement satisfaisante ou plus, même lorsque le projet a présenté d'importants problèmes de mise en œuvre, comme ce fut le cas pour le projet de production électrique de Morupule B au Botswana. Plusieurs rapports de supervision consultés dans le cadre de ce projet se sont concentrés sur les questions de sécurité au travail, mais n'ont pas décelé les principaux problèmes techniques liés à la construction, ce qui a fait qu'une centrale d'un milliard d’USD n'a fourni que 10 % de la production prévue. Dans ce cas, le RAP et l'évaluation initiale ont été faibles, y compris sur les aspects économiques et financiers.

En revanche, il y a eu des exemples de progrès manifestes. Le projet sur l’eau au Bénin, petit mais innovant, a été mis en œuvre de manière efficace. Il a renforcé les capacités locales de 13 municipalités dans deux des préfectures les plus pauvres du Bénin en faisant appel au secteur privé et à toutes les parties prenantes concernées pour « apprendre par la pratique ». Le projet se distingue par sa dimension pilote, capable d'avoir un impact sur l'ensemble du secteur grâce à la propagation et à l'adaptation des approches mises au point dans le cadre du projet. Il est également à noter que les rapports de supervision ont rarement anticipé ou souligné la mise en œuvre technique des questions financières ou des dispositions relatives à l’exploitation et à la maintenance (E&M).

En général, la Banque a maintenu des liens appropriés avec les autres partenaires au développement, pour autant que de besoin, et elle a été proactive à maintes reprises dans la résolution de questions difficiles pour les emprunteurs.


Cependant, bien que les chefs de projet effectuent souvent des missions deux fois par an, le soutien des autres membres de l'équipe est parfois limité ou certaines compétences clés font défaut. Par exemple, deux des projets examinés comprenaient la mise en place de systèmes informatiques : le système national d'information sur l'eau SINEAU en Tunisie et le projet multinational d'appui à l'enseignement supérieur (UEMOA). Dans les deux cas, le temps nécessaire à la mise en place des systèmes, qui n’étaient pas considérés comme spécialement complexes, a été excessif et l'ajout d'un spécialiste au sein de l'équipe de la Banque aurait pu faire une grande différence. La préparation et l'évaluation du projet PAESU en R.D. Congo auraient certainement pu bénéficier d'un approfondissement technique sur les questions de l'exploitation des services publics et de la durabilité financière. Peu de RAP mentionnent qu'une revue à mi-parcours a été effectuée, ce qui confirme l'une des conclusions de l'évaluation indépendante de la qualité de la supervision et de la clôture des projets de la Banque africaine de développement.

Les auto-évaluations de la performance de la Banque ont tendance, dans la partie narrative des rapports, à minimiser certaines lacunes des projets. Dans plusieurs cas, les commentaires formulés dans les rapports d'achèvement des emprunteurs étaient cités tels quels, notamment, semble-t-il, quand les rapports en question n'étaient pas critiques. Dans le cas du projet multinational de développement routier Arusha-Athi au Kenya/Tanzanie, il n’y a même pas eu d'auto-évaluation ; la note, reposant uniquement sur les commentaires des emprunteurs, a été utilisée pour justifier une performance très satisfaisante. Les auteurs du RAP ont eu tendance à être plus positifs que les évaluateurs en ce qui concerne l'efficacité des projets, même quand ceux-ci n'ont pas donné tous les produits et résultats escomptés. Dans certains cas, les indicateurs n'ont pas permis de mesurer pleinement les objectifs de développement tels qu’indiqués dans les rapports d'évaluation correspondants. Bien que la Banque ait généralement répondu aux demandes de « non-objection » de l'emprunteur pour les passations de marché, il y a

eu des exceptions. Un RAP note que les retards au démarrage dans le projet de réhabilitation de la route Tema-Afloa au Ghana, approuvé en 2002, ont été dus au transfert d'urgence du siège de la Banque d'Abidjan à Tunis. En revanche, lorsqu'un bureau pays existait, les délais de réponse, selon les emprunteurs, étaient généralement plus courts.

Performance de l’emprunteur

En moyenne, la performance de l’emprunteur a été de 2.9 dans les RAP et 2.7 dans les NE-RAP. Dans l'ensemble, l'évaluation du rendement de l'emprunteur dans les RAP a été neutre et souvent jugée satisfaisante, même dans les cas où elle était manifestement faible. Par exemple, dans le cas du projet de ligne électrique-Mombasa-Nairobi, au Kenya, un changement de politique du gouvernement a rendu la ligne financée par la Banque en grande partie superflue. Dans le cas du projet d'appui à la conservation des écosystèmes du bassin du Congo, la performance du bénéficiaire régional, la Communauté économique des États de l'Afrique centrale, a été insuffisante, caractérisée en effet par la lenteur du traitement de la documentation et l'incapacité à accorder certains fonds de contrepartie convenus.

Les retards à débloquer les fonds de contrepartie font effectivement souvent l’objet de critiques, car ils ralentissent la mise en œuvre en retardant la fourniture des certificats de paiement intermédiaire. Cette situation peut être due à un excès d'optimisme au moment de la préparation du projet ou à des réaffectations non prévues à d'autres secteurs de dépenses non budgétisées, ou encore à de nouvelles priorisations par les pouvoirs publics. Dans le cadre du projet de soutien aux infrastructures agricoles au Malawi, moins de la moitié des fonds de contrepartie convenus ont été débloqués. Plusieurs projets ont eu des difficultés à remplir les conditions du premier décaissement, ce qui, dans le cas du contournement de Nsawam au Ghana, a retardé le projet de trois ans. Du côté positif, pour le projet de gestion et de développement des ressources naturelles au Tchad, le gouvernement a pu augmenter fortement sa

27Performance des parties prenantes clés

Une

synt

hèse

des

val

idat

ions

des

RAP

IDEV

contribution financière après le retrait d'un cofinancier et la sous-estimation, au stade de la préparation, des coûts de l'infrastructure. Les NE-RAP sont légèrement moins négatifs en moyenne que les RAP sur l’appréciation des retards dans le financement de contrepartie, peut-être parce que les fonds en question ont souvent fini par être débloqués et permis de mener les projets à leur terme.

Dans le cas des projets d'infrastructure, certains problèmes ont également été signalés concernant les paiements compensatoires et le déplacement des personnes touchées par l’emprise du projet. En règle générale, toutefois, les interactions entre les emprunteurs pour mobiliser le soutien des parties prenantes, y compris des autorités locales et traditionnelles, ont été jugées satisfaisantes, voire très satisfaisantes. En revanche, la mise en œuvre du suivi-évaluation a souvent été insuffisante, mais le fait n'est pas signalé dans les RAP par manque d'informations. Parfois aussi, le S&E a été effectué de manière mécanique, sans que l'on comprenne en quoi le système pouvait contribuer à améliorer les opérations. Cette situation s’explique probablement par un manque d'appropriation du cadre des résultats, une défaillance des systèmes d'établissement de rapports et l'absence de systèmes de S&E sectoriels sur lesquels greffer le projet. Le RAP ayant une fonction de reddition de comptes, l'emprunteur joue un rôle important – qui devrait être souligné – dans la préparation du rapport de fin d’exécution de projet.

Performance des autres parties prenantes

La performance globale des autres parties prenantes a été notée à 2,8 dans les RAP et à 2,7 dans les NE-RAP. En creusant, il apparaît que la qualité du travail était parfois insuffisante. Les critiques portent principalement sur l’incapacité des entrepreneurs à fournir des garanties d'exécution à temps et, parfois, sur les retards dans l’établissement des rapports. Les retards de décaissements des cofinanciers sont également un problème. Parfois, pour les projets de transport, certaines plaintes portent sur la gestion de la circulation pendant la durée des travaux, notamment en ce qui concerne les aménagements pour piétons. Les campagnes de sensibilisation au VIH/sida ont touché la plupart des communautés susceptibles d'être concernées, et elles semblent avoir été jugées globalement satisfaisantes, voire plus. Dans certains cas, les programmes de sensibilisation se proposaient d’avoir un impact profond, longtemps après l'achèvement du projet.

Plusieurs plaintes concernent les services collectifs qui ont tardé à déplacer les réseaux pour permettre le bon déroulement des chantiers. Il est suggéré qu'à l'avenir ces services soient contactés le plus en amont possible dans le processus de mise en œuvre. La plupart des sociétés d'audit semblent avoir agi avec professionnalisme, et les délais à remettre les rapports étaient souvent dus au fait que les comptes leur avaient été soumis avec retard.


Qualité du suivi-évaluation

Les évaluateurs ont constaté que le cadre des résultats du S&E était souvent inadéquat et ont relevé des problèmes liés à des données de référence inadéquates, à des indicateurs inappropriés et à une faible mise en œuvre et utilisation du système de S&E. Le peu d'attention accordée au S&E dans les RAP et le fait que très peu de leçons ou de recommandations portent sur les lacunes du système indiquent que le personnel ne prend pas cet aspect au sérieux et qu'il y a un besoin évident d'une meilleure formation des responsables de projet.

Dans l'ensemble, les rapports sur l'état d'avancement des produits ont été satisfaisants (quoique, dans plusieurs cas, ils étaient imprécis et ont été établis tardivement). En revanche, le suivi-évaluation des résultats a été beaucoup plus faible. En règle générale, les systèmes de S&E devraient être mis en place à un stade précoce, par exemple au cours de la première année de mise en œuvre. Les résultats devraient également être clairement liés au projet, plutôt qu'à de grands objectifs nationaux. Lorsque les résultats sont définis de façon trop générale, il est impossible de savoir si le projet a atteint les objectifs fixés. Certains projets présentent des cadres de résultats solides avec quelques lacunes, d'autres témoignent d’une préparation insuffisante : informations de référence limitées, indicateurs qui ne sont manifestement pas mesurables ou ne sont pas directement liés au projet, par exemple, des indicateurs sur l'accès à l'eau potable et à un assainissement amélioré qui couvrent l’ensemble du pays et ne sont pas directement liés au projet. De même, dans le cadre du projet d'amélioration du réseau de transport d'électricité au Kenya, le résultat allégué de la construction d'une ligne de transport a été le nombre total de nouveaux raccordements et l’augmentation du taux d'accès dans l’ensemble du pays, alors que ces chiffres

ne dépendent évidemment pas du seul projet mais sont attribuables aussi à d’autres facteurs et projets. De même, dans le cadre du projet d'amélioration du réseau de transport d'électricité en Éthiopie, l'un des résultats déclarés a été « un taux de croissance soutenu du PIB réel de l'Éthiopie à un minimum de 11 % à moyen terme », un autre a été la « réduction du fardeau incombant aux femmes ». Des résultats aussi vagues ont un lien très faible avec la construction de la ligne de transport d'électricité à proprement parler.

L'établissement de données de référence est également critique, mais, dans le cadre du programme de croissance rurale dans le nord du Ghana, la base de référence pour l'un des résultats clés n'a jamais été fournie et les progrès n'ont donc pu être suivis correctement. Dans le cadre du projet de réhabilitation des infrastructures pour la sécurité alimentaire à Sao Tome-et-Principe, l'absence d'une enquête de référence pendant la préparation a réduit les possibilités de comparaisons « avant et après ». Les RAP et la documentation du projet n'ont pas toujours permis une évaluation détaillée des systèmes de S&E, ce qui tend à aboutir à une notation satisfaisante par défaut, qui n’est pas nécessairement justifiée. Les évaluateurs n'ont pas pu évaluer le suivi-évaluation des NE-RAP pour le projet d'infrastructure routière au Ghana ni pour le projet routier V en Tunisie, car l'information n'a pas été correctement rapportée dans les RAP respectifs. Pour la plupart des projets agricoles, l'information de base sur les rendements faisait défaut, alors que l'augmentation des rendements était un élément crucial des cadres de résultats. Les indicateurs relatifs aux projets de mise à niveau des routes, tels que les économies de temps et de coûts d'exploitation des véhicules, étaient généralement satisfaisants, mais ceux relatifs à l'augmentation de la production ou des échanges agricoles ou à la

29Qualité du suivi-évaluation

Une

synt

hèse

des

val

idat

ions

des

RAP

IDEV

réduction de la pauvreté étaient moins convaincants en raison soit de données insuffisantes, soit de problèmes d'attribution dus à des facteurs extérieurs au projet (régime des précipitations, mesures économiques prises au niveau national).

L'intention de mettre en place un système de S&E qui permette de suivre les résultats et les impacts est abordée dans les rapports d'évaluation mais n'est pas toujours mise en œuvre ; c'est notamment le cas pour les projets d’eau et d’assainissement et pour les projets agricoles. Dans la plupart des pays, d'importants efforts ont été déployés depuis dix ans pour mettre au point des systèmes de S&E au niveau sectoriel pour l'eau et l'assainissement, et des indicateurs ont été systématiquement inclus dans les enquêtes périodiques parrainées par les Nations unies concernant la santé et les conditions de vie. Ces systèmes et ces données devraient être pris en compte au moment de la préparation, et le S&E lié au projet devrait s'en inspirer pour définir les données de référence, la méthodologie et les indicateurs pertinents.

En l'absence de données appropriées, les informations ventilées par sexe sont souvent des suppositions générales. Dans certains cas, la méthodologie utilisée pour estimer le nombre de bénéficiaires n'est pas claire, et le RAP n’explique pas vraiment quelle est la source des estimations du nombre de

bénéficiaires. Dans d’autres cas, il apparaît que des formules indirectes sont utilisées plutôt que des estimations fondées sur des mesures directes ou sur un échantillon d'utilisateurs. Il est suggéré que les RAP examinent et évaluent de manière critique la méthodologie utilisée pour déterminer le nombre réel de bénéficiaires des projets. Cette analyse devrait faire la distinction entre les enquêtes directes menées auprès des bénéficiaires réels et l'utilisation de formules indirectes. Les RAP devraient également examiner de quelle façon les avantages diffèrent en fonction des catégories de bénéficiaires.

Lorsque l'information est recueillie régulièrement, rares sont les éléments qui prouvent que l'emprunteur s’en est servi pour prendre des décisions en lien avec le projet. Cela peut s'expliquer par le fait que la fonction du RAP et de la mission de supervision ne se concentre pas spécifiquement sur cet aspect. Les rapports sur la mise en œuvre du S&E précisent que c’est un élément dont la Banque « a besoin » plutôt qu’un élément considéré comme utile pour toutes les parties prenantes.

Bien que la plupart des cadres de résultats aient été approuvés de manière appropriée dans le cadre du rapport d'évaluation, le projet de construction d'un terminal d'urgence (par ailleurs réussi) à l'aéroport international Jomo Kenyetta du Kenya a fait exception. Dans ce cas, un cadre

Tableau 6: Notes moyennes des NE-RAP pour les sous-critères de S&E

Critères Sous-critères Noted’IDEV

Conception du S&E Le système de S&E est en place, clair, adapté et réaliste 2,5

Les indicateurs et le plan de suivi ont été dûment approuvés 3,0

Existence d’un indicateur de genre 2,7

Les données de référence étaient disponibles ou ont été réunies au stade de la conception 2,6

Autres, préciser 1,8

NOTE GLOBALE DE LA CONCEPTION DU S&E 2,7Mise en œuvre du S&E La fonction de S&E est adéquatement dotée en équipement et en personnel 2,4

NOTE GLOBALE DE LA MISE EN ŒUVRE DU S&E 2,4Utilisation du S&E L’emprunteur a utilisé le suivi des informations pour prendre des décisions 2,5

NOTE GLOBALE DE L’UTILISATION DU S&E 2,4NOTE GLOBALE DE LA PERFORMANCE DU S&E 2,4


logique simplifié n'a pas été préparé, comme le recommandent les Lignes directrices pour l'aide d'urgence. On a plutôt tenté d'ajuster des indicateurs rétrospectivement liés à la capacité de passagers, au temps de traitement et au niveau de service pour l'utilisateur. Toutefois, des données spécifiques relatives à l'aérogare n'étaient en l'occurrence pas disponibles, car les autorités n'ont recueilli des données que pour l'aéroport dans son ensemble.

Souvent, les impacts des projets d’eau et d’assainissement (E&A) n'ont pu être évalués avant

le RAP, car les projets venaient d'être achevés et n'étaient pas encore pleinement opérationnels. Dans ce cas, et pour les pays dans lesquels elle dispose d'un important portefeuille de projets dans un secteur donné, la Banque devrait logiquement organiser – en collaboration avec les services compétents – une évaluation technique post-projet de certains systèmes d'alimentation en eau financés dans le cadre de ses projets. Cette mission pourrait couvrir des systèmes sélectionnés parmi la cohorte de projets réalisés au cours des deux dernières années. Son objectif serait avant tout de tirer des conseils et des leçons utiles.

31Qualité des RAP

Une

synt

hèse

des

val

idat

ions

des

RAP

IDEVQualité des RAP

La qualité des RAP est inégale. Plusieurs d’entre eux mélangent produits et résultats, par exemple dans le projet de renforcement du système au Ghana. Parfois, les produits et résultats présentés dans les RAP diffèrent de ceux figurant dans le cadre logique du rapport d'évaluation. Dans quelques cas, il est apparu que les auteurs du RAP ont, en l’absence de données, omis un résultat (ou l'ont fondamentalement modifié). La qualité des analyses économiques et financières est souvent médiocre et déficiente sur le plan méthodologique. Aucun RAP sur l'énergie ne traite de la question de l'exploitation et de la maintenance des actifs financés par la Banque. En règle générale, les RAP accordent une attention considérable aux garanties et aux questions administratives ou procédurales, par rapport aux aspects opérationnels, techniques et économiques. Une tendance consiste à traiter chaque RAP comme un exercice mécanique et à copier-coller des passages d'un RAP à l'autre, surtout quand il s’agit du même secteur dans le même pays (voir, par exemple, les sections sur la durabilité financière de cinq des projets routiers du Ghana). Dans ces conditions, les RAP peuvent difficilement remplir leur fonction de sources d'enseignements permettant d'améliorer la qualité des projets de la Banque. L'abandon des études d'assistance technique sans aucune explication est quelque peu troublant. Ainsi, dans le cadre du projet multinational de développement routier Arusha-Athi en Tanzanie/Kenya, il devait y avoir deux études de ce type : l'une sur le renforcement des capacités du Secrétariat de la Communauté d’Afrique de l’Est, l'autre pour améliorer la faible capacité à passer des marchés de génie civil en Afrique de l’Est. Il y avait peut-être de bonnes raisons d’abandonner ces études apparemment importantes, mais le RAP n'en parle pas.

Le fait que le chef d'équipe du RAP autoévalue un projet dont il a également été le responsable ne relève pas des meilleures pratiques. On observe ce

cas de figure à la fois dans le projet de construction d'un terminal provisoire à l'aéroport international Jomo Kenyatta au Kenya et dans le projet de renforcement de la jeunesse et du tourisme au Zimbabwe. Si la majorité des RAP emploie un langage assez simple et direct, quelques-uns sont lacunaires ou utilisent un langage exagéré tel que « immensément », ou « a considérablement contribué » ; pour le reste, il y a relativement peu d'incohérences entre le texte et les notes attribuées. Toutefois, l'auto-évaluation de la performance de la Banque est souvent inadéquate, ce qui pointe la nécessité d'une réunion de validation formelle pour réduire les risques d’écarts entre les notations et veiller à ce que les enseignements soient correctement formulés. Les projets examinés étaient davantage axés sur le respect des procédures que sur la faisabilité technique. Dans ce contexte, une des notations est irréaliste. Dans le projet de production électrique de Morupule B au Botswana, des problèmes techniques majeurs de construction ont conduit à construire une centrale d'un milliard d’USD qui ne fournit que 10 % de la production prévue. De même, dans le cadre du projet de ligne électrique Mombasa-Nairobi au Kenya, la Banque a financé une ligne de transport qui fait largement double emploi en raison de faiblesses dans l'évaluation initiale et la mise en œuvre des projets. Dans les deux cas, le RAP juge le rendement de la Banque très satisfaisant.

Il n'a été clairement établi dans quelle mesure l'emprunteur, les autres parties prenantes et le personnel de la Banque en poste dans les bureaux pays (le cas échéant) devaient contribuer à l'élaboration des RAP. Certaines leçons et recommandations ont dû être réécrites car elles étaient formulées incorrectement sous forme de conclusions ou d'affirmations. Quelques-unes n’étaient d’aucun intérêt pratique.


Certains auteurs de RAP ne donnent pas l’impression de s’être appropriés les projets. L'analyse manque souvent de profondeur, même quand le sujet s’y prête ou le demande. Par exemple, dans le cadre du projet multinational de développement routier (Arusha-Athi) en Tanzanie/Kenya, le vandalisme de la signalisation routière semble concerner surtout la partie tanzanienne du projet, et non la partie kenyane. Le RAP aurait pu recommander d’étudier les raisons de ce phénomène. Parfois, il y a d'importantes omissions lorsque des sous-composantes clés de l'assistance technique ont été délaissées parce que l'accent était mis sur le projet de construction principal, qui était à court de financement. En outre, certains problèmes de sécurité routière n'ont pas été entièrement réglés : c’est le cas de la gravité plus grande des accidents due aux vitesses plus élevées sur les routes améliorées, ou de la nécessité d'améliorer la sécurité des usagers pendant la durée des chantiers.

Sur les 88 RAP examinés (voir tableau 7), 65 ont précisé s’ils avaient ou non été établis dans les délais et, sur ce total, 66 % d'entre eux ont effectivement été rendus dans les temps, c'est-à-dire dans les six mois

suivant la clôture du projet. En ce qui concerne les RAP préparés avant achèvement complet du projet, et bien que les lignes directrices indiquent que les rapports peuvent être préparés à tout moment dès lors que plus de 85 % des engagements cumulatifs ont été décaissés et que, de l'avis du responsable de projet, la majorité des activités ont été achevées, dans au moins un cas, la décision d'établir le rapport a peut-être été prématurée. Le RAP pour le projet de développement de la communauté et de la route et Awoshie-Pokuase au Ghana a été préparé alors que la route était achevée à 92 %. Le problème est qu'il a fallu trouver une solution technique pour répondre aux besoins d’une circulation intense à une intersection difficile. Une route de liaison à deux voies de 1,22 km était en construction à titre provisoire, tandis qu'un échangeur à trois niveaux (coûteux) était envisagé. En outre, les ouvrages auxiliaires en faveur de la population locale n'étaient pas tous achevés. L'échangeur aurait probablement été coûteux et n'était pas prévue dans la conception d’origine. Cette question n'a presque certainement pas été prise en compte dans l'analyse coûts-bénéfices, et certaines questions importantes n'ont pas été résolues.

Tableau 7: Notes de qualité et de conformité des RAP dans les NE-RAP

Critères Note RAP1. Qualité et exhaustivité des données et de l’analyse du RAP pour étayer les notations des différentes sections 2,9

2. Objectivité de la note d’évaluation du RAP 2,8

3. Cohérence interne des notes d’évaluation des RAP : inexactitudes, incohérences (dans les diverses sections ; entre les notes attribuées et le contenu du texte ; cohérence entre la note globale et les notes des différentes composantes)

2,9

4. Identification et évaluation des facteurs clés (internes et exogènes) et effets non prévus (positifs ou négatifs) affectant la conception et la mise en œuvre

2,9

5. Traitement adéquat des sauvegardes, questions fiduciaires, conformité et harmonisation 3,1

6. Fiabilité de la production de données et du processus d’analyse (y compris taux de rendement) étayant l’évaluation du RAP

2,7

7. Adéquation globale des données accessibles (dans les RAP, y compris dans les annexes, et autres données fournies)

2,8

8. Clarté des leçons retenues (et des recommandations), et dans quelle mesure reposent-elles sur l’évaluation du RAP (données et analyse)

3,1

9. Clarté et exhaustivité globale du RAP 3,0

NOTE DE QUALITE DU RAP 2,91. Respect des délais du RAP (dans les délais = 4 ; en retard = 1) 2,9

2. Participation de l’emprunteur, des cofinanciers et des bureaux pays à l’élaboration du RAP 2,6

NOTE DE CONFORMITE DU RAP 3

35Enseignements et recommandations

Une

synt

hèse

des

val

idat

ions

des

RAP

IDEVEnseignements et recommandations

Enseignements tirés de la cohorte des projets examinés

Un enseignement tiré de l’expérience est bon s’il ajoute de la valeur à la façon dont la Banque fonctionne. Certains enseignements confirment que le projet a été conforme aux priorités du pays ou qu'une supervision régulière était importante, mais ces enseignements ne sont pas nouveaux et ils apportent peu de valeur ajoutée. D'autres mettent l'accent sur l'utilité de disposer d'une cellule de coordination de projet (CCP) ou d'une cellule d’exécution du projet (CEP). Ces observations sont exactes, mais il aurait peut-être été plus utile de se demander pourquoi il a fallu parfois tant de temps pour mettre en place une telle entité. Les CCP dédiées devraient également être évaluées par rapport à l'objectif d'évolution vers des systèmes nationaux, qui, comme le montre l’exemple du Rwanda, sont compatibles avec une exécution efficace dans le cadre d'une bonne gouvernance du secteur public. Lorsqu'une CCP n'a pas les capacités nécessaires, comme dans le projet de développement des petites exploitations agricoles de Bom Jesus-Calenga en Angola, il importe d’apporter une attention particulière à la situation : en l’occurrence, la capacité a été surestimée et la supervision « indépendante » dans les premières années a mis en évidence l'importance de la prise en compte des capacités dans la conception globale du projet.

Les leçons et, en fait, les recommandations formulées dans les RAP portent généralement sur des détails propres au projet plutôt que sur des questions stratégiques ou programmatiques. Par exemple, six projets dans le secteur de l'énergie ont connu des faiblesses au niveau de leur préparation, ce qui a entraîné des erreurs substantielles dans l'évaluation des coûts ou dans la conception technique, mais aucune leçon n'en a été tirée concernant la préparation des projets ni la nécessité d'un examen indépendant

des aspects techniques au moment de l’évaluation initiale. Plusieurs projets ont financé des actifs qui ont fonctionné bien en deçà de leurs capacités techniques, mais aucun enseignement n'a été retenu quant à la nécessité pour un secteur d'optimiser un plan à moindre coût pour choisir les projets économiquement les plus rentables. Notons qu'aucune recommandation n'a été formulée non plus concernant la gestion des projets et que seules deux d'entre elles concernent les systèmes de suivi-évaluation. Enfin, aucune leçon ou recommandation n'a été formulée concernant la durabilité financière en lien avec l'exploitation et la maintenance. Il serait bon d’associer les personnels subalternes à la préparation du RAP afin qu'ils puissent tirer des leçons de première main.

Dans l’idéal, les recommandations devraient être accompagnées d’une proposition sur leur suivi. Par exemple, il n'est pas très utile de dire comment renforcer les capacités des ministères, départements et organismes sans préciser comment la Banque ou une autre entité pourrait y contribuer.

Une liste révisée des leçons tirées des NE-RAP est présentée en détail à l'annexe 1.

Recommandations tirées de la synthèse des projets examinés

Recommandations à l’intention de la Direction de la Banque concernant la préparation et la conception des projets :

1. Exactitude des estimations de coûts : Les conséquences d'estimations de coûts inexactes sont importantes et entraînent une restructuration du projet, qui nécessite l'abandon de certains sous-éléments ou une réduction de sa portée, ce


qui signifie que tous les avantages identifiés lors de l'évaluation initiale ne peuvent être obtenus comme prévu. Ces évaluations devraient au moins certifier au conseil d’administration que la conception du projet et les estimations de coûts sont pertinentes et fiables. Une norme de fiabilité devrait être définie et incorporée dans les lignes directrices relatives à l'évaluation ; elle pourrait, par exemple viser à obtenir des estimations de coûts correspondant aux coûts obtenus lors des appels d’offre dans une marge de plus ou moins 15 %.

2. Capacité d'emprunt : La portée du projet devrait être limitée lorsque la capacité est faible et que les ressources pour l’E&M sont insuffisantes. La capacité de l’emprunteur devrait faire l'objet d'une plus grande attention lors de l'évaluation initiale afin de s'assurer qu'elle est à la hauteur du projet proposé. Trop souvent, de l'emprunteur est surestimée, ou les mesures de renforcement suggérées sont insuffisantes par rapport au projet. Dans ces conditions, les projets conçus avec un niveau élevé de participation de la population locale peuvent s’avérer plus efficaces. Certaines activités ne devraient être incluses que s’il y a un budget pour les mener à bien ; si elles sont essentielles, le premier décaissement devrait être subordonné à l’existence des fonds requis.

3. Études de pré-investissement et assistance technique : Pour éviter des études de préinvestissement inutiles, la Banque ne devrait proposer cette assistance que si elle a accordé une priorité aux projets proposés au titre de ses stratégies pays ou dans des circonstances exceptionnelles, par exemple en cas d'urgence. Elle devrait également veiller à ce que la durabilité économique et financière soit soigneusement analysée et à ce que les critères utilisés pour tester les concepts soient clairement définis au moment de la préparation. S'il est naturel de mettre l'accent sur l'investissement principal du projet, il conviendrait d’accorder plus d’importance aux résultats des études d'assistance technique et aux initiatives de renforcement des capacités. Lorsqu'il est

possible de mesurer l'impact du renforcement des capacités, il conviendrait d’utiliser des indicateurs appropriés.

4. Analyse coûts-bénéfices : Les questions relatives à la manière de mener les analyses coûts-bénéfices sont suffisamment sérieuses pour que la Banque souhaite créer un groupe technique chargé de réévaluer l'approche utilisée pour ce type d'analyse, en particulier pour les projets d'électricité, d'eau et d'assainissement. Le groupe ainsi créé devrait être chargé d'examiner les lignes directrices actuelles et de déterminer s'il y a lieu de les mettre à jour afin d'uniformiser la méthodologie et assurer ainsi une meilleure cohérence dans les moyens de mesurer les avantages. La difficulté actuelle de recueillir des données sanitaires, par exemple, est peut-être le signe qu’il faudrait changer d’approche. La Banque peut estimer qu'une approche coût-efficacité (la méthode la moins coûteuse pour atteindre les objectifs) est aussi réaliste et tout aussi probante qu'une analyse coûts-bénéfices complète. Dans aucun des projets d’eau et d’assainissement examinés, le système de S&E n'a réellement identifié les avantages pour la santé résultant de la mise en œuvre du projet dans la zone concernée. Si la Banque veut continuer à prendre en compte les améliorations sanitaires dans l'analyse coûts-bénéfices, il importe que le système de S&E soit soigneusement conçu pour les mesurer. Une lacune générale des RAP dans le secteur des infrastructures est le fait que l'évaluateur ne disposait pas d’informations suffisantes sur les hypothèses formulées ni sur la méthodologie utilisée dans les analyses coûts-bénéfices pour procéder à une évaluation adéquate.

Recommandations à la Direction de la Banque concernant l’appui à la supervision/ mise en œuvre des projets :

1. Qualité des rapports de supervision : Les rapports de supervision ne devraient pas se


Une

synt

hèse

des

val

idat

ions

des

RAP

IDEV

contenter de cocher des cases ; ils devraient aborder tout problème majeur ou toute question stratégique qui pourrait être préoccupante et devrait être référée à la haute direction. Les domaines parfois négligés sont les dispositions prises pour l’E&M, le manque d'expertise technique nécessaire pour tel aspect particulier, ou la mise en œuvre technique des aspects financiers tels que le recouvrement des coûts.

2. Durabilité financière : Les évaluations de la durabilité financière par le RAP devraient comprendre au moins une étude des tarifs moyens facturés à la fin du projet, une analyse indiquant quels tarifs permettraient de couvrir l’exploitation et la maintenance, et, le cas échéant, de récupérer l'investissement. En outre, le RAP devrait examiner d'un œil critique les perspectives d'ajustements tarifaires. Il est également important que les missions de supervision examinent l'adéquation des tarifs et les chances de pouvoir appliquer les tarifs convenus. Il conviendrait d’expliciter les normes de durabilité financière dans le secteur des infrastructures pour que, lors de la préparation des projets, les directives soient clairement comprises par le personnel de la Banque. Lorsque le projet concerne un bien public (comme des écoles, des cliniques ou des systèmes informatiques), il faudrait examiner quelle allocation budgétaire – ou soutien continu des donateurs – prévoir après le projet pour couvrir les coûts récurrents attendus.

Améliorations recommandées pour évaluer les projets (Direction de la Banque en consultation avec IDEV) :

1. Projets restructurés : Les lignes directrices relatives aux RAP devraient préciser que tout RAP doit prendre pour base les produits et les résultats du cadre logique du rapport d'évaluation initial, sauf s’il y a eu révision officielle du projet. Dans ce cas, la note demandant le changement et contenant sa justification doit être jointe au RAP. Cette note doit préciser tout changement attendu dans les produits ou les résultats et toute

révision appropriée des indicateurs et des cibles. Quand un projet a été restructuré, le RAP doit comparer le tableau des coûts initial, avec ses principales composantes, et le tableau des coûts révisé, indiquant la réaffectation des coûts par composante. Le RAP doit également commenter les produits et résultats définitifs en les comparant à ceux attendus dans la conception initiale. Quand certaines sous-composantes, y compris l'assistance technique, sont abandonnées, le RAP doit en indiquer les raisons.

2. Nécessité de mettre davantage l'accent sur la conception et l'état de préparation et sur la mise en œuvre : En 2012, le Département de l'assurance qualité et des résultats a mis en place un format simplifié pour les RAP, car le modèle précédent, avec 32 critères basés sur cinq dimensions, était perçu comme excessivement compliqué. Le modèle révisé comprend 11 critères répartis entre quatre dimensions, comme indiqué ci-dessous.

Le format révisé est certainement plus simple et plus convivial, et il accorde une place particulière aux enseignements à retenir, mais notre examen montre qu’une attention insuffisante est accordée à la qualité

Tableau 8: Critères notés dans les anciens et les nouveaux formats de RAP

Ancien format de RAP Format de RAP réviséDimension # Critère

à noterDimension # Critère

à noterRésultat du projet 3 Pertinence 2

Performance de la Banque (conception et état de préparation)

14 Efficacité 1

Performance de la Banque (mise en œuvre)

6 Efficience 4

Performance de l’emprunteur (conception et état de préparation)

4 Durabilité 4

Performance de l’emprunteur (mise en œuvre)

5

TOTAL 32 11


à l’entrée, du point de vue de la préparation et de la conception des projets, et, dans une moindre mesure, de leur exécution. Dans le nouveau format, quatre dimensions seulement sont notées, mais elles sont impactées par les défaillances dans la performance de la Banque et celle de l’emprunteur. Nous recommandons d’accorder une importance plus grande à la qualité de la préparation des projets (la qualité à l'entrée) dans la performance de la Banque et celle de l’emprunteur, qualité qui doit couvrir spécifiquement la pertinence des conceptions techniques sur lesquelles fonder les décisions, l'exactitude des estimations de coûts, la qualité et le réalisme du cadre de résultats, le respect des engagements et des directives, la qualité des analyses coûts-bénéfices ou autres mesures de rendement, ainsi que les plans pour le recouvrement des coûts d’E&M. Ces aspects sont abordés plus en détail dans un document séparé intitulé « Recommandations pour l'amélioration des processus des RAP et des NE-RAP ».

3. Échelles d'évaluation : la tendance à monter les notes de l'auto-évaluation est probablement renforcée par le fait que l'échelle à quatre points donne à l'auto-évaluateur un choix difficile entre satisfaisant et insatisfaisant. Une échelle en six points permettrait d'obtenir une meilleure gradation de la performance, en ajoutant des notations comme « modérément satisfaisant » et « modérément insatisfaisant » ; elle réduirait probablement le décalage entre les auto-évaluateurs et les évaluateurs d’IDEV. Certes, elle ajouterait un peu de complexité à l’opération, mais les évaluateurs, après avoir examiné la méthodologie utilisée dans les organisations de référence, comme la Banque asiatique de développement, la Banque mondiale et le Fonds international de développement agricole, estiment qu'il faut trouver un bon équilibre entre le niveau de complexité et la justesse (et donc l'utilité) de l'évaluation.

4. Nécessité de réunions de validation du RAP : La manière sommaire dont certains RAP ont été rédigés (parfois, certaines sections ne sont pas du tout notées), et le fait que les questions posées par les évaluateurs sur les opérations

(pour mieux comprendre pourquoi certaines décisions ont été prises) n'ont pas reçu de réponse, laissent penser que le personnel opérationnel ne voit pas vraiment l’intérêt du processus d'évaluation. La situation ne changera que si la direction opérationnelle et la direction de l'évaluation acceptent de consentir un nouvel effort pour relever sensiblement les normes de qualité des projets, en particulier au stade de la préparation. Les deux parties doivent comprendre les avantages qu’il y a à bien évaluer les projets et à appliquer des mesures qui permettent de tenir compte des opportunités d’apprentissage du système et d’y donner suite. Cela ne se produira probablement que si le personnel opérationnel a la possibilité de contribuer à la réalisation d'un tel objectif. La mise en place d’une réunion formelle de validation constituerait une étape vers l'amélioration de la qualité et la réduction de l'écart entre les notes d'auto-évaluation du personnel opérationnel et celles d'IDEV.

5. Suivi et évaluation : Bien que le suivi de l'avancement des produits ait dans l’ensemble été correct (quoique parfois imprécis et intervenant tardivement dans l'exécution), le suivi-évaluation des résultats a été beaucoup plus faible. En règle générale, les systèmes de S&E devraient être mis en place dès le début. Les résultats devraient également être clairement liés au projet, plutôt qu'à de grands objectifs nationaux. Les indicateurs devraient toujours s’appuyer sur des données de référence et être mesurables, ce qui suppose des indicateurs SMART3 et des bases de référence solides. La méthode utilisée pour déterminer le nombre de bénéficiaires des projets doit être revue en interne, et lorsque les services sont payants, la capacité de la population à payer aura une incidence sur le nombre de bénéficiaires réels. Les rapports de supervision devraient suivre les progrès réalisés dans la mise en œuvre des résultats par rapport au dernier cadre de résultats approuvé.

6. Revues à mi-parcours : L'importance de la revue à mi-parcours doit être davantage


Une

synt

hèse

des

val

idat

ions

des

RAP

IDEV

soulignée. Bien que le Rapport d’avancement de la mise en œuvre d’un projet (IPR) soit un moyen de contrôle utile, il fait parfois l'impasse sur des problèmes majeurs qui nécessitent une solution. Il a été constaté que la pratique consistant à prévoir une mission spécialement chargée de faire le point sur l’état d’avancement et sur les difficultés rencontrées au cours de la mise en œuvre améliore la qualité des projets et leurs résultats dans le temps, même dans les cas où tout semble bien se passer.

7. Manque de capacité de la Banque : Le niveau de qualité des RAP et des NE-RAP peut être limité par la capacité de la Banque. Une stratégie plus efficace pourrait consister à élaborer des RAP abrégés pour tous les projets, et, pour certains projets présélectionnés, un RAP augmenté, avec renforcement des visites sur le terrain par la présence d’un membre du personnel d'IDEV. Cette solution, qui n'est pas la pratique dans les organisations comparables, pourrait aider la Banque à faire face aux contraintes de capacité actuelles.

À l'achèvement du projet, certains systèmes ne sont pas encore pleinement opérationnels et, dans certains cas, une nouvelle évaluation est de toute façon nécessaire à un stade ultérieur pour s'assurer que le projet fonctionne comme prévu. Ce contrôle se fait actuellement par le biais de rapports d'évaluation de la performance du projet et de rapports d’évaluation groupés par IDEV.

En ce qui concerne la formulation des leçons à tirer et des recommandations à formuler, il est clair qu'il faut former les responsables de projet.

8. Révision et consolidation des lignes directrices : L'un des résultats de ce processus pourrait être un examen des lignes directrices actuelles régissant les NE-RAP, dans un effort sérieux de simplification et d’élimination des chevauchements dans la méthodologie. IDEV souhaitera peut-être

envisager de regrouper l'ensemble des guides de validation dans un document de référence unique. Le format actuel est davantage un document pouvant servir de base à des travaux de recherche qu’un outil donnant à la direction les informations nécessaires pour pouvoir rectifier les procédures opérationnelles et tirer les leçons des succès et des échecs. Quelques critiques et suggestions constructives se trouvent dans le document séparé intitulé « Recommandations pour l'amélioration des processus des RAP et des NE-RAP.

9. Améliorer la base de données de gestion et d’extraction des documents de la Banque : Le présent examen a été entravé par la rareté des rapports de supervision mis à la disposition de l'équipe, notamment les revues à mi-parcours et les rapports indépendants sur l'état d'avancement de la mise en œuvre (IPR). La plupart des IPR disponibles ont été établis au moment de la rédaction du RAP par l’équipe qui en avait la charge. Autrement dit, l’examen des NE-RAP dépendait trop des RAP eux-mêmes. En outre, de nombreux autres documents demandés n'étaient pas disponibles. Dans la mesure où ce type d'examen est effectué chaque année, il est important qu'un effort concerté soit fait pour rassembler toute la documentation nécessaire avant le cycle suivant. Il est également suggéré que si les NE-RAP sont pré-intégrés dans la base de données EVRD, le cadre des résultats soit basé sur le rapport d'évaluation initial approuvé et non sur le RAP.

10. Les schémas de RAP et de NE-RAP : Les formats des schémas proposés sont trop répétitifs et trop longs. Ils ne sont pas conçus pour attirer au mieux l’attention de la direction et ne sont pas axés sur les questions prioritaires ou sur les mesures à prendre en priorité. Bon nombre de sections font double emploi. Par exemple, l'analyse coûts-bénéfices est un bien meilleur indicateur d'efficience que l'indicateur d'efficience de l'utilisation des ressources. Par leur longueur, les schémas de rapport semblent s’adresser aux chercheurs


plus qu’à des responsables en charge des opérations. Il conviendrait donc d’en réduire le volume et de privilégier les questions qui doivent retenir l'attention de la direction. Il faudrait également envisager une version plus courte pour les petits projets portant sur le renforcement des capacités.

Autres recommandations

1. Noms des prestataires, etc. : Il est recommandé que les consultants, entrepreneurs, auditeurs et spécialistes auxquels il est fait référence dans les RAP ne soient pas nommément mentionnés, pour des raisons juridiques, si le RAP doit être rendu public.

2. Services publics : De nombreux projets d'infrastructure, en particulier les routes et les autoroutes, exigent le déplacement de réseaux de service public, ce qui peut entraîner de sérieux retards. Pour réduire au minimum les retards ainsi provoqués, il conviendrait de prévoir de tels déplacements le plus tôt possible dans la mise en œuvre du projet, ou même avant le lancement du projet.

Commentaires en guise de conclusion

Dans l'ensemble, il est évident que la Banque aide des projets qui correspondent aux priorités de développement des pays et qu'un grand nombre de produits et de résultats sont obtenus, parfois grâce à la persévérance louable du personnel opérationnel. Toutefois, la viabilité/durabilité opérationnelle et financière de certains de ces projets est discutable. De nombreuses faiblesses concernent l'efficience, notamment sous forme de retards, parfois importants, et d’escalades des coûts. Ces problèmes d'efficience sont souvent dus au manque d'attention accordée à la conception du projet, et notamment à des études techniques insuffisamment approfondies au stade de la préparation, à la faiblesse des systèmes d'établissement de rapports et à l'insuffisance de la

supervision « pratique » pendant la mise en œuvre. La durabilité nécessite des rapports plus circonstanciés sur les résultats du renforcement des capacités, des plans à long terme concernant l'exploitation et la maintenance et des informations plus détaillées sur les accords de partenariat.

La durabilité environnementale et sociale est en moyenne jugée satisfaisante à la clôture du projet – bien que l'étendue et la qualité des données fournies dans les RAP à cet égard soient souvent limitées – et les interactions avec les populations locales sont généralement approfondies. La durabilité financière et institutionnelle est plus complexe à évaluer, car elle résulte souvent d'interactions à plus long terme et doit être considérée par rapport aux efforts menés en parallèle par d'autres partenaires de développement. En outre, il importe dans ce domaine de ne pas porter de jugements qui dépendent des résultats potentiels d’une assistance future – proposée ou réelle – de la Banque ou d'autres partenaires au développement, car de telles initiatives peuvent ne pas se concrétiser ou ne pas donner les résultats escomptés. La qualité du suivi-évaluation nécessite beaucoup plus d'attention et une plus grande appropriation par toutes les parties prenantes. C’est un domaine où des améliorations importantes pourraient être apportées.

Du côté des emprunteurs, on observe des difficultés à remplir les conditions pour le premier décaissement, ce qui peut laisser penser que les projets ne sont pas suffisamment bien préparés au moment où ils sont approuvés. Le renforcement des dispositions relatives au contrôle de la qualité à l'entrée devrait être un principe important de la stratégie de la Banque dans l’amélioration de la qualité de la préparation des projets ; il devrait prendre en compte la capacité de l'emprunteur à mettre en œuvre le projet tel que conçu. Si sa capacité est faible, il faut simplifier en conséquence la conception et la portée du projet.

Les RAP sont de qualité variable, certains étant établis de façon mécanique et sans grande connaissance du contexte général. Certes, des pressions s’exercent pour que chaque RAP soit terminé dans les six


Une

synt

hèse

des

val

idat

ions

des

RAP

IDEV

mois qui suivent l'achèvement du projet, délai qui n’est d’ailleurs pas toujours respecté. Cependant, l'accent mis sur l'achèvement des rapports peut se faire au détriment d'une bonne exploitation

des possibilités d'apprentissage. Pour améliorer la qualité des rapports, il conviendrait peut-être de leur allouer davantage de ressources ou d'utiliser plus efficacement les ressources existantes.

Annexes


Annexe 1 — Principaux enseignements génériques issus des NE-RAP examinés

Il s'agit ici d'un résumé des principales leçons générales tirées de la cohorte des 88 projets examinés dans le présent rapport. Certaines leçons et recommandations ont été éliminées parce qu'elles sont répétées dans différents projets ou parce qu'elles sont propres à un projet particulier et ne sont pas reproductibles. Certaines ont été omises parce qu'elles sont si évidentes qu'elles n'ont qu'une valeur limitée (par exemple, les objectifs du projet sont conformes à la stratégie pays). Toutes les conclusions et recommandations relatives aux différents projets sont accessibles dans la base de données EVRD d’IDEV.

Préparation et conception du projet

❙ La conception et la portée du projet doivent tenir compte des capacités institutionnelles locales.

❙ La conception du projet ne doit pas être modifiée après approbation par le conseil d'administration si de telles modifications risquent de compromettre la viabilité du projet.

❙ La détermination des coûts du projet doit être plus précise et tenir compte du délai probable avant le premier décaissement.

❙ Lorsqu'un projet porte sur une extension d’un réseau routier, la sélection des tronçons à améliorer doit répondre à une méthodologie claire.

❙ Les questions transversales telles que l'alimentation en eau et l'amélioration de l'accès aux services sociaux doivent faire partie intégrante de la planification des projets au stade de leur préparation.

❙ Les grands contrats routiers peuvent être subdivisés en lots de taille optimale pour attirer les entreprises locales.

❙ Les projets multinationaux et régionaux sont généralement complexes et nécessitent plus de temps de préparation. La structure de mise en œuvre doit tenir compte des limites budgétaires et en ressources humaines des pays participants.

❙ Le déplacement éventuel de services collectifs et de réseaux doit être planifié dès le début de la mise en œuvre afin de réduire au minimum les retards.

❙ Les sous-composantes d’un projet ne doivent pas être planifiées si aucun budget n’est prévu pour leur exploitation et leur maintenance.

Efficacité et efficience

❙ S’il se pose un problème contractuel, la solution optimale ne consiste pas nécessairement à mettre fin au contrat.

45Annexes

Une

synt

hèse

des

val

idat

ions

des

RAP

IDEV

❙ Le choix de l'entreprise doit reposer sur une vérification approfondie de son expérience dans le cadre de projets comparables.

❙ En cas de problèmes persistants de mise en œuvre, il est recommandé de procéder à une revue à mi-parcours anticipée.

❙ Les revues à mi-parcours doivent être la norme plutôt que l'exception.

❙ Les droits de passage pour les travaux prévus doivent être intégralement acquis avant l’attribution du marché des travaux. Pour régler cet aspect, il peut s’avérer nécessaire de créer des tribunaux spéciaux pour traiter rapidement la question de l’acquisition de terres.

❙ Il doit y avoir coordination entre l’agent de vulgarisation et le responsable de l'irrigation pour assurer une utilisation optimale des installations d'irrigation.

❙ L'engagement de différents entrepreneurs pour le forage de puits et l'installation de pompes solaires provoque parfois des déficits d'informations qui peuvent compromettre la disponibilité en l'eau pour l'irrigation.

❙ Les retards dans le paiement des fonds de contrepartie pouvant entraîner une augmentation des coûts, tout problème sur ce plan doit être réglé au plus vite.

❙ Pour résoudre les différends dans le cadre de contrats importants, il peut être envisagé de créer une commission de règlement des différends. Toutefois, la Banque devra aider l'emprunteur dans la prise en charge des frais qui en découlent.

Renforcement des capacités et questions institutionnelles

❙ Le renforcement des capacités est un processus continu qui nécessite un suivi après achèvement du projet.

❙ Une approche participative du renforcement des capacités est particulièrement efficace.

❙ Dans la mesure du possible, le renforcement des capacités doit être mesurable.

❙ Une cellule de gestion de projet (CGP) dédiée peut faciliter la mise en œuvre des projets et réduire les délais de passation des marchés et de décaissement ; un bureau local de la Banque peut apporter sa contribution à ces efforts.

❙ La formation de la CGP doit aborder, le cas échéant, les questions sociales et environnementales.

❙ La planification de la relève doit faire partie de la stratégie opérationnelle.

❙ Les enquêtes rétrospectives, utilisées pour le suivi-évaluation des activités de formation, peuvent conduire à procéder à des réajustements en temps réel, en cours de mise en œuvre.


Suivi-évaluation

❙ Les indicateurs de résultats du renforcement des capacités doivent se concentrer sur ce qui est mesurable et réalisable dans le cadre du projet plutôt que sur les résultats budgétaires à un macro-niveau, qui dépendent de choix politiques et économiques (Leçon de l'évaluateur).

❙ Il est important de s'assurer que le cadre de suivi-évaluation est correctement mis en œuvre et permet une évaluation adéquate de l'objectif de développement (Leçon de l'évaluateur).

❙ Le cadre des résultats doit reposer sur des indicateurs mesurables et des données de référence.

❙ Les données sur les produits et les résultats doivent être ventilées par sexe pour mesurer l'équité entre les hommes et les femmes.

Durabilité

❙ Les meilleures pratiques régionales semblent montrer qu’il est préférable de déléguer les systèmes d'approvisionnement en eau à des prestataires de services indépendants.

❙ Des accords intercommunaux peuvent permettre la mutualisation des ressources et le partage des compétences.

❙ Les partenariats public-privé doivent, s’il y a lieu, être encouragés.

❙ Des réunions fréquentes avec les parties prenantes pendant la mise en œuvre peuvent améliorer les résultats et la satisfaction générale de la collectivité.

❙ L'amélioration de l'état des routes entraîne une augmentation de la vitesse des véhicules et une plus grande gravité des accidents, ce qui oblige à prendre des mesures de sécurité supplémentaires. Pour les routes à forte circulation, il est recommandé de procéder à des audits de sécurité routière.

❙ Pour prévenir les dommages causés aux routes par la surcharge des véhicules lourds, il conviendrait d’harmoniser la réglementation et de l’appliquer si possible à l'échelle régionale.

❙ La sécurité des aéroports et la préparation aux situations d'urgence peuvent être améliorées en s'assurant que des systèmes modernes de détection incendie et d'urgence sont installés et entretenus.

❙ La construction de lignes de transport d'électricité ne devrait être lancée qu’à partir du moment où les plans de capacité de production future ont été irréversiblement engagés (Leçon de l'évaluateur).

❙ Les études environnementales doivent prendre en compte les impacts potentiels du changement climatique.

❙ Dans les zones où du mobilier routier a été vandalisé, la mise en place d’un système de récompense en espèces peut permettre d'appréhender les coupables et encourager la communauté locale à s'investir davantage.

47Annexes

Une

synt

hèse

des

val

idat

ions

des

RAP

IDEV

❙ La réserve routière doit être protégée contre tout empiètement afin de servir de zone de circulation pendant les opérations de maintenance majeures, permettre l'expansion future de la chaussée et servir de refuge pour les véhicules en panne.

❙ Les partenaires au développement d'un pays doivent partager leur expérience afin que tous puissent tirer les leçons des meilleures pratiques.

❙ À mesure que les réseaux routiers s’étendent, il importe de prendre des mesures spéciales pour générer des recettes capables de couvrir les coûts d'entretien.

❙ Les pouvoirs publics doivent prendre des mesures pour assurer une communication bonne et efficace avec les populations vivant à proximité des barrages, afin qu’elles soient adéquatement averties lorsque des crues exceptionnelles obligent à libérer le trop-plein.

❙ Les grands projets d'infrastructure routière associés à des sous-éléments concernant l'infrastructure socioéconomique locale (meilleure alimentation en eau, création de salles de classe et d'installations sanitaires) ont fait la preuve de leur popularité et ont favorisé leur appropriation par la population locale. Cependant, si le projet principal est insuffisamment financé, ces sous-composantes annexes risquent d’être sacrifiées.


Annexe 2 — Commentaires spécifiques à certains secteurs

Les commentaires sont regroupés ici par secteurs les plus importants :

Agriculture

Une douzaine de projets ont été examinés. Tous, sauf un, ont été jugés substantiellement ou hautement pertinents du point de vue de leurs objectifs comme de leur conception, mais, sur les autres plans, les notes ont été variables. En général, la conception du projet était assez simple, n'impliquant que deux composantes, à quoi s’ajoutait la gestion du projet dans la plupart des cas. Dans plusieurs cas, toutefois, les résultats fixés étaient trop ambitieux et difficiles à mesurer. Une seule opération, le projet de réhabilitation du secteur agricole au Libéria, semble avoir clairement échoué. Aucun des projets n'a été jugé globalement très satisfaisant, mais cinq d'entre eux ont toutefois connu un succès raisonnable : le projet d'appui régional du GCIAR à la recherche agricole pour le développement de cultures stratégiques en Afrique (SARD-SC), le projet d'adaptation climatique pour l'agriculture et les moyens de subsistance ruraux (CARLA) au Malawi, le projet de développement de la petite horticulture au Kenya, le projet de réhabilitation des infrastructures pour la sécurité alimentaire à Sao Tome-et-Principe et le projet multinational d'appui à l'infrastructure rurale dans la région naturelle du Bugesara au Burundi.

La caractéristique la plus remarquable de la cohorte de projets est que la quasi-totalité d'entre eux ont souffert de retards dans la mise en œuvre et ont nécessité une ou plusieurs prolongations de la date de clôture initialement prévue, qui s'est révélée trop optimiste et a retardé le flux des coûts et des avantages. Souvent, les coûts d'infrastructure ont été sous-estimés lors de l'évaluation initiale, et la portée de l'infrastructure a dû être réduite en cours de mise en œuvre. Plus généralement, l’optimisme quant à l'état de préparation, notamment technique, et à la capacité institutionnelle, a été excessif. En conséquence, les notes d'efficience sont généralement parmi les plus faibles, principalement en raison de notes faibles pour le « respect des délais », même si d'autres facteurs méritaient parfois aussi des notes moins que pleinement satisfaisantes ; dans plusieurs cas, le RAP n'a pas pu entreprendre d’analyse coûts-bénéfices ex post faute de données. Cette situation reflète les insuffisances des mécanismes de suivi -évaluation des projets, y compris, parfois, l'absence ou l'insuffisance de données de référence. Une difficulté supplémentaire concerne les projets bénéficiant d'un cofinancement substantiel. Dans deux cas (Tchad et Libéria), les principaux cofinanciers se sont retirés en cours de mise en œuvre, ce qui a réduit les ressources disponibles pour atteindre les résultats.

Les RAP ont également tendance à être plus positifs concernant l'efficacité des projets, même quand ceux-ci n'ont pas donné tous les produits et résultats prévus. De plus, dans certains cas, ces indicateurs ne mesuraient pas complètement les objectifs de développement tels qu'ils étaient énoncés dans les rapports d'évaluation initiaux, ce qui révèle une autre insuffisance de la qualité à l'entrée. Les indicateurs de résultats étaient souvent trop ambitieux et, dans certains cas, l'attribution des résultats n'était pas claire, surtout en l’absence de données de référence au moment de l'évaluation initiale et de moyens clairs de collecte des données. Lorsque les projets ont été restructurés, les cadres de résultats n'ont pas toujours été modifiés en conséquence. Une observation générale est que les projets qui prévoyaient dans leur conception un niveau élevé de participation de la population locale – projets

49Annexes

Une

synt

hèse

des

val

idat

ions

des

RAP

IDEV

portant sur la réhabilitation d’infrastructures à petite échelle, ou l'amélioration de la productivité ou de la commercialisation – ont eu tendance à mieux fonctionner que les approches imposées d’en haut.

La durabilité probable des avantages des projets varie également, principalement en raison d'insuffisances et/ou d'incertitudes importantes concernant les dispositions financières et institutionnelles futures. Néanmoins, plusieurs projets ont servi de base à des activités de suivi de la BAD ou d'autres partenaires au développement, augmentant ainsi les chances de durabilité. Une observation est que dans les pays fragiles ou sortant d'un conflit, la conception de projets simples qui tiennent compte des réalités locales a plus de chances d'aboutir. Le projet de développement de petites exploitations agricoles de Bom Jesus-Calenga en Angola, approuvé en 2005 après 15 ans de conflit, répondait à une conception traditionnelle avec une composante infrastructurelle lourde que l'emprunteur n’était pas en mesure de mettre en œuvre. Bien que l'infrastructure ait également été réduite dans le cadre du projet d'appui à l'infrastructure rurale au Burundi, sa conception a été beaucoup plus souple et les résultats ont été meilleurs.

La ponctualité et la qualité des RAP est généralement bonne, avec des exceptions toutefois. Dans un cas, par exemple, le RAP n'a été achevé que deux ans après la clôture du dernier prêt du projet (il y en a eu plusieurs, car il s'agissait d'un projet multi pays) et dans deux autres, le RAP a été finalisé respectivement neuf mois et près d’un an après la clôture du dernier prêt. La plupart des RAP, cependant, étaient relativement complets, bien que, souvent, les notes aient semblé plus positives que le texte qui les accompagnait.

Il convient également de mentionner un problème générique lié aux RAP. Si un certain nombre de rapports examinés dans le cadre de cet exercice fournissent et comparent les taux de rendement économique (TRE) estimés lors de l'évaluation initiale et ex-post, ils ne donnent aucune information sur la façon dont ces TRE ont été déterminés. Il est donc impossible pour un évaluateur externe de connaître la nature des hypothèses de base et la qualité des données relatives aux coûts et aux avantages utilisés pour l'évaluation ex post. Une bonne pratique consisterait à fournir ces informations de manière assez détaillée dans une annexe au RAP.

La performance des emprunteurs et celle de la Banque sont variables. Parfois, la performance de l’emprunteur est médiocre, en partie parce que sa capacité a été surestimée au moment de l’évaluation initiale. En outre, la performance de la mise en œuvre est très fortement dépendante de la proactivité du personnel de la BAD, notamment quand il faut résoudre des problèmes de passation de marchés et de capacité de mise en œuvre. Une approche souple et concrète du personnel de la Banque et la présence d'un bureau local de la BAD doté d'un personnel qualifié facilitent également la mise en œuvre. Lorsque les procédures de passation des marchés étaient adaptées aux réalités locales, par exemple dans le cas des projets au Burundi et à Sao Tome-et-Principe, la mise en œuvre s'est généralement faite plus facilement. En ce qui concerne l'emprunteur, la mise en œuvre des projets en Angola et au Tchad (de grands pays avec d’importantes contraintes au niveau des infrastructures) auraient bénéficié d'une approche plus décentralisée.


Énergie/Électricité

Onze projets ont été examinés, dont deux ont été jugés très satisfaisants par les NE-RAP, cinq satisfaisants et quatre insatisfaisants. Si la performance de la Banque durant l'exécution des projets a été jugée raisonnablement efficace, ce fut beaucoup moins le cas pour les phases de préparation et d'évaluation initiale, qui, souvent, se sont révélées inadéquates, manquant de rigueur et de profondeur technique. Un point essentiel qui ressort de cette analyse des NE-RAP est la nécessité de renforcer l'appui et le suivi de la Banque sur les aspects liés aux choix techniques ainsi qu'à l'efficacité opérationnelle et à la durabilité. Il y avait relativement peu d'informations sur l'état des études préparatoires, les aspects techniques, économiques, financiers et opérationnels et, dans une certaine mesure, sur la durabilité des projets. Une autre observation est la très grande incertitude concernant les estimations des coûts des projets, qui, dans un certain nombre de cas, étaient très éloignées de la réalité. Ce constat pointe la nécessité d'améliorer la qualité du travail de préparation et son évaluation par les experts de la Banque.

D'une manière générale, les RAP étaient parfois plus détaillés et précis que les rapports d'évaluation initiaux. Il est également à noter que les rapports de supervision ont rarement anticipé ou souligné les problèmes de mise en œuvre technique, les questions financières et les dispositions d'E&M, se concentrant davantage sur les questions administratives et les garanties. Un exemple typique est celui du projet de production électrique de Morupule B au Botswana : plusieurs rapports de supervision ont insisté sur les questions de sécurité au travail, mais n'ont pas détecté les grands problèmes techniques liés à la construction, qui ont fait qu’une centrale d'un milliard d’USD ne fournit que 10 % de la capacité attendue. En général, les RAP et les rapports sur l'évaluation initiale étaient très faibles sur les aspects économiques et financiers, présentant quelques paragraphes convenus et utilisant une méthodologie défectueuse pour tous les projets énergétiques, sauf un, ce qui suggère un manque de compétence en économie et en finances de la part de certains membres du personnel, mais aussi un manque d'attention de la direction sur les aspects économiques et financiers des projets énergétiques.

Pertinence des objectifs et de la conception du projet

Un certain nombre d’auteurs de RAP ont eu du mal à comprendre exactement et concrètement ce que l'on entendait par pertinence des objectifs et pertinence de la conception des projets. Un langage moins abstrait aiderait les auteurs à répondre adéquatement à la question. Dans de nombreux cas, les rapports montrent qu’ils n’ont pas compris clairement ce que l’on attendait d’eux.

Efficacité (produits, résultats et efficacité globale)

Dans certains RAP et cadres logiques des rapports d'évaluation, les auteurs ont eu du mal à faire la différence entre les résultats et les objectifs. Les résultats ont tendance à être trop généraux. Dans ce cas, ou s’ils n’ont qu’un vague rapport avec le projet, il n'est pas possible de conclure si le projet a atteint le résultat indiqué. Par exemple, dans le cadre du projet d'amélioration du réseau de transport d'électricité au Kenya, l'un des résultats revendiqués pour la construction de la ligne de transport est le nombre total de nouveaux raccordements à l'échelle nationale et une augmentation du taux d'accès au niveau national, alors que ces résultats ne dépendent évidemment pas du projet lui-même mais de nombreux autres facteurs. De même, dans le cadre du projet d'amélioration du réseau de transport d'électricité en Éthiopie, l'un des résultats affichés a été « un taux de croissance soutenu du PIB réel de l'Éthiopie à un minimum de 11 % à moyen terme » ; un autre, très vague, annonce que « le fardeau

51Annexes

Une

synt

hèse

des

val

idat

ions

des

RAP

IDEV

incombant aux femmes a diminué ». Les liens entre ces résultats et la construction d'une ligne de transport d’électricité sont très ténus. De plus, il n'a pas été possible de conclure si les résultats avaient été atteints ou non, ni s’ils étaient liés au projet. Dans un certain nombre de cas, il a été difficile de faire la distinction entre les résultats et les produits. Par exemple, dans les projets de raccordement de 60 000 ménages, le résultat a été : « 60 000 ménages ont accès à l'électricité » et le produit : 60 000 raccordements ont été réalisés ». La distinction devient purement sémantique. Cet examen des projets énergétiques laisse penser qu’il faudrait donner des lignes directrices plus claires aux rédacteurs des rapports d'évaluation et des RAP.

Efficience (respect des délais, efficience de l’utilisation des ressources, analyse coûts-bénéfices, avancement dans la mise en œuvre)

La catégorie efficience comprend l'analyse économique du projet. Il a été observé que cette analyse a été, dans tous les cas, traitée de manière très sommaire. Par exemple, dans le projet d'amélioration du réseau de transport d'électricité au Kenya, d'un montant de 90 millions d’USD, les analyses économiques et financières sont traitées en quatre paragraphes de moins d'une page au total. Dans le RAP, l'évaluation économique ne donne aucun détail sur la méthodologie ni sur les modes de calcul. Les analyses économiques présentées dans les rapports d'évaluation et les RAP ne suivent généralement pas la méthodologie habituelle de l'analyse coûts-bénéfices et révèlent donc de nombreuses faiblesses, notamment une confusion entre la volonté de payer et les tarifs d'électricité.

Durabilité (financière, institutionnelle et renforcement des capacités, appropriation et durabilité des partenariats, durabilité environnementale et sociale)

Les analyses financières sont en général superficielles, tant dans les rapports d'évaluation que dans les RAP. Presque aucun projet de production d'électricité n'offre de conclusions claires quant à la durabilité financière de la compagnie mère ou du projet, ni ne comporte de projections financières. En général, la durabilité financière n’apparaît pas comme étant un aspect important de la durabilité des projets. Notons qu'aucune question dans le RAP ou les rapports d'évaluation ne traite directement de l'exploitation et de la maintenance (E&M) des actifs financés par le projet, alors que ces deux points sont d'une importance capitale pour les projets d'électricité et qu'il s'agit de domaines où la plupart des services publics ont connu de mauvais résultats dans le passé.

Performance de la Banque

D'une manière générale, les RAP jugent la performance de la Banque systématiquement satisfaisante ou plus, même lorsque le projet a rencontré d'importants problèmes de mise en œuvre, ce qui fut le cas pour le projet de production électrique de Morupule B au Botswana, où les missions de supervision de la Banque n'ont pas su identifier le problème de la qualité de la construction, ou pour le projet de ligne électrique Mombasa-Nairobi au Kenya, où, bien que la Banque ait financé une ligne largement superflue en raison de lacunes dans l'évaluation initiale et la mise en œuvre, la performance de la Banque a été jugée très satisfaisante par le RAP. La tendance à évaluer trop favorablement la performance de la Banque conduit à une utilisation insuffisante des leçons à retenir ou des recommandations formulées.


Performance de l'emprunteur

La performance de l'emprunteur dans les RAP a été généralement neutre et jugée satisfaisante, même quand elle était manifestement médiocre, par exemple dans le cas du projet de production électrique de Morupule B au Botswana (aucune décision n’a été prise quand des défauts techniques majeurs ont été constatés) ou le projet de ligne électrique Mombasa-Nairobi au Kenya (lorsque le changement imprévu des politiques gouvernementales a rendu largement superflue la ligne financée par la Banque).

Performance globale du projet

L'évaluation globale de la performance des projets énergétiques ne donnent lieu à aucune différenciation. Tous les projets ont été jugés satisfaisants, alors que deux d'entre eux au moins (comme indiqué au paragraphe précédent) n'ont pas donné de bons résultats. L'utilisation complète de la fourchette d'évaluation aurait permis de mieux cerner les pratiques exemplaires et les projets dont on pourrait tirer des leçons.

Qualité des RAP

La qualité des RAP sur les projets énergétiques est inégale. Plusieurs RAP ont confondu les produits et les résultats (p. ex. le projet de renforcement du système électrique au Ghana). La qualité des analyses économiques et financières était médiocre dans la quasi-totalité des cas et déficiente sur le plan méthodologique, ce qui met en évidence un problème de qualité des analyses économiques et financières effectuées à la Banque. Aucun des RAP n’aborde la question de l’E&M des actifs financés par la Banque, alors qu’elle figure dans la section « durabilité » du schéma de RAP.

En général, les RAP du secteur de l'énergie ont consacré beaucoup d'attention aux questions de garanties et aux questions administratives/procédurales, au détriment des questions opérationnelles, techniques et économiques. En conséquence, ils ont tendance à devenir un instrument mécanique et administratif plutôt qu'une source d'enseignements – positifs et négatifs – capables d’améliorer la qualité des projets de la Banque dans ce secteur.

Qualité du suivi-évaluation

Peu d'attention a été accordée à la conception du système de S&E et à l'évaluation approfondie de son fonctionnement dans les projets énergétiques, sauf dans un cas. La documentation et les informations disponibles sur le projet n'encouragent pas une évaluation détaillée des systèmes de S&E.

Enseignements et recommandations

Les leçons et les recommandations des RAP sur l'énergie portent généralement sur des détails plutôt que sur des questions stratégiques. En raison de la position peu critique adoptée concernant la performance de la Banque et des emprunteurs, peu d'enseignements substantiels sont tirés. Par exemple, six projets dans ce secteur ont présenté, au niveau de la préparation, des faiblesses qui ont entraîné des erreurs

53Annexes

Une

synt

hèse

des

val

idat

ions

des

RAP

IDEV

importantes dans l'évaluation des coûts ou dans la conception technique, mais aucune leçon n'a été tirée concernant la préparation des projets, la nécessité d'un examen indépendant des questions techniques ou d’une évaluation de la préparation. Plusieurs projets ont financé des actifs qui ont été utilisés bien en deçà de leurs capacités techniques, mais aucune leçon n'en a été tirée concernant la nécessité d’établir un plan sectoriel optimisé pour la sélection des projets les plus économiques. Il convient de noter qu’aucune recommandation ne porte sur la gestion des projets ou sur les systèmes de S&E. De même, aucune leçon ou recommandation n’a été tirée concernant la durabilité des projets ni leur E&M.

Transport

Sur les 14 NE-RAP relatifs au transport, trois ont été jugés insatisfaisants par les évaluateurs, un très satisfaisant et les 10 autres, satisfaisants ; autrement dit, 78,5 % ont été jugés satisfaisants ou plus. Les RAP ont tendance à surévaluer les appréciations, en ce sens qu'aucun projet n'a été jugé insatisfaisant, quatre ont été jugés très satisfaisants et neuf satisfaisants. Globalement, les RAP ont conclu que les 14 rapports étaient satisfaisants ou plus. Sur les deux projets jugés insatisfaisants par les évaluateurs, le projet de mobilité et d'accès rural au Nigeria a connu des dépassements de temps et de coûts importants et un TRE de seulement 4 %, soit bien en dessous du coût d'opportunité du capital au Nigeria, tandis que le projet d'infrastructure routière, le contournement de Nsawem, au Ghana, n’offrait pas d’éléments suffisants pour évaluer les critères de pertinence et d'efficacité. Un retard de trois ans au démarrage, des dépassements de coûts et des problèmes de paiement liés au financement de contrepartie expliquent cette mauvaise appréciation.

Dans l'ensemble, les projets du secteur des transports reposaient essentiellement sur des priorités claires et bien argumentées et revêtaient une importance stratégique évidente. Les trois routes multinationales du portefeuille ont été achevées dans de bonnes conditions malgré les complications liées à l'existence de plusieurs agences de mise en œuvre et à différentes exigences gouvernementales. Toutefois, lorsque des postes-frontières à guichet unique ont été ajoutés, ces nouvelles infrastructures ont donné lieu à très peu d’informations détaillées. D'autres avaient une importance sous-régionale, mais apportaient aussi des avantages en améliorant les communications avec un État voisin.

Sur le plan de l’efficacité, tous les projets de transport ont été jugés satisfaisants ou plus. Les projets routiers qui comprenaient en outre des infrastructures socioéconomiques – amélioration ou création d'écoles, de dispensaires ou de marchés, alimentation en eau et routes secondaires – ont eu un impact plus important, ont été mieux appréciés et appropriés par les populations locales, mais ils étaient évidemment plus complexes à gérer. On en trouve de bons exemples dans le projet de route Fufulso-Sawla au Ghana et le projet de route Awoshie-Pokuase et de développement communautaire au Ghana. Bien qu'en grande partie couronnés de succès, ces projets auraient pu lancer les travaux complémentaires plus tôt ; quand le financement a été insuffisant pour dépassements de coûts, les réductions ont généralement touché les infrastructures complémentaires plutôt que le projet principal.

D’une façon générale, les projets de routes et d'autoroutes examinés ont souvent été approuvés sans examen des coûts de conception, ce qui a entraîné des modifications des cahiers des charges après approbation par le conseil d’administration, avec les répercussions qui s’ensuivent sur les coûts et sur l’efficience. Dans un cas, les changements ont amélioré la conception (projet de bitumage de la route au Tchad) mais, dans la plupart des autres cas, les projets n’étaient plus viables (par exemple, projet d’accès


rural et de mobilité au Nigeria). Apparemment, il est possible d'apporter d'importantes modifications aux spécifications et aux coûts des projets sans qu'il soit nécessaire de procéder à une nouvelle évaluation ou d'obtenir l'approbation du conseil d'administration. Pour certains projets où cela s'est produit, le taux de rendement ex post n'a pas été satisfaisant. Pour d'autres, comme le projet de voie express Nairobi-Thika au Kenya, qui était essentiellement de nature urbaine, il n'y a pas eu suffisamment de discussions en amont avec les différentes parties prenantes sur les exigences de conception, ce qui a entraîné de nombreux changements et ajouts qui ont augmenté les coûts.

Lorsqu'il y a un déficit dans le budget de l'entretien routier, il est important de le quantifier. La plupart des pays africains sont en retard dans leurs programmes de maintenance des routes. Heureusement, la plupart des routes financées par la BAD étant de grandes voies interurbaines, celles-ci ont une priorité élevée en termes de budgets de maintenance, mais dans plusieurs cas, les redevances payées par les usagers ne couvrent pas les montants nécessaires pour assurer l’entretien.

Dans la plupart des cas, des pratiques appropriées de sauvegarde environnementale et sociale ont été suivies. Les problèmes typiques concernent les retards dans le déplacement des réseaux et services publics et dans la mobilisation des indemnités pour les personnes touchées par l’emprise du projet. Toutefois, le traitement de la sécurité routière nécessite une attention supplémentaire. L'amélioration des routes peut réduire le nombre d'accidents, mais elle peut aussi accroître la gravité des accidents et le nombre de tués en raison de la vitesse plus élevée. Quelques projets ont tenté de mesurer les changements avant et après, mais ce calcul est souvent difficile en raison de l'absence de données fiables sur l’accidentologie. Il est également clair qu'il n'y a pas de politique dans ce domaine. Certaines collectivités locales ont ralenti la circulation en introduisant des dispositifs (souvent informels) de limitation de la vitesse, tels que des dos d'âne et des casse-vitesse. Dans le cas de la route Nairobi-Thika au Kenya, conçue comme une voie rapide, les objectifs de temps de parcours n'ont pas été atteints parce que le trafic lent et non motorisé n'a pas été séparé comme prévu. Une plus grande attention pourrait être accordée, au stade de la conception, aux meilleures pratiques de sécurité et aux audits de sécurité.

Eau et assainissement

C’est le secteur qui compte le plus grand nombre de projets examinés, soit 20 au total. Certains portaient toutefois sur l’assistance technique ou concernaient uniquement l’alimentation en eau mais la plupart combinaient l'eau et l'assainissement dans un projet.

Politiques sectorielles de la BAD pour le secteur de l’eau-assainissement

À travers l'Initiative pour l'approvisionnement en eau et l'assainissement en milieu rural et la Facilité africaine de l'eau, la BAD est appelée à jouer un rôle de premier plan dans le secteur de l'eau et de l'assainissement (E&A). En ce sens, la Banque est stratégiquement bien placée pour contribuer à l'amélioration des politiques et des pratiques, car elle peut, de façon plus systématique, tirer parti des leçons de son vaste portefeuille opérationnel. Les principes qui sous-tendent les opérations d’E&A de la Banque sont généralement conformes aux bonnes pratiques acceptées, telles qu’elles découlent de l'expérience régionale, notamment en ce qui concerne la participation de la population, le plaidoyer et la sensibilisation à l'hygiène, ainsi que l’attention particulière accordée aux questions de genre et aux services aux personnes vulnérables. Toutefois, les aspects liés aux arrangements institutionnels et aux

55Annexes

Une

synt

hèse

des

val

idat

ions

des

RAP

IDEV

besoins connexes de réforme, ainsi qu'à la durabilité financière et opérationnelle, bénéficieraient d'une position politique plus claire et d'une approche plus approfondie au moment de l'identification, de la préparation et de l'évaluation des projets.

Les faiblesses récurrentes identifiées dans les NE-RAP concernent principalement la phase de préparation/évaluation du cycle du projet et portent avant tout sur :

❙ L'absence d'examen critique de la faisabilité technique compte tenu du contexte local et des aspects liés à la durabilité financière et opérationnelle des projets. Ceux-ci sont souvent approuvés sur la base d’éléments inadéquats ou insuffisants au niveau de la conception.

❙ Le fait que les résultats et le nombre de bénéficiaires sont généralement définis sur la base d'objectifs globaux et de normes préétablies d’utilisation et de consommation qui ne sont pas directement liés aux contextes spécifiques ni aux projections de ventes d’eau après réalisation du projet.

❙ La faible utilisation de l'analyse coûts-bénéfices, en particulier en ce qui concerne les améliorations de l’état sanitaire, et le fait que les détails fournis dans les RAP sont insuffisants pour permettre une évaluation.

Il importe de revoir la question de l'analyse coûts-bénéfices en termes d'analyse de la durabilité financière. L'analyse économique coûts-bénéfices tient compte des avantages sociaux, par exemple en termes de santé, de gain de temps, etc. qui, bien que réels, ne se traduisent pas en recettes pour l'exploitant du réseau d'eau. Il est donc nécessaire de se concentrer sur l'analyse financière afin de veiller à ce que les recettes soient au moins suffisantes pour couvrir les dépenses d’E&M. En règle générale, l'analyse économique fait apparaître un rendement plus élevé que l'analyse financière, de sorte que si la durabilité financière est assurée, la valeur économique l’est aussi. Dans un contexte de fortes contraintes budgétaires et de faibles recettes fiscales, les systèmes de subventions pour l'E&M ne peuvent pas être la solution. Les subventions doivent être réservées aux dépenses d'investissement et au soutien technique aux réseaux des petites villes et des zones rurales ; les réseaux urbains devraient évoluer vers un recouvrement intégral des coûts, éventuellement avec péréquation entre catégories de clients.

Une lacune est le fait qu'au moment de l’établissement du RAP, on ne dispose généralement pas d'informations sur le fonctionnement ou l'utilisation des services fournis par les systèmes d'alimentation en place dans le cadre des projets, ce qui limite les possibilités d’en tirer des enseignements.

Un autre point concerne la nécessité d'évaluer la demande pour les services d'eau dès la phase de conception des projets. Ceux-ci sont généralement conçus et analysés du côté de l'offre en supposant des niveaux préétablis de besoins quotidiens en eau et en supposant que tous les ménages de la zone desservie accéderont aux services. Or, dans plusieurs projets examinés, l'ensemble de la population de la zone a été considérée comme bénéficiaire, indépendamment de savoir s’ils avaient ou non les moyens de payer l'eau. Où qu’ils se trouvent, les habitants ont déjà un accès à l'eau, d’une façon ou d’une autre ; ils n’utiliseront donc les nouveaux services que s’ils le veulent ou peuvent se le permettre. C'est pourquoi la question des tarifs doit être intégrée dans le système dès le stade de la conception. Cela semble évident, mais c'est loin d'être la pratique, comme l'illustre le projet de préinvestissement dans le domaine de l'eau et de l'assainissement pour les villes secondaires, qui a fait l'objet d’études détaillées sans tenir compte de la viabilité potentielle du projet, avec des dépenses d’E&M jusqu'à trois fois supérieures aux recettes prévues. Les systèmes d'alimentation en eau doivent donc être conçus


de manière à offrir des services que les gens sont prêts à payer et capables de payer. L'examen a également porté sur des projets d'assistance technique et de renforcement des capacités dans le domaine des ressources en eau, dont l'un des objectifs était d’améliorer les systèmes d'information. Un problème est l’absence fréquente de toute allocation budgétaire pour l'entretien de ces systèmes une fois le projet terminé.

Recommandations spécifiques pour la préparation et l’évaluation des projets d’E&A

Préparation et évaluation

❙ Élaborer un guide général pour l'évaluation de la durabilité financière et institutionnelle des projets d'eau et d'assainissement ciblant les systèmes ruraux et semi-urbains et intégrant notamment le principe du recouvrement local des coûts d’exploitation et de maintenance.

❙ Veiller à ce que les projets desservant les communautés rurales et les petites villes prévoient la mise en place ou le renforcement de dispositions institutionnelles régissant la gestion et le contrôle des opérations et des finances, en s'inspirant des meilleures pratiques régionales.

❙ S'assurer que les études des projets d’E&A comprennent une analyse et des projections sur l'utilisation et la consommation par les ménages, en tenant compte des tarifs pratiqués et de la disponibilité/accessibilité de sources alternatives.

Mise en œuvre et post-projet

❙ Dans un délai d'un à deux ans après la publication du RAP, la BAD, en consultation avec l'agence sectorielle concernée, devrait organiser une évaluation technique des opérations et des services de certains systèmes sélectionnés d'alimentation en eau financés dans le cadre de ses projets, par exemple parmi la cohorte des projets réalisés au cours des deux années précédentes. Son but serait avant tout de tirer des enseignements et de mettre en évidence des pratiques utiles.

❙ Mettre sur pied un groupe technique pour réévaluer l'utilisation qui est faite de l'analyse coûts-bénéfices dans les projets d'E&A.

Les points forts suivants sont présents dans la plupart des projets examinés :

❙ La mise en place systématique d’une Cellule d’exécution du projet (CEP) rattachée à l'organisme sectoriel ou au ministère compétent. Ces CEP constituent généralement une composante du projet et leur création est souvent une condition préalable au premier décaissement. La question doit être anticipée et discutée à l'avance pour éviter d’être une cause de retard au moment du lancement du projet.

❙ Des examens approfondis des capacités et du cadre juridique et administratif en matière de passation des marchés et d'administration financière. Cette question conduit à définir en détail des dispositions annexes relatives à la supervision des contrats et à la gestion financière, conformément aux directives de la BAD. Les procédures et exigences connexes sont généralement réunies dans le « manuel de mise en œuvre du projet », qui, dans certains cas, n'est finalisé qu'après le lancement du projet.

57Annexes

Une

synt

hèse

des

val

idat

ions

des

RAP

IDEV

❙ Le soutien continu des missions et des bureaux extérieurs de la BAD. L'appui efficace et en temps opportun de la Banque tout au long de la mise en œuvre des projets permet de résoudre les problèmes en temps voulu et de s'adapter à l'évolution des circonstances, et, si besoin, de restructurer les projets et de prolonger le délai d'achèvement.

Les faiblesses concernant les pratiques opérationnelles apparaissent surtout au stade de la préparation ou de l’évaluation initiale. Citons :

❙ Le manque de cohérence dans le cadre logique en raison d'une mauvaise conceptualisation. Un exemple est l’utilisation d’objectifs globaux auxquels le projet contribue de façon très limitée, voire pas du tout (par exemple, lier une réduction nationale de la mortalité infantile à l'amélioration des services d'eau dans une ou deux villes seulement). Cette question est liée à la faiblesse récurrente du cadre de S&E, qui, s’il est défini trop tard, se limite au seul suivi de la livraison des produits.

❙ La sous-estimation du temps de mise en œuvre des projets. C'est souvent le cas dans la phase de démarrage.

❙ L’utilisation d’une approche par programme peut poser un problème lorsque les conditions de base (planification, budgétisation et suivi au niveau du secteur, mutualisation des fonds, etc.) n'ont pas été bien définies.

❙ Le financement d'études de préinvestissement. Dans certains cas, les perspectives de financement des projets proposés manquent de solidité et donnent lieu à des attentes qui ne peuvent pas être satisfaites.

❙ Une documentation insuffisante des avantages, coûts, produits et résultats escomptés lorsqu'un projet est restructuré en profondeur.


Annexe 3 — Notations des RAP et des NE-RAP

Code projet Nom du projet Secteur(Centennial Group)

Pertinence Efficacité Efficience Durabilité Global QualitéRAP

RAP NE-RAP RAP NE-RAP RAP NE-RAP RAP NE-RAP RAP NE-RAP

P-GH-AA0-030 Northern Rural Growth Program Agriculture 3 3,5 3 2 3 2,5 3,33 3,33 3,0825 2,83 2,75

P-KE-AAZ-001 Kimira-Oluch Smallholder Irrigation Development Project

Agriculture 3,5 3,5 3 2 2,5 2 3 2,5 3 2,5 2,5

P-MW-AAA-004 Agriculture Infrastructure Support Project (AISP) Agriculture 3,5 3 3 2 3 2,25 2,33 2 3 2,3125 3

P-MZ-AA0-026 Massingir Dam and Smallholder Agricultural Rehabilitation Project Supplementary Loan

Agriculture 3,5 3,5 3 2 2,75 2 3 3 3,06 2,63 3

P-ST-AA0-004 Projet de réhabilitation des infrastructures d'appui à La Se (PRIASA)

Agriculture 4 3 3 2,5 3 3 2,5 2,5 3,125 2,75 3

P-Z1-AAE-004 PROGEBE: Regional Project on Sustainable Management of Endemic Ruminant Livestock in West Africa (Gambia, Guinea, Mali, Senegal)

Agriculture 2,5 2,5 3 3 2,5 2,5 2,67 3,33 2,67 2,8325 1,5

P-Z1-AAZ-010 CGIAR: Support to Agricultural Research for Development of Strategic Crops in Africa (SARD-SC)

Agriculture 3,5 3,5 4 4 3,33 3,33 3 3 3,45 3,45 3,56

P-AO-A00-001 Bom Jesus - Calenga Smallholder Agricultural Development Project

Agriculture 3,5 3,25 3 2 2,25 2 1,67 1,67 2,605 2,23 3

P-KE-AAZ-002 Small Scale Horticulture Development Project Agriculture 4 3 4 3 4 3 3 3 3,75 3 2,5

P-LR-A00-001 Agriculture Sector Rehabilitation Project Agriculture 3 2,5 2 2 2,25 2 2,5 1,5 2,4375 2 2,5

P-UG-ABO-002 Community Agricultural Infrastructure Improvement Program – Project 2 (CAIIP-2)

Agriculture 4 3,5 4 3 2,5 2,75 3,33 3 3,46 3,0625 3

P-Z1-AB0-005 Projet d'appui aux infrastructures rurales de la région naturelle de Bugesera (PAIRB)

Agriculture 3,5 3,5 3 3 3,25 2,75 3 2,84 3,1875 3,0225 3

P-MW-C00-001 Climate Adaptation for Rural Livelihoods and Agriculture (CARLA)

Environnement/ Ressources naturelles

4 4 4 3 3 2,67 3,25 3,25 3,56 3,23 2,75

P-TD-C00-001 Natural Resource Management and Development in the Sudan Region


3 3 3 2 2 2 2,25 2 2,5625 2,25 2,5

P-Z1-C00-10 Programme de conservation des écosystèmes du bassin du Congo


3,5 3 3,67 2,8 2,75 2,34 3 2,5 3,23 2,66 2,62

P-Z1-C00-026 Projet pilote REDD géographiquement intégré d'ECOMAKALA


3,5 3 3 3 3 3 2,666 3 3 3 3

P-Z1-C00-028 Projet pilote REDD géographiquement intégré d'ISANGI


3,5 3,25 3 3 2,666 2,66 3,333 3 3,09 3 3

P-CV-EAZ-001 Preparation of Surface Water Mobilization and Integrated Water Resource Management Framework Reinforcement Project (MES/RC-GI RE)


4 3 4 2 2,66 3 2,33 2 3,2475 2,5 3

P-ML-EAZ-002 Support to the Implementation of the Integrated Water Resource Management Action Plan


3,5 3 3 2 2,66 2 2,66 2 2,95 2,25 3

P-Z1-EAZ-021 Integrated And Joint Water Resources Management Of The lullemeden, Taoudeni And The Niger River


3,5 3 3 3 3 3 3 3 3,125 3 3

59Annexes

Une

synt

hèse

des

val

idat

ions

des

RAP

IDEV




P-GH-AA0-030 Northern Rural Growth Program Agriculture 3 3,5 3 2 3 2,5 3,33 3,33 3,0825 2,83 2,75

P-KE-AAZ-001 Kimira-Oluch Smallholder Irrigation Development Project

Agriculture 3,5 3,5 3 2 2,5 2 3 2,5 3 2,5 2,5

P-MW-AAA-004 Agriculture Infrastructure Support Project (AISP) Agriculture 3,5 3 3 2 3 2,25 2,33 2 3 2,3125 3

P-MZ-AA0-026 Massingir Dam and Smallholder Agricultural Rehabilitation Project Supplementary Loan

Agriculture 3,5 3,5 3 2 2,75 2 3 3 3,06 2,63 3

P-ST-AA0-004 Projet de réhabilitation des infrastructures d'appui à La Se (PRIASA)

Agriculture 4 3 3 2,5 3 3 2,5 2,5 3,125 2,75 3

P-Z1-AAE-004 PROGEBE: Regional Project on Sustainable Management of Endemic Ruminant Livestock in West Africa (Gambia, Guinea, Mali, Senegal)

Agriculture 2,5 2,5 3 3 2,5 2,5 2,67 3,33 2,67 2,8325 1,5

P-Z1-AAZ-010 CGIAR: Support to Agricultural Research for Development of Strategic Crops in Africa (SARD-SC)

Agriculture 3,5 3,5 4 4 3,33 3,33 3 3 3,45 3,45 3,56

P-AO-A00-001 Bom Jesus - Calenga Smallholder Agricultural Development Project

Agriculture 3,5 3,25 3 2 2,25 2 1,67 1,67 2,605 2,23 3

P-KE-AAZ-002 Small Scale Horticulture Development Project Agriculture 4 3 4 3 4 3 3 3 3,75 3 2,5

P-LR-A00-001 Agriculture Sector Rehabilitation Project Agriculture 3 2,5 2 2 2,25 2 2,5 1,5 2,4375 2 2,5

P-UG-ABO-002 Community Agricultural Infrastructure Improvement Program – Project 2 (CAIIP-2)

Agriculture 4 3,5 4 3 2,5 2,75 3,33 3 3,46 3,0625 3

P-Z1-AB0-005 Projet d'appui aux infrastructures rurales de la région naturelle de Bugesera (PAIRB)

Agriculture 3,5 3,5 3 3 3,25 2,75 3 2,84 3,1875 3,0225 3

P-MW-C00-001 Climate Adaptation for Rural Livelihoods and Agriculture (CARLA)


4 4 4 3 3 2,67 3,25 3,25 3,56 3,23 2,75

P-TD-C00-001 Natural Resource Management and Development in the Sudan Region


3 3 3 2 2 2 2,25 2 2,5625 2,25 2,5

P-Z1-C00-10 Programme de conservation des écosystèmes du bassin du Congo


3,5 3 3,67 2,8 2,75 2,34 3 2,5 3,23 2,66 2,62

P-Z1-C00-026 Projet pilote REDD géographiquement intégré d'ECOMAKALA


3,5 3 3 3 3 3 2,666 3 3 3 3

P-Z1-C00-028 Projet pilote REDD géographiquement intégré d'ISANGI


3,5 3,25 3 3 2,666 2,66 3,333 3 3,09 3 3

P-CV-EAZ-001 Preparation of Surface Water Mobilization and Integrated Water Resource Management Framework Reinforcement Project (MES/RC-GI RE)


4 3 4 2 2,66 3 2,33 2 3,2475 2,5 3

P-ML-EAZ-002 Support to the Implementation of the Integrated Water Resource Management Action Plan


3,5 3 3 2 2,66 2 2,66 2 2,95 2,25 3

P-Z1-EAZ-021 Integrated And Joint Water Resources Management Of The lullemeden, Taoudeni And The Niger River


3,5 3 3 3 3 3 3 3 3,125 3 3





P-AO-FA0-002 Power Sector Reform Support Program Énergie/Électricité 3,5 4 3 3 2,7 3 2,7 2 3 3 3

P-BW-FA0-001 Morupule "B" Power Transmission Project Énergie/Électricité 3 3 3 2 3 3 3 2 3 2,5 2

P-EG-FAA-014 Ain Sokhna Thermal Power Project Énergie/Électricité 3,5 4 3 4 3,65 3 3,25 3 3,35 3,5 3

P-ET-FA0-008 Electricty Transmission System Improvement Project Énergie/Électricité 4 3 3 3 2,75 2 3,25 2 3,2 2,5 3

P-GH-F00-003 Power System Reinforcement Project (PRSP) Énergie/Électricité 3 3 4 2 2 2 3,25 3 3,0625 2,5 2

P-KE-FA0-003 Mombassa - Nairobi Transmission Project Énergie/Électricité 4 2 3 3 3,5 2 3,5 2 3,5 2,25 2

P-KE-FA0-004 Power Transmission Improvement Project Énergie/Électricité 4 4 3 2 3 2 3 3 3,25 2,75 3

P-TZ-FA0-008 Electricity V Project Énergie/Électricité 3,5 4 3 3 2,4 2 2,75 3 2,9125 3 2

P-UG-FA0-002 Bujagali Interconnection Project Énergie/Électricité 4 4 4 4 3,75 4 3,25 4 3,75 4 4

P-ZA-F00-002 Eskom Renewable Energy - Sere Wind Farm Project Énergie/Électricité 3,5 4 4 3 2,8 4 3 3 3,33 3,5 2

P-ZW-FA0-001 Emergency Power Infrastructure Rehabilitation Project (EPIRP)

Énergie/Électricité 3 4 3 3 3 4 3 2,5 3 3,375 3

P-B1-K00-010 Projet de renforcement des capacités institutionnelles pour l'amélioration de la gestion des finances publiques

Multisecteur 3,5 3,5 1 1 2 1,33 3 2,5 2,375 2,08 3

P-BI-K00-011 Projet d'appui au développement du secteur privé (PADSP)

Multisecteur 3,5 3 2 2 2,75 2 3 2,5 2,81 2,38 2

P-CD-KZ0-004 Project to Mobilize and Revitalize Public Administration Human Resources (PMR-RH)

Multisecteur 3,5 3 3 3 3,5 3 3,33 3,33 3,33 3,08 2

P-CG-KF0-005 Développement des compétences nationales Multisecteur 3,5 2 3 2 2,5 1 3 Unable to rate

3 Unable to rate

1,5

P-EG-IEO-003 Rieep Rural Income And Economic Enhancement Project

Multisecteur 4 3,5 4 3,5 3,75 3,5 3 3 3,69 3,375 2

P-DJ-KF0-006 Projet d’appui au renforcement des capacités institutionnelles – (PARCI)

Multisecteur 3 3 2 3 2 2 3 3 2,5 2,75 2

P-GM-KF0-001 Institutional Support for Economic and Financial Governance II Project

Multisecteur 4 3 2 2 3,33 3,33 2,66 2,66 3 2,7475 3

P-KM-KF0-010 Projet de renforcement des capacités pour appuyer le secteur privé

Multisecteur 3 3 3 2 3,33 3,33 3 3 3,1 2,8 2

P-LR-K00-013 Institutional Support for the Integrated Public Financial Management Reform Project (IPFMRP)

Multisecteur 3 3 3 2 3 2 3 3 3 2,5 2

P-SC-K00-005 Inclusive Private Sector Development and Competitiveness Programme (IPSDCP-II)

Multisecteur 4 3,5 3 2 3 2,5 3 3 3,25 2,75 3

P-TD-KA0-005 Public Finance Reform Support Program Multisecteur 4 3,5 3 3 4 4 3,33 3,33 3,58 3,46 3

P-KE-DB0-018 Kenya: Nairobi-Thika Transport 3,5 3 3 3 2,9 2,9 3,5 3,5 3,2 3,1 3,2

P-GH-DB0-012 Ghana Awaoshie-Pokuase Transport 4 3,5 3 3 2,7 2,5 3,2 3,5 3,2 3,1 2,8

P-Z1-DB0-038 Multi Arusha-Athi River Transport 3,5 3,5 4 3,5 3,4 3,3 3,1 2,9 3,5 3,3 3

P-MW-DB0-011 Malawi Trunk Roads Transport 3,3 3 3 3 3,1 2,9 3,1 3,1 3,1 3 3

P-KE-DB0-018 Kenya Int, Airport Terminal Transport 3,5 3,5 4 3,5 3,7 3,4 3 3,3 3,5 3,4 3,1

P-Z1-DB0-063 Multi Nacala Cor, Ph II Transport 3,7 3,5 3 3 3,6 3,5 3 3 3,3 3,2 3

P-GH-DB0-016 Ghana Fufulso- Sawla Transport 4 4 4 4 3,6 3,4 2,7 2,7 3,575 3,5 3

61Annexes

Une

synt

hèse

des

val

idat

ions

des

RAP

IDEV




P-AO-FA0-002 Power Sector Reform Support Program Énergie/Électricité 3,5 4 3 3 2,7 3 2,7 2 3 3 3

P-BW-FA0-001 Morupule "B" Power Transmission Project Énergie/Électricité 3 3 3 2 3 3 3 2 3 2,5 2

P-EG-FAA-014 Ain Sokhna Thermal Power Project Énergie/Électricité 3,5 4 3 4 3,65 3 3,25 3 3,35 3,5 3

P-ET-FA0-008 Electricty Transmission System Improvement Project Énergie/Électricité 4 3 3 3 2,75 2 3,25 2 3,2 2,5 3

P-GH-F00-003 Power System Reinforcement Project (PRSP) Énergie/Électricité 3 3 4 2 2 2 3,25 3 3,0625 2,5 2

P-KE-FA0-003 Mombassa - Nairobi Transmission Project Énergie/Électricité 4 2 3 3 3,5 2 3,5 2 3,5 2,25 2

P-KE-FA0-004 Power Transmission Improvement Project Énergie/Électricité 4 4 3 2 3 2 3 3 3,25 2,75 3

P-TZ-FA0-008 Electricity V Project Énergie/Électricité 3,5 4 3 3 2,4 2 2,75 3 2,9125 3 2

P-UG-FA0-002 Bujagali Interconnection Project Énergie/Électricité 4 4 4 4 3,75 4 3,25 4 3,75 4 4

P-ZA-F00-002 Eskom Renewable Energy - Sere Wind Farm Project Énergie/Électricité 3,5 4 4 3 2,8 4 3 3 3,33 3,5 2

P-ZW-FA0-001 Emergency Power Infrastructure Rehabilitation Project (EPIRP)

Énergie/Électricité 3 4 3 3 3 4 3 2,5 3 3,375 3

P-B1-K00-010 Projet de renforcement des capacités institutionnelles pour l'amélioration de la gestion des finances publiques

Multisecteur 3,5 3,5 1 1 2 1,33 3 2,5 2,375 2,08 3

P-BI-K00-011 Projet d'appui au développement du secteur privé (PADSP)

Multisecteur 3,5 3 2 2 2,75 2 3 2,5 2,81 2,38 2

P-CD-KZ0-004 Project to Mobilize and Revitalize Public Administration Human Resources (PMR-RH)

Multisecteur 3,5 3 3 3 3,5 3 3,33 3,33 3,33 3,08 2

P-CG-KF0-005 Développement des compétences nationales Multisecteur 3,5 2 3 2 2,5 1 3 Unable to rate

3 Unable to rate

1,5

P-EG-IEO-003 Rieep Rural Income And Economic Enhancement Project

Multisecteur 4 3,5 4 3,5 3,75 3,5 3 3 3,69 3,375 2

P-DJ-KF0-006 Projet d’appui au renforcement des capacités institutionnelles – (PARCI)

Multisecteur 3 3 2 3 2 2 3 3 2,5 2,75 2

P-GM-KF0-001 Institutional Support for Economic and Financial Governance II Project

Multisecteur 4 3 2 2 3,33 3,33 2,66 2,66 3 2,7475 3

P-KM-KF0-010 Projet de renforcement des capacités pour appuyer le secteur privé

Multisecteur 3 3 3 2 3,33 3,33 3 3 3,1 2,8 2

P-LR-K00-013 Institutional Support for the Integrated Public Financial Management Reform Project (IPFMRP)

Multisecteur 3 3 3 2 3 2 3 3 3 2,5 2

P-SC-K00-005 Inclusive Private Sector Development and Competitiveness Programme (IPSDCP-II)

Multisecteur 4 3,5 3 2 3 2,5 3 3 3,25 2,75 3

P-TD-KA0-005 Public Finance Reform Support Program Multisecteur 4 3,5 3 3 4 4 3,33 3,33 3,58 3,46 3

P-KE-DB0-018 Kenya: Nairobi-Thika Transport 3,5 3 3 3 2,9 2,9 3,5 3,5 3,2 3,1 3,2

P-GH-DB0-012 Ghana Awaoshie-Pokuase Transport 4 3,5 3 3 2,7 2,5 3,2 3,5 3,2 3,1 2,8

P-Z1-DB0-038 Multi Arusha-Athi River Transport 3,5 3,5 4 3,5 3,4 3,3 3,1 2,9 3,5 3,3 3

P-MW-DB0-011 Malawi Trunk Roads Transport 3,3 3 3 3 3,1 2,9 3,1 3,1 3,1 3 3

P-KE-DB0-018 Kenya Int, Airport Terminal Transport 3,5 3,5 4 3,5 3,7 3,4 3 3,3 3,5 3,4 3,1

P-Z1-DB0-063 Multi Nacala Cor, Ph II Transport 3,7 3,5 3 3 3,6 3,5 3 3 3,3 3,2 3

P-GH-DB0-016 Ghana Fufulso- Sawla Transport 4 4 4 4 3,6 3,4 2,7 2,7 3,575 3,5 3





P-TZ-DB0-016 Tanzania Singida- Minjingu Transport 3,5 3,3 3 3 3,9 3,5 3 3 3,35 3,2 3,3

P-GH-DB0-004 Ghana Tema-Aflao Transport 3,5 3 4 4 3 3 3 3,2 3,375 3,3 3

P-GH-D00-009/P-GH-DB0-014

Ghana Akatsi- Noepe Transport 3,5 3 4 3 2,8 2,8 3,5 3,2 3,45 3 3

P-TN-DBO-009 Tunisie, Projet routier V Transport 4 3,5 3 3 3 2 3 2,7 3,2 2,8 3

P-NG-DBO-005 Nigeria Rural Access and Mobility Transport 3,5 3,5 3 3 3 1,7 2,7 2,6 3,05 2,7 3

P-GH-DOO-008 Ghana Road Infrastructure 2003 Transport 4 2 3 3 2,5 2 2,7 2,7 3,05 2,425 3

P-TD-DBO-008 Tchad, Projet de route Koumra-Sarh Transport 4 3,5 4 4 3,2 3 3 3 3,55 3,4 4

P-CF-IE0-001 Projet de développement communautaire et d'appui aux groupes

Social/Renforcement des capacités

3 3 3 2 2,5 2,67 3 2,75 2,87 2,61 2

P-GQ-IBE-002 Health System Development Support Project Social/Renforcement des capacités

4 3 2 1 2 1,66 2,25 2,25 2,56 1,98 3

P-LS-IA0-002 Educ, Qual, Enhancement Proj,(Educ Ill) Social/Renforcement des capacités

4 3,5 3 3 2 2 3 3 3 2,875 3

P-NG-IA0-001 Skills Training And Vocational Education Social/Renforcement des capacités

4 4 3 2 2 2 3 2 3 2,5 3,5

P-RW-IZ0-004 Seep Ill Social/Renforcement des capacités

3,5 3 3 3 3,7 3,7 3,2 3 3,35 3,175 3

P-Z1-IAD-004 Support To A Network Of African Institutions Of Science And Technology


4 3,5 4 3 3,33 3 4 3 3,8325 3,125 2,5

P-Z1-IAD-002 Projet d'appui à l'enseignement supérieur dans les pays de l'Uemoa


4 3,5 4 3 2,34 2,34 2,75 2,75 3,2725 2,92 3

P-Z1-IBE-006 Apoc (Phase Ill) Social/Renforcement des capacités

3,5 3 4 3 3,24 3,24 3,24 3 3,495 3,06 3

P-Z1-IA0-009 Building Capacity on Managing for Development Results in the Regional Member Countries (RMCs) and the Regional Economic Communities


4 4 4 3 3 3 3 3 3,5 3,25 3

P-CI-IZ0-004 Youth Employability and Integration Support Programme (PAAEIJ)


4 4 3 3 3,5 3 3,3 3 3,45 3,25 3

P-Z1-KF0-035 Capacity Building To ICGLR Social/Renforcement des capacités

3,5 3 3 2 3,33 3 2,5 2,33 3,08 2,58 2

P-ZW-IEO-002 Youth And Tourism Enhancement Project Social/Renforcement des capacités

4 3,5 3 3 4 3 3,2 3,2 3,55 3,13 3

P-AO-E00-003 Sumbe Water Supply, Sanitation and Institutional Support

Eau potable/ Assainissement 3,5 3 3 3 2,75 2,75 2,5 2,33 2,9375 2,77 3

P-BF-E00-008 Rural Drinking Water Supply And Sanitation Project In Four Regions (Cascades, West-Central, South-Central, And Sahel)

Eau potable/ Assainissement 4 3,5 3 3 3 3 3 3 3,25 3,125 3

P-BJ-EAZ-003 Appui décentralisation Eau & Assainissement Eau potable/ Assainissement 3 3,5 3 3 4 3 3 3 3,3 3,1 3

P-BJ-EBZ-002 Projet d'amélioration de la gestion des boues de vidange du Grand-Nokoue dans le cadre d'un partenariat public-privé

Eau potable/ Assainissement 3 2,5 1,67 2 2,3 2 1,5 1,67 2,1175 2,0425 3

63Annexes

Une

synt

hèse

des

val

idat

ions

des

RAP

IDEV




P-TZ-DB0-016 Tanzania Singida- Minjingu Transport 3,5 3,3 3 3 3,9 3,5 3 3 3,35 3,2 3,3

P-GH-DB0-004 Ghana Tema-Aflao Transport 3,5 3 4 4 3 3 3 3,2 3,375 3,3 3

P-GH-D00-009/P-GH-DB0-014

Ghana Akatsi- Noepe Transport 3,5 3 4 3 2,8 2,8 3,5 3,2 3,45 3 3

P-TN-DBO-009 Tunisie, Projet routier V Transport 4 3,5 3 3 3 2 3 2,7 3,2 2,8 3

P-NG-DBO-005 Nigeria Rural Access and Mobility Transport 3,5 3,5 3 3 3 1,7 2,7 2,6 3,05 2,7 3

P-GH-DOO-008 Ghana Road Infrastructure 2003 Transport 4 2 3 3 2,5 2 2,7 2,7 3,05 2,425 3

P-TD-DBO-008 Tchad, Projet de route Koumra-Sarh Transport 4 3,5 4 4 3,2 3 3 3 3,55 3,4 4

P-CF-IE0-001 Projet de développement communautaire et d'appui aux groupes


3 3 3 2 2,5 2,67 3 2,75 2,87 2,61 2

P-GQ-IBE-002 Health System Development Support Project Social/Renforcement des capacités

4 3 2 1 2 1,66 2,25 2,25 2,56 1,98 3

P-LS-IA0-002 Educ, Qual, Enhancement Proj,(Educ Ill) Social/Renforcement des capacités

4 3,5 3 3 2 2 3 3 3 2,875 3

P-NG-IA0-001 Skills Training And Vocational Education Social/Renforcement des capacités

4 4 3 2 2 2 3 2 3 2,5 3,5

P-RW-IZ0-004 Seep Ill Social/Renforcement des capacités

3,5 3 3 3 3,7 3,7 3,2 3 3,35 3,175 3

P-Z1-IAD-004 Support To A Network Of African Institutions Of Science And Technology


4 3,5 4 3 3,33 3 4 3 3,8325 3,125 2,5

P-Z1-IAD-002 Projet d'appui à l'enseignement supérieur dans les pays de l'Uemoa


4 3,5 4 3 2,34 2,34 2,75 2,75 3,2725 2,92 3

P-Z1-IBE-006 Apoc (Phase Ill) Social/Renforcement des capacités

3,5 3 4 3 3,24 3,24 3,24 3 3,495 3,06 3

P-Z1-IA0-009 Building Capacity on Managing for Development Results in the Regional Member Countries (RMCs) and the Regional Economic Communities


4 4 4 3 3 3 3 3 3,5 3,25 3

P-CI-IZ0-004 Youth Employability and Integration Support Programme (PAAEIJ)


4 4 3 3 3,5 3 3,3 3 3,45 3,25 3

P-Z1-KF0-035 Capacity Building To ICGLR Social/Renforcement des capacités

3,5 3 3 2 3,33 3 2,5 2,33 3,08 2,58 2

P-ZW-IEO-002 Youth And Tourism Enhancement Project Social/Renforcement des capacités

4 3,5 3 3 4 3 3,2 3,2 3,55 3,13 3

P-AO-E00-003 Sumbe Water Supply, Sanitation and Institutional Support

Eau potable/ Assainissement 3,5 3 3 3 2,75 2,75 2,5 2,33 2,9375 2,77 3

P-BF-E00-008 Rural Drinking Water Supply And Sanitation Project In Four Regions (Cascades, West-Central, South-Central, And Sahel)

Eau potable/ Assainissement 4 3,5 3 3 3 3 3 3 3,25 3,125 3

P-BJ-EAZ-003 Appui décentralisation Eau & Assainissement Eau potable/ Assainissement 3 3,5 3 3 4 3 3 3 3,3 3,1 3

P-BJ-EBZ-002 Projet d'amélioration de la gestion des boues de vidange du Grand-Nokoue dans le cadre d'un partenariat public-privé

Eau potable/ Assainissement 3 2,5 1,67 2 2,3 2 1,5 1,67 2,1175 2,0425 3





P-CD-EA0-004 Projet d'alimentation en eau potable et d'assainissement en milieu semi-urbain (Peasu)

Eau potable/ Assainissement 3,5 3 3 2 2,75 2,5 2,75 2,5 3 2,5 3

P-CG-E00-002 Assainissement Brazzaville et Pointe-Noire Eau potable/ Assainissement 3,5 3,5 3 3 2,7 3 3 2,6 3,05 3,025 3

P-CG-EAZ-002 Études de développement de systèmes d'alimentation en eau potable et d'assainissement dans 5 centres semi-urbains

Eau potable/ Assainissement 4 3 4 2,5 3 3 2,66 2,33 3,42 2,71 3

P-CM-E00-006 Aepa En Milieu Rural Eau potable/ Assainissement 3,75 3,5 4 4 3,75 3,75 4 4 3,88 3,81 3

P-GH-E00-004 Accra Sewerage Improvement Project (ASIP) Eau potable/ Assainissement 3,5 3 3 2 2,75 2 3 2,67 3,0625 2,43 2,75

P-KE-E00-007 Small Towns and Rural Water Supply And Sanitation Project

Eau potable/ Assainissement 3,25 3 2,75 2 3 2,67 2,75 2,67 2,9375 2,585 3

P-KE-EB0-003 Nairobi Rivers Basin Rehabilitation And Restoration Program

Eau potable/ Assainissement 3,5 3 3 2,5 3,5 2,75 3 3 3,25 2,8125 3

P-KM-EA0-001 Projet d'eau potable et d'assainissement Eau potable/ Assainissement 4 3,5 3 3,01 2,75 2,75 2,25 2,25 3 2,8775 3,22

P-MG-E00-005 Programme d’alimentation en eau potable et d’assainissement en milieu rural

Eau potable/ Assainissement 3 2,5 3 3 2,75 2 3 2,7 2,9375 2,5 3

P-MZ-E00-006 Niassa provincial towns water supply and sanitation project

Eau potable/ Assainissement 3,5 3 3 2 3 2,5 2,67 2 3,04 2,375 2

P-MZ-E00-008 National Rural Water Supply and Sanitation Program in Nampula and Zambezia Provinces

Eau potable/ Assainissement 4 3,5 3 3 3,5 2,5 3 2,5 3,375 2,875 3

P-RW-E00-005 Rwanda national rural drinking water supply and sanitation program (PNEAR)

Eau potable/ Assainissement 4 4 4 3 3,44 3 3 3,7 3,61 3,425 2

P-SN-E00-004 Rural Drinking Water Supply and Sanitation Sub-Programme

Eau potable/ Assainissement 4 3,5 4 3 3 2,7 3,5 3,3 3,625 3,125 3,1

P-TN-EAZ-002 National Water Information System (SINEAU) Eau potable/ Assainissement 3,5 3,5 4 3 2,66 2 2,66 2,66 3,205 2,79 3

P-TZ-E00-004 Zanzibar water supply and sanitation project Eau potable/ Assainissement 3,5 3 3 2,5 2,25 2 3 2,67 2,9375 2,5425 2,94

P-TZ-EA0-010 Rural Water Supply and Sanitation Program II Eau potable/ Assainissement 3 3,5 4 3 3,75 3,75 2,7 2,3 3,3625 3,1375 3

65Annexes

Une

synt

hèse

des

val

idat

ions

des

RAP

IDEV




P-CD-EA0-004 Projet d'alimentation en eau potable et d'assainissement en milieu semi-urbain (Peasu)

Eau potable/ Assainissement 3,5 3 3 2 2,75 2,5 2,75 2,5 3 2,5 3

P-CG-E00-002 Assainissement Brazzaville et Pointe-Noire Eau potable/ Assainissement 3,5 3,5 3 3 2,7 3 3 2,6 3,05 3,025 3

P-CG-EAZ-002 Études de développement de systèmes d'alimentation en eau potable et d'assainissement dans 5 centres semi-urbains

Eau potable/ Assainissement 4 3 4 2,5 3 3 2,66 2,33 3,42 2,71 3

P-CM-E00-006 Aepa En Milieu Rural Eau potable/ Assainissement 3,75 3,5 4 4 3,75 3,75 4 4 3,88 3,81 3

P-GH-E00-004 Accra Sewerage Improvement Project (ASIP) Eau potable/ Assainissement 3,5 3 3 2 2,75 2 3 2,67 3,0625 2,43 2,75

P-KE-E00-007 Small Towns and Rural Water Supply And Sanitation Project

Eau potable/ Assainissement 3,25 3 2,75 2 3 2,67 2,75 2,67 2,9375 2,585 3

P-KE-EB0-003 Nairobi Rivers Basin Rehabilitation And Restoration Program

Eau potable/ Assainissement 3,5 3 3 2,5 3,5 2,75 3 3 3,25 2,8125 3

P-KM-EA0-001 Projet d'eau potable et d'assainissement Eau potable/ Assainissement 4 3,5 3 3,01 2,75 2,75 2,25 2,25 3 2,8775 3,22

P-MG-E00-005 Programme d’alimentation en eau potable et d’assainissement en milieu rural

Eau potable/ Assainissement 3 2,5 3 3 2,75 2 3 2,7 2,9375 2,5 3

P-MZ-E00-006 Niassa provincial towns water supply and sanitation project

Eau potable/ Assainissement 3,5 3 3 2 3 2,5 2,67 2 3,04 2,375 2

P-MZ-E00-008 National Rural Water Supply and Sanitation Program in Nampula and Zambezia Provinces

Eau potable/ Assainissement 4 3,5 3 3 3,5 2,5 3 2,5 3,375 2,875 3

P-RW-E00-005 Rwanda national rural drinking water supply and sanitation program (PNEAR)

Eau potable/ Assainissement 4 4 4 3 3,44 3 3 3,7 3,61 3,425 2

P-SN-E00-004 Rural Drinking Water Supply and Sanitation Sub-Programme

Eau potable/ Assainissement 4 3,5 4 3 3 2,7 3,5 3,3 3,625 3,125 3,1

P-TN-EAZ-002 National Water Information System (SINEAU) Eau potable/ Assainissement 3,5 3,5 4 3 2,66 2 2,66 2,66 3,205 2,79 3

P-TZ-E00-004 Zanzibar water supply and sanitation project Eau potable/ Assainissement 3,5 3 3 2,5 2,25 2 3 2,67 2,9375 2,5425 2,94

P-TZ-EA0-010 Rural Water Supply and Sanitation Program II Eau potable/ Assainissement 3 3,5 4 3 3,75 3,75 2,7 2,3 3,3625 3,1375 3


Annexe 4 — Bibliographie

African Development Bank. 2007. Revised Guidelines on Project Completion Report (PCR) Evaluation Note and Project Performance Evaluation Report (PPER). Tunis: African Development Bank

African Development Bank. 2009. Guidance Note on the Preparation of Project Completion Report (PCR) Evaluation Notes (PCR-EVN). Tunis: African Development Bank

African Development Bank. 2012. Staff Guidance on Project Completion Reporting and Rating. Tunis: African Development Bank

African Development Bank. 2016. Eastern Africa, Regional Integration Strategy Paper 2011–15. Abidjan: African Development Bank

African Development Bank. Project specific completion, appraisal, and other reports, as well as relevant Country Strategy Papers. African Development Bank

Asian Development Bank. 2016. Good Practice Standards for Evaluation of MDB Public Sector Operations. Manila: Asian Development Bank

Evaluation Cooperation Group. 1999. Evaluation Feedback for Effective Learning and Accountability. Paris: Organization for Economic Cooperation and Development

Independent Evaluation Group. 2006. Good Practice Standards for Evaluation of MDB Public Sector Operations. Washington, D.C: World Bank

Independent Evaluation Group. 2011. Africa Action Plan: An IEG evaluation. Washington, D.C: World Bank

Patton, Michael Quinn. 2002. Learning Lessons. Manila: Asian Development Bank

World Bank. 2007. The Development Potential of Regional Programs. Washington, D.C: World Bank

World Bank. 2009. The Road to Results: Designing and Conducting Effective Development Evaluations. Washington, D.C: World Bank

World Health Organization. 2013. Global Status Report on Road Safety. Geneva: World Health Organization

67Annexes

Une

synt

hèse

des

val

idat

ions

des

RAP

IDEV

Annotations

1. L’évaluation de la performance des projets de la BM ne tient compte que de la pertinence, de l’efficacité et de l’efficience (et non de la durabilité). La « déconnexion » n'est plus signalée, depuis que dans une évaluation indépendante des systèmes d’auto-évaluation du Groupe de la Banque mondiale réalisée en 2016, les évaluateurs ont déploré l’importance excessive accordée à la réduction de la déconnexion entre l’auto-évaluation et les notations de l’IEG. Le fait de se concentrer sur cet indicateur a eu pour résultat involontaire de favoriser le contournement plutôt que l’apprentissage..

2. 9 mois sont cités dans le document sur la performance de projets de la BID et de l’IIC : OVE’s Review of 2016 Project Completion Reports and Expanded Supervision Reports (2017).

3. Les critères SMART sont bien acceptés dans le domaine du suivi-évaluation pour évaluer les indicateurs d’un projet (les variables faisant l’objet du suivi pour mesurer les changements ou les réalisations liés à une intervention). Parmi les concepts couramment utilisés pour qualifier les critères SMART, citons les suivants : « Spécifique ; Mesurable ; Atteignable, Approprié ou Attribuable ; Pertinent, Réaliste, Fiable ; Tenu par des délais ».

Une synthèse des validations des RAP IDEV

À propos de cette évaluation

Toutes les opérations du Groupe de la Banque africaine de développement (BAD) sont autoévaluées à travers un Rapport d'achèvement de projet (RAP) préparé par le personnel des opérations de la Banque. Les RAP sont ensuite examinés et validés de manière indépendante par IDEV, qui produit une Note d'évaluation du RAP pour chaque projet. En 2017, le personnel de la BAD a préparé des RAP pour 88 projets achevés. Ce rapport synthétise les résultats des Notes d'évaluation des RAP qui ont examiné ces 88 projets.

Les objectifs de l'exercice comprenaient: (i) évaluer la qualité et de valider la performance de chaque projet ; (ii) aider la Direction et le personnel de la BAD à améliorer la qualité du système des RAP ; et (iii) alimenter la base de données des résultats d’évaluations d’IDEV sur la performance des projets et la qualité des RAP. Les RAP de 2017 concernaient des projets dans 10 secteurs, notamment l'approvisionnement en eau et l'assainissement, le transport, l'agriculture, l'énergie/électricité, le renforcement des capacités et le développement du secteur privé. La validation a examiné la performance des projets (en termes de la pertinence, l'efficacité, l’efficience et la durabilité de chaque projet, et de la performance des partenaires de projet), la qualité des RAP, et la qualité des systèmes de suivi et d'évaluation des projets.

Ce rapport de synthèse donne un aperçu des résultats des Notes d'évaluation des RAP et les compare avec les résultats obtenus par les RAP. Il formule également des recommandations à la Banque visant à améliorer la conception et préparation des projets, la mise en œuvre et le suivi des projets, et l’évaluation des projets.

idev.afdb.org

Groupe de la Banque africaine de développementAvenue Joseph Anoma 01 BP 1387, Abidjan 01 Côte d’IvoireTél. : +225 20 26 28 41Courriel : [email protected] C

once

ptio

n &

mis

e en

pag

es :

CR

ÉON

• w

ww

.cre

onde

sign

.net

IDEV · 2020-02-05 · Évaluateur général Rakesh Nangia (Retraité); Karen Rot-Munstermann (par...

Documents

Transcript of IDEV · 2020-02-05 · Évaluateur général Rakesh Nangia (Retraité); Karen Rot-Munstermann (par...