Country evaluation Ethiopia 2.2.4.e Th Monitoring and Evaluation tools (PCM and LFA, midâ€گterm...

download Country evaluation Ethiopia 2.2.4.e Th Monitoring and Evaluation tools (PCM and LFA, midâ€گterm and

of 68

  • date post

  • Category


  • view

  • download


Embed Size (px)

Transcript of Country evaluation Ethiopia 2.2.4.e Th Monitoring and Evaluation tools (PCM and LFA, midâ€گterm...















    Country evaluation Ethiopia

    Alan Penny and Damtew Teferra  September, 2010 

      sharing minds, changing lives

    VLIR‐UOS  Flemish University Council   

    University Development Cooperation  


    Table of content  

    FOREWORD  3 

    EXECUTIVE SUMMARY  4  Overview  4  Headline findings  4 


    1.1. The Country Context  8 

    1.2. VLIR‐UOS’ engagement with Ethiopia  13 

    1.3. The evaluation methodology applied by the Evaluation Commission  15 

    2. EVALUATION  18 

    2.1. Macro‐analysis of Impact and Sustainability  18  2.1.1. VLIR‐UOS in Ethiopia, the Paris Declaration and the Accra Agenda for Action (AAA)  18  2.1.2. The aid efficiency of VLIR‐UOS in Ethiopia in view of policies, development, capacity building,  synergies, spin offs and resources  21 

    2.2. Micro‐analysis of impact and sustainability  27  2.2.1. The present implementation of the programme/projects  27  2.2.2. The nature of the programme/projects  33  2.2.3. The added value/outcome of the VLIR‐UOS activities within the international cooperation  activities of the partner university and the country  36  2.2.4. The Monitoring and Evaluation tools (PCM and LFA, mid‐term and final evaluations, steering  committee reports) used in the VLIR‐UOS programme  38  2.2.5. The scholars  38 


    ANNEXES  44 

    1. The VLIR‐UOS Programme Model and IUC Cycle in Summary  44 

    2. Interview Schedule  47 

    3. Opinionnaire and Results  50 

    4. Student Survey  54 

    5. Data on ethiopian and Belgian scholars (VLIR‐UOS database)  58 

    6. References: Articles, Books and Documents consulted  63 


    Country evaluation Ethiopia | Alan Penny and Damtew Teferra | September 2010  





    Foreword   This  report  is  the end product of a participatory process which began  in April, 2010. The process was  characterised by a significant level of ownership by northern and southern stakeholders, itself a reflection  of how VLIR‐UOS has created a highly professional reputation in support for higher education in Ethiopia.  

    The report contains the findings, conclusions and recommendations of the evaluation commission which  consisted of Professor Alan Penny and Dr Damtew Teferra. Its work has been much facilitated by a number  of factors. These include: 

     the  quality  of  the  briefing  support  given  by  the  Vlaamse  Interuniversitaire  Raad  (VLIR‐UOS)  /  Flemish Interuniversity Council secretariat in Brussels; 

     the level of enthusiasm and dedication of Flemish and Ethiopian academic stakeholders who met  the consultants in Brussels and in Ethiopia; 

     the efficiency of staff  in the VLIR‐UOS programme offices  in Brussels and at Mekelle and  Jimma  universities; 

     the  quality  of  the  background  documentation  provided  to  the  consultants which  outlined  the  principles  of  the  programme  for  university  cooperation,  the  programme’s  management  modalities and management cycle process, and  the programme’s quality assurance procedures.   The IUC Tool Box provides participating institutions with guidance on customising documentation,  planning,  implementation,  evaluation,  record  keeping  and  reporting  procedures  and  phasing  activities.  Documentary  support  is  also  provided  to  enable  institutions  to  undertake  self‐ assessment output to purpose reviews. 

     the  level of ownership of  the programme exhibited by all stakeholders, and  their willingness  to  share their commitment to the programme and overall enthusiasm for it; 

     the  quality  of  the  organisation,  coordination  and  logistics  support  provided  to  the  evaluation  mission by the VLIR‐UOS secretariat.  

    Producing this account has required the cooperation and willing active support of many people. We wish  to thank all the individuals who shared their ideas and enthusiasm for their work with us, and also those  who  responded  to our questioning by e‐mail and  telephone. The  two northern  coordinators and  their  counterparts in Ethiopia are examples to us in terms of their insights, vision and abilities.  In particular we  wish to thank Kristien Verbrugghen, Luc Janssens de Bisthoven, Peter Delannoy, Frederik Dewulf,   Nicky  Haezebrouck and Hans Bauer without whose professional engagement and enthusiasm, we would have  been unable to fulfil our contract. 

    Alan Penny (Team Leader) 



    This report represents the views of the authors and does not necessarily reflect the views and opinions of  VLIR‐UOS or the stakeholders interviewed over the course of the evaluation.  

    The authors bear full responsibility for the content of this report.  

    Alan Penny and Damtew Teferra

    Country evaluation Ethiopia | Alan Penny and Damtew Teferra | September 2010  






    Executive summary   Overview  The purpose of the country study was: 

    • To review the impact and sustainability of the VLIR‐UOS Ethiopia Programme   • To position VLIR‐UOS Activities within the broader context of International Development Coopera‐

    tion in Ethiopia  • To make recommendations regarding VLIR‐UOS’ future action in Ethiopia 

    The work  of  the  evaluation  commission was  guided  by  the  Terms  of  Reference,  and  in  particular  the  centrality of quality, efficiency, impact and development relevance to our considerations.  

    The VLIR‐UOS UOS programme in Ethiopia currently comprises:  

    • Institutional University Cooperation (IUC), at Mekelle University and Jimma University.  • Own Initiatives (OI), at Debre Zeit, Bahir Dar and Arba Minch.  • International Scholarship, Training and Travel Grants averaging around 75 per year.  • Two year North‐South‐South institutional links programmes (3). 


    Additional support is provided through ICT transversal initiatives which include the highly successful Close  the Gap provision of refurbished computers programme. 

    The  review process  included documentary  study,  interviews with northern  and  southern  stakeholders,  surveys and field visits. 


    Headline findings  The following characterises the Ethiopia Programme: 

    Shared Priorities, Alignment, and Complementarity 

    The Programme is aligned with the Government of Ethiopia Higher Education (HE) policy and priorities to  stimulate research, build capacity and improve the quality of outputs from H.E.  The Minister of Education  remarked specifically that the VLIR‐UOS programme model  is that which he  is encouraging all donors  in  the sector to follow.  

    Impressive Capacity Building in Research, Education, and Service to Society  The review shows  that  these priorities are being met  through a series of  impressive research  initiatives  involving northern and southern scholars. Scientific grounding  is being provided with an  impact on  the  quality  of  teaching;  local  capacity  is  being  built  as  is  evidenced  by  the  number  of  PhDs  at Mekelle  University (36), and 30 at Jimma University, and the number of publications  in  international journals (66  at Mekelle, 8 at  Jimma and 6 at Debre Zeit). 3 special  issues of peer‐reviewed  journals have also been  produced as output from two international Congresses. 

    Number of PhD scholars at Mekelle: 36 distributed as follows: 

     Pre‐IUC (over 3 VLIR – Own Initiative projects): 5 (3 Ethiopian and 2 Flemish) 

     IUC: Finished PhD’s: 10  (8 Ethiopian and 2 Flemish) / Presently  running PhD’s: 21  (19 Ethiopian  and 2 Flemish) 

    A positive research culture is being stimulated, one which includes both external and local peer review of  activities  and  findings.  Reciprocal  learning  is  occurring  with  both  northern  and  southern  partners  benefitting  from  the  shared  learning. Of  particular  value  is  that  all  this  integrated  research  has  direct 

    Country evaluation Ethiopia | Alan Penny and Damtew Teferra | September 2010  





    development  outcomes,  as  for  example  that  on  sleeping  sickness  research  at  Debre  Zeit,  various  community‐based research activities