METODOLOGÍA DE EVALUACIÓN DE LA AYUDA … · La Comisión Europea ha desarrollado y formalizado...

Dirección General de Relaciones Exteriores

Dirección General del Desarrollo

EuropeAid Oficina de Cooperación

Unidad Común de Evaluación

METODOLOGÍA DE EVALUACIÓN DE LA AYUDA EXTERIOR

DE LA COMISIÓN EUROPEA

GUÍA PARA LA EVALUACIÓN PROYECTO Y PROGRAMA

VOLUMEN 3

Ni la Comisión Europea ni ninguna persona que actúe en nombre de la Comisión es responsable del uso que pueda hacerse de la información presentada a continuación.

Existe una gran cantidad de información adicional sobre evaluación de la ayuda exterior de la Comisión Europea en Internet Europa: http://ec.europa.eu/europeaid/index_es.htm

Luxemburgo: Oficina de publicaciones oficiales de las comunidades europeas

ISBN : 92-79-00680-0

© Comisión Europea, 2006

Se autoriza la reproducción con la condición de que se mencione la fuente.

Impreso en Francia, 2006.

Guía para la evaluación de proyecto y programa 1

INTRODUCCIÓN

Perspectiva General La Comisión Europea ha desarrollado y formalizado su metodología de evaluación de la ayuda exterior dando prioridad a los resultados e impactos para mantener la calidad de sus evaluaciones en un nivel que corresponda a las buenas prácticas internacionalmente reconocidas en la materia.

En el pasado, la evaluación de la ayuda exterior europea se concentraba a nivel de los proyectos. Esta ayuda metodológica se propone facilitar el paso hacia una práctica de la evaluación orientada hacia los programas y las estrategias. Está destinada principalmente a:

los responsables de las evaluaciones en la sede de la Comisión Europea y sus delegaciones,

los equipos de evaluación externos.

Además, se encuentra a disposición de todos los responsables de la ayuda exterior europea y de la comunidad profesional dedicada a la evaluación.

Esta metodología de evaluación está disponible en tres idiomas (inglés, castellano y francés) en dos formatos, para la lectura y para la navegación en Internet respectivamente.

La versión Internet comprende numerosos ejemplos y análisis en profundidad y se la puede consultar a través del sitio web de la Comisión Europea:

http://ec.europa.eu/europeaid/evaluation/index.htm

La versión impresa está compuesta por cuatro volúmenes. El primer volumen “Bases metodológicas” presenta los conceptos fundamentales y como se articulan. El segundo volumen es una “Guía de evaluación geográfica y temática”. Trata sobre la evaluación de todas las acciones comunitarias a la escala de un país o una región, o del conjunto de acciones relativas a un sector o a un tema a escala global. Este tercer volumen está relacionado con los proyectos de gran envergadura, los proyectos pilotos, los programas multi-país y cualquier otro proyecto o programa para el que se requiera una evaluación. El cuarto volumen “Herramientas de evaluación” presenta las principales técnicas aplicables para


realizar la estructuración de la evaluación, la recolección y el análisis de la información así como la ayuda para la formulación de juicios.

Evaluación de proyecto y de programa Este tercer volumen completa y actualiza la guía de evaluación de proyectos anteriormente utilizada por la Comisión Europea. Está destinado particularmente a la evaluación de grandes proyectos y de programas que ponen en práctica proyectos similares en varios países.

La guía propone un enfoque bastante estructurado que integra determinados avances realizados por la Comisión Europea en la evaluación de intervenciones más complejas, así como las buenas prácticas identificadas de los otros donantes. Sin embargo, el usuario tiene la posibilidad de simplificar los pasos cuando se trata de un proyecto simple.

Está organizada de manera cronológica con dos enfoques: el del responsable de la evaluación por un lado, y el del equipo de evaluación externo por el otro. Se ofrece además la opción de una fórmula de evaluación participativa.


ĺNDICE

1 GUÍA PARA EL RESPONSABLE DE LA EVALUACIÓN ...... 5 1.1 Fase preparatoria....................................................5 1.2 Fase de documentación..........................................10 1.3 Fase de terreno ....................................................12 1.4 Fase de síntesis ....................................................14 1.5 Fase de difusión y de seguimiento ...........................17

2 GUÍA PARA EL EQUIPO DE EVALUACIÓN ................... 20 2.1 Fase preparatoria..................................................20 2.2 Fase de documentación..........................................22 2.3 Fase de terreno ....................................................32 2.4 Fase de síntesis ....................................................38

DISPONIBLE EN EL SITIO WEB EUROPA ........................... 45


Resumen del proceso de la evaluación

Fase preparatoria (Fase 0) Se designa un responsable para conducir la evaluación. El mismo constituye un grupo de referencia, redacta los términos de referencia, contrata el equipo de evaluación externo y establece el contrato.

Fase de documentación (Fase 1) El equipo de evaluación externo analiza la lógica de la intervención según los documentos oficiales y propone las preguntas de evaluación y los criterios de juicio (también denominados "criterios de evaluación razonada"). El grupo de referencia valida las preguntas de evaluación.

Después, el equipo especifica los indicadores y aporta los primeros elementos de respuesta a las preguntas teniendo como base la información existente. Identifica supuestos a probar en el terreno y desarrolla el plan de recopilación y de análisis de los datos complementarios a los recabados anteriormente.

Fase de terreno (Fase 2) El equipo de evaluación pone en ejecución su plan de trabajo para la recopilación de datos en el país socio. Aplica los instrumentos previstos. Comienza la prueba de los supuestos.

Fase de síntesis (Fase 3) El equipo de evaluación prepara su informe final con las actas y conclusiones en respuesta a las preguntas planteadas, así como un juicio global. El mismo contiene además recomendaciones agrupadas y jerarquizadas y está sujeto a una evaluación de calidad.

Fase de difusión y seguimiento (Fase 4) La evaluación es difundida (informe, resumen, artículo y/o presentación) entre los responsables políticos, los servicios concernidos y los actores. Se publica el informe en el sitio Internet de la Comisión. Se efectúa el seguimiento de las recomendaciones.

Guía para el responsable de la evaluación


1 Guía para el responsable de la evaluación

1.1 Fase preparatoria

1.1.1 Enfoque inicial

En la medida de lo necesario, el servicio de la Comisión aclara por escrito y de forma precisa qué debe evaluarse y quiénes son los principales usuarios previstos de la evaluación.

El responsable principal de la evaluación es designado por el servicio de evaluación.

1.1.2 Recopilación preliminar de información

El responsable de la evaluación lee los documentos de base (ficha, marco lógico, revisión, informe de seguimiento, etc.) y mantiene conversaciones informales con los informadores clave.

Si no se dispone de marco lógico, el responsable del proyecto / programa deberá reconstruir la lógica del proyecto.

1.1.3 Constitución del grupo de referencia

El responsable de la evaluación identifica los servicios a invitar y otras partes interesadas dentro de un grupo de referencia.

Composición y función del grupo de referencia

El grupo de referencia comprende el equipo del proyecto/programa y los servicios pertinentes de la CE. Si la evaluación se realiza en el país socio, el grupo puede incluir también a actores en materia de desarrollo, expertos, actores no estatales y otros participantes cualificados. El número de miembros debe ser administrable (no más de 10). El grupo está presidido por el responsable de la evaluación.



El grupo de referencia debate y comenta todos los documentos intermedios, normalmente en la fase de borrador: términos de referencia, propuesta del equipo de evaluación, preguntas de evaluación, plan de trabajo, debriefing de la fase de terreno e informe final. Tiene una función consultiva, pero también se le puede solicitar la validación de las preguntas de evaluación.

Reunir un grupo de referencia supone ventajas en cuanto al acceso a la información, exactitud de las interpretaciones y apropiación de las conclusiones.

Se envía una nota a los servicios y a las instituciones invitadas explicándoles la función del grupo de referencia. Es esencial enviar los documentos de trabajo de antemano y las actas a tiempo.

1.1.4 Preparación de los términos de referencia

El responsable de la evaluación identifica los principales temas que deben analizarse. Si existe un buen marco lógico y aún es válido, el responsable de evaluación puede pulir los temas que deben analizarse para convertirlos en preguntas de evaluación.

Preguntas de evaluación

En algún momento del proceso de evaluación, se selecciona una serie de preguntas concretas (no más de 10) para satisfacer las necesidades de los usuarios de la evaluación y garantizar su factibilidad.

Al centrar la evaluación en los aspectos clave, las preguntas ayudan al equipo de evaluación a recopilar los datos adecuados, profundizar en su análisis y realizar apreciaciones de forma totalmente transparente.

Las preguntas deben redactarse de forma sencilla y concisa. En la medida de lo posible, no deben referirse a áreas sobre las que existen o están en curso otros estudios.



La lista de preguntas se configura de modo que la síntesis de las respuestas permita al equipo de evaluación formular un juicio global del proyecto/programa. Con dicho objetivo, la lista de preguntas abarca los distintos niveles del marco lógico y los siete criterios de evaluación de forma equilibrada (Cf.2.2.1).

Se define el perfil del equipo de evaluación externo a contratar según las competencias profesionales, el conocimiento del sector y la capacidad de trabajo en el terreno.

Se establece un límite para el presupuesto global de la evaluación y se garantiza la disponibilidad de los recursos.

Se establece también el calendario guardando coherencia con los requisitos institucionales si fuera necesario. En todo caso, se fija el plazo de entrega del informe teniendo en cuenta las necesidades de los usuarios previstos.

El responsable de la evaluación redacta una primera versión de los términos de referencia (TdR).

Consulta a los miembros del grupo de referencia sobre la versión provisoria. El responsable de la evaluación finaliza el documento.

En el caso de la evaluación participativa...

...el proceso de consulta inicial se amplía a algunos de los beneficiarios clave.

El grupo de referencia integra una proporción significativa de personas externas (alrededor de 50%), es decir, miembros capaces de explicar los puntos de vista de las distintas partes interesadas sin tener responsabilidad alguna en el diseño o la puesta en práctica del proyecto/programa.

En el sitio web: modelo de términos de referencia y lista de preguntas de evaluación

1.1.5 Contratación del equipo de evaluación

El responsable de la evaluación recibe la propuesta o propuestas técnicas y financieras preparadas por los candidatos. Comprueba que los puntos siguientes hayan sido contemplados:

• Comprensión de los términos de referencia



• Diseño metodológico indicativo

• Calendario previsto

• Responsabilidades de los miembros del equipo, currículos y declaraciones firmadas de ausencia de conflicto de intereses.

El responsable de la evaluación participa en el análisis de la(s) propuesta(s). Consulta a los miembros del grupo de referencia, en especial para detectar y evitar posibles conflictos de interés y riesgos en cuanto a la independencia del equipo.

El responsable de la evaluación evalúa la calidad de la(s) propuesta(s) y comprueba que los recursos humanos y financieros sean adecuados para enfrentar las dificultades específicas identificadas al preparar los términos de referencia.

El responsable de la evaluación contrata al equipo de evaluación en el marco del procedimiento de licitación aplicable.

Externalidad e independencia

Los miembros del equipo de evaluación externo son independientes de las organizaciones que han participado en el diseño y la ejecución del proyecto/programa evaluado.

La independencia implica ser libre de las influencias políticas y presiones de cualquier organización, tener pleno acceso a la información y absoluta autonomía a la hora de realizar investigaciones y redactar conclusiones.

El propósito de la externalidad y la independencia es tener credibilidad ante el público externo, un aspecto de particular importancia si la evaluación se realiza para rendir cuentas, para aprender lecciones extrapolables o para reasignar recursos presupuestarios. Este tipo de evaluaciones se denominan «sumativas» por oposición a las «formativas», que se realizan en beneficio de aquellos que gestionan el proyecto/programa con el objeto de mejorar su trabajo y que requieren su máxima participación. La externalidad y la independencia pueden tener menos importancia en caso de las evaluaciones formativas.



Lista de verificación para evaluar la calidad de una propuesta

Capacidad

• Conocimientos y experiencia en materia de evaluación

• Capacidad demostrada para aplicar un enfoque participativo (si fuera oportuno)

• Conocimientos y capacidades técnicas y sectoriales

• Capacidad de respuesta ante las problemáticas transversales esenciales (por ejemplo igualdad de género, medio ambiente)

• Experiencia en materia de cooperación para el desarrollo y, en particular, la cooperación llevada a cabo por la CE

• Experiencia en la región socia, en países similares y/o en países socios

• Conocimientos lingüísticos adecuados

Comprensión

• Comprensión de los TdR

• Comprensión del contexto

Gestión

• Las personas propuestas disponen del tiempo necesario para completar adecuadamente las tareas planificadas en el calendario

• Las responsabilidades están claramente compartidas y las competencias son adecuadas a fin de garantizar una gestión eficaz del equipo y de las relaciones fructíferas con los actores y las partes interesadas

• Compromiso de reforzar las capacidades de evaluación en los países socios.



1.2 Fase de documentación

1.2.1 Inicio (inception)

La fase inicial comienza en el momento de contratar al equipo de evaluación, y su duración se limita a algunas semanas.

Reunión inicial

En el plazo de unas semanas a partir del inicio de los trabajos, y tras la revisión de los documentos de base complementada con unas cuantas entrevistas, el equipo de evaluación define su enfoque general.

El enfoque se presenta en el marco de una reunión con el responsable de la evaluación y los miembros del grupo de referencia. Los temas que deben tratarse incluyen:

• El marco lógico

• Las preguntas de evaluación, ya sean las derivadas de los TdR o las propuestas por el equipo de evaluación

• El diseño metodológico indicativo

• El acceso a los informadores y documentos y las dificultades previsibles

La presentación va acompañada de una serie de diapositivas y una lista comentada de preguntas de evaluación. Si se lo considera oportuno, la reunión se completará mediante una consulta por correo electrónico.

En el caso de un programa multipaís...

... la evaluación se construye a partir de una serie de estudios de caso a nivel país que deben seleccionarse lo antes posible y, preferentemente, antes de finalizar la fase inicial.




... el equipo de evaluación amplía sus entrevistas iniciales con la finalidad de conocer las expectativas de los beneficiarios y de otras partes interesadas externas. Durante la reunión inicial se realiza y comenta el análisis de las partes interesadas.

Informe inicial

El responsable de la evaluación recibe un informe inicial en el que se concretan las preguntas de evaluación y se describen las principales líneas del diseño metodológico, con los indicadores que se emplearán, la estrategia de análisis y un plan de trabajo detallado para la fase siguiente.

La aprobación formal del informe consiste en una carta oficial que autoriza la continuación de los trabajos. Si se define la lista de las preguntas de evaluación en esta fase, entonces pasa a formar parte integrante de los TdR.

1.2.2 Informe de la fase de documentación (desk)

El responsable de la evaluación facilita el acceso a los documentos pertinentes y a los informadores clave dentro de la CE y del/de los gobierno(s) actores.

Se encarga de la recepción del informe de documentación, el cual hace un repaso de las etapas sucesivas ya atravesadas e incorpora los siguientes elementos:

• Evolución del análisis de la documentación y limitaciones, si existen

• Definición de cualquier término que no fuera claro

• Respuestas parciales a las preguntas de evaluación a partir de los documentos analizados y de entrevistas en los servicios de la CE así como con los actores

• Problemas que quedan por analizar y supuestos que deben probarse durante la fase de terreno.

• Diseño metodológico final, incluso las herramientas de evaluación listas para ser aplicadas en la fase de terreno, y un enfoque de evaluación global

• Plan de trabajo para la fase de terreno.



El responsable de la evaluación somete el informe provisorio a los miembros del grupo de referencia para que emitan su opinión. Si lo creyera oportuno, organiza y preside una reunión para presentar el informe y debatirlo. El equipo de evaluación redacta una versión final del informe teniendo en cuenta los comentarios. Se dan explicaciones por los comentarios que no han sido integrados. Si fuera necesario, el responsable de la evaluación aprueba el informe y autoriza el lanzamiento de la fase de terreno.

Aprobación de los informes

Los miembros del grupo de referencia comentan la versión provisoria del informe. El responsable de la evaluación recopila todos los comentarios y los transmite al equipo de evaluación. El equipo prepara una nueva versión del informe teniendo en cuenta los comentarios de dos maneras diferentes:

• Las observaciones de mejora de la calidad metodológica serán satisfechas a menos de que exista una imposibilidad demostrable, en cuyo caso el equipo de evaluación deberá aportar una justificación válida.

• Se aceptan o rechazan los comentarios sobre el contenido del informe. En este último caso, en el informe se recuerdan los puntos de vista divergentes.

El responsable comprueba que todos los comentarios hayan sido considerados y aprueba el informe.

1.3 Fase de terreno

1.3.1 Preparación

El responsable de la evaluación confirma que:

• Las autoridades públicas en el/los país(es) socio(s) han sido informadas sobre los futuros trabajos en el terreno por los medios adecuados

• La dirección del proyecto/programa ha recibido una lista indicativa de las personas que serán entrevistadas, las fechas de las visitas, el itinerario y los nombres de los miembros del equipo

• Las cuestiones logísticas se han acordado con antelación.



El plan de trabajo será lo suficientemente flexible para adaptarse a las circunstancias del terreno.


... los estudios de caso por país permiten al equipo de evaluación recopilar información sobre el programa de los países. Los hallazgos de los estudios de caso por país recabados durante la fase de documentación servirán para sustentar la apreciación global formulada por el equipo de evaluación. En el plan de trabajo se aclarará que los estudios de caso por país no deben ser considerados como evaluaciones completas.

Si el calendario lo permite, el primer estudio de caso por país puede servir para probar la metodología.


... el plan de trabajo incluye una serie de talleres o focus groups para informar a los beneficiarios sobre los datos que se están recopilando.

1.3.2 Seguimiento

El responsable de la evaluación facilita las entrevistas y los estudios usando los medios adecuados, como cartas de mandato o contactos informales dentro del gobierno.

Si surge algún problema en el terreno que el equipo de evaluación no pueda resolver, el responsable debe estar preparado para actuar con rapidez acudiendo ante su petición.


... el equipo de evaluación mantiene una reunión informativa en cada país vinculado con la Delegación o con su participación.



1.3.3 Debriefing

Se celebran una o varias reuniones de debriefing para estimar la fiabilidad y la exhaustividad de la recopilación de la información y para comentar los hallazgos significativos. Una de estas reuniones como mínimo será organizada con el grupo de referencia.

El equipo de evaluación presenta una serie de diapositivas relativas a la fiabilidad de los datos recopilados, al campo abordado y a sus primeros análisis y hallazgos. Esta(s) reunión(es) ofrece(n) la oportunidad de reforzar la base factual de la evaluación. No se presenta ningún informe previo ni se proporcionan actas posteriormente.


... el equipo de evaluación mantiene una reunión de debriefing en cada país visitado en relación con la Delegación o con su participación. Se redacta una nota país que se distribuye entre los actores locales para conseguir un control factual.


... el equipo de evaluación puede organizar talleres de debriefing con los beneficiarios y otras partes interesadas externas con el objetivo de mejorar la calidad de los datos recopilados, ayudar a interpretar los datos desde el punto de vista de los actores en el terreno y reforzar las capacidades de las organizaciones de la sociedad civil local.

1.4 Fase de síntesis

1.4.1 Control de calidad

El responsable de la evaluación recibe la primera versión del informe final, documento que debería tener igual formato, contenido y calidad que la versión final.

El responsable de la evaluación examina la calidad del informe basándose en una plantilla de evaluación de ocho criterios. Otra persona realiza un segundo control de calidad.



El control de calidad debe reforzar la credibilidad de la evaluación sin menoscabar su independencia. Por lo tanto, hace foco en la manera en la que se fundamentan y explican las conclusiones, y no en el contenido de dichas conclusiones. La evaluación de calidad no debe ser realizada por personas implicadas en el proyecto/programa evaluado.

Criterios de evaluación de calidad

Los ocho criterios enumerados a continuación están basados en normas internacionales de evaluación con las cuales son compatibles:

1. Satisfacción de las necesidades

• El informe, ¿describe exactamente lo que se evalúa e incluye la lógica de intervención y su evolución? ¿Abarca de forma clara el período necesario, los grupos objetivos y las zonas sociogeográficas? ¿Responde a todas las expectativas de los TdR?

2. Justificación del método

• ¿Se describe el método de evaluación de forma lo suficientemente detallada? ¿Está adaptado al proyecto/programa? ¿Los indicadores están bien definidos y son los apropiados? ¿Se especifican en el informe las limitaciones, los riesgos y los posibles sesgos del método de evaluación?

3. Fiabilidad de los datos

• ¿Se explica con claridad el enfoque de recopilación de datos y es coherente con el diseño global de la evaluación? ¿Están claramente identificadas y cruzadas en el informe las fuentes de información? ¿Las herramientas de recopilación de información (muestras, focus groups, etc.) se aplican de conformidad con los estándares de calidad? ¿Se han explicado y debatido las limitaciones y los sesgos relativos a la recopilación de información?



4. Solidez del análisis

• El análisis, ¿se basa en los datos recopilados y se centra en los supuestos causales más pertinentes? ¿Se ha tomado debidamente en consideración el contexto? ¿Se han utilizado las aportaciones de las partes interesadas de forma equilibrada? ¿Se han identificado, debatido y presentado en el informe las limitaciones?

5. Credibilidad de los hallazgos

• Los hallazgos, ¿derivan de los datos y los análisis? Las interpretaciones y extrapolaciones, ¿están justificadas y apoyadas en argumentos sólidos? ¿Se debate la generalización de los hallazgos?

6. Validez de las conclusiones

• Las conclusiones, ¿son coherentes?, ¿se relacionan de forma lógica con los hallazgos y están exentas de consideraciones personales o partidistas? ¿Plasman los cinco criterios del Comité de Ayuda al Desarrollo (CAD) y los dos criterios específicos de la CE?

7. Utilidad de las recomendaciones

• Las recomendaciones, ¿son coherentes con las conclusiones? ¿Son operativas, realistas y lo suficientemente explícitas para poder ponerlas en práctica? ¿Estan clasificadas, priorizadas y formuladas para las distintas partes interesadas?

8. Claridad del informe

¿Se incluye un resumen conciso y pertinente? El informe, ¿está bien estructurado?, ¿se adapta a los distintos públicos y no es más técnico de lo necesario? ¿Se incluye una lista de acrónimos?

En el sitio web: modelo de plantilla de evaluación de calidad y explicación de cómo aplicar los criterios

El responsable de la evaluación y el responsable del equipo de evaluación comentan la evaluación de calidad. Si es necesario, se solicitarán mejoras.



1.4.2 Reunión(es) de debate

El responsable de la evaluación somete el informe provisorio ante el grupo de referencia para conocer su opinión. Si fuera pertinente, organiza y preside una reunión para presentarlo y debatirlo. Se presta especial atención a la utilidad de las conclusiones y a la viabilidad de las recomendaciones.

A esta altura, el responsable de la evaluación también puede organizar un seminario para discutir las conclusiones y recomendaciones en un escenario más amplio. Puede contarse con la presencia del personal de la Delegación, autoridades nacionales, otros actores en materia de desarrollo, actores no estatales, la dirección del proyecto y/o expertos.

1.4.3 Informe final

El equipo de evaluación redacta una nueva versión del informe teniendo en cuenta los comentarios. El responsable de la evaluación recibe también una versión electrónica de las diapositivas presentadas por el equipo de evaluación.

Comprueba que se hayan considerado adecuadamente los comentarios recibidos y que el informe, con el conjunto de sus anexos, esté listo para su distribución.

Realiza una última evaluación de calidad según los ochos criterios de la plantilla de evaluación, escribe comentarios cualitativos para cada uno de los criterios y decide la calificación global.

El responsable envía la versión final del informe y de la evaluación de calidad a los miembros del grupo de referencia y les agradece por su contribución.

1.5 Fase de difusión y de seguimiento

1.5.1 Información a la jerarquía

El responsable de la evaluación envía el informe a la jerarquía junto con un breve resumen específico (de 1 o 2 páginas como máximo), en el que señala las conclusiones, lecciones y recomendaciones más importantes.

En el sitio web: estructura de un resumen



1.5.2 Difusión del informe final

Si la jerarquía lo solicita, el responsable publica el informe, el resumen y la plantilla de evaluación de calidad en el sitio web de la Comisión. Se crean enlaces hacia otros sitios web.

El responsable de la evaluación envía el informe completo a los servicios pertinentes de la Comisión y al resto de los usuarios de la evaluación.

Luego se asegura de que la base de datos de informes de evaluación en la sede de la Comisión esté actualizada (Unidad de Evaluación).

Usuarios de la evaluación

Los responsables de tomar las decisiones y los diseñadores utilizan la evaluación para reformular o renovar el programa/proyecto, para confirmar o modificar las orientaciones estratégicas o para reasignar los recursos (financieros, humanos y otros). Valoran las recomendaciones claras, sencillas y operativas basadas en elementos de prueba creíbles.

Los responsables y operadores utilizan los resultados de la evaluación para hacer ajustes en la gestión, la coordinación y/o sus interacciones con los beneficiarios y los grupos meta. Esperan información detallada y están capacitados para interpretar mensajes técnicos complejos.

Las instituciones que han financiado el proyecto/programa esperan que se les rinda cuentas, es decir, un juicio global concluyente del proyecto/programa.

Las autoridades públicas que realizan proyectos/programas relacionados o similares pueden utilizar la evaluación para extrapolar las lecciones aprendidas. Las redes de expertos concernidos hacen lo propio.

Por último, los actores de la sociedad civil pueden también utilizar la evaluación, especialmente aquellos que representan los intereses de los grupos objetivo.



1.5.3 Presentaciones

El responsable de la evaluación puede organizar una o varias presentaciones dirigidas a públicos tales como: redes de expertos del país o región, medios de comunicación, organismos de coordinación entre donantes y gobiernos y actores no estatales.

Puede solicitarle al equipo de evaluación que participe en la presentación.

Redacta un artículo para estimular la difusión de las principales conclusiones y recomendaciones.

Guía para el equipo de evaluación


2 Guía para el equipo de evaluación

2.1 Fase preparatoria El equipo de evaluación prepara una propuesta respondiendo a los términos de referencia elaborados por el servicio encargado de la asignación.

2.1.1 Supuestos de base

A partir de los TdR y de su propio criterio, el autor de la propuesta establece sus supuestos de base:

• Ámbitos en los que se requiere una competencia específica

• Posibilidad de movilizar consultores con el perfil adecuado al país o países implicados

• Cantidad, tipo y dificultades posibles de las preguntas

• Existencia, calidad y accesibilidad de la información sobre la puesta en práctica de la ayuda

• Existencia de evaluaciones anteriores reutilizables

• Existencia de otros documentos (por ejemplo, informes del Tribunal de Cuentas o de otros donantes).

2.1.2 Tareas, competencias y presupuesto

A grandes rasgos, el método está definido teniendo en cuenta las limitaciones fijadas en los términos de referencia. El autor de la propuesta define las principales tareas del método de evaluación (Cf. Volumen 1) y las herramientas a poner en práctica.

Las tareas se reparten de forma provisoria entre:

• Consultores del país o países socios y consultores internacionales

• Consultores de nivel senior, intermedio y junior

• Especialistas del sector o sectores de intervención y especialistas en métodos de evaluación.

Se elige a los principales miembros del equipo de evaluación y se comprueba la ausencia de conflictos de interés.



Se establecen el presupuesto y el calendario teniendo en cuenta las limitaciones fijadas en los términos de referencia.

Selección de los consultores locales

Los consultores locales pueden participar en la totalidad o en una parte de las tareas de evaluación.

Ventajas:

• Posibilidad de contar con una perspectiva local para la recopilación de la información y el análisis de los datos

• Dominio del idioma o idiomas locales

• Mayor facilidad para emplear enfoques participativos en los que intervengan los beneficiarios y los grupos meta

• Mayor flexibilidad del plan de trabajo y reducción de los costes de traslado

• Contribución para reforzar las capacidades de evaluación en el país socio

Riesgos:

• Conflictos de interés

• Dificultad para mantener la independencia respecto del gobierno en determinados países.



2.1.3 Propuesta técnica y financiera

Lista de verificación: contenido de la(s) propuesta(s) técnica(s) y financiera(s)

• Comprensión del contexto y de la finalidad de la evaluación e identificación de los usuarios previstos

• Comprensión de los temas o cuestiones a cubrir

• Diseño metodológico indicativo

• Principales miembros del equipo de evaluación, su especialización en los distintos campos y su función

• Calendario

• Presupuesto detallado

• Currículos de los miembros del equipo en formato estándar y declaraciones de ausencia de conflicto de interés

• Currículo del experto externo al equipo de evaluación que se encargará del control de calidad.

2.2 Fase de documentación

2.2.1 Fase inicial

La fase inicial comienza en el momento en el que se contrata al equipo de evaluación y su duración se limita a unas semanas.

Recopilación de los documentos de base

Uno de los miembros del equipo se encarga de recopilar una serie de documentos de base, tales como:

• Los documentos de programación (por ejemplo, la ficha del proyecto) y sus enmiendas si fuera pertinente

• La evaluación ex ante

• Los documentos de la CE que proporcionan el marco político en el que se sitúa el proyecto/programa (política de desarrollo y relaciones exteriores de la CE, política exterior de la UE, documento de estrategia país)

• El documento de estrategia del gobierrno (PRSP en inglés).



Lógica del proyecto/programa

El equipo de evaluación estudia el marco lógico elaborado al inicio del ciclo del proyecto/programa. De no existir tal documento, el responsable del programa debe reconstruirlo de manera retrospectiva. En caso necesario, el equipo de evaluación identifica los puntos que precisan ser aclarados y/o actualizados. Cualquier aclaración o actualización será señalada de forma transparente.

El análisis lógico del proyecto/programa abarca:

• El contexto en el que se ha iniciado el proyecto/programa, sus oportunidades y limitaciones

• Las necesidades que deben satisfacerse, los problemas que hay que resolver y las dificultades que habrá que superar

• Las justificaciones de que es imposible abordar de mejor manera esos problemas, necesidades o dificultades en otro marco

• Los objetivos

• El tipo de contribuciones y actividades.

La jerarquía de objetivos y su traducción en diferentes niveles de efectos esperados son de especial importancia:

• Objetivos operativos expresados en resultados a corto plazo para los beneficiarios directos y/o productos (productos tangibles o servicios)

• Objetivos específicos (finalidad del proyecto) expresados en beneficios sostenibles para los grupos meta

• Objetivos generales expresados en efectos más globales.

Una vez realizado el análisis a partir de los documentos oficiales, el equipo de evaluación comienza a interactuar con los informadores clave de la dirección del proyecto/programa y con los servicios de la CE. Se recogen los comentarios sobre la lógica del proyecto/programa.

Delimitación del campo

El campo de la evaluación abarca todos los recursos movilizados y las actividades ejecutadas en el marco del proyecto/programa (campo central).

Además, el equipo de evaluación delimita un perímetro más amplio (campo ampliado) que comprende las principales acciones relacionadas, como:



• El resto de políticas, programas o proyectos de la CE y las políticas de la UE

• La estrategia del país socio (DELP), su política sectorial o programa

• Las intervenciones de otros donantes.

Una acción se ubica dentro de este perímetro en la medida en que concierna a los mismos grupos que el proyecto/programa evaluado.

Documentos de gestión

El equipo de evaluación consulta todos los documentos / bases de datos en materia de gestión y seguimiento para adquirir un conocimiento más acabado del proyecto/programa cubriendo los siguientes puntos:

• Identificación completa

• Recursos programados, contratados, utilizados

• Evolución de los productos

• Datos personales de los principales informantes

• Apreciaciones realizadas en el marco del «seguimiento orientado a los resultados» (ROM)

• Disponibilidad de los informes de avance y de los informes de evaluación.

Preguntas de evaluación

El equipo de evaluación establece la lista de preguntas de evaluación basándose en los siguientes elementos:

• Los temas que hay que analizar, según se indique en los TdR

• El marco lógico

• Cobertura razonable de los siete criterios de evaluación.

Para cada pregunta se elabora un comentario explicativo en relación con los siguientes puntos:

• Origen de la pregunta y utilidad potencial de la respuesta

• Aclaración de los términos empleados

• Diseño metodológico indicativo (actualizado), dificultades previsibles y problemas de viabilidad, si los hubiera.

En el sitio Web: lista de preguntas



Criterios de evaluación

Los siguientes criterios de evaluación (Cf. Lista de verificación en la pagina siguiente) corresponden a los estándares de las prácticas de evaluación en materia de ayuda para el desarrollo formalizados por el CAD de la OCDE (los cinco primeros) y a los propios requisitos de la CE (los dos últimos).

Reunión inicial

El responsable del equipo de evaluación presenta sus trabajos ante el grupo de referencia. La presentación se complementa con una serie de diapositivas y una lista de preguntas de evaluación comentadas.


... la evaluación se construye a partir de una serie de estudios de caso a nivel país que deben seleccionarse lo antes posible, preferentemente, antes de finalizar la fase inicial.


... el equipo de evaluación amplía sus entrevistas iniciales con la finalidad de conocer las expectativas de los beneficiarios y de otras partes interesadas externas.

Se realiza un análisis de las partes interesadas que se comenta en la reunión inicial.



Criterios de evaluación

Pertinencia

• Medida en que los objetivos de la intervención son congruentes con las necesidades de los beneficiarios, las necesidades del país, las prioridades globales de los asociados y las políticas de la CE.

Eficacia

• Medida en que se lograron o se espera lograr los objetivos de la intervención para el desarrollo, tomando en cuenta su importancia relativa.

Eficiencia

• Medida en la que se obtuvieron los resultados y/o efectos deseados con la menor cantidad de recursos posible (fondos, habilidades técnicas, tiempo, costos administrativos, etc).

Sostenibilidad

• Medida en la que las ventajas de la intervención perduran una vez finalizada la intervención exterior, o bien la probabilidad de que dichas ventajas perduren a largo plazo resistiendo a los riesgos.

Impactos

• Efectos a largo plazo, ya sean positivos o negativos, primarios o secundarios, producidos directa o indirectamente por la intervención, intencionalmente o no.

Coherencia

• Medida en que las actividades iniciadas permiten a la CE alcanzar los objetivos de su política de desarrollo. Medida en que complementan las políticas del país socio y las intervenciones del resto de los donantes.

Valor añadido comunitario

• Medida en que el proyecto/programa genera ventajas comparado con lo que hubiese resultado de las intervenciones de los estados miembros en un mismo contexto.



Informe inicial

El equipo de evaluación prepara el informe inicial, que refleja y formaliza cada una de las etapas ya ejecutadas e incluye una lista de preguntas actualizada según los comentarios recibidos.

Luego, cada pregunta se amplía con:

• Los indicadores a utilizar para responder la pregunta y las fuentes de información correspondientes

• La estrategia de análisis

• Etapas de razonamiento con miras a responder la pregunta.

Los indicadores, las fuentes de información y las etapas de razonamiento son provisorias a esta altura del proceso. Sin embargo, el informe inicial incluye un plan de trabajo detallado para la etapa siguiente. La validación formal del informe es necesaria para pasar a la etapa siguiente.

Indicadores

El marco lógico comprende los «indicadores objetivamente verificables (IOV)» y las «fuentes de información» que serán de utilidad para estructurar la labor de los evaluadores. En la medida en que se sigan adecuadamente los IOV, integrando información desde el punto de partida, se convertirán en una parte fundamental de la base factual de la evaluación.

Los indicadores también pueden obtenerse gracias a un sistema de indicadores, siempre que el proyecto/programa esté provisto del mismo.

Los indicadores también pueden desarrollarse durante la evaluación en el marco de una encuesta con un cuestionario, del análisis de una base de datos de gestión o de una serie estadística.

Los indicadores pueden ser cualitativos o cuantitativos.



Estrategia de análisis

Se deben analizar los indicadores y otros tipos de datos a fin de responder las preguntas de evaluación.

Cuatro estrategias de análisis pueden ser consideradas:

• Análisis del cambio, que compara los indicadores a través del tiempo y/o en niveles meta

• Meta-análisis, que extrapola los hallazgos de otros estudios tras haber comprobado exhaustivamente su validez y su aplicabilidad

• Análisis de atribución, que compara los cambios observados con un escenario «sin intervención», también denominado contrafactual

• Análisis de contribución, que confirma o invalida los supuestos causales a partir de una cadena de razonamiento.

La primera estrategia es la menos restringida y permite virtualmente responder a todos los tipos de preguntas. Las tres últimas estrategias son más adecuadas para responder a las preguntas sobre las relaciones causa-efecto.

2.2.2 Fin de la fase de documentación (desk)

Esta etapa puede prolongarse más o menos en función de la cantidad de documentos que deban analizarse.

Análisis de la documentación

El equipo de evaluación reúne y analiza todos los documentos disponibles (datos secundarios) directamente relacionados con las preguntas de evaluación:

• Documentos de gestión, balances y auditorías

• Estudios, trabajos de investigación o evaluaciones aplicadas a proyectos/programas similares en contextos similares

• Estadísticas

• Cualquier documento pertinente y fiable disponible en Internet.

No se trata en ningún caso de analizar todo el material disponible. Al contrario, se trata de que el equipo de evaluación busque



únicamente los documentos que permitan responder a las preguntas de evaluación.

Entrevistas con los responsables

Los miembros del equipo de evaluación se entrevistan con las personas que participan o han participado en el diseño, la gestión y la supervisión del proyecto/programa. Las entrevistas atañen a los responsables del proyecto/programa, los servicios de la CE y eventualmente a los actores clave en el país o países considerados.

En este momento, el equipo de evaluación sintetiza sus hallazgos provisorios en un primer conjunto de respuestas parciales a las preguntas de evaluación. Se especifican claramente los límites, así como los problemas que quedan por tratar y los supuestos por probar en la fase de terreno.

Diseño metodológico

Se da por finalizado el diseño metodológico contemplado en el informe inicial. El equipo de evaluación pule su enfoque para cada una de las preguntas en una tabla de diseño.



Tablas de diseño por pregunta

En la primera fila de la tabla aparece el texto de la pregunta, con un comentario que indica por qué se ha planteado dicha pregunta y, si fuera necesario, una aclaración de los términos empleados. La tabla precisa luego los indicadores y la estrategia de análisis.

En las filas siguientes se desglosa la cadena de razonamientos mediante la cual el equipo de evaluación tiene previsto responder a la pregunta. Dicha cadena se describe con una serie de etapas que el equipo de evaluación deberá atravesar con la finalidad de:

• Señalar los cambios relacionados con los indicadores seleccionados.

• Evaluar las relaciones causa-efecto.

• Contribuir a la formulación de juicios de valor.

Las etapas de razonamiento están asociadas a las fuentes de información y herramientas de evaluación.

Desarrollo de las herramientas

Se desarrollan las herramientas que se utilizarán durante la fase de terreno. Se establece una clasificación, desde las herramientas más sencillas y habituales como los extractos de bases de datos, los análisis de documentación y las entrevistas o visitas sobre el terreno, hasta las más técnicas como los focus groups, la modelización o los análisis de costes / beneficios. El volumen 4 presenta una serie de herramientas utilizadas con frecuencia.

El equipo de evaluación se apoya en una adecuada combinación de herramientas, con la finalidad de:

• Cruzar las fuentes de información

• Procurar que las herramientas se complementen entre sí

• Solucionar las limitaciones de tiempo y costes.



La caja de herramientas de la evaluación

Al diseñar el plan de trabajo, el equipo de evaluación puede consultar el volumen 4 dedicado a la caja de herramientas de la evaluación. El mismo da explicaciones concretas, recomendaciones y ejemplos sobre el modo de seleccionar y utilizar las herramientas de evaluación. También ofrece una plantilla de evaluación de calidad específica para cada herramienta.

No obstante, cabe señalar que estas indicaciones han sido preparadas para evaluaciones de nivel superior (país, región, global) y es probable que haya que adaptarlas para emplearlas en el marco de evaluaciones de proyecto/programa.

Cada herramienta se desarrolla gracias a una etapa de preparación para abarcar la totalidad o parte de los puntos siguientes:

• Lista de las preguntas y etapas de razonamiento a tratar por herramienta

• Especificaciones técnicas para utilizar la herramienta

• Los riesgos previsibles que pueden comprometer o delibitar la utilización de la herramienta y la manera de abordarlos

• Modalidades de informe dentro del equipo de evaluación y en el informe final

• Responsabilidades en la aplicación de la herramienta

• Criterios de calidad y proceso de control de calidad

• Calendario

• Recursos asignados.



De las preguntas de evaluación a las entrevistas

Las preguntas de evaluación no deben copiarse y pegarse directamente en las guías de entrevistas ni en los cuestionarios.

Las respuestas a las preguntas de evaluación debe darlas el equipo de evaluación y no las partes interesadas.

El equipo de evaluación puede apoyarse en las afirmaciones de las partes interesadas, pero únicamente tras haber realizado una minuciosa verificación cruzada.

Informe de la fase de documentación (desk)

El equipo redacta una versión provisoria del informe de la fase de documentación, que refleja y formaliza todas las etapas ya realizadas. El informe consta, como mínimo, de tres capítulos:

• Un capítulo pregunta por pregunta que incluye la información reunida y sus limitaciones —si las hubiera—, una primera respuesta parcial, los problemas que quedan por abordar, los supuestos que hay que probar y la versión final de las tablas de diseño

• Un enfoque indicativo del juicio global del proyecto/programa

• La lista de las herramientas que hay que aplicar durante la fase de terreno con las etapas de preparación ya finalizadas.

En caso necesario, el equipo de evaluación presenta el trabajo ya realizado en una reunión con el grupo de referencia. La presentación se complementa con una serie de diapositivas.

2.3 Fase de terreno Cuando el trabajo se lleva a cabo a través de una misión de expertos internacionales, la duración de esta fase es de algunas semanas. El plazo puede prolongarse cuando intervienen consultores locales, con las consiguientes ventajas en cuanto a la exhaustividad de la investigación y con una menor presión sobre las partes interesadas.



2.3.1 Preparación

El coordinador del equipo de evaluación elabora el plan de trabajo precisando las tareas que deben ejecutarse, las responsabilidades, el calendario, la manera de informar sobre todo ello y las exigencias de calidad.

El plan de trabajo debe ser lo suficientemente flexible para poder adaptarlo a las dificultades de última hora sobre el terreno.

El equipo de evaluación entrega a las principales partes interesadas en el país la lista de personas a entrevistar, las encuestas a realizar, los itinerarios y los nombres de las personas del equipo de evaluación.

Entrevistas y encuestas a personas externas

Un problema metodológico importante es saber en qué medida se han alcanzado los objetivos del proyecto/programa en términos de beneficios para los grupos meta y de impacto en el sentido amplio. La consecución de los objetivos debe juzgarse desde el punto de vista de los beneficiarios de las ventajas recibidas y según sus percepciones, y no desde la perspectiva de los responsables en cuanto a los productos y resultados obtenidos. Por lo tanto, las entrevistas y encuestas deben centrarse en las personas externas (beneficiarios y otros grupos alcanzados más allá de los beneficiarios), así como en las personas implicadas (responsables, actores, operadores de terreno). El plan de trabajo debe establecer claramente la proporción de personas implicadas interna y externamente en el marco de las entrevistas y encuestas.

Para entrevistar a las personas externas es posible que haya que superar barreras lingüísticas y/o culturales.

En el caso de programa multipaís...

... los estudios de caso permiten al equipo de evaluación recopilar información sobre el programa en el ámbito nacional. Junto con la fase de documentación, los hallazgos del estudio de caso a nivel país servirán para sustentar el juicio global formulado por el equipo de evaluación.



En el plan de trabajo se precisará que los estudios de caso a nivel país no deben considerarse como evaluaciones completas.

Si el calendario lo permite, el primer estudio de caso a nivel país puede servir para probar la metodología.


... el plan de trabajo incluye una serie de talleres o focus groups con los beneficiarios.

2.3.2 Reunión inicial

En la medida en que se considere oportuno, el equipo de evaluación propone una reunión informativa en el país / la zona durante los primeros días de trabajo sobre el terreno. Se tratarán los puntos siguientes:

• Presentación y discusión sobre el plan de trabajo

• Cómo acceder a los datos e informadores clave en la administración nacional y entre los otros donantes

• Como tratar y resolver los posibles problemas.

2.3.3 Recopilación y análisis de los datos

El equipo de evaluación pone en práctica su plan de recopilación de datos en el terreno. Las dificultades que puedan surgir se comentan de inmediato dentro del equipo. En caso necesario, se comentan las soluciones con el responsable de la evaluación.

Todos los miembros del equipo de evaluación deben tener claro que la evaluación no es ni un sondeo de opinión ni una oportunidad para expresar ideas preconcebidas. El trabajo de terreno está destinado a recopilar elementos de prueba lo más sólidos posible, es decir:

• Una observación directa de los hechos con rastros escritos, fotografías, etc. (elemento más sólido)

• Afirmaciones de los informadores implicados personalmente

• Observaciones indirectas (proxies), que permitan inferir la existencia de un hecho en particular



• Afirmaciones indirectas sobre hechos en los que los informadores no hayan estado implicados personalmente (elemento más débil).

Conducta ética y recopilación de datos

El equipo de evaluación no sólo tiene una responsabilidad frente al servicio encargado de la asignación, sino también frente a los grupos e individuos implicados en la evaluación o concernidos por ella, de modo que deben tenerse en cuenta los siguientes problemas:

• Los entrevistadores deben garantizar que están lo suficientemente familiarizados con las creencias, costumbres y tradiciones de las personas encuestadas y que las respetan.

• Los entrevistadores deben respetar el derecho de las personas a dar información de forma confidencial y deben garantizar que no podrán rastrearse las fuentes de información.

• Los miembros locales de la evaluación serán libres de asumir o no la responsabilidad del informe. En caso negativo, su función limitada se describirá con claridad en el informe.

• El equipo de evaluación debe minimizar sus exigencias en cuanto a duración de la entrevista.

• Si bien los miembros del equipo de evaluación deben respetar otras culturas, también deben integrar los valores europeos, en particular el respeto de las minorías y grupos específicos como las mujeres. En este sentido, se toma como referencia la Declaración Universal de los Derechos Humanos de las Naciones Unidas (1948).

• Los miembros del equipo de evaluación tienen la responsabilidad de poner de manifiesto los problemas y los hallazgos directamente relacionados con los términos de referencia.

• Las evaluaciones revelan a veces ciertas disfunciones. Se debe comentar con el responsable de la evaluación la cuestión de saber si se las debe informar, de qué manera y ante quién.



Evitar y corregir sesgos

Los miembros del equipo de evaluación deben ser conscientes en todo momento de los sesgos potenciales, como:

• El sesgo de confirmación, es decir, la tendencia a buscar elementos de prueba que confirmen los efectos esperados en lugar de elementos de prueba que los refuten.

• El sesgo derivado de la empatía, es decir, la tendencia a crear una atmósfera agradable (empática) con la finalidad de conseguir un gran número de respuestas y de completar las entrevistas con rapidez, lo cual provoca que los entrevistados formulen afirmaciones demasiado optimistas sobre el proyecto/programa.

• La autocensura, es decir, la tendencia de los entrevistados a no explicarse libremente y a no distinguir entre sus puntos de vista y los de sus instituciones o superiores, simplemente porque lo perciben como un riesgo.

• La estrategia de los entrevistados, que pueden responder de manera deliberadamente exagerada con la finalidad de acercar las conclusiones de la evaluación hacia sus posiciones.

• Las preguntas que inducen las respuestas, es decir, influyendo las respuestas por la forma en que se plantean las preguntas o por las reacciones del entrevistador ante las respuestas.

El equipo de evaluación refuerza la fiabilidad de los datos:

• Planteando preguntas abiertas, con lo cual se evita el sesgo de la confirmación.

• Mezclando preguntas positivas y negativas, con lo cual se evita el sesgo derivado de la empatía y las preguntas que inducen las respuestas.

• Concentrándose en todo momento en los hechos, lo cual permite cruzar los datos posteriormente y evitar el sesgo derivado de la estrategia del entrevistado.

• Garantizando el anonimato (y manteniendo la promesa), con lo cual se evita la autocensura del entrevistado.



2.3.4 Control de calidad

El responsable del equipo de evaluación comprueba la calidad de los datos y los análisis a partir de los criterios de calidad previstos para cada herramienta y de principios generales como:

• Presentación detallada del método que realmente se ha puesto en práctica

• Conformidad con el plan de trabajo y/o justificación de las adaptaciones

• Respeto de la reglas de confidencialidad

• Autoevaluación de la fiabilidad de los datos y de los sesgos.

2.3.5 Debriefing

El equipo de evaluación propone una reunión de debriefing al finalizar la fase de terreno. Revisa los datos y los análisis para cruzar las fuentes de información, para evaluar la solidez de la base factual y para identificar los hallazgos más significativos.

Se organiza otra reunión de debriefing con el grupo de referencia para comentar la fiabilidad y el alcance de la recopilación de información y los hallazgos más significativos.

El equipo de evaluación presenta una serie de diapositivas que reflejan la fiabilidad y el alcance de los datos recopilados, así como los primeros análisis y hallazgos. Esta reunión ofrece la oportunidad de reforzar la base factual de la evaluación.

En el caso del programa multipaís...

... el equipo de evaluación mantiene una reunión de debriefing en cada país visitado con o sin la participación de la Delegación. Se redacta una nota país que se distribuye entre los actores locales para conseguir un control factual.



Caso de evaluación participativa

En este caso, el equipo de evaluación puede organizar talleres de debriefing donde participen los beneficiarios y otras partes interesadas externas, con el objetivo de mejorar la calidad de los datos recopilados, de ayudar a interpretar los datos desde el punto de vista de los actores sobre el terreno y de reforzar las capacidades de las organizaciones de la sociedad civil local.

2.4 Fase de síntesis

2.4.1 Hallazgos

El equipo de evaluación formaliza sus hallazgos, que derivan exclusivamente de hechos, datos, interpretaciones y análisis. Los hallazgos pueden incluir afirmaciones causales (por ejemplo, «por la forma en que se han llevado a cabo, las colaboraciones han generado efectos sostenibles»). A diferencia de las conclusiones, los hallazgos no incluyen juicios de valor.

El equipo de evaluación lleva a cabo una revisión metódica de los hallazgos con el objetivo de confirmarlos. En este momento, la actitud es de autocrítica sistemática. Por ejemplo:

• Si se utilizan análisis estadísticos, ¿superan las pruebas de validez?

• Si los hallazgos se extraen de estudios de caso, ¿los contradicen otros estudios de caso?

• Si los hallazgos provienen de una encuesta, ¿podrían estar influidos por un sesgo de encuesta?

• Si los hallazgos provienen de una fuente de información, ¿aparecen contradicciones tras cruzar los datos con otras fuentes?

• ¿Pueden explicarse los hallazgos por factores externos ajenos al proyecto/programa evaluado?

• ¿Se contradicen los hallazgos con las lecciones aprendidas en otras experiencias? En caso afirmativo, ¿hay alguna explicación plausible?



2.4.2 Conclusiones

El equipo de evaluación responde las preguntas de evaluación propuestas mediante una serie de conclusiones que derivan de los hechos y los hallazgos. Además, pueden extraerse algunas conclusiones relacionadas con otros problemas que hayan surgido durante el proceso de evaluación.

Las conclusiones implican juicios de valor, llamados también evaluaciones razonadas (por ejemplo, «las colaboraciones se han gestionado de un modo que ha permitido reforzar la sostenibilidad en comparación con otros enfoques anteriores»). Las conclusiones deben justificarse de forma clara y deben explicitar los siguientes puntos:

• ¿Qué aspecto se valora del proyecto/programa?

• ¿Qué criterio de evaluación se utiliza?

• ¿Cómo se aplica realmente ese criterio de evaluación en este caso preciso?

El equipo de evaluación debe hacer el esfuerzo de formular un número limitado de conclusiones para garantizar su calidad. Se pueden aclarar o suprimir juicios de valor que no sean lo bastante transparentes o que no estén fundamentados en hechos.

El equipo de evaluación debe utilizar los criterios de evaluación de forma equilibrada y prestar una atención especial a la eficiencia y la sostenibilidad, dos criterios de evaluación que tienden a desestimarse en muchas ocasiones.

El equipo de evaluación sintetiza sus conclusiones en una valoración global del proyecto/programa y redacta un resumen de las conclusiones, indicadas por orden de prioridad y relacionadas con los hallazgos y los elementos de prueba. Se incluyen las limitaciones metodológicas y las posibles opiniones divergentes.

El responsable del equipo de evaluación comprueba que no existan sesgos sistemáticos en las conclusiones causados por opiniones positivas o negativas. Se asegura también de que las críticas puedan dar lugar a recomendaciones constructivas.

2.4.3 Recomendaciones y lecciones

El equipo de evaluación debe distinguir claramente entre las conclusiones que no conllevan una acción particular (por ejemplo, «las colaboraciones han sido gestionadas de un modo que ha



permitido reforzar la sostenibilidad en comparación con enfoques anteriores») y las afirmaciones derivadas de las conclusiones que están orientadas a la acción, es decir:

• Las lecciones aprendidas (por ejemplo «el éxito obtenido con las colaboraciones puede ser útil en otros países con contextos similares»)

• Las recomendaciones (por ejemplo «el éxito fructífero obtenido con las colaboraciones debería reforzarse en el siguiente ciclo de programación»).

Las recomendaciones pueden presentarse como opciones alternativas, con sus pros y sus contras.

En la medida de lo posible, al presentar las recomendaciones es necesario:

• Demostrar su utilidad, su viabilidad y las condiciones de éxito

• Detallar el marco temporal y los públicos

• Clasificarlas y detallarlas por orden de prioridad.

El equipo de evaluación identificará de manera clara aquellos aspectos en los que ya se están aplicando los cambios deseados con la finalidad de evitar malas interpretaciones u ofensas innecesarias.

2.4.4 Informe provisorio

El equipo de evaluación prepara la primera versión del informe, con igual extensión, formato y contenido que la versión final. Dependiendo del público meta, el informe se redacta:

• Con o sin terminología técnica

• Con una presentación resumida o detallada del proyecto/programa y de su contexto.



Estructura del informe

En general, el informe consta de 2 a 5 páginas de resumen, 40 a 60 páginas que constituyen el cuerpo del informe, más los anexos.

• Resumen

• Índices, tablas y siglas

• Introducción

• Preguntas detalladas

• Visibilidad del proyecto/programa

• Juicio global

• Conclusiones, lecciones y recomendaciones

• Anexos

El resumen es un documento conciso e independiente que presenta el proyecto/programa evaluado, la finalidad de la evaluación, las principales fuentes de información y opciones metodológicas y las conclusiones, lecciones y recomendaciones principales.

La introducción describe el proyecto/programa y la evaluación. Se ofrecen al lector las explicaciones metodológicas necesarias para que pueda evaluar la credibilidad de las conclusiones e identificar las limitaciones y los posibles puntos débiles de la evaluación.

Un capítulo presenta las preguntas de evaluación junto con los elementos de prueba, la cadena de razonamientos y los juicios relacionados. Se da una respuesta breve y precisa a cada pregunta.

Otro capítulo explica cómo se logró que el proyecto/programa sea visible para los públicos del país socio y de la UE.

Otro capítulo sintetiza todas las respuestas a las preguntas de evaluación a modo de juicio global del proyecto/programa. Este capítulo articula todos los hallazgos, las conclusiones y lecciones de forma que quede reflejada su importancia y se facilite su lectura.



Las conclusiones y lecciones, se recogen en una lista, se clasifican y se detallan por orden de prioridad en pocas páginas, al igual que las recomendaciones.

El responsable del equipo de evaluación comprueba que el informe satisfaga los criterios de calidad. Lo somete a la consideración de la persona encargada del control de calidad antes de enviárselo al responsable de la evaluación.

El responsable del equipo de evaluación y el responsable de la evaluación comentan la calidad del informe. Proponen mejoras si se les ha solicitado.

Certificado de calidad

El responsable del equipo de evaluación adjunta un certificado de calidad al informe final provisorio en el que se indica en qué medida:

• Se ha dado respuesta a las preguntas de evaluación

• Se establecen las limitaciones en cuanto a fiabilidad y validez

• Se aplican de forma explícita y transparente los criterios de evaluación a las conclusiones

• Se ha utilizado la presente guía

• Se han aplicado las herramientas y los análisis conforme a los estándares

• Se han seguido los estándares en cuanto a registro lingüístico, estructura, ilustraciones, etc.

En el caso de programa multipaís...

... las notas país se publican como parte del conjunto del ejercicio de evaluación, integradas en los anexos del informe de síntesis (se requiere pues una compaginación).

2.4.5 Debate sobre el informe provisorio

El equipo de evaluación presenta el informe en el marco de una reunión del grupo de referencia. La presentación se complementa con una serie de diapositivas que muestran:



• Las respuestas a las preguntas y las limitaciones metodológicas

• El juicio global, las conclusiones y las lecciones aprendidas

• Las recomendaciones.

Se recogen los comentarios con la finalidad de:

• Corroborar la base factual de los hallazgos y las conclusiones

• Comprobar la transparencia y la imparcialidad

• Comprobar la utilidad y viabilidad de las recomendaciones.

2.4.6 Seminario de debate

En esta etapa, el responsable de la evaluación puede decidir organizar un seminario reuniendo a un amplio grupo de partes interesadas para comentar el contenido y la utilidad de las conclusiones en presencia del equipo de evaluación. Puede contarse con la presencia del personal de la Delegación, las autoridades nacionales, la sociedad civil, la dirección del proyecto, otros donantes y/o expertos. Los participantes reciben una versión actualizada del informe provisorio.

2.4.7 Finalización del informe

El equipo de evaluación finaliza el informe teniendo en cuenta todos los comentarios recibidos. Se prepara también la versión final de los anexos en uno de los formatos siguientes:

• Anexos impresos al final del informe

• Anexos en CD-ROM.



Anexos

• Términos de referencia

• Lista de las actividades específicas examinadas

• Marco lógico y comentarios

• Método de evaluación detallado, que comprende:

- Las opciones seleccionadas, las dificultades encontradas y las limitaciones

- Información detallada sobre las herramientas y los análisis

• La lista de las entrevistas

• La lista de los documentos utilizados

• Cualquier otro texto o tabla con hechos utilizados en la evaluación.

El informe se imprime según las instrucciones indicadas en los términos de referencia.

El líder del equipo de evaluación recibe una evaluación final de la calidad realizada por el responsable. En caso necesario, escribe una nota explicando los motivos por los cuales no se han reflejado determinadas solicitudes de mejora de la calidad. Esta respuesta se adjunta a la evaluación de calidad y al informe.


Disponible en el sitio Web Europa http://ec.europa.eu/europeaid/index_es.htm

Modelo de términos de referencia.

Lista de preguntas de evaluación.

Modelo de plantilla de evaluación de calidad.

Estructura de une resumen.

METODOLOGÍA DE EVALUACIÓN DE LA AYUDA … · La Comisión Europea ha desarrollado y formalizado...

Documents

Transcript of METODOLOGÍA DE EVALUACIÓN DE LA AYUDA … · La Comisión Europea ha desarrollado y formalizado...