Politicas de evalución en la Cooperacion para el Desarrollo

POLÍTICAS DE EVALUACIÓN EN LA COOPERACIÓN PARA EL DESARROLLO Diferentes aproximaciones a una realidad cambiante

ES 03

Sonia Franco Alonso Ana Ballesteros Pena

Sara M. Ulla Díez Aisha Al-Said Albella

Edición: Septiembre 2015© Ministerio de Asuntos Exteriores y de CooperaciónSecretaría de Estado de Cooperación Internacional y para IberoaméricaSecretaria General de Cooperación Internacional para el Desarrollo

NIPO on line: 502-15-071-7Se autoriza la reproducción total o parcial de esta obra por cualquier medio o procedimiento, conocido o por conocer, comprendidas la reprografía y el tratamiento informático, siempre que se cite adecuadamente la fuente.

Para cualquier comunicación relacionada con esta publicación, diríjanse a:División de Evaluación de Políticas para el Desarrollo y Gestión del ConocimientoSecretaría General de Cooperación Internacional para el DesarrolloMinisterio de Asuntos Exteriores y de CooperaciónSerrano Galvache, 26, torres Ágora, Torre Norte. 28071 MadridTel.: +34 91 394 [email protected]

paula.caballero

Texto escrito a máquina

Documento realizado por: Sonia Franco Alonso, Ana Ballesteros Pena, Aisha Al-Said Albella, especialistas en evaluación y Sara M. Ulla Díez, Jefa de Área de Evaluación de la División de Evaluación de Políticas para el Desarrollo y Gestión del Conocimiento. Secretaría General de Cooperación Internacional para el Desarrollo. Las opiniones y posturas expresadas en este documento no se corresponden necesariamente con las del Ministerio de Asuntos Exteriores y Cooperación.

paula.caballero


paula.caballero


paula.caballero


paula.caballero


paula.caballero


paula.caballero


paula.caballero


paula.caballero


paula.caballero


paula.caballero


paula.caballero


paula.caballero


paula.caballero


paula.caballero


paula.caballero


paula.caballero


paula.caballero


paula.caballero


paula.caballero


paula.caballero


iii

1. INTRODUCCIÓN ............................................................... 1

2. CONCEPTOS PREVIOS ...................................................... 3

2.1. La evaluación en un escenario complejo ............... 3

2.2. Evolución de la evaluación en cooperación

internacional para el desarrollo ........................... 4

2.3. Qué entendemos por política de evaluación y cuál

es su relación con la práctica evaluativa .............. 8

2.4. La aproximación a la evaluación de la Cooperación

Española ............................................................ 10

3. ANÁLISIS COMPARADO DEL CONTENIDO DE DISTINTAS

POLÍTICAS DE EVALUACIÓN Y LA POLÍTICA DE

EVALUACIÓN DE LA COOPERACIÓN ESPAÑOLA ................. 14

3.1. Documentos incluidos en el análisis ................... 14

3.2. Dimensiones analizadas ...................................... 17

3.3. Principales resultados ........................................ 18

4. CONCLUSIONES ............................................................. 49

4.1. Las principales tendencias en las políticas de

evaluación de cooperación internacional para el

desarrollo en la actualidad ................................. 49

REFERENCIAS BIBLIOGRÁFICAS…………………………………..56

ÍNDICE

1

1. INTRODUCCIÓN

El año 2015 supone un hito en las políticas de cooperación

internacional para el desarrollo desde que en el año 2000 con la

Conferencia del Milenio se estableciera la Agenda de los Objetivos

de Desarrollo del Milenio. La aprobación, en septiembre de este

año, de los 17 Objetivos de Desarrollo Sostenible propuestos en el

Final Draft of the outcome for the UN Summit to adopt the Post-

2015 Development Agenda (UN, 2015) tras un debate

ampliamente participativo que ha tenido lugar durante los últimos

dos años, dirigirá la atención sobre “un plan de acción para las

personas, el planeta y la prosperidad”. En este nuevo marco de

actuación, la evaluación toma mayor protagonismo que en la

anterior agenda, a través de la inclusión del epígrafe “Seguimiento

y revisión”, que contiene 17 metas generales y concretas para los

niveles global, nacional y regional.

El 2015 también ha sido reseñable por la celebración del Año

Internacional de la Evaluación y del Año Europeo del Desarrollo,

pues se han abierto muchos debates en la comunidad internacional

en torno a los elementos clave que deben confluir para que la

función de evaluación, que se sustenta sobre la política de

evaluación y la práctica evaluativa, pueda implantarse de una

manera consistente en el sistema de cooperación internacional

para el desarrollo. Tres son los aspectos que vienen suscitando

más consenso en este sentido: un ambiente y un contexto

sociopolítico a favor de la evaluación, un marco institucional

adecuado, y suficientes y apropiadas capacidades individuales de

los distintos actores públicos.

Las políticas o guías de evaluación de las agencias donantes

analizadas en este documento son el reflejo de los pasados y

INTRODUCCIÓN

Políticas de evaluación de la cooperación para el desarrollo

2

actuales debates en torno a los elementos mencionados en el

párrafo anterior y al renovado compromiso de consolidar la cultura

de la evaluación en el ámbito de la cooperación para el desarrollo.

Fruto de estos debates, y con el objetivo de mejorar la función

evaluativa en el ámbito de la cooperación internacional, las

agencias bilaterales y multilaterales han acudido a ejercicios de

diseño y puesta en marcha de políticas de evaluación.

En este sentido, el objetivo de este artículo al presentar el

resultado del análisis de los contenidos de las políticas de

evaluación de cooperación internacional para el desarrollo de

algunas agencias bilaterales y multilaterales de desarrollo. Estas,

en parte sirvieron para la construcción de la Política de Evaluación

de la Cooperación Española (MAEC, 2013a), con el fin de

retroalimentar y fortalecer la función de evaluación y orientar el

cambio para la mejora de la política de cooperación internacional

para el desarrollo.

La estructura del documento comienza con un apartado que

introduce el marco conceptual y de políticas, con una breve

descripción de la cooperación española, desde el que se han

analizado el resto de políticas y directrices de evaluación. En el

apartado siguiente se presenta una revisión del contenido de

diferentes políticas de evaluación, incluyendo la Política de

Evaluación de la Cooperación Española. El documento cierra con

las principales conclusiones y recomendaciones de cara a la nueva

agenda de los Objetivos de Desarrollo Sostenible.

3

2. CONCEPTOS PREVIOS

2.1. La evaluación en un escenario complejo

La cooperación internacional para el desarrollo, como toda

acción pública, debe rendir cuentas de su quehacer ante la

ciudadanía y tiene la responsabilidad de aprender de su práctica.

La evaluación de cualquier intervención de cooperación

internacional para el desarrollo1, la acción humanitaria y la

educación para el desarrollo deben abrigar desde la comprensión

hasta la retroalimentación y deben contribuir a la rendición de

cuentas y a la mejora del objeto evaluado considerando los

cambios que ha generado en la realidad.

El actual escenario de complejidad de la cooperación

internacional para el desarrollo, en el que las agencias

multilaterales y los países donantes se enfrentan a una realidad

muy compleja (Argilés, 2013; Collins y Stirrat, 2008; Ramalingam,

Laric y Primrose, 2014), traslada al ámbito de la evaluación

grandes desafíos técnicos y políticos, de ahí que, en la actualidad,

los sistemas de evaluación se encuentran ante la encrucijada de

adaptarse para responder a tales retos. La evaluación debe ser un

medio para generar aprendizajes que permitan mejorar la eficacia

y la calidad de las intervenciones de la cooperación internacional

para el desarrollo, así como aportar elementos suficientes para la

transparencia y la rendición de cuentas. Para ello, en el proceso

evaluativo deben emplearse una metodología y unas técnicas

rigurosas en la recolección y el análisis de la información.

1 Hablaremos de intervención en sentido genérico para facilitar la lectura. No obstante, llamamos la atención de que con ello, nos referimos a cualquier acción o instrumento que emplee la cooperación internacional para el desarrollo, desde los documentos de estrategia política hasta los proyectos más concretos.

CONCEPTOS PREVIOS


4

La evaluación debe formar parte nuclear, por tanto, del sistema

de gestión del conocimiento de la cooperación internacional para el

desarrollo, pues se trata del proceso que permite comprender y

valorar críticamente el conjunto de elementos y dimensiones que

integran las intervenciones, favoreciendo el aprendizaje y la

extracción de lecciones consistentes y útiles, tanto sobre los

propios objetos de evaluación como sobre los contextos en los que

éstos se enmarcan. Por ello, el proceso de aprendizaje de la

evaluación debe implicar tanto a las personas e instituciones

responsables de la dirección y gestión de las intervenciones como

al conjunto de actores que participan en su diseño y ejecución, así

como a las personas y organizaciones que son destinatarias finales

de los programas (MAEC, 2013a).

Como hemos señalado, la evaluación facilita la transparencia y

contribuye a la responsabilización a través de la rendición de

cuentas. Por ello, es necesario que las evaluaciones sean

equilibradas y rigurosas, que los informes de evaluación sean

públicos y accesibles y que aporten información relevante para

explicar el funcionamiento y los resultados de las intervenciones de

cooperación internacional para el desarrollo (Monterde, 2014; Ulla

y Argilés, 2014; Winckler, 2014). La evaluación contribuye además

a la transformación social no sólo a través del uso de sus

productos, sino también en cuanto proceso catalizador de cambios

en los niveles personal, organizativo y sistémico. Para propiciar

este potencial transformador, es fundamental apoyar el desarrollo

de las capacidades de los diferentes actores implicados, promover

su participación efectiva en las distintas fases de los procesos

evaluativos, e impulsar el diálogo, la reflexión crítica y la revisión

de las prácticas y asunciones (MAEC, 2013a).

2.2. Evolución de la evaluación en cooperación internacional para

el desarrollo

Para nuestro repaso por el recorrido de la evaluación de la

cooperación internacional para el desarrollo, hemos tomado

5

inicialmente como referencia, hasta el año 2000, la cronología de

la evaluación en cooperación para el desarrollo de Cracknell

(2000), donde se establecen cuatro fases de evaluación en el

marco de la Ayuda Oficial al Desarrollo (AOD): desarrollos

tempranos (desde finales de la década de 1960 hasta 1979);

explosión de interés (entre 1979 y 1984); mayoría de edad (entre

1985 y 1988); y evaluación de la ayuda en la encrucijada (desde

1988 hasta la publicación de su libro en el año 2000).

Otro documento de referencia fundamental para conocer el

recorrido de la evaluación en las últimas décadas es el informe del

CAD en el que realizan un análisis a la luz de 30 años de

experiencia en evaluación (OCDE, 2013), donde, se proponen los

hitos más importantes que, históricamente, hicieron evolucionar la

evaluación de la ayuda tal y como se entiende en la actualidad.

En los años sesenta el enfoque para evaluar la mayoría de las

intervenciones de cooperación internacional para el desarrollo se

ceñía a la estimación de las tasas de retorno financiero y

económico (Binnendijk, 1989). Durante esa época, en la que la

ayuda se orientaba en buena medida a la ejecución de proyectos

de creación de infraestructuras y fortalecimiento industrial, el

enfoque de evaluación utilizado parecía apropiado para el tipo de

cooperación que realizaban los donantes. A partir de esta década,

el Informe Partners in Development, también llamado Informe

Pearson (Pearson, 1969), desplazó el énfasis de la inversión en

infraestructuras del sistema de cooperación internacional para el

desarrollo hacia la satisfacción de las necesidades básicas de las

personas pobres. Por ello, la estimación de las tasas de retorno

financiero y económico como método de valoración de proyectos

se volvió insuficiente por las dificultades que mostraba para

conocer datos sobre equidad, distribución, beneficio social e

impacto.

CONCEPTOS PREVIOS


6

Tras el surgimiento de diversas propuestas metodológicas para

la evaluación de la cooperación internacional para el desarrollo, el

Comité de Ayuda al Desarrollo (CAD) de la OCDE decidió poner en

marcha sendos seminarios sobre evaluación durante la década de

los setenta que dieron como resultado la celebración de dos

reuniones de alto nivel: en noviembre de 1979, la Reunión de Alto

Nivel para la creación del Group of Correspondents on Aid

Evaluation y en 1982 la organización de un Encuentro de Alto Nivel

(OCDE, 2013a). Como resultado del debate producido durante

estas conferencias y del contexto previo, las agencias

multilaterales y los países donantes adoptaron de forma amplia el

Enfoque del Marco Lógico, tanto como herramienta de diseño como

para los marcos conceptuales de la evaluación. La construcción de

los marcos conceptuales, llamados por el CAD marco global, marco

país, marco de proyecto y marco de la agencia donante (OCDE,

1975), tenía como principal objetivo valorar la contribución hacia

el logro de los resultados, conocer los problemas de desarrollo de

un país concreto para analizar las limitaciones de las

intervenciones implementadas, analizar los efectos concretos de

un proyecto, así como informar a las autoridades responsables de

la AOD del uso y destino de los fondos de cooperación.

Durante las décadas de los setenta y ochenta, las teorías del

desarrollo giraban en torno a los proyectos como las unidades más

importantes de intervención, en el crecimiento como objetivo del

desarrollo, en la sustitución de importaciones y en la planificación

desde las sedes centrales. Esta visión de la planificación y la

implementación dominaba las visiones en la evaluación de la

cooperación para el desarrollo, que se centró, durante esta época

y salvo algunas excepciones, en la evaluación de proyectos como

único instrumento de la cooperación, en el análisis coste beneficio,

en el precio sombra y en la autoevaluación o la evaluación

centrada en las unidades de planificación. Durante esta fase de la

evaluación de la AOD, el énfasis metodológico se concentró en

establecer la evaluación como una parte clave del ciclo del

7

proyecto y se orientó el énfasis hacia el diseño y el establecimiento

de criterios para conocer en qué medida se había logrado el éxito

en el desempeño del proyecto (Cracknell, 2000).

No fue hasta los años ochenta cuando las agencias y los países

donantes comenzaron a desarrollar y publicar metodologías de

evaluación que trataban de poner cierta claridad en lo que hasta

ese momento había sido un trabajo menos coordinado (con

algunas agencias más avanzadas y con otras más rezagadas en el

diseño y gestión de evaluaciones)2. Es en esta década cuando se

crean estructuras y se publican documentos que, con algunos

cambios, siguen vigentes en la actualidad. Son, por ejemplo, los

casos de la creación del grupo de evaluación de la ayuda en el CAD

en 1982, la celebración de conferencias y la publicación de una

gran variedad de libros y artículos sobre la evaluación de la

cooperación internacional para el desarrollo, que aún a día de hoy

siguen de actualidad. El impulso inicial hacía la realización de

evaluaciones conjuntas se inició también en los años ochenta, en

lo que conoce como el “multi-donor coordination of evaluation

activities”, y desde entonces, la importancia de las evaluaciones

conjuntas ha sido creciente.

Sin embargo, la definición de evaluación de la ayuda no se

publicaría hasta el año 1991, en el documento del CAD de

Principios para la evaluación de la ayuda al desarrollo (OCDE,

2013a). Los principios de eficacia de la ayuda, establecidos por el

CAD en 1992 (OCDE, 2013a), profundizaron asimismo en este

cambio de paradigma a través de la combinación de la orientación

a resultados de desarrollo, la apropiación, las alianzas y los

enfoques a largo plazo, elementos que influyeron en la selección

de los criterios del CAD (pertinencia, eficacia, eficiencia, impacto y

2 Por ejemplo, el Banco Mundial y la agencia USAID comenzaron a utilizar el enfoque del marco lógico como herramienta de diseño de intervenciones diez años antes que los donantes europeos.

CONCEPTOS PREVIOS


8

sostenibilidad) como marco principal para la realización de

evaluaciones.

Posteriormente, a partir de la Declaración de los Objetivos de

Desarrollo del Milenio (2000) y del Consenso de Monterrey (2002),

los donantes de AOD se orientaron a la implementación de los

Programas País, al ajuste estructural, hacia las políticas orientadas

hacia el exterior y a la toma de decisiones descentralizada, que se

reflejó en la evaluación a través de la planificación de las

evaluaciones, el diseño de políticas de evaluación, el análisis de

riesgos y la realización de evaluaciones participativas (Picciotto,

2002).

A pesar de que existen otras publicaciones que proponen

cronologías diferentes, y aunque todas tienen en común que

establecen diferencias entre las fases anteriores y el momento

actual, la propuesta de Cracknell tiene unas características que nos

sirven para nuestro análisis, así como para abrir las puertas a una

descripción del momento actual de la evaluación de la cooperación

internacional para el desarrollo, desde el año 2000 a nuestros días.

2.3. Qué entendemos por política de evaluación y cuál es su

relación con la práctica evaluativa

Tomando como punto de partida la literatura existente al

respecto, es importante reflexionar sobre lo que es y lo que no es

una política de evaluación con el fin de delimitar nuestro marco de

análisis. Una de las preguntas clave a la hora de plantearse una

posible definición de política de evaluación tiene que ver con la

forma en que la distinguimos de otros lineamientos estratégicos

que podrían potencialmente confundirse con ella. Por ejemplo,

¿cuáles serían las diferencias entre una política y una guía, una

directriz, una orientación, un mandato, una norma o una

aproximación teórica? La respuesta no es siempre clara, ni las

9

definiciones permiten siempre una discriminación exacta. Una

propuesta sería que las directrices, las orientaciones, etc. se

convierten en políticas de evaluación sólo cuando se adoptan

conscientemente por la organización o por el Estado para guiar las

decisiones o acciones sobre evaluación de determinada política

(Trochim, 2009). Siguiendo este planteamiento, las directrices y

orientaciones sobre evaluación en cooperación internacional para

el desarrollo se convierten en política de evaluación cuando la

organización o la agencia responsable las utilizan para instaurar su

manera de hacer evaluación en cooperación internacional para el

desarrollo.

Partiendo de estas premisas ¿cómo definiríamos política de

evaluación? Cooksy, Mark y Trochim (2009,4) entienden las

políticas de evaluación “como (aunque no sólo) mandatos de alto

nivel integrados en la legislación que se utilizan para guiar la

práctica de la evaluación”. Por su parte, Trochim (2009) define la

política de evaluación como "todo mandato o principio que un

grupo u organización utiliza para guiar sus decisiones y acciones al

hacer evaluación”.

¿Cuáles serían entonces las señas de identidad de una política

de evaluación? Nos encontramos, en primer lugar, con que la

política de evaluación es un elemento crítico para la práctica de la

evaluación porque da forma y moldea a la práctica evaluativa, de

modo que puede posibilitar, promover o limitar, la potencial

contribución que la evaluación puede realizar.

Un segundo elemento importante que subyace a estas

definiciones es la idea de que la política de evaluación merece más

atención explícita, tanto en la literatura formal como en el diálogo

informal sobre evaluación.

Una tercera creencia sería que una mayor participación de los y

las profesionales de la evaluación en la política de evaluación

CONCEPTOS PREVIOS


10

podría abrir la puerta para mejoras significativas en la práctica de

la evaluación (Trochim, 2009).

Para clasificar las políticas de evaluación en su relación con la

práctica evaluativa, Trochim propone analizar los siguientes ocho

aspectos de las políticas:

1. Objetivos: definición de evaluación (qué es y qué no es

evaluación).

2. Participación: qué actores están involucrados en los

procesos de evaluación.

3. Fortalecimiento de capacidades: recursos humanos

destinados a evaluación.

4. Gestión: qué se evalúa y cuándo se evalúa, cómo se

gestiona el proceso, con qué marco presupuestario se

cuenta.

5. Roles: cuáles son las responsabilidades que las diferentes

personas tienen en los procesos de evaluación.

6. Procesos y métodos: aproximaciones metodológicas

recomendadas o requeridas.

7. Utilidad: cómo van a ser usados los resultados, las

conclusiones y las recomendaciones de la evaluación.

8. Metaevaluación: evaluación de la evaluación, principios y

valores.

Aunque el propósito de nuestro análisis no es clasificar las

políticas revisadas, la propuesta analítica de Trochim nos resulta

de gran utilidad para la organización de nuestro análisis.

2.4. La aproximación a la evaluación de la Cooperación Española

En el IV Plan Director de la Cooperación Española 2013–2016

(en adelante el IV Plan Director) se señala que el objetivo final de

la Cooperación Española es “contribuir al desarrollo humano, la

disminución de la pobreza y el pleno ejercicio de los derechos”,

11

situando al conocimiento derivado de las buenas prácticas y de los

fracasos como elemento de aprendizaje para el logro de dicho

objetivo.

De esta forma, el aprendizaje y la mejora se sitúan como dos

pilares fundamentales para la Cooperación Española. En esta

misma línea, el IV Plan Director hace una apuesta explícita por

enmarcar sus acciones bajo un enfoque para resultados de

desarrollo que deben quedar expresamente definidos en los

procesos de diálogo que se establecen entre los actores de la

Cooperación Española y sus interlocutores, los cuales son

contextualizados en cada una de las áreas en las que la

Cooperación Española desarrolla su trabajo. Con el fin de

promover el cambio en los países donde actúa, la Cooperación

Española deberá contar con diferentes fuentes de conocimiento:

• La gestión de la información mediante sistemas que

garanticen la accesibilidad, fiabilidad y actualización de la

información.

• La evaluación orientada a la mejora continua.

• La generación de conocimientos referidos a la realidad de

los problemas del desarrollo mediante investigaciones y

estudios del desarrollo.

• El seguimiento vinculado a resultados de desarrollo.

Si bien todos los Planes Directores de la Cooperación Española

han incluido indicaciones en materia de evaluación, la primera

Política de Evaluación de la Cooperación Española, formalizada

como tal, no se publicó hasta el año 2007. Este documento, junto

a las Metodologías de Evaluación de la Cooperación Española y al

Manual de Gestión de Evaluaciones de la Cooperación Española

(MAE, 2007a), sentaban las bases de la función de evaluación en

CONCEPTOS PREVIOS


12

el sistema de cooperación español en los últimos años3. De ahí que

en 2012 el Ministerio de Asuntos Exteriores y de Cooperación

(MAEC) de España plantease la necesidad de abrir el nuevo ciclo

con la revisión de la Política de Evaluación de la Cooperación

Española, con el fin tanto de adaptarla a los desafíos que se venían

planteando dentro del contexto internacional como de adecuarla a

un escenario económico y político-administrativo español que

había sufrido importantes cambios.

La División de Evaluación de Políticas para el Desarrollo y

Gestión del Conocimiento de la Secretaría General de Cooperación

Internacional para el Desarrollo (SGCID) de la Secretaría de

Estado de Cooperación Internacional y para Iberoamérica (SECIPI)

del MAEC (en adelante, la División de Evaluación), fue la

responsable de liderar el proceso de revisión de la Política de

Evaluación de la Cooperación Española de 2007 (MAE, 2007b).

Esta revisión fue llevada a cabo de manera participativa a través

de un proceso de reflexión abierto al conjunto de la Cooperación

Española durante el año 2012, concretándose la redacción del

nuevo documento a lo largo del primer trimestre de 2013 (MAEC,

2013).

Este proceso de revisión comenzó en el primer semestre de

2012 con un diagnóstico de la situación, para el que se contó con

especialistas del ámbito académico y de la Agencia Estatal de

Evaluación de las Políticas Públicas y la Calidad de los Servicios

(AEVAL). Entre los espacios de participación que nutrieron la

nueva Política de Evaluación tuvo un papel especialmente

relevante la celebración de las Jornadas sobre evaluación y

cooperación para el desarrollo de diciembre de 2012, organizadas

por la División de Evaluación, en las que se contó con la

participación de especialistas en evaluación y cooperación

3 En el sitio Web de Cooperación Española http://www.cooperacionespanola.es/ está disponible toda la documentación relevante en este sentido.

13

nacionales e internacionales. También Incluyeron un taller de

trabajo con los diferentes actores de la Cooperación Española para

presentar y debatir un primer borrador de la nueva Política, y

también se contó con una página Web, que permitió recabar de

manera abierta diferentes comentarios de todas aquellas personas

interesadas en el proceso.

La nueva Política de Evaluación de la Cooperación Española

(MAEC, 2013a) fue aprobada formalmente por el titular de la

SECIPI el 17 de mayo de 2013 y está actualmente en vigencia.

Resumidamente, los cuatro pilares sobre los que se asienta la

Política de Evaluación de 2013 son los siguientes:

• Mejora de la articulación de la función de evaluación en el

conjunto del sistema español de cooperación.

• Incremento de la calidad, la credibilidad y la utilidad de las

evaluaciones, de manera que impulsen el aprendizaje y la

retroalimentación.

• Respuesta a los nuevos retos que plantea la agenda al

desarrollo.

• Fomento de la transparencia y de una mayor rendición de

cuentas.

De manera paralela, la División de Evaluación llevó a cabo un

estudio sobre el estado de la evaluación en la cooperación

descentralizada española y un análisis comparado de las políticas

de evaluación de cooperación para el desarrollo en la comunidad

internacional cuya finalidad era servir de base y de orientación en

el proceso de revisión de la Política de Evaluación de la

Cooperación Española. Por tanto, la actual Política de Evaluación

de la Cooperación Española es fruto tanto de un proceso

participativo de consultas como de un proceso de reflexión. El

análisis que se presenta en este documento formó parte de ese

trabajo.

CONCEPTOS PREVIOS


14

3. ANÁLISIS COMPARADO DEL

CONTENIDO DE DISTINTAS POLÍTICAS

DE EVALUACIÓN Y LA POLÍTICA DE

EVALUACIÓN DE LA COOPERACIÓN

ESPAÑOLA

3.1. Documentos incluidos en el análisis

El objetivo inicial del trabajo era el abordaje de una nueva

Política de Evaluación de la Cooperación Española, y a tal fin se

realizó un análisis bibliográfico que permitiera concretar los

campos y dimensiones de las políticas de evaluación que debían

ser objeto de especial análisis o categorización. Entre la

bibliografía inicialmente examinada destacaron dos estudios: el

trabajo realizado, conjuntamente, por la Agence Française de

Développement (AFD) y el Overseas Development Institute (ODI),

en 2007, titulado A Comparative Study of Evaluation Policies and

Practices in Development Agencies; y el estudio publicado por el

Comité de Ayuda al Desarrollo (CAD) de la Organización para la

Cooperación y el Desarrollo Económico (OCDE) en 2009, titulado

Development Evaluation Resources and Systems - A Study of

Network Members.

Los criterios de selección de las agencias e instituciones

bilaterales y multilaterales de desarrollo objeto del análisis

comparado han sido: por un lado, su trayectoria en cooperación

internacional para el desarrollo y la importancia de la función de

evaluación en su política; y por otro, sus analogías respecto al

sistema español, su actualidad y su carácter innovador. Se

incluyeron en el análisis las directrices, orientaciones y políticas de

evaluación de cooperación para el desarrollo de agencias

bilaterales y multilaterales de desarrollo. Un primer análisis fue

15

realizado en 2012 si bien posteriormente se actualizó en los

primeros meses de 2014, con la revisión de las políticas,

estrategias, orientaciones y mandatos de aquellos donantes

bilaterales donde se hubieran producido modificaciones a lo largo

de los últimos meses4. En síntesis, entre 2012 y 2014 se

analizaron las políticas, estrategias, orientaciones de evaluación de

la cooperación internacional para el desarrollo de diez Estados

miembros del CAD de la OCDE; dos bancos regionales de

desarrollo; cuatro organismos multilaterales de desarrollo del

Sistema de Naciones Unidas; y dos instancias de la Comisión

Europea responsables de la cooperación al desarrollo y la acción

humanitaria. Nueve de los cuales tienen, stricto sensu, una política

de evaluación de su cooperación para desarrollo como tal,

mientras que los otros nueve habían hecho públicos distintos

documentos de orientaciones y directrices con distintos niveles de

profundidad y detalle.

En la tabla 1 a continuación5 se caracterizan los casos

analizados, el país, la agencia u organismo y la tipología del

documento:

4 Concretamente, la comparativa se complementó con la revisión de: las Directrices actualizadas de JICA [Official development assistance (ODA). Evaluation Guidelines, 2013. Japan International Cooperation Agency (JICA)]; la nueva Política del DFID [DFID Evaluation Policy, 2013. Department for International Development (DFID), United Kingdom (UK) Government]; la Política de la AEFD [Politique d’évaluation de l’AFD, 2013. Agence française de développement (AFD)] ; y la nueva Política de la cooperación suiza [Politique d’évaluation de la DDC, 2013. Direction du développement et de la coopération (DDC)]. 5 En el documento matriz, que sirvió de base para el análisis, se analizó el contenido de cada uno de los casos analizados. La información recogida se sistematizó por apartados, con uno dedicado a cada uno de los aspectos analizados donde se dedicaba un espacio reservado para cada uno de los casos analizados.

ANÁLISIS COMPARADO DEL CONTENIDO DE DISTINTAS POLÍTICAS DE EVALUACIÓN Y

LA POLÍTICA DE EVALUACIÓN DE LA COOPERACIÓN ESPAÑOLA


16

Tabla 1.- Tipología de los casos analizados

País/ Agencia/ Organismo Tipología

Estados miembros del CAD de la OCDE

1. Alemania (BMZ/GIZ/KfW)6 Orientaciones

2. Australia (AusAID)7 Política

3. Dinamarca (DANIDA)8 Directrices

4. Estados Unidos de América (USAID)9 Política

5. Francia (AFD)10 Orientaciones y

Política

6. Japón (JICA)11 Directrices

7. Noruega (NORAD)12 Orientaciones

8. Suecia (SIDA)13 Directrices

9. Reino Unido (DFID)14 Política

10. Suiza (DDC)15 Política

Bancos regionales de desarrollo

1. Banco Europeo de Reconstrucción y Desarrollo

(BERD) Política

2. Banco Interamericano de Desarrollo (BID) Orientaciones

Sistema de Naciones Unidas (SNU)

1. Organización Internacional del Trabajo (OIT) Política

2. ONU Mujeres Política

3. Programa de Naciones Unidas para el

Desarrollo (PNUD) Política

4. Fondo de Naciones Unidas para la Infancia

(UNICEF) Política

Unión Europea (Comisión Europea)

1. EuropeAid16 Orientaciones

6 Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ)/ Deutsche Gesellschaft für Internationale Zusammenarbeit (GIZ)/ Kreditanstalt für Wiederaufbau ( KfW) 7 Australian Agency for International Development (AusAID) 8 Danish International Development Agency (DANIDA). 9 United States Agency for International Development (USAID). 10 Agence Française de Développement (AFD). 11 Japan International Cooperation Agency (JICA). 12 Norwegian Agency for Development Cooperation (NORAD). 13 Swedish International Development Cooperation (SIDA). 14 Department for International Development (DFID). 15 Direction du développement et de la coopération (DDC).

17

País/ Agencia/ Organismo Tipología

2. European Community Humanitarian Office

(ECHO) Orientaciones

Fuente: elaboración propia

3.2. Dimensiones analizadas

Partimos de la premisa de que la implantación de una función

de evaluación consistente requiere de un ambiente favorecedor, un

marco institucional adecuado y de la existencia de suficientes

capacidades individuales17. Con el fin de que el exhaustivo

escrutinio llevado a cabo de la selección de directrices,

orientaciones y políticas de evaluación de cooperación para el

desarrollo permitiera poner de relieve el estado de la cuestión, en

la comparativa se agruparon los distintos aspectos analizados en

cuatro bloques principales: marco institucional, concepto,

aproximación metodológica y utilidad. Esta concentración por

bloques conceptuales nos ha permitido constatar un conjunto de

preocupaciones comunes en el campo de la práctica de la

evaluación, así como identificar ciertas tendencias emergentes. En

la tabla que sigue se detallan los aspectos anteriormente citados

que conforman cada uno de los cuatro bloques.

A lo largo de la presentación de contenidos hemos ido

incorporando ejemplos de políticas y documentos que representan

casos interesantes para cada elemento analizado. Parece obvio

que cada agencia tiene su planteamiento y, por tanto, los

documentos no responden a un mismo esquema ni están

igualmente articulados internamente. Por tanto, este documento

no pretende en ningún caso hacer un listado exhaustivo ni análisis

crítico de las políticas, ni mucho menos de las prácticas. El objetivo

16 Durante la fase de análisis EuropeAid todavía no tenía un documento de política como tal, que se publicaría el 14 de agosto de 2014: Evaluation Matters - The evaluation policy for European Union Development Co-operation. 17 http://www.oecd.org/dac/evaluation/dcdndep/42974509.pdf




18

es ofrecer una interpretación, a partir de los contenidos recogidos

en los documentos, de la dirección hacia la que camina la

evaluación desde algunas instituciones bilaterales y multilaterales

de cooperación internacional para el desarrollo.

Tabla 2.- Bloques analíticos

Marco

institucional Concepto

Aproximación

metodológica Utilidad

Ubicación en la

estructura y

competencias

Definición

conceptual de

la evaluación

Modelos de

evaluación

Transparencia y

rendición de

cuentas

Criterios de selección de las

evaluaciones Funciones de

la evaluación

Enfoques de

evaluación

Comunicación de los resultados de

las evaluaciones

Planificación de

evaluaciones

Utilización de los

resultados

Sistemas de

seguimiento y

revisión

Principios de

evaluación

Tipología de

evaluaciones Aprendizaje y

generación de

capacidades Control de

calidad


3.3. Principales resultados

3.3.1. Marco institucional

Dentro de este bloque se han analizado aquellos elementos

recogidos en las políticas que contemplan consideraciones

vinculadas con la institucionalización de la evaluación en el seno

del sistema de cooperación internacional para el desarrollo. A lo

largo de este apartado, se señalan aquellos elementos que definen

qué rol debe cumplir la evaluación en el sistema. Se aborda cuál es

la configuración de la estructura y competencias asociadas a la

función de evaluación, cómo se caracterizan en la política sus

procesos de planificación y seguimiento, y cuáles son los criterios

de selección de las evaluaciones que cada organismo se propone

19

llevar a cabo periódicamente. En suma, en análisis en este sentido

ha girado en torno al reparto de competencias en materia de

evaluación y la estructura para llevarlo a cabo.

a. Ubicación en la estructura y competencias

En relación con la institucionalización, las políticas de evaluación

pretenden clarificar el marco en el que opera la función de

evaluación. Situar adecuadamente esta función en el sistema (en

aquellos casos en los que esto no está suficientemente manifiesto)

y hacer explícitas las ideas clave sobre la concepción de la

evaluación, sus principales ejes y su articulación y relación con

otras unidades o en el marco de otros procesos son aspectos que

se recogen, con un mayor o menor nivel de detalle, en muchas de

las políticas analizadas, como por ejemplo, en los casos de la AFD,

AusAID, USAID, SIDA, DDC y el DFID. En el caso de la DDC se

incluye además la idea de capturar las tendencias nacionales e

internacionales en evaluación, mientras la política británica incluye

referencias hacia la toma de conciencia sobre la importancia de la

evaluación, así como hacia la necesidad de incrementar la calidad

y el rigor.

En lo tocante a la ubicación estructural de la unidad de

evaluación, es interesante revisar, por un lado, dónde se ubican

las unidades y departamentos de evaluación a nivel jerárquico y

línea de mando y, por otro, en qué medida las políticas establecen

de forma clara el mandato asignado a estas unidades o

departamentos de evaluación en cuanto a sus responsabilidades y

competencias. La determinación de la ubicación jerárquica del

departamento central de evaluación, así como de la línea de

mando superior a la que el departamento debe informar, se ha ido

convirtiendo progresivamente en una cuestión clave en el ejercicio

de la evaluación en las instituciones públicas.




20

De forma creciente, la preocupación por la independencia de

esta función, en aras de evitar posibles presiones y garantizar una

difusión adecuada y transparente de los hallazgos de los procesos

de evaluación, ha estado en el centro de los debates

internacionales, tanto en el caso de los donantes bilaterales como

en los organismos multilaterales de desarrollo. Para tratar de

garantizar esta independencia, una de las estrategias centrales es

la determinación de la línea de información y comunicación desde

el departamento de evaluación hacia las instancias encargadas de

dar el visto bueno final a los procesos. En este sentido, los

esfuerzos han estado encaminados a alejar cada vez más la

función de evaluación de aquellas unidades directamente

implicadas en actividades de planificación, implementación y

seguimiento de la AOD, así como de la toma de decisiones directa

sobre el destino de las contribuciones. De esta forma, se trata de

separar y elevar la línea de comunicación con el fin de que esta

función pueda ejercerse con la independencia que es requerida.

Generalmente se relaciona a la independencia con una mayor

credibilidad y rendición de cuentas, no obstante, uno de los

posibles inconvenientes de este “aislamiento” podrían ser las

mayores trabas para el aprendizaje y la retroalimentación al

sistema. En algunos casos esto se resuelve estableciendo varios

niveles, por ejemplo, la unidad de evaluación “independiente” se

ocuparía de las evaluaciones centralizadas, y se ve

complementada por el trabajo de unidades descentralizadas que

gestionarían directamente sus evaluaciones operativas.

En este punto destaca la Política de Evaluación de AusAID en la

que se establece que el departamento de evaluación es

estructuralmente independiente del funcionamiento del programa

de ayuda, la política, y los departamentos de estrategia y la toma

de decisiones, donde, por ejemplo, su subdirector general

depende directamente del director general. Otra institución

bilateral interesante en este punto, es DANIDA, que en sus

directrices plantea, que su departamento de evaluación responde

21

directamente ante el Ministerio de Cooperación para el Desarrollo a

través de la Secretaría de Estado de Políticas de Desarrollo y es

independiente de las funciones operativas del Ministerio de

Asuntos Exteriores (departamentos en sede y representaciones en

el extranjero que participan en la cooperación al desarrollo). Por

último, en el caso de JICA se especifica que, como resultado de un

proceso de reforma institucional del Ministerio de Asuntos

Exteriores de Japón en 2011, la División de Evaluación fue

reubicada estructuralmente en una posición jerárquica superior a

la que ostentaba anteriormente. El objetivo expreso de esta

modificación fue, justamente, la preservación de la independencia

de la implementación de evaluaciones.

Frente a este planteamiento, se identifican también otras

políticas de evaluación donde la preocupación por la ubicación

jerárquica de la evaluación no se recoge. En este grupo se

encuentran las políticas de evaluación del DFID y de USAID. Una

posible explicación a esta ausencia puede venir del hecho de que la

cultura de evaluación tiene un nivel de consolidación muy elevado

en el sistema por lo que estas precauciones no resultan

necesarias. Este podría ser el caso, por ejemplo, del USAID de

Estados Unidos ya que, en el caso del Reino Unido, lo que parece

haberse incorporado a su nueva política (aunque se instauró en

2011) con el fin de avanzar hacia la independencia de la función ha

sido la generación de comités o unidades fuera del sistema, con

una composición de expertos/as independientes, que tratar de

velar por ello. En el caso concreto de Reino Unido nos referimos a

la Comisión Independiente para el Impacto de la Ayuda (ICAI por

sus siglas en inglés). Otra cooperación que, junto con otros

mecanismos, ha recurrido también a esta estrategia, en este caso

de forma complementaria a la definición clara de la ubicación

jerárquica, es Australia que dispone de un Comité Independiente

de Evaluación (IEC, por sus siglas en inglés). En ninguno de los

casos analizados se reflexiona específicamente sobre los posibles

inconvenientes del “aislamiento” de estas unidades centrales de




22

evaluación desde el punto de vista del aprendizaje y la

retroalimentación. Quizá, porque se prima la independencia en

aras de garantizar la credibilidad de los resultados y responder a

rendición de cuentas pública, frente a unidades de evaluación

integradas en los órganos de planificación con más capacidad para

incidir de manera relevante en el aprendizaje y la

retroalimentación al sistema, y porque son sistemas en los que la

coordinación entre unidades es suficientemente robusta como para

garantizarla en la evaluación.

En la Cooperación Española, la Política de Evaluación establece

de forma clara cuál es la dependencia jerárquica de la unidad

central de evaluación. En concreto, se establece que:

“Para preservar su independencia respecto a las unidades

responsables de la planificación y la ejecución de la AOD, la

División de Evaluación de Políticas para el Desarrollo y Gestión

del Conocimiento (DEGCO) responde directamente ante la

persona titular de la SGCID y tiene asignado el ejercicio de las

funciones que le atribuye el Real Decreto 342/2012 (…)”.

En el principio de independencia de la Política se señala

concretamente:

“(…) Para ello, se deberá garantizar la diferenciación orgánica

de las unidades responsables de la evaluación y se asegurará

que la validación de los informes de evaluación no recaiga en

los agentes directamente encargados del diseño, la gestión o la

implementación de las intervenciones que sean objeto de

evaluación” (Pág.6).

Respecto a la determinación de las competencias asignadas a

las distintas unidades o departamentos, la mayoría de las políticas

definen a lo largo del texto las funciones asignadas a la/s

23

unidad/es encargadas de la evaluación, éste es el caso de AusAID,

AFD, DANIDA, USAID, DDC, SIDA y JICA, entre otras.

La realización y/o encargo de las evaluaciones es una de las

tareas fundamentales asignadas a las unidades de evaluación. Por

ello, la identificación de algunos criterios u orientaciones para la

selección de aquellos “objetos” que serán evaluados suele ser otro

apartado comúnmente incorporado a las políticas de evaluación

analizadas. Ahora bien, existen algunas excepciones a este

planteamiento general, como es el caso de USAID cuya política no

recoge ninguna consideración al respecto.

b. Criterios de selección de evaluaciones

No obstante, como se acaba de indicar, la mayoría de las

políticas bilaterales analizadas sí establecen algunos criterios de

selección, aunque el grado de detalle varía sustancialmente entre

unas y otras. Por una parte, en varias de las políticas las

consideraciones respecto a la selección no especifican mucho más

que la necesidad de que de forma periódica se evalúe el conjunto o

un porcentaje significativo de la “cartera” de intervenciones,

modalidades y/o países prioritarios definidos en la planificación de

la cooperación internacional del país. Este es el caso, por ejemplo,

de la DANIDA, que establece que su programa de evaluación debe

demostrar una cobertura adecuada de toda la "cartera" de

cooperación al desarrollo. La cobertura del programa incluye las

diferentes modalidades e instrumentos, un equilibrio entre las

distintas áreas geográficas, países grandes y pequeños y áreas

temáticas. En esta misma línea, tenemos a la DDC, que define la

necesidad de cubrir el 40% de las estrategias, países prioritarios y

de los temas prioritarios en un periodo de ocho años y SIDA, que

aunque no hace especificaciones concretas, sí indica que, en el

largo plazo, se busca evaluar toda la gama de áreas de

intervención, modalidades de ayuda, países y categorías de país

donde la cooperación sueca esté activa.




24

Por otra parte, otros donantes sí definen algunos criterios un

poco más concretos que les conducirán a la selección de las

intervenciones. Así, por ejemplo, en las orientaciones de Alemania

se plantea la necesidad de que el programa de evaluación aborde

temas de relevancia para los actuales debates nacionales e

internacionales sobre la política de desarrollo; la AFD recoge los

criterios de valor añadido de la evaluación, ausencia de evidencia y

evaluabilidad; AusAID incorpora como criterios los beneficios

potenciales para el aprendizaje, cobertura y materialización y

riesgos para la eficacia de la ayuda; y, por último, el DFID

establece el requisito de justificar la necesidad y las razones para

acometer una evaluación.

Vemos que los elementos más relevantes son, por una parte, la

prevalencia de un criterio de cobertura que suele ir ligado a una

función de evaluación que tiene como principal propósito la

rendición de cuentas; y por otra parte, la importancia que tiene

que las evaluaciones aborden temas relevantes si lo que se busca

es que sean influyentes, esto es, la selección de qué evaluar

buscaría aprovechar las ventanas de oportunidad en cada

momento determinado.

A este respecto, la Política de Evaluación de la Cooperación

Española incorpora un conjunto de criterios de priorización de las

evaluaciones de carácter general, que según recoge el propio texto

responden a un doble criterio: la cobertura, por una parte, y la

utilización y la retroalimentación del sistema, por otra. Sobre cada

uno de los criterios generales, se definen un conjunto de

parámetros para orientar la selección. Así, respecto a la cobertura

se deberá tener en cuenta los siguientes parámetros: tipología de

los objetos de evaluación; distribución geográfica; contenido de las

intervenciones; variedad de modalidades e instrumentos; y

tipología de las evaluaciones. Por el lado de la utilización y

retroalimentación, se priorizarán las evaluaciones que respondan a

25

las siguientes características: potencial de generación de

información oportuna y significativa; respuesta a compromisos

previos u oportunidad de la evaluación; relevancia de la

intervención según ciertos criterios clave; naturaleza innovadora o

carácter piloto de la intervención y potencial de ampliación o

replicación; existencia de riesgos o incertidumbres; ausencia o

insuficiencia de fuentes alternativas de información; y viabilidad y

relación coste/resultados del ejercicio evaluativo.

c. Planificación de las evaluaciones

El ejercicio de planificación de las evaluaciones es una

práctica común en los donantes bilaterales analizados. Se

observan variaciones en la periodicidad de la elaboración de la

planificación, de tal forma que mientras en el JICA se planifica

anualmente, la DDC lo hace cada cuatro años, incorporando

revisiones periódicas. Lo más común son las planificaciones

bienales, como en el caso de la cooperación alemana, NORAD,

DANIDA y USAID en el nivel central, entre otras, o planificaciones

trienales, como en el caso de AusAID, aunque sujetas a una

revisión anual para valorar si este plan continúa siendo pertinente.

En el caso de la Política de Evaluación de la Cooperación Española,

se ha definido, asimismo, una planificación con periodicidad bienal,

no obstante, con el fin de asegurar una cierta flexibilidad, las

previsiones del Plan Bienal español se revisan anualmente.

d. Sistemas de seguimiento y revisión

Las referencias explícitas al seguimiento y revisión de la

propia política de evaluación no son muy numerosas. En este

sentido, algunos donantes, como por ejemplo la AFD de Francia,

hacen coincidir la revisión de la política de evaluación con los

planes estratégicos de la cooperación francesa. En otros casos,

como AusAID, se propone una revisión a los dos años de la

aprobación de la Política. Por último, en el caso del DFID del Reino




26

Unido se estipula que se realizará una revisión anual de la eficacia

de la política y una revisión formal a los cinco años de su

aprobación.

Para el caso de España se señala la evaluación y revisión

periódica de Política en el marco de las evaluaciones

correspondientes de los planes directores (pág.18) y se estipula

que se llevará a cabo una primera revisión de los avances en

los cambios institucionales, organizacionales y de capacidades

requeridos para el adecuado despliegue de la Política de Evaluación

coincidiendo con el examen intermedio del IV Plan Director.

Tabla 3.- Marco institucional

Marco institucional

• Las políticas de evaluación suelen tener como finalidad

enmarcar el contexto en el que opera la función de

evaluación

• No todas las políticas de evaluación muestran el mismo

nivel de detalle en la ubicación jerárquica de las unidades

de evaluación

• La práctica de la planificación de las evaluaciones está

generalizada en los casos analizados

• Las políticas establecen criterios o directrices para

seleccionar los objetos que serán evaluados

• No están generalizadas las referencias explícitas al

seguimiento o la autoevaluación de la política


3.3.2. Concepto

En este segundo apartado que hemos denominado concepto

incluimos la definición de evaluación, las funciones y los

principios. A lo largo de este apartado analizaremos qué se

entiende por la evaluación en las diferentes políticas de evaluación

de cooperación internacional para el desarrollo, cuáles son las

27

funciones que desempeña la evaluación en el ciclo de gestión de

las intervenciones de cooperación internacional para el desarrollo y

respecto al conjunto del sistema de cooperación y, cuáles son los

principios generales, enfoques transversales y pautas de

actuación que sirven de orientación para todas las personas y

entidades implicadas en la práctica evaluadora de las agencias y

organismos analizados.

a. Definición conceptual de la evaluación

Respecto a la definición de evaluación, los distintos

documentos analizados hacen mayoritariamente referencia a la

definición de evaluación del CAD de la OCDE (OCDE, 2002):

‘‘La evaluación del desarrollo es una valoración sistemática y

objetiva de una intervención para el desarrollo en curso o ya

concluida, de su concepción, su puesta en práctica y sus

resultados. En el contexto del desarrollo, por evaluación se

entiende la determinación del valor o importancia de una

intervención de esta naturaleza”.

En este sentido, existen pocas discrepancias y parece imperar

un cierto consenso, no obstante, cada país u organismo

internacional hace sus aportes. Por ejemplo, los organismos del

Sistema de Naciones Unidas (SNU) se remiten a las normas del

Grupo de Evaluación de Naciones Unidas (GENU). Por ejemplo, en

la Política de UNICEF se cita literalmente que:

“(…) una evaluación es una valoración, lo más sistemática e

imparcial que sea posible, de una actividad, proyecto,

programa, estrategia, política, asunto, tema, sector o esfera

operacional o del desempeño institucional. En las evaluaciones

se centra la atención en los logros previstos y los alcanzados y

se examina la cadena de resultados, los procesos, los factores

contextuales y la causalidad, a fin de hacer una apreciación de




28

esos logros o de la falta de los mismos. Su propósito es

determinar la pertinencia, las repercusiones, la eficacia, la

eficiencia y la sostenibilidad de las intervenciones y aportes de

las organizaciones del sistema de las Naciones Unidas. La

evaluación ha de proporcionar información fáctica que sea

fiable, veraz y útil, y que permita incorporar oportunamente las

conclusiones, recomendaciones y enseñanzas en los procesos

de adopción de decisiones”.

ECHO, por su parte, como instancia encargada de la acción

humanitaria en la Unión Europea, hace referencia a la definiciones

de evaluación de la ALNAP (Active Learning Network for

Accountability and Performance in Humanitarian Action) y de la

HPN (Humanitarian Practice Network).

En la Política de Evaluación de la Cooperación Española se hace

asimismo referencia al CAD de la OCDE y se recoge literalmente la

definición de evaluación expresada en el IV Plan Director donde se

señala que:

“La evaluación es un proceso sistemático y planificado de

recogida de información con el objetivo de analizar, interpretar

y valorar de manera crítica y objetiva una intervención, política

o estrategia de cooperación para el desarrollo, incluyendo su

diseño, su puesta en práctica, su estructura de gestión y sus

resultados” (Pág.3).

b. Funciones de la evaluación

En cuanto a las funciones de la evaluación, en cada política se

hace énfasis en aspectos distintos, coincidiendo, en muchos casos,

la importancia del aprendizaje y la rendición de cuentas pública a

la ciudadanía, que son las dos funciones compartidas de forma

claramente mayoritaria. Por ejemplo, en la política de evaluación

de USAID se subraya que la evaluación es el medio a través del

29

cual se puede obtener información sistemática y significativa sobre

los logros y deficiencias de sus esfuerzos. La evaluación

proporciona la información y el análisis para evitar la repetición de

errores y aumentar la posibilidad de que se logren más beneficios

en el futuro. Debe estar integrada dentro de un contexto que

permita la toma de decisiones basada en la evidencia y que premie

el aprendizaje y es fundamental para fortalecer el futuro de la

Agencia. Para USAID la evaluación de su política de cooperación

internacional para el desarrollo cumple dos propósitos

fundamentales: rendición de cuentas y aprendizaje.

Para la cooperación danesa la evaluación cumple dos finalidades

interrelacionadas. Primero, la evaluación es uno de los diversos

instrumentos del Ministerio de Asuntos Exteriores y la DANIDA

para llevar a cabo elecciones y acciones para alcanzar los objetivos

generales y específicos de la cooperación. Segundo, pero de igual

importancia, la evaluación es un medio para facilitar el aprendizaje

sobre las experiencias positivas y negativas en contextos

específicos. A este respecto, la evaluación sería el medio para

generar lecciones de contextos específicos y valorar su aplicación y

utilidad en un ámbito mayor. Para el Gobierno de Dinamarca la

evaluación de su política de cooperación al desarrollo es también

un instrumento clave en los esfuerzos por mejorar la eficacia de la

ayuda. La evaluación complementa y funciona de forma conjunta

con otros procesos del ciclo de programación y herramientas de

gestión de la ayuda.

Interesante es, en este sentido, la puntualización que hace ONU

Mujeres al señalar que para su organización la evaluación es un

medio para aplicar el programa de incorporación de la perspectiva

de género y las normas y los principios descritos en la Convención

para la eliminación de todas las formas de discriminación contra

las mujeres, la Plataforma de Acción de Beijing, los Objetivos de

Desarrollo del Milenio, etc., en coherencia con su propio mandato.




30

En esta línea, la Cooperación Española se sitúa dentro de la

corriente mayoritaria pero trata de ir más allá al señalar que la

evaluación es un “medio para generar aprendizajes que permitan

mejorar la eficacia y la calidad de nuestro sistema de

cooperación”, reiterando su función transformativa de la realidad,

rendir cuentas y mejorar la transparencia. Así, para la Cooperación

Española las cuatro funciones complementarias de la evaluación de

las intervenciones que conforman su Política son: aprender,

mejorar, rendir cuentas y transformar.

c. Principios

En lo tocante a los principios, las políticas analizadas van desde

adherirse sin ambages a los principios y estándares de calidad del

CAD de la OCDE: imparcialidad e independencia, credibilidad,

utilidad, participación de los socios locales y coordinación con otros

donantes, como JICA, NORAD, la cooperación alemana y la DDC,

hasta la creación y propuesta de sus propios principios, sin

renunciar a estos estándares y teniéndolos en cuenta. En muchos

casos, como por ejemplo AusAID y la AFD, tienen además en

cuenta en su Política los principios de sus sociedades y

asociaciones profesionales de evaluadores/as. Los organismos de

Naciones Unidas por su parte, hacen asimismo referencia a los

principios del GENU.

Respecto a las particularidades, es interesante mencionar que

en la Política del DFID del Reino Unido se hace una referencia

específica a cómo deben aplicarse estos principios en el caso de

que las evaluaciones se realicen en contextos afectados por

conflictos o en Estados frágiles. De otro lado, ECHO, dedicada a la

acción humanitaria, asume los principios comunes de la acción

humanitaria del conjunto de donantes, la llamada “Iniciativa de la

Buena Donación Humanitaria” (GHD, por sus siglas en inglés), que

contiene 23 principios y define los criterios y valores comunes que

deben guiar la acción humanitaria. Entre estos principios destacan:

31

el respeto al marco ético y jurídico, el fortalecimiento de los

organismos humanitarios y respeto a sus mandatos, la búsqueda

de la calidad, la eficacia y la transparencia de la acción y el

fomento de la participación de la población humanitaria (GHD,

2003).

La Cooperación Española en su Política de Evaluación enfatiza

que los principios son un elemento esencial como “patrones de

conducta para una adecuada garantía de la calidad en el

cumplimiento de la función evaluadora”. Estos principios son:

independencia, imparcialidad, transparencia, credibilidad y utilidad,

eficiencia, participación y refuerzo de capacidades y coordinación y

complementariedad.

Tabla 4.- Concepto

Concepto

• La definición de evaluación del CAD de la

OCDE es asumida y compartida de forma

mayoritaria.

• En cuanto a las funciones de evaluación, las

dos mayoritariamente asumidas son el

aprendizaje y la rendición de cuentas a la

ciudadanía

• Hay un acuerdo considerable con respecto a

los principios, y normas de calidad del CAD de

la OCDE, si bien hay propuestas

complementarias o alternativas en

asociaciones profesionales, o los propios

grupos internos en el caso de los organismos

multilaterales





32

3.3.3. Aproximación metodológica

Dentro de este apartado, se han analizado las consideraciones

que se hacen en materia metodológica, cuáles son los modelos y

enfoques que guían la evaluación, si en las políticas se señalan

criterios de evaluación específicos, y la tipología de las

evaluaciones. A nuestro juicio, el mayor interés de este apartado

radicaba en intentar detectar si en este marco de complejidad

creciente y cambio continuo en cooperación internacional para el

desarrollo, las políticas de evaluación afrontan –desde el punto de

vista metodológico- el reto de asegurar la robustez de sus

procedimientos. Tal como se señala en la introducción de la Política

de Evaluación de la Cooperación Española, para que las

recomendaciones sean válidas, sólidas, coherentes y útiles, éstas

deben ser concisas y concretas y responder a las necesidades de

información de los actores del instrumento evaluado. En este

sentido, la política apuesta por la innovación, el aprendizaje

continuo, el despliegue de distintos enfoques, métodos y técnicas,

la integración de las dimensiones transversales, la participación de

equipos multidisciplinares en la evaluación y la asunción de los

gestores y de los equipos de evaluación de las limitaciones de cada

ejercicio.

a. Modelos de evaluación

En el momento actual de la evaluación de la cooperación

internacional para el desarrollo se está reflexionando de manera

generalizada sobre cuáles son los enfoques y modelos más

apropiados en los procesos de evaluación. Sin embargo, a pesar de

que la realidad demanda una aproximación diversa y rica desde el

punto de vista epistemológico y metodológico, en buena parte de

las políticas analizadas se adoptan explícitamente los criterios de

evaluación del CAD de la OCDE como referente generalizado. En

este grupo se encuentran la DDC, JICA, NORAD, GIZ, AFD,

33

AusAID, DANIDA, OIT, ONU Mujeres, BERD, BID, EuropeAid y

ECHO.

Cabe destacar, no obstante, que las políticas del DFID, USAID,

SIDA, PNUD y UNICEF no hacen referencia a los criterios del CAD

de la OCDE, lo que nos indica cierta diversidad –y quizá tendencia–

en relación a los criterios de evaluación del CAD como modelo de

evaluación. En el caso concreto del DFID su actual política,

publicada en mayo de 2013, ya no contempla los criterios de

evaluación del CAD. Este cambio se ha dado asimismo en SIDA,

que en su anterior documento marco de evaluación proponía el uso

de criterios de evaluación y, sin embargo, en su actual política no

hace referencia a los criterios. En este mismo sentido, en la

Política de Evaluación de la Cooperación Española se asume que

tales criterios son útiles pero no imprescindibles. Es decir, que los

modelos de evaluación deberán adaptarse tanto al contexto de la

evaluación, a las necesidades de información y a las características

de las intervenciones evaluadas.

En el subepígrafe de “Consideraciones metodológicas” de la

Política de Evaluación de la Cooperación Española se señala que

para cumplir con su función:

“(…) la evaluación de la Cooperación Española se nutrirá

de diferentes aproximaciones teóricas y metodológicas,

tendrá en cuenta la variedad de tipologías de evaluación

existentes, aprovechará el amplio repertorio de técnicas de

investigación científicamente aceptadas, y buscará la

complementariedad y la triangulación entre los diferentes

métodos y técnicas. La selección metodológica dependerá,

fundamentalmente, del objeto concreto de evaluación, de

las preguntas a las que se quiera dar respuesta, y de los

fines que se persigan con la misma”. (Pág. 5).




34

Esta flexibilidad respecto a las aproximaciones metodológicas es

compartida por otros Estados miembros del CAD de la OCDE, como

NORAD, GIZ, AusAID y DANIDA. Sin embargo, las agencias de

otros donantes, como Japón, Francia o Suiza, prefieren asentar

ciertos lineamientos respecto a las metodologías en sus políticas.

El caso de USAID es ilustrativo, pues en su política se prevé la

realización de evaluaciones de impacto, aunque no de forma

exclusiva. Por otro lado, se señala que durante los procesos de

evaluación se deben usar métodos que generen la mayor calidad y

credibilidad. Para ello, se contemplan tanto las metodologías

cuantitativas como las cualitativas y se considera óptima su

combinación, señalándose específicamente que no se privilegia

ningún método sobre otro. No obstante, para la modalidad de las

evaluaciones de impacto, se considera que los métodos

experimentales son los que generan una evidencia más robusta y

se indica que sólo se deberían usar métodos alternativos cuando la

asignación aleatoria no sea factible. Otro aspecto significativo

respecto a las consideraciones metodológicas, es su

recomendación de que se usen datos desagregados por sexos,

prestándose atención a las relaciones de género en todas las áreas

relevantes.

En la Política del DFID del Reino Unido se mencionan dos

maneras de evaluar complementarias: por la teoría del cambio y

midiendo el impacto. El BERD y el BID le dan especial importancia

a la valoración de la eficacia y la medición del impacto y ECHO,

debido a su mandato, se guía por los principios, normas y criterios

de evaluación de la acción humanitaria.

b. Enfoques

Respecto a los enfoques que deben guiar la realización de las

evaluaciones, de nuevo, en muchas de las Políticas de los Estados

miembros del CAD de la OCDE que se han analizado se hacen

35

referencias específicas a los estándares y principios del CAD y,

adicionalmente, se pueden hacer otras menciones puntuales, como

por ejemplo en la Política del DFID, en la que hay un apartado

referido a la ética, donde se señala que los equipos de evaluación

deben tener en cuenta las diferencias en la cultura, el

comportamiento y la legislación local, así como las creencias y

prácticas religiosas, la orientación sexual, la roles de género, la

discapacidad, la edad y el origen étnico, entre otros enfoques.

ECHO se remite al Consenso Europeo de la Ayuda Humanitaria

de 2007 y las Políticas de los organismos del SNU, por su parte,

hacen referencia al GENU. El caso de la Política del PNUD es

especialmente ilustrativo, pues aunque no se habla

específicamente de enfoques, sin embargo, en su Manual de

Planificación, Seguimiento y Evaluación de los Resultados de

Desarrollo, en su versión de 2009, se señala que las evaluaciones

del PNUD estarán guiadas por los principios de igualdad de género,

un enfoque basado en los derechos y el desarrollo humano. Para

ello, el PNUD valorará el grado en el que sus iniciativas han

tratado los temas de inclusión social y de género, de igualdad y de

empoderamiento y hasta qué punto han contribuido a fortalecer la

aplicación de estos principios a los diferentes esfuerzos de

desarrollo en un país dado. Asimismo, el PNUD abordará cómo se

ha incorporado en el diseño su compromiso con los enfoques

basados en los derechos y la problemática de género.

La Política de Evaluación de la Cooperación Española recoge, en

este sentido, lo señalado en el IV Plan Director, donde se concreta

que se “desarrollarán herramientas específicas para garantizar la

incorporación de enfoques sensibles a los derechos humanos, al

género, a la sostenibilidad ambiental y a la diversidad cultural”. La

Política tiene un subapartado específico denominado “enfoques

transversales” en el que se señala que se “promoverá la

integración transversal de los enfoques de derechos humanos,

género, diversidad cultural y sostenibilidad ambiental en el




36

ejercicio de la función evaluadora”. En la introducción de la Política

también se hace mención a los enfoques transversales como un

desafío de carácter teórico y metodológico y se especifica que

éstos deberán incorporarse en los procesos evaluativos desde el

momento mismo de su concepción y diseño.

c. Tipología de evaluaciones

En la mayoría de los casos revisados los documentos incluyen

una tipología de evaluaciones de acuerdo a los diferentes intereses

institucionales. Las posibles clasificaciones son numerosas y

diversas, tanto como las dimensiones que las definen, desde el

momento adecuado para evaluar y el foco de análisis hasta el

propósito de la evaluación para los actores implicados en el

proceso evaluativo, entre otros. A continuación se presenta una

clasificación clásica de acuerdo a algunas de las dimensiones más

comúnmente empleadas18:

Tabla 5.- Tipología de evaluaciones

Dimensión Tipología Características

Tiempo

Ex-ante Se realiza antes del inicio de la intervención Intermedia Se realiza en el ecuador de la intervención

Final Coincide con el período de finalización de la intervención

Ex-post Se realiza cierto tiempo después de que la intervención haya terminado

Foco de análisis

De diseño Se analizan la racionalidad, coherencia y calidad del planteamiento de la intervención

De proceso Se analiza la puesta en práctica de la intervención, el foco está en su implementación

De resultados

Se analizan los productos derivados de la implementación de la intervención, y sus efectos en la población beneficiaria

18 Esta tipología pretende recoger algunas de las clasificaciones más comunes y está basada en la literatura existente. A la hora de conceptualizar los tipos de evaluación y sus características es importante recordar que existen otras variaciones, así como modelos híbridos.

37

Dimensión Tipología Características

De impacto Se analizan los cambios en la población que son atribuibles a la intervención y/o a los que la intervención ha contribuido

Finalidad

Formativa Pone el énfasis en el aprendizaje y la mejora, coincidiendo, generalmente, con la evaluación intermedia

Sumativa Pone el énfasis en la emisión de un juicio final de conjunto, siendo generalmente la evaluación final

Sujeto

Interna Se realiza por personas vinculadas, directa o indirectamente, a la gestión y/o ejecución del programa

Mixta Se realiza por un equipo que integra personal externo y personas vinculadas a la gestión y/o ejecución del propio programa

Externa Se realiza por personas ajenas a la ejecución y/o gestión del programa

Objeto

Compleja

Cuando el objeto de evaluación está integrado por múltiples componentes, varios niveles de implementación y actores participantes con diferentes agendas, largas cadenas causales con muchos resultados intermedios o productos que solo pueden ser logrados integrando

Complejidad intermedia

Cuando el objeto de evaluación involucra procesos y estrategias que no pueden ser totalmente controladas o predichas con anterioridad y que responden a retos y oportunidades suscitados durante la ejecución del instrumento evaluado

Simple

Cuando el objeto es una unidad sencilla de intervención, en la que los resultados son conocidos, los productos están estandarizados y es fácilmente replicable

Gestión

Unilateral La toma de decisiones y la gobernanza de la evaluación depende de un solo actor

Colaborativa La toma de decisiones es única y la gobernanza se comparte entre distintos actores

Conjunta La gobernanza y la toma de decisiones sobre la evaluación se comparte entre distintos actores

Fuente: elaboración propia, basado en la literatura existente

En los documentos analizados se distingue, entre otras

categorías, las evaluaciones estratégicas, operativas,

descentralizadas, sectoriales, temáticas, ex-ante, intermedias,

finales, ex-post, de diseño, de proceso, de resultados, de impacto,

formativas, sumativas, internas, externas, mixtas, etc. Como uno

de los aspectos más sugerentes, destaca la importancia que tiene




38

para SIDA la realización de evaluaciones conjuntas, lideradas o con

participación de los países socios, con un enfoque participativo.

Respecto a los actores, USAID plantea tanto evaluaciones externas

como mixtas, con la mayoría de personal interno (si existe el

conocimiento) y con una persona experta externa, en aras de

promover y consolidar el aprendizaje.

En la Política de Evaluación de la Cooperación Española no se

presenta una tipología de evaluaciones y se remite, para ello, al

Plan Bienal de Evaluaciones (MAEC, 2013b). Es en el primer plan

bienal de evaluaciones elaborado tras la aprobación de la Política

(Plan Bienal 2013-2014) donde se establece una clasificación, si

bien ésta no responde a las características técnicas ni

metodológicas de las evaluaciones, como en las taxonomías de la

tabla anterior, sino que obedece a una clasificación acorde a la

pluralidad de actores que conforman el sistema de cooperación

español, y a la función de la División de Evaluación en ese sistema,

de la siguiente forma:

• Evaluaciones promovidas en el ámbito de la SECIPI:

o Evaluaciones centralizadas.

o Evaluaciones operativas.

o Evaluaciones sujetas a regulación específica.

• Evaluaciones promovidas por otros actores institucionales de

la Cooperación Española.

d. Control de calidad

Un ámbito de clara preocupación común es la búsqueda de la

calidad de las evaluaciones. Esta preocupación impregna las

políticas analizadas prácticamente en su totalidad, lo que se ve

reflejado de forma expresa en la redacción de los principios que

deben guiar los procesos evaluativos. Asimismo, como resultado

de los procesos de descentralización de la función de evaluación en

varias de las cooperaciones analizadas, se identifica una atención

39

especial a la calidad de las evaluaciones descentralizadas, como es

el caso de la AFD.

Desde un punto de vista temporal, los controles de calidad se

pueden realizar ex-ante, durante o ex-post. Así, de manera ex-

ante, en la fase de diseño y elaboración de los términos de

referencia se pueden incluir controles para asegurar su suficiente

calidad (AFD y DFID) y limitar los riesgos, incluso identificando la

necesidad de limitar el número de preguntas, y asegurando la

contratación de los mejores equipos posibles (AFD), mediante un

proceso abierto y transparente (DFID y JICA). Seguidamente, el

control durante el proceso de evaluación se suele ejercer mediante

el establecimiento de comités que revisan y valoran los diferentes

productos que se van generando a lo largo de la evaluación con el

fin de que tengan la calidad requerida. Este es el caso, por

ejemplo, de DANIDA y DFID, por ejemplo. Sin embargo, en las

políticas analizadas, el mayor énfasis se suele poner en la

generación de mecanismos para el control final de los informes de

evaluación. Este control de calidad se puede realizar de diversas

formas, entre las que se pueden destacar: la revisión interna de

los informes finales por parte del nivel jerárquico superior o de

especialistas en evaluación, como recogen las políticas de SIDA,

AFD, AusAID y USAID, por ejemplo; la contratación de grupos

asesores o comités externos, en diversas modalidades, que

realizan una valoración de la calidad de los productos en función

de unos criterios establecidos, como explicitan, por ejemplo,

AusAID y DANIDA; y, en ocasiones, el diseño y exigencia de

cumplimentación, por parte de las unidades que realizan el

seguimiento y gestión del ejercicio evaluativo, de una ficha de

calidad, como la AFD que, en función de una serie de parámetros,

valora la calidad del proceso y del producto en el que se han visto

implicados. Una última posibilidad planteada es la de realizar

controles de calidad de una muestra definida de evaluaciones con

una cierta periodicidad, como plantea el DDC de Suiza.




40

La Política de Evaluación de la Cooperación Española plantea

sus principios “como un elemento esencial (…) que conforman

patrones de conducta para una adecuada calidad en el

cumplimiento de la función evaluadora” y propone avanzar en la

calidad de las evaluaciones mediante la implantación de un

sistema de control de la calidad de las evaluaciones y la realización

de metaevaluaciones que permitan extraer lecciones aprendidas.

Tabla 6.- Aproximación metodológica

Aproximación metodológica

• Conviven una reflexión abierta en la

comunidad evaluadora internacional sobre la

flexibilidad en modelos y metodologías, junto

a las políticas que siguen asumiendo de

forma única los criterios del CAD de la OCDE

• Se observa un amplio consenso en torno a los

enfoques de nuevo del CAD de la OCDE

• La mayoría de los casos examinados incluyen

una tipología de evaluaciones, cuya

diversidad está de acuerdo con sus distintos

intereses institucionales

• En muchos casos hay implantados sistemas

de control de calidad de las evaluaciones


3.3.4. Utilidad de la evaluación

Durante nuestro análisis, la transparencia y rendición de

cuentas, la mejora de la utilidad de las evaluaciones, el

avance hacia una mayor calidad de los procesos y el

aprendizaje y la creación de capacidades en evaluación en

donantes y países socios han emergido, en todos los casos, como

los ámbitos de atención preferente.

41

a. Transparencia y rendición de cuentas

La transparencia y rendición de cuentas constituyen una

preocupación para los poderes públicos, ya que cada vez se

incrementan más las exigencias para dar cuenta a la sociedad de

las diferentes iniciativas y compromisos que las instituciones

públicas asumen, así como de sus logros y áreas de mejora. Para

dar respuesta a esta inquietud las diferentes políticas analizadas

han articulado determinados mecanismos. La publicación de los

resultados de las evaluaciones es una cuestión clave que se recoge

en la totalidad de los textos analizados. Dado que parece ser ya

una práctica habitual y consolidada en muchos de los sistemas de

cooperación de nuestro entorno, lo que hacen algunas políticas es

dar un paso más en la línea de generar mecanismos que permitan

una vinculación mayor de la publicación con la utilización y el

aprendizaje de los ejercicios de evaluación. De esta forma, va a

incluirse la exigencia de que no solo sean publicados los informes

de evaluación en toda su extensión, sino que se faciliten formatos

adecuados y un lenguaje comprensible, con el fin de contribuir a la

accesibilidad de la información por audiencias diversas, aunque

guardando la debida precisión de los datos. Éste es el caso, por

ejemplo, de AusAID, JICA y el DFID. La política de este último

también recomienda que los informes incluyan una dirección de

contacto para poder transmitir preocupaciones formales sobre la

evaluación. Otros mecanismos que incluyen algunos donantes para

facilitar el acceso a la información son la generación de bases de

datos o repositorios que centralicen los informes y otros

documentos de evaluación, de tal forma que se contribuya a la

accesibilidad. Es el caso, por ejemplo, de SIDA, el DFID y la DDC.

Paralelamente, y en aras de una mayor rendición de cuentas,

también se ha impulsado la publicación de otros productos clave

relativos a los procesos de evaluación que permiten una visión más

global de los ejercicios evaluativos. En este sentido, muchas

políticas especifican la obligatoriedad de la publicación de los




42

Términos de Referencia, las respuestas de gestión (USAID, por

ejemplo) y sus planes de seguimiento, entre otros. Asimismo, en

el caso del DFID se indica que se mejorará el acceso a los datos

primarios generados por las evaluaciones con el fin de favorecer su

uso posterior.

Un tercer elemento fundamental para la rendición de cuentas y

transparencia, no tanto respecto a los procesos individuales de

evaluación, sino sobre el ejercicio de las funciones y

responsabilidades de las unidades encargadas de evaluar, son los

informes periódicos de evaluación. La exigencia de elaborar

informes de este tipo está recogida en las políticas de NORAD,

DFID, JICA, AusAID, USAID y de la DDC y la Cooperación

Española, entre otras. Estos son utilizados por los donantes para

dar cuenta ante los órganos de dirección, coordinación y, mediante

su difusión pública, al resto de actores del sistema, de los avances

y principales resultados en materia de evaluación alcanzados en un

periodo determinado. En algunos casos, se limitan a centralizar la

información sobre el estado de situación de las evaluaciones

planificadas, incluyendo también los resultados principales de

aquellas que se han finalizado y los cambios operados, y en otros,

tienen un carácter más global, detallando a su vez todas las

actividades llevadas a cabo por las unidades centrales de

evaluación.

En el caso de la Cooperación Española, su política de evaluación

también establece prácticas vinculadas con la transparencia y la

rendición de cuentas, tales como la publicación de un Informe

Anual de Evaluación, que es elaborado por la SGCID en consulta

con el resto de actores de la Cooperación Española, la publicación

de los informes de evaluación, la elaboración de una estrategia de

comunicación, y la creación de una base de datos que permita

almacenar y procesar la información relativa a las evaluaciones de

la Cooperación Española.

43

b. Comunicación

En lo tocante a la comunicación de los resultados de las

evaluaciones, es cada vez más frecuente que la publicación de los

informes de evaluación se considere una práctica imprescindible

pero insuficiente. En esta línea, en los principales foros

internacionales de evaluación, en la actualidad, se debaten

distintos aspectos relativos a la mejora de la comunicación de cara

a contribuir a la utilización de los resultados. Estos debates se han

materializado, de forma diversa, en las distintas políticas

analizadas con la introducción de diferentes estrategias de

comunicación. Así, un primer aspecto incluido en algunas políticas

tiene que ver con la propia estructura y contenido de los informes

de evaluación. La política del DFID, por ejemplo, establece la

necesidad de garantizar un número limitado de conclusiones y

recomendaciones que emerjan de los análisis y hallazgos. Estas se

deben presentar de forma clara y concisa, marcando prioridades y

cuando sea posible, múltiples opciones de cursos de acción.

Referencias similares se pueden encontrar en las orientaciones de

la cooperación japonesa.

En segundo lugar, se establece la necesidad de adaptar el

lenguaje de los informes a los diferentes públicos a los que se

dirija, salvaguardando la rigurosidad de las informaciones, como se

observa en el ejemplo del DDC. Otro aspecto adicional respecto al

lenguaje tiene que ver con lo relativo a las traducciones, así en el

caso del JICA se recoge la traducción, muy relevante tanto para

fortalecer la relación con los países socios como de cara a la

difusión a otros donantes y para la gestión del conocimiento. Junto

a la adaptación del lenguaje se incluye también la necesidad de

generar formatos adaptados y orientados al uso, tal como se

recoge en la Política de evaluación de AusAID. Algunos

documentos van más allá, especificando que se elaborarán

resúmenes con los resultados de las evaluaciones, notas de prensa

o bien boletines de difusión, entre otras posibilidades, como en los




44

casos de JICA y DANIDA, por ejemplo. Un tercer elemento que

empieza a surgir con fuerza en el ámbito de la evaluación es la

utilización de las redes sociales para la difusión. Hay ejemplos de

políticas en las que ya se concreta que se explorarán las

posibilidades que las redes sociales ofrecen en este ámbito, como

es el caso de DANIDA.

c. Utilización de los resultados

Otro gran bloque que emerge con gran intensidad a lo largo de

las políticas de evaluación analizadas es el relativo a la utilidad de

los resultados de los procesos de evaluación. Este, en el caso

de algunas de las políticas más recientes, como la francesa, ha

emergido como un aspecto clave que se incorpora de forma

integral al conjunto del proceso de evaluación. Esta política

pretende institucionalizar algunas prácticas vinculadas con la

participación en los procesos de evaluación de las unidades

operativas desde los momentos iniciales de programación de las

evaluaciones y redacción de términos de referencia hasta la

elaboración de las recomendaciones, o de una parte de ellas. La

política francesa, en esta línea, establece la posibilidad de que las

recomendaciones sean elaboradas por los propios evaluadores o

bien que este ejercicio se haga en un proceso conjunto entre los

evaluadores y los servicios implicados. La relación completa de

estos mecanismos de mejora de la utilización se adjunta de forma

específica en uno de los anexos de la propia política.

También resulta relevante en este sentido la importancia que

algunas políticas, como la del DFID, otorgan a la determinación del

momento más adecuado para la realización de la evaluación con el

fin de que este proceso se vincule de forma clara con la utilización

de los hallazgos y conclusiones para la toma de decisiones sobre el

objeto evaluado. Un instrumento clave para contribuir al uso de las

evaluaciones, que prácticamente todos los donantes tanto

bilaterales como multilaterales analizados han incorporado como

45

obligatorio a sus políticas de evaluación, es la respuesta de gestión

o respuesta de la administración, en algunas de sus posibles

denominaciones. En muchos casos, se indica que estas respuestas

deben ir acompañadas de un plan de seguimiento que permita ir

valorando periódicamente el grado de implantación de las

diferentes iniciativas incluidas y los avances a lo largo del tiempo,

como se observa por ejemplo en la Política de SIDA. Otro elemento

adicional que trata de garantizar que la respuesta de gestión

resulte oportuna en el tiempo, es la obligatoriedad de que esta sea

elaborada y publicada en un plazo de tiempo concreto con el fin de

que las recomendaciones no pierdan vigencia y sean pertinentes

para la toma de decisiones.

Para el incremento de la utilización muchos donantes proponen

una variedad de acciones de encuentro y debate sobre los

resultados entre los diferentes actores implicados: desayunos,

seminarios, foros, tanto de forma interna, para quienes están más

vinculados con los procesos evaluados, pero también de forma

externa, contribuyendo también de este modo a la difusión de la

cultura de evaluación en todos los ámbitos. La DANIDA detalla en

su política una gran variedad de estas actividades de difusión e

intercambio y el DFID también incorpora en su política foros de

discusión y debate de los hallazgos. Un último aspecto relevante,

que incorporan tanto la política del DFID como la de la AFD, es la

descripción de los diferentes usos previstos de las evaluaciones,

cuando distinguen entre la utilización instrumental, la conceptual y

la simbólica.

En el caso de la Política de Evaluación de la Cooperación

Española, con el objetivo de contribuir a la utilización de los

resultados de las evaluaciones, se ha dado relevancia a varios

aspectos:

1. La necesidad de desarrollar las capacidades de evaluación

de los actores implicados en los ejercicios evaluativos así

como su participación en sus fases.




46

2. La importancia de elaborar respuestas de gestión a las

recomendaciones de las evaluaciones y sus siguientes

planes de mejora.

3. El fomento de las relaciones con los medios de

comunicación para promover la cultura de evaluación.

4. El refuerzo de las sistematizaciones de las evaluaciones

financiados por la AOD española.

d. Aprendizaje y generación de capacidades

El último bloque que emerge de forma clara en las políticas

analizadas es el aprendizaje y la generación de capacidades, en

relación tanto con la gestión como con la práctica de la evaluación,

en aras del conocimiento y de la consolidación de la cultura de

evaluación. En primer lugar, y en línea con lo que se introducía en

el bloque anterior, el impulso de la realización de evaluaciones

conjuntas se considera una práctica fundamental para el

incremento de capacidades de los diferentes actores implicados,

también por parte de los países socios.

El fortalecimiento de capacidades en los países socios es una

preocupación muy ampliamente recogida en la política de

evaluación del DFID. Este interés no se centra solo en lo relativo a

los sistemas de evaluación nacionales, sino que implica también el

refuerzo de capacidades en las empresas, la contratación de

consultores locales, etc. El objetivo explícito es el de fortalecer la

cultura y práctica de la evaluación. Desde el punto de vista de los

sistemas de evaluación de los donantes, la implicación de los

equipos en el desarrollo de las evaluaciones desde el principio

hasta las recomendaciones, como en el caso de la AFD, se

considera también relevante.

Como acción complementaria, distintos documentos proponen la

realización de seminarios y jornadas que desarrollen aspectos

determinados en materia de evaluación, como recoge AusAID, lo

47

que también se complementa con la generación de guías y otro

tipo de publicaciones que traten diferentes aspectos de la práctica

y puedan orientar a los equipos de evaluación. A esto habría que

añadir la variedad de actividades propuestas en el apartado de

utilidad de las evaluaciones, en forma de seminarios, foros,

desayunos, reuniones, entre otros, que se recogían muy

exhaustivamente en la política de DANIDA.

Adicionalmente, diferentes donantes se comprometen a

participar en redes de evaluación (p.ej. DFID y AusAID) y a la

promoción de organizaciones profesionales, que desarrollen

aprendizajes mutuos y permitan una retroalimentación desde

diferentes espacios de actuación en materia evaluativa (DFID).

En el caso de la Cooperación Española, se propone que el

aprendizaje y la generación de capacidades se promuevan

mediante el fortalecimiento de capacidades de los actores de la

Cooperación Española y sus socios, potenciando los sistemas de

evaluación de estos últimos; la investigación sobre evaluación de

la cooperación para el desarrollo; la participación en redes de

evaluación que mejoren el intercambio de información; y la

organización de actividades de formación en la materia.

Tabla 7.- Utilidad de la evaluación

Utilidad

• Publicación de los resultados de las

evaluaciones

• Diseño y puesta en marcha de estrategias de

comunicación.

• Participación activa de los actores en el

proceso de evaluación

• Adecuación del momento de la realización de

la evaluación

• Realización y publicación de informes




48

Utilidad

periódicos de evaluación por parte de las

unidades de evaluación

• Incorporación, como obligatoria, de

respuesta de gestión en todas las

evaluaciones

• Impulso de la realización de evaluaciones

conjuntas

• Fortalecimiento de capacidades tanto en los

países donantes como en los países socios


49

4. CONCLUSIONES

Los resultados de este análisis comparado nos han permitido

desembocar en ciertas conclusiones que hemos enmarcado en

torno a las principales tendencias que orientan las políticas de

evaluación en el ámbito de la cooperación internacional para el

desarrollo.

4.1. Las principales tendencias en las políticas de evaluación de

cooperación internacional para el desarrollo en la actualidad

En la actualidad muchas agencias y organismos están

(re)diseñando sus políticas de evaluación de cooperación

internacional para el desarrollo. A esta aparente coincidencia

contribuye, en gran medida, que en la actualidad hay un ambiente

favorable para la evaluación de las políticas públicas en general y a

la evaluación de la cooperación internacional para el desarrollo en

particular. Esta coyuntura a favor de la evaluación es de suma

importancia para la mejora de la cooperación internacional para el

desarrollo, porque, tal como nos señala la OCDE (2013a), sienta

las bases para la construcción de una cultura de aprendizaje y

respalda el uso de las evidencias en la toma de decisiones, es útil

para replantear el papel de la evaluación en una política formal y

envía una señal de que la agencia de desarrollo está comprometida

con el logro de resultados y la transparencia.

Por tanto, que los países/organismos donantes y sus países

socios cuenten con políticas de evaluación fuertes tiene sin duda

repercusiones favorables para todo el sistema de cooperación

internacional para el desarrollo desde la transparencia y la

rendición de cuentas públicas pasando por el aprendizaje y la

mejora. Dentro de esta corriente favorable a la evaluación se

arrastra asimismo la necesidad de delimitar lo que cabe esperar de

una política de evaluación, como documento vivo que debe crecer

CONCLUSIONES


50

con la práctica de la evaluación, a fin de mejorar la cooperación

internacional para el desarrollo.

Uno de los elementos que emerge del análisis realizado tiene

que ver con la preocupación de qué es, qué no es, y para qué debe

servir, una política de evaluación, etc. Es importante, por ello,

acotar hasta dónde puede llegar la política de evaluación y de qué

manera se articula y se complementa la función de evaluación con

otras funciones conexas como el seguimiento, el observatorio, la

auditoría, la memoria, etc. Análogamente, la política de evaluación

debe estar adecuadamente articulada con el resto de documentos

estratégicos que determinan estas funciones. La evaluación tiene

un papel fundamental como herramienta orientada a generar

evidencias, dar respuestas sobre cuestiones específicas, y

retroalimentar la toma de decisiones. De ahí que la utilización de

las evaluaciones sea de interés general en todas las políticas

analizadas, tal como hemos visto, tanto de cara a aprovechar

adecuadamente los conocimientos generados, como a fortalecer la

calidad y la eficacia del sistema de cooperación internacional para

el desarrollo. Durante nuestro análisis han sobresalido distintos

aspectos clave en las políticas de evaluación de la cooperación

internacional para el desarrollo, que a continuación exponemos.

Las unidades de evaluación operan como motores del

cambio, apoyadas en políticas de evaluación fuertes. Se ha

observado una tendencia clara a crear unidades especializadas en

evaluación, que deben estar debidamente dotadas y cualificadas

con el fin de impulsar y fortalecer la función de evaluación. El

creciente ambiente favorable a la evaluación de la cooperación

internacional para el desarrollo ha supuesto un importante

aumento del número de evaluaciones, impulsado en gran medida

por las unidades de evaluación, quienes necesitan contar con unas

políticas de evaluación que respalden el fortalecimiento de una

función de evaluación independiente y a la vez las integren como

unidades legitimadas dentro del sistema de cooperación.

51

Para evitar posibles presiones y garantizar una difusión

adecuada y transparente de los hallazgos de los procesos de

evaluación es necesario asegurar la independencia de la función de

evaluación en los sistemas de cooperación internacional para el

desarrollo. Esto nos lleva a la reflexión que gira en torno a la

ubicación de las unidades de evaluación en las distintas

estructuras. Este aspecto está presente en la mayoría de las

políticas de evaluación analizadas, tanto en el caso de los donantes

bilaterales como en los organismos multilaterales de desarrollo.

Para tratar de garantizar la independencia de la función de

evaluación, los esfuerzos han estado encaminados a alejar en la

medida de lo posible la función de evaluación de aquellas unidades

directamente implicadas en actividades de planificación,

presupuestación, implementación y seguimiento de la AOD.

No obstante, esto ha podido ralentizar, en muchos casos, el

fortalecimiento del aprendizaje y la retroalimentación a los

sistemas. En la actualidad agencias y organismos buscan una

convivencia armoniosa entre la independencia (pensada para una

mayor credibilidad y mejor rendición pública de cuentas) y el

aprendizaje y la retroalimentación al sistema. En algunos casos

esto se resuelve estableciendo varios niveles, por ejemplo, la

unidad de evaluación independiente se ocuparía de las

evaluaciones centralizadas y las unidades descentralizadas

gestionarían directamente sus evaluaciones operativas y

gestionarían sus resultados. Esta reflexión se aprecia

especialmente en las políticas de los organismos multilaterales,

muchos de ellos inmersos en procesos de revisión para la mejora

de su gestión interna.

Es interesante observar el aumento en la diversificación

en las aproximaciones epistemológicas y metodológicas de

evaluación, como, por ejemplo, la teoría del programa, y el

menor peso relativo de perspectivas como la de los criterios,

(como los propuestos por el CAD), como único enfoque de

CONCLUSIONES


52

evaluación. También se puede hablar, adicionalmente, del rol que

se está asignando en los últimos tiempos a la evaluación de

impacto, cuyo uso de evaluación se ha visto reforzada por la

importancia dada por los donantes a la eficacia de la ayuda


Hay una clara apuesta hacia la búsqueda de

procedimientos para garantizar la calidad de los procesos

evaluativos. En la actualidad conviven tres grandes inquietudes

en lo referente al uso de las evaluaciones: la oportunidad (con

respecto al tiempo), la pertinencia (con relación a los actores

implicados) y la calidad (y fiabilidad de los productos resultado del

proceso evaluativo). En las políticas se señala que la práctica de la

evaluación debe ser rigurosa en su metodología por el bien de su

credibilidad y asimismo, que los resultados de las evaluaciones

deben ser tenidos en cuenta especialmente por los actores que

están destinados a abordar las recomendaciones, por tanto, la

evaluación debe ser necesaria, creíble y llegar en el momento

oportuno. En todo caso, para que una evaluación sea útil, rigurosa

y creíble deberá integrarse desde las primeras fases al ciclo de la

intervención y responder a las singularidades de la cooperación

internacional para el desarrollo como objeto de evaluación. Las

políticas de evaluación, como hemos visto, deben asegurarse de

marcar las pautas en este sentido.

Hay una tendencia clara en la comunidad evaluadora en

subrayar la relevancia de que las evaluaciones sean influyentes y

persuasivas. Para ello, en primer lugar, es importante que se

garantice la calidad del todo el proceso de evaluación con una

buena gestión a lo largo de todo él, así como una participación

activa de todos los actores implicados. Y en segundo lugar, es

necesario que al final de los procesos de evaluación, tanto las

personas que toman las decisiones sobre el objeto evaluado como

el personal técnico, tomen decisiones concretas respecto a la

aplicación de las recomendaciones.

53

Hay una progresiva incorporación de los distintos

protagonistas de la intervención en evaluaciones cada vez

más participativas. Respecto a la participación, el parecer de que

debe ser fortalecida es unánime en la comunidad evaluadora

internacional (Estrella y Gaventa, 1998), y así ha sido señalado

explícitamente en las políticas de evaluación más recientes. En

paralelo convive, sin embargo, la preocupación de que la

multiplicidad de actores, que enriquece las perspectivas y

sensibilidades en lo que respecta a la cooperación internacional

para el desarrollo, también demanda un esfuerzo adicional de

coordinación, articulación, clarificación de roles, refuerzo de

capacidades, generación de incentivos para el trabajo conjunto, de

parte de unidades de evaluación. Éstas en muchos casos, todavía

no se han consolidado suficientemente dentro de su estructura

organizativa e institucional, por lo que puede entrañar una

complejidad de su gestión difícil de asumir.

En este sentido, las políticas de evaluación, entendidas como los

mandatos o principios de alto nivel que se sirven para guiar la

práctica de la evaluación; es decir, para orientar las decisiones y

acciones de una organización o de un país con el fin de llevar a

cabo la evaluación de su política de cooperación al desarrollo de

políticas, son, como hemos visto, el marco adecuado tanto para

subrayar los contornos de diálogo entre actores como para

promoverlo.

Hay disparidad en la visión estratégica y en los criterios

de selección de evaluaciones. Está extendido aunque no

generalizado el establecimiento de criterios que permitan una

selección de las evaluaciones, pero tanto los criterios como su

naturaleza es dispar. Se puede observar cierto consenso en torno

de los criterios de cobertura y de relevancia, si bien su aplicación

difiere en gran medida. En todas las políticas de evaluación

analizadas hemos observado una constante en la necesidad de

CONCLUSIONES


54

fundamentar la importancia de la evaluación en el sistema de

cooperación internacional para el desarrollo.

Se observa un gran protagonismo de la comunicación de

los resultados. La manera de proceder de la comunidad

evaluadora para que efectivamente la función de evaluación esté

orientada al cambio para la mejora de la cooperación, ha sido

reforzar la comunicación de los resultados. Esto se refleja en sus

políticas de evaluación, en la actualidad se está reflexionando, por

ejemplo, sobre la utilidad de los informes de evaluación tal y como

que se vienen haciendo. Hay una preocupación compartida sobre

las limitaciones de los informes de evaluación para alcanzar

audiencias mayores. Esto ha desembocado en una atención mayor

a la comunicación en contenido y forma, y su relación con la

rendición de cuentas, el aprendizaje y la gestión del conocimiento.

Las respuestas de gestión de las administraciones son la

vía para operativizar las recomendaciones. Con el fin de que

se consolide una función de evaluación que equilibre y concilie el

aprendizaje y la rendición de cuentas, una herramienta clave es la

denominada respuesta de gestión o respuesta de la

administración, que se presenta como el instrumento que

contribuye al uso y la utilidad práctica de las evaluaciones y que la

mayoría de los donantes analizados han incorporado como

obligatoria a sus políticas de evaluación.

Uno de los grandes retos de la agenda de cooperación

internacional para el desarrollo en la actualidad es la desigualdad,

que en muchos casos ya no es solamente entre países, sino

también dentro de las propias sociedades y comunidades, y que es

extensiva a todo el planeta. De ahí la relevancia de la función de

evaluación para mejorar la calidad de la ayuda. La evaluación,

además de cumplir con el propósito de la transparencia y la

rendición de cuentas debe servir como medio para generar

55

aprendizajes que permitan mejorar la eficacia y la calidad de las

intervenciones de cooperación internacional para el desarrollo.

CONCLUSIONES


56

REFERENCIAS BIBLIOGRÁFICAS

Agence française de développement (AFD) (2007). Evaluation

Policies and Practices in Development Agencies. París: AFD.

- (AFD). Información sobre la política de evaluación de

la cooperación al desarrollo francesa. Recuperado de:

http://www.afd.fr/home/recherche/evaluation-

capitalisation

- (2013). Politique d’évaluation de l’AFD. París: AFD.

Recuperado de:

http://www.afd.fr/jahia/webdav/site/afd/shared/RECHE

RCHE/Evaluation/document/politique-evaluation-afd.pdf

Agence française de développement (AFD) – Overseas

Development Institute (ODI) (2007). A Comparative Study

of Evaluation Policies and Practices in Development

Agencies. París: AFD.

Argilés Marín, J.M. (2014). La evaluación de la acción exterior

española: reflexiones a partir de la experiencia de

evaluación en la política de cooperación internacional para

el desarrollo. Madrid: Real Instituto Elcano.

http://www.realinstitutoelcano.org/wps/portal/web/rielcano

_es/contenido?WCM_GLOBAL_CONTEXT=/elcano/elcano_es

/zonas_es/cooperacion+y+desarrollo/eee15-2014-argiles-

evaluacion-accion-exterior-espanola-reflexiones-

experiencia-cooperacion-desarrollo

Australian Government Overseas Aid Program (AusAID) (2012).

Evaluation Policy 2012–2015. Canberra: AusAID.

Banco Europeo de Reconstrucción y Desarrollo (BERD) (2012).

European Bank for Reconstruction and Development

Evaluation Policy. Londres: BERD.

Binnendijk, A.L. (1989). Donor agency experience with the

monitoring and evaluation of development projects. En

Evaluation Review. Londres: SAGE. Recuperado de:

http://erx.sagepub.com/content/13/3/206

Banco Interamericano de Desarrollo (BID). Información sobre la

57

política de evaluación del BID. Recuperado de:

http://www.iadb.org/es/oficina-de-evaluacion-y-

supervision/acerca-de-la-oficina-de-evaluacion-y-

supervision-ove,6655.html

Bundesministerium Für Wirtschaftliche Zusammenarbeit - BMZ

(German Federal Ministry For Economic Development

Cooperation) - Deutsche Gesellschaft Für Internationale

Zusammenarbeit Gmbh (GIZ) - Reconstruction Credit

Institute Kreditanstalt Für Wiederaufbau (KfW

Bankengruppe). Información sobre las orientaciones en

seguimiento y evaluación de la política de cooperación

alemana. Recuperado de:

http://www.bmz.de/en/what_we_do/approaches/evaluation

/Evaluation/index.html

Canadian International Development Agency (CIDA) (2004). Guía

de Evaluación de la ACDI. Ottawa: ACDI.

Collin, S. y Stirrat, R. (2008). Current Challenges in Development

Evaluation, SAGE Publications. Los Ángeles, Londres, Nueva

Delhi y Singapur, Vol 14 (2), 193-208.

Comisión Europea. (2006). Consenso Europeo sobre Desarrollo

(2006/C 46/01). Recuperado de:

http://europa.eu/legislation_summaries/development/gener

al_development_framework/r12544_es.htm

Comisión Europea, European Community Humanitarian Office

(ECHO). Información sobre la evaluación de ECHO.

Recuperado de:

http://ec.europa.eu/echo/evaluation/index_en.htm

Comisión Europea, Dirección General de Desarrollo y Cooperación.

EuropeAid. Información sobre la evaluación de EuropeAid.

Recuperado de:

http://ec.europa.eu/europeaid/how/evaluation/introduction

/introduction_es.htm

Confédération suisse. Département fédéral des affaires étrangères

(DFAE), Direction du développement et de la coopération

(DDC) (2013). Politique d’évaluation de la DDC. Recuperado



58

de:

http://www.sdc.admin.ch/en/Home/Effectiveness/Evaluatio

ns

Cooksy, L. J., Mark, M. M., & Trochim, W.M.K. (2009). Evaluation

policy and evaluation practice: Where do we go from here?

En W.M.K. Trochim, M. M. Mark, & L. J. Cooksy (Eds.),

Evaluation policy and evaluation practice. New Directions

for Evaluation, 123, 103–109.

Crackell, B.E. (2000). Evaluating development aid: issues,

problems and solutions. Thousand Oaks, California: Sage

Publications.

Danish International Development Agency (DANIDA) (2012a).

DANIDA’s Evaluation Guidelines. Copenhagen: DANIDA.

- (2012b). DANIDA’s Evaluation Policy. Copenhagen:

DANIDA.

Department for International Development (DFID), United

Kingdom (UK) Government (2009). Building the evidence to

reduce poverty, The UK’s policy on evaluation for

international development. Londres: DFID.

- (2012). Learning what works to improve lives. Draft

Evaluation policy, Londres: DFID.

- (2013). DFID Evaluation Policy 2013. Recuperado de:

https://www.gov.uk/government/publications/dfid-

evaluation-policy-2013

Estrella, M y Gaventa, J (1998). Who counts reality? Participatory

Monitoring and Evaluation: a literature review. IDS Working

Paper 70.

Fondo de Naciones Unidas para la Infancia (UNICEF) (2008).

UNICEF Evaluation Policy. Nueva York: UNICEF.

Good Humanitarian Donorship (GHD). (2003). Good Humanitarian

Donorship (GHD) principles and good practices. Stockholm:

GHD.

Japan International Cooperation Agency (JICA) (2007). Part 1.

Evaluation in JICA en Annual Evaluation Report. pp. 9-24.

Tokio: JICA.

59

- (2010). New JICA Guidelines for Project Evaluation.

Recuperado de:

http://www.jica.go.jp/english/our_work/evaluation/index

.html (2013). Official development assistance (ODA).

Evaluation Guidelines. Recuperado de:

http://www.mofa.go.jp/policy/oda/evaluation/basic_documents/pdfs/guidelines2013.pdf

Ley 28/2006, de 18 de julio, de Agencias estatales para la mejora

de los servicios públicos.

Ley 23/1998, de 7 de julio, de Cooperación Internacional para el

Desarrollo.

Ministerio de Asuntos Exteriores (MAE) (1998). Metodología de

Evaluación de la Cooperación Española (I). Madrid: MAE.

- (2001). Metodología de Evaluación de la Cooperación

Española (II). Madrid: MAE.

- (2007a). Manual de Gestión de Evaluaciones de la

Cooperación Española. Madrid: MAE.

- (2007b). Política de Evaluación de la Cooperación

Española. Madrid: MAE.

Ministerio de Asuntos Exteriores y de Cooperación (MAEC)

(2007c). Estrategia de Género en Desarrollo de la

Cooperación Española. Madrid: MAEC.

- (2012). IV Plan Director de la Cooperación Española

2013 – 2016. Madrid: MAEC.

- (2012). Informe de la evaluación intermedia del III Plan

Director de la Cooperación Española. Madrid: MAEC.

- (2013a). Política de Evaluación de la Cooperación

Española. Madrid: MAEC.

- (2013b). Plan de evaluaciones 2013-14. Madrid: MAEC.

Monterde Díaz, R. (2014). Calidad y utilidad de las Evaluaciones en

la Cooperación Española para el Desarrollo en España.

Propuestas para profundizar en la construcción de cultura

de evaluación. Documento de Trabajo. Serie CECOD.



60

Número 24/2014. Madrid: CEU Ediciones.

Naciones Unidas (NNUU) (2005a). Estándares de evaluación del

Sistema de las Naciones Unidas. Nueva York: UNEG.

- (2005b). Normas de evaluación del Sistema de las

Naciones Unidas. Nueva York: UNEG.

Norwegian Agency for Development Cooperation (NORAD) (2006).

Evaluation Policy 2006-2010. Oslo: NORAD.

ONU Mujeres (2012). Política de evaluación de la Entidad de las

Naciones Unidas para la Igualdad de Género y el

Empoderamiento de las Mujeres. Nueva York: ONU Mujeres.

Orden AEC/2909/2011, de 21 de octubre, por la que se establecen

las bases para la concesión de subvenciones de cooperación


Organización Internacional del Trabajo (OIT) (2005). Un nuevo

marco de políticas y estrategias de evaluación en la OIT.

Ginebra: OIT.

OCDE (1975). AID Evaluation. The experience of members of the

Development Assistance Committee and of International

Organisations. Paris: CAD.

- (2001). Evaluation Feedback for effective learning and

accountability. DAC working party on aid evaluation.

Paris: CAD.

- (2002). Glosario de principales términos sobre

evaluación y gestión basada en resultados. París: CAD.

- (2005). Declaración de París sobre Eficacia de la Ayuda.

París: CAD.

- (2006). Evaluation Systems and Use: a Working Tool for

Peer Reviews and Assessments. París: CAD.

- (2008). Agenda de Acción de Accra. Accra: CAD.

- (2009). Development Evaluation Resources and Systems

- A Study of Network Members, París: CAD.

- (2010a). Estándares de calidad para la evaluación del

desarrollo. Paris: CAD.

- (2010b). Evaluation in Development Agencies. Better

Aid. París: CAD.

61

- (2010c). Glosario de los principales términos sobre

evaluación y gestión basada en resultados. París: CAD.

- (2011a). Alianza Global de Busan para una Cooperación

Eficaz al Desarrollo. Busan: CAD.

- (2011b). Informe del Peer Review del CAD a la

Cooperación Española 2011. París: CAD.

- (2013a). The DAC Network on Development Evaluation –

30 years of strengthening learning in development, DAC

Network on Development Evaluation, OECD: Paris.

Pearson, L. (1969). Partners in Development- Report to the

Commission on International Development. London, Pall

Mall Press.

Picciotto, R. (2002). Development Cooperation and Performance

Evaluation: the Monterrey Challenge. Washington: World

Bank.

Programa de Naciones Unidas para el Desarrollo (PNUD) (2011).

La política de evaluación del PNUD. Nueva York: PNUD.

Ramalingam, B., Laric, M., Primrose, J. (2014). Form best practice

to best fit. Understanding and navigating wicked problems

in international development. Overseas Development

Institute Working Paper. Londres: ODI.

Servicio Europeo de Acción Exterior (SEAE). (2014). Evaluation

Matters - The evaluation policy for European Union

Development Co-operation. Recuperado de:

https://ec.europa.eu/europeaid/sites/devco/files/evaluation

-matters_en_0.pdf

Swedish International Development Cooperation Agency (SIDA)

(2010). SIDA’s Evaluation Guidelines & Evaluation Plan

2010. Stockholm: SIDA.

Swiss Agency for Development and Cooperation (SDC) (2008).

Evaluation policy. Berna: SDC.

Trochim, W.M.K. (2009). Evaluation policy and evaluation practice.

En W.M.K. Trochim, M.M. Mark, & L.J. Cooksy (Eds.),

Evaluation policy and evaluation practice. New Directions

for Evaluation, 123, 13–32.



62

Ulla Díez, S. y Argilés Marín, J.M. (2014). El camino pendiente

hacia la consolidación de la evaluación en la Cooperación

Española. Madrid: CECOD.

http://www.cecod.org/LinkClick.aspx?fileticket=s02RPFmUk

Iw%3D&tabid=1054&language=es-ES

United Nations Evaluation Group (UNEG) (2011). UNEG Framework

for Professional Peer Reviews of the Evaluation Function of

United Nations Organizations. Nueva York: UNEG.

- (2012). Evaluation Capacity in the UN System. Nueva

York: UNEG.

United Nations Office of Internal Oversight Services (OIOS).

Guidance to Programmes for Developing an Evaluation

Policy. Recuperado de:

http://www.un.org/Depts/oios/pages/ied_guidance_for_dev

_ep.pdf

United Nations (2015). Final Draft of the outcome for the UN

Summit to adopt the Post-2015 Development Agenda.

United States Agency for International Development (USAID)

(2011). Evaluation Policy. Learning from Experience.

Washington: USAID.

Winckler, O. (2014). Some thoughts on Development Evaluation

Processes. IDS Bulletin, Volume 45, Number 6. Sussex:

Institute of Development Studies.

World Health Organization (WHO) (2012). Draft formal evaluation

policy. Ginebra: WHO.

Este y otros documentos relacionados se pueden encontrar en:http://www.cooperacionespañola.es/es/publicaciones

Politicas de evalución en la Cooperacion para el Desarrollo

Documents

Transcript of Politicas de evalución en la Cooperacion para el Desarrollo