6contenidos Evaluacion Proyectos Tcm7-13353

gora Social

07

EVALUACIN DE PROYECTOS

VICTOR M. PINTO

Curso de evaluacin de proyectos

Pgina 2 de 29

gora Social. Servicios integrales para el tercer sector, S.L. CIF:B-85021111 Versin: Fecha: 15-10-08

C/ Juan Bravo 3-A. 28006 Madrid. Tlefono: 914 367 393. Fax: 911 412 626. Email: [email protected]. Web: www.agorasocial.com

2.0

SEGUIMIENTO Y EVALUACIN. INTRODUCCIN ................................................................... 4

PRINCIPIOS BSICOS DE LA EVALUACIN Y EL SEGUIMIENTO .......................................... 5

Qu supone realizar el seguimiento de un proyecto? ............................................................. 7

Ventajas y desventajas de las evaluaciones internas y externas ............................................. 8

PLANIFICACIN DE LA EVALUACIN Y EL SEGUIMIENTO .................................................... 9

Qu queremos conocer? ......................................................................................................... 9

Tipo de informacin requerida ................................................................................................. 10

CALIDAD DEL INDICADOR .................................................................................................... 10

QU HACER CON EL INDICADOR ........................................................................................ 10

Informacin cualitativa y cuantitativa ....................................................................................... 11

Cmo obtenemos la informacin? ......................................................................................... 11

A quin debemos involucrar? ................................................................................................ 12

DISEO DE UN PROCESO DE EVALUACIN Y SEGUIMIENTO ........................................... 12

Diseo de procesos de seguimiento ....................................................................................... 12

Diseo de evaluaciones ........................................................................................................... 13

RECOGIDA DE INFORMACIN ................................................................................................. 14

Las cinco cuestiones clave ...................................................................................................... 14

Consideraciones sobre la recogida de informacin................................................................. 14

Condiciones de partida y control de daos ............................................................................. 14

Mtodos de recogida de informacin ...................................................................................... 15

ANLISIS DE LA INFORMACIN .............................................................................................. 18

DE LA EVALUACIN Y EL SEGUIMIENTO A LA ACCIN ....................................................... 19

Generacin de informes .......................................................................................................... 19

Elementos habituales de un informe ....................................................................................... 21

CONTENIDO ........................................................................................................................... 21

DESCRIPCIN ........................................................................................................................ 21

Aprendizaje .............................................................................................................................. 22

Toma de decisiones efectiva ................................................................................................... 22

BIBLIOGRAFA............................................................................................................................ 24

ANEJO 1. Seguimiento. Lista de comprobacin de preguntas a realizar ................................... 25

Consideraciones iniciales. Para qu sirve el seguimiento. Razones para hacerlo ................. 25

Qu supone realizar el seguimiento de un proyecto ............................................................... 25

Qu supone realizar la evaluacin? ...................................................................................... 25

Anejo 2. Planificacin del seguimiento ........................................................................................ 26


Pgina 3 de 29



2.0

Qu es lo que queremos conocer? ....................................................................................... 26

Anejo 3. Preguntas a realizarse en la evaluacin ....................................................................... 26

ANEJO 4. Gua de anlisis del cambio generado ....................................................................... 26


Pgina 4 de 29



2.0

SEGUIMIENTO Y EVALUACIN. INTRODUCCIN

Aunque se suelen utilizar queriendo decir lo mismo, seguimiento (o monitoreo) y evaluacin, son, de hecho, dos actividades distintas que se realizan en el seno de una organizacin. Estn relacionadas pero no son lo mismo.

El seguimiento es la recogida y el anlisis sistemtico de la informacin que se realiza mientras se ejecuta un proyecto.

Pretende obtener una mejora de la eficacia y de la eficiencia de un proyecto o de una organizacin. Se centra en la consecucin de los objetivos y en la ejecucin de las actividades planificadas. Reduce las dificultades que surgen durante la ejecucin de los proyectos y facilita la anticipacin a los posibles problemas. Si se hace correctamente, es una herramienta inestimable para la buena gestin, y proporciona una base til para la evaluacin.

Entre otras ventajas, permite determinar con mayor facilidad la disponibilidad de recursos, as como la adecuacin de su uso y si se est haciendo lo que se planific.

La evaluacin es la comparacin de los resultados obtenidos en la ejecucin del proyecto con los establecidos previamente en los planes. Se revisa qu se pretenda hacer, qu se ha conseguido y cmo se ha logrado.

Puede tener un carcter formativo (que ocurre durante la vida de un proyecto o de una organizacin, con intencin de mejorar la estrategia o la manera del funcionamiento del proyecto o de la organizacin). Y tambin puede tambin ser sumativa, aportando informacin y conocimiento a partir de un proyecto ya finalizado.

Alguien describi una vez que la diferencia entre el seguimiento y la evaluacin es equivalente a la diferencia entre un chequeo y una autopsia!

Lo que ambas tienen en comn es que permiten obtener informacin sobre lo que se hace pero tambin sobre cmo se hace, en ambos casos en trminos de:

Eficacia.

Eficiencia.

Impacto.

La eficacia es una medida del grado en que un programa o un proyecto cualquiera, bien dirigido a beneficiarios, bien orientado al fortalecimiento organizativo, alcanzan los objetivos especficos que se fijaron.

La eficiencia busca que los recursos utilizados estn en relacin con los resultados obtenidos. Es importante tenerla en cuenta cuando se pretende realizar un proyecto similar o dar ms importancia a ste en la organizacin.

El impacto se refiere a los cambios que hemos logrado introducir en el contexto en el que actubamos. No slo mide los objetivos, valora si la estrategia utilizada ha sido verdaderamente til. Antes de decidir si continuamos con el proyecto o si lo reutilizamos, con los debidos ajustes, en otros contextos similares, debemos estar seguros que lo que estamos haciendo tiene sentido en trminos de cambio real.


Pgina 5 de 29



2.0

PRINCIPIOS BSICOS DE LA EVALUACIN Y EL SEGUIMIENTO

El seguimiento y la evaluacin permiten valorar los resultados inmediatos. (En ingls, a los resultados inmediatos se les suele denominar bottom line). Es decir, nos permiten:

1. Identificar progresos.

2. Detectar problemas en la planificacin o en la implementacin.

3. Hacer ajustes.

En muchas organizaciones la evaluacin se considera como un requisito de los donantes ms que como una herramienta de gestin. Si bien los donantes deben conocer cmo se invierte su dinero y qu se consigue con ello, el uso ms importante debera ser la propia mejora del proyecto: verificar si estamos consiguiendo los objetivos, si estamos teniendo algn impacto destacable, si estamos trabajando como queramos y si podemos aprender algo de la experiencia.

Si bien la planificacin es fundamental, nunca puede estar totalmente definida. Si las circunstancias cambian o el plan no se adeca completamente a la situacin, debe cambiarse.

Tanto el seguimiento como la evaluacin permiten conocer a la organizacin si algo est fallando, si no estamos teniendo en consideracin nuevas circunstancias, o si la situacin es distinta y hay que cambiar el plan de manera radical.

Aportan al equipo de gestin la informacin necesaria para tomar decisiones, tanto en cuanto a programa, como a nivel organizacional o estratgico.

La conclusin es que todo es modificable y mantener algo en funcionamiento sabiendo que no funciona es un grave error. No aprender de los errores del pasado por no hacer un seguimiento y evaluacin adecuados puede suponer un despilfarro de recursos e ilusiones y un fracaso en trminos de impacto conseguido.

El ciclo del proyecto tendra, entonces, este aspecto.


Pgina 6 de 29



2.0

Ilustracin 1. El ciclo del proyecto, incluyendo la evaluacin y el seguimiento.

En todo caso, ni la evaluacin ni el seguimiento son recetas mgicas. Nunca son la solucin, son su primer paso, pues nos pueden facilitar considerablemente el trabajo:

Ayudando a identificar los problemas y sus causas.

Sugiriendo posibles soluciones a los problemas.

Obligndonos a hacernos preguntas sobre los supuestos que fundamentan la estrategia.

Hacindonos ver ms claramente hacia dnde vamos y cmo vamos a llegar all.

Abastecindonos de informacin y mejorando la capacidad de discernimiento.

Aumentando la probabilidad de aumentar el impacto, introduciendo cambios duraderos y relevantes.


Pgina 7 de 29



2.0

Qu supone realizar el seguimiento de un proyecto?

Realizar el seguimiento de un proyecto implica:

1. Establecer indicadores de eficacia, eficiencia e impacto.

2. Recoger y mantener organizada informacin.

3. Analizar la informacin.

4. Utilizar la informacin en la gestin diaria, en las pequeas decisiones.

El seguimiento es una funcin interna que debe estar presente en todo tipo de proyectos de una organizacin.

Realizar la evaluacin de un proyecto supone:

1. Recordar qu se pretenda conseguir con la realizacin de ese proyecto. Cules eran los cambios que pretendamos conseguir? Cul era el impacto a lograr?

2. Valorar el progreso en trminos de lo que se pretenda conseguir.

3. Revisar la estrategia del proyecto o de la organizacin. Estaba el proyecto respaldado por una estrategia? Ha sido efectivo? Ha aportado a la estrategia? La estrategia era pertinente? En caso de no serlo, por qu?

4. Revisar cmo se ha trabajado. Los recursos se han utilizado de manera eficiente? Se ha valorado el coste de oportunidad? Tal y como se dise el proyecto, es sostenible?

5. Cules son las implicaciones para los distintos grupos de inters?

En la evaluacin, nos centramos en analizar la eficacia, la eficiencia y el impacto realmente causado.

Hay muchas formas de evaluar. Algunas de las ms habituales son las siguientes:

- Auto evaluacin. Supone ponerse frente al espejo para valorar cmo lo est haciendo la organizacin o el equipo del proyecto, su propsito fundamental es el aprendizaje y la mejora de las capacidades prcticas. Exige una actitud honesta y un importante ejercicio de autocrtica, pero puede ser una experiencia muy enriquecedora si se utilizan sus conclusiones.

- Evaluacin participante. Es una forma de evaluacin interna. Pretende implicar al mayor nmero de personas posible, siempre que tengan un cierto grado de involucracin en el proyecto. Es usual en este caso que tanto los destinatarios como el staff del proyecto participen en la evaluacin al mismo tiempo. Si se cuenta con personal externo, no actuar como evaluador, sino como facilitador del proceso.

- Evaluacin participativa rpida. Enfoque cualitativo. Se utiliza como punto de partida para entender un contexto determinado. Comienza con un proceso de entrevistas, tanto grupales como individuales, semiestructuradas, pero supone tambin el uso de otras herramientas de recogida de informacin adicionales.

- Evaluacin externa. Se realiza por un evaluador externo elegido cuidadosamente.

- Evaluacin interactiva. Proceso en el que participa un evaluador externo actuando continuamente con un equipo interno de evaluacin.


Pgina 8 de 29



2.0

Ventajas y desventajas de las evaluaciones internas y externas

MODELO VENTAJAS DESVENTAJAS

EVALUACIN INTERNA Los evaluadores conocen bien el trabajo, la cultura organizacional, la misin y los objetivos estratgicos y especficos.

En ocasiones, las personas se sienten ms cmodas hablando con personas a las que conocen.

Una evaluacin interna es una herramienta de gestin, una buena forma de autocorreccin y es mucho menos amenazadora que una evaluacin o auditora externa.

Tiene un coste menor que una evaluacin externa.

Los evaluadores pueden estar interesados en obtener conclusiones excesivamente positivas.

El equipo de evaluacin puede no estar formado especficamente en las tcnicas de evaluacin.

La evaluacin absorber una gran cantidad de tiempo, de modo que si bien los costes sern menores, el coste de oportunidad ser mucho ms elevado que en una evaluacin externa.

EVALUACIN EXTERNA (realizada por personas no implicadas directamente en el proyecto, o de fuera de la organizacin)

La evaluacin ser probablemente ms objetiva, dado que los evaluadores tendrn ms distancia con la organizacin.

Los evaluadores estarn entrenados en la evaluacin.

En ocasiones, las personas se sienten ms cmodas hablando con personas que no conocen.

Las evidencias que el evaluador detecte tendrn mayor credibilidad, en particular, las positivas.

Alguien externo a la organizacin puede no entender su cultura.

El personal interno puede sentirse amenazado por evaluadores externos, de modo que cooperarn menos que en una evaluacin externa.

Puede ser muy costosa.

Un evaluador externo puede comprender mal qu quiere obtener la organizacin de la evaluacin y no aportar lo que sta necesita.


Pgina 9 de 29



2.0

PLANIFICACIN DE LA EVALUACIN Y EL SEGUIMIENTO

Deben formar parte del proceso de planificacin en s, dado que es difcil efectuar con xito el seguimiento de un proyecto una vez ste est en marcha.

Cuando se planifica, se establecen objetivos y, a partir de ellos, se definen indicadores. Estos indicadores son la estructura sobre la que se basar el sistema de seguimiento y evaluacin. Unos buenos indicadores deben contribuir con informacin relevante sobre qu queremos saber y qu tipo de informacin debe recogerse.

En esta fase, debemos respondernos a las siguientes preguntas:

Qu queremos conocer?

Tipos de informacin requerida.

Cmo la obtendremos?

Quin deber estar involucrado?


Lo que queremos saber est ntimamente relacionado con lo que consideramos importante. En nuestro caso, lo que consideramos importante est vinculado a los valores de la organizacin.

Por tanto, la primera pregunta que debemos hacernos, independientemente del departamento o rea funcional en la que trabajemos, es si lo que hacemos es coherente con nuestros valores.

En ese sentido, el sistema de evaluacin y seguimiento debe ser capaz de aportar informacin sobre:

Quin es realmente el destinatario de nuestro trabajo?

Nuestros destinatarios son sujetos pasivos o van a tener la posibilidad de participar?

Podemos mejorar nuestro impacto a partir de lo que aprendemos en la evaluacin y seguimiento, tal y como lo realizamos?

Estamos siendo eficientes, obteniendo el mximo resultado posible con los recursos disponibles?

Qu queremos saber sobre el proceso?

El proceso y el resultado estn estrechamente vinculados. En ocasiones son, incluso, lo mismo. Si se quiere implantar una herramienta de gestin que aporte informacin crtica til para, por ejemplo, la evaluacin del desempeo, el proceso de recogida y registro de la informacin vlida para la evaluacin ser una parte fundamental del resultado.

Por tanto, el cmo se implementa o el cmo se hace, est vinculado directamente al resultado obtenido.

Si hablamos de desarrollo o si hablamos de innovacin en la gestin, la capacitacin es un concepto clave del xito, si queremos considerar el resultado en trminos de sostenibilidad futura.

La cuestin entonces estriba en saber cmo nos informamos del proceso. La respuesta est en los indicadores que establezcamos.


Pgina 10 de 29



2.0

Tipo de informacin requerida

Un indicador es un signo tangible que indica que algo se ha conseguido o realizado. En funcin de los objetivos del proyecto, pueden aparecer una gran cantidad de indicadores, pero todos tendrn en comn responder a alguna de las siguientes preguntas:

Quin?

Cunto?

Con qu frecuencia?

Los indicadores se pueden ver afectados por muchas variables, de las cuales algunas se controlarn desde el proyecto, pero otras no. Habr que tener a estas en cuenta, por tanto.

Para conocer la mejora que estamos experimentando ser tambin necesario conocer con exactitud el punto de partida y definir la forma de recogida de datos, a fin de tener una informacin totalmente fiable y reproducible en circunstancias similares.

Crear indicadores

Para crear indicadores hay que seguir los siguientes pasos:

1. Identificar la situacin a la que nos enfrentamos y establecer la situacin deseada.

2. Disear un proceso (de forma superficial) que nos oriente sobre cmo vamos a resolver la situacin (es decir, conseguir el objetivo). Esto nos permitir crear indicadores de proceso.

3. Disear indicadores de eficacia. Si se han logrado determinados hitos relevantes, si se ha progresado o no en el establecimiento de acuerdos (internos o externos), etc. Vinculados habitualmente a objetivos de progreso.

4. Disear indicadores de eficiencia. Por ejemplo, hemos realizado una serie de talleres para explicar una nueva herramienta de gestin interna en el plazo establecido, con un coste que no ha excedido el presupuesto y con un nmero de asistentes adecuado. Todos estos aspectos nos hablan de la eficiencia del proceso.

Calidad de los indicadores

Si queremos utilizar indicadores que aporten informacin relevante, es fundamental que valoremos los siguientes aspectos. Un buen indicador tendr las siguientes caractersticas:

Mensurable, medible.

Representativo.

Fiable.

Factible.

Tabla 1. Calidad de indicadores.

CALIDAD DEL INDICADOR QU HACER CON EL INDICADOR

Es mensurable, representativo, fiable y factible.

Usarlo.

Mensurable, fiable y factible, pero no suficientemente representativo.

Usarlo y buscar otros indicadores que le apoyen.


Pgina 11 de 29



2.0

Mensurable, representativo y factible, pero no muy fiable.

Es lo suficientemente fiable como para usarlo si se hicieran pblicas sus deficiencias? Si no, no usarlo.

Mensurable, representativo y fiable, pero no factible.

Puede otro indicador o conjunto de indicadores representar el objetivo de un modo razonable? Si es que s, cambiarlo. Si la respuesta es negativa, reconsiderar si es factible.

Es mensurable y factible, pero no suficientemente representativo y no es muy fiable.

Es lo suficientemente fiable como para usarlo si se hicieran pblicas sus deficiencias? En caso afirmativo, usarlo buscar informacin de respaldo para obtener informacin ms fiable. En caso negativo, prescindir de l.

El indicador es factible, nicamente. Olvidarle.

Informacin cualitativa y cuantitativa

La informacin cuantitativa se expresa en cantidades, porcentajes, en forma de ratios, etc., de tal manera que puede ser contada, medida o comparada.

La informacin cualitativa tiene siempre un carcter subjetivo: nos indica cmo se han sentido una serie de personas en una situacin concreta, cmo se han llevado a cabo una serie de actividades o cul ha sido el comportamiento de un colectivo.

Esta informacin se obtiene preguntando, observando e interpretando.

Si bien la informacin cuantitativa es cmoda, al ser objetiva y fiable, debe ser correctamente interpretada y eso no siempre es fcil.

Sin embargo, la informacin cualitativa aporta una mayor dosis de significado y permite situar en el contexto a la informacin cuantitativa.

Si se elabora una herramienta informtica pretendidamente funcional y los resultados de su utilizacin son inferiores a los esperados (por ejemplo, visitas a un servidor web, dato cuantitativo que comparamos con los resultados deseables), slo sabremos las razones si preguntamos e indagamos en ellas. Por s solo el ratio de utilizacin no nos aporta informacin alguna para actuar.

Por tanto, la informacin que se necesita en el seguimiento y evaluacin de cualquier proyecto combinar informacin cuantitativa y cualitativa a fin de tener un significado verdaderamente relevante.

Cmo obtenemos la informacin?

En la misma planificacin del proyecto, y tras haber definido los indicadores que informan de los resultados conseguidos, debemos ser capaces de definir cmo obtendremos la informacin.

Debemos buscar fuentes de informacin estables y que se mantengan en el tiempo, que nos informen del grado de ejecucin de las actividades y de consecucin de los objetivos.

La informacin debe tener significado y ser relevante. Si no es as, no informa, es ruido: y puede llevarnos a tomar decisiones errneas.


Pgina 12 de 29



2.0

A quin debemos involucrar?

Es sorprendentemente elevado el nmero de personas que puede verse afectado por un proyecto y que puede aportar informacin sobre el mismo, especialmente si este es de carcter interno, es decir, realizado en el seno de una organizacin y dirigido a la totalidad o a parte de sus miembros.

Habitualmente, sern, al menos, los siguientes:

Decisores.

Financiadores o prestatarios de recursos.

Usuarios.

reas funcionales o personas que puedan ampliar la visin sobre el proyecto o tengan informacin til para el mismo.

Es til hacerse las siguientes preguntas cada vez que llevamos a cabo una actividad: qu necesitamos saber sobre esta actividad (tanto en cuanto al proceso, el cmo, como en cuanto a los resultados, el qu hemos conseguido) y cul es la forma ms sencilla de obtener y registrar esa informacin?

DISEO DE UN PROCESO DE EVALUACIN Y SEGUIMIENTO

Dado que hay diferencias entre el diseo de un sistema de evaluacin y el de un sistema de seguimiento, los trataremos por separado.

En el seguimiento nos centramos en el proceso, mientras que en la evaluacin, revisamos preferentemente el propsito, aspectos clave y la metodologa.

Diseo de procesos de seguimiento

En el seguimiento buscamos informacin til a fin de mejorar tanto lo que estamos haciendo como el cmo lo hacemos, en ocasiones denominado desempeo.

Las fases de diseo son las siguientes:

1. Generar de una lista de indicadores que contemplen eficacia, eficiencia e impacto.

2. Determinar las variables que afectan a cada indicador.

3. Comprobar qu informacin est ya disponible.

4. Formular las preguntas clave que nos haremos durante el seguimiento del proyecto, siempre relacionadas directamente con los objetivos del mismo. Por ejemplo, en el caso de implantacin de una herramienta informtica, si la formacin requerida ha sido ya impartida y qu valoracin ha tenido, si los usuarios estn utilizando la herramienta y si la estn utilizando correctamente, si los costes estn dentro de lo presupuestado, si los proveedores externos estn cumpliendo los plazos, etc.

5. Vincular entre s los indicadores a fin de poder responder a las preguntas clave.

6. Definir cmo se recoger toda la informacin y cmo se registrar y mantendr actualizada y organizada.

7. Decidir la frecuencia de anlisis de la informacin recogida, es decir, cada cunto tiempo nos responderemos a las preguntas clave.

8. Recoger informacin, analizarla y elaborar los informes.


Pgina 13 de 29



2.0

Diseo de evaluaciones

El diseo de una evaluacin equivale a crear los trminos de referencia de un proyecto o los elementos de una propuesta de colaboracin, si quien la elabora es una consultora externa.

Normalmente contiene los siguientes elementos:

- Antecedentes: Razones por las que se elabora el proyecto, qu problemas pretende resolver o qu nuevas capacidades o funcionalidades pretende desarrollar o implementar en una organizacin o en un colectivo de beneficiarios.

- Propsito: Para qu evaluamos, no en sentido abstracto, sino qu pretendemos obtener con la evaluacin. Es posible que sta se centre en la eficacia, en el impacto del proyecto, en la relacin de costes y consumo de recursos en general con los resultados obtenidos o con otros aspectos que puedan interesar, como el desempeo, la validez de los procesos, etc.

- Preguntas clave: Vinculan el propsito de la evaluacin con los objetivos del proyecto evaluado.

- Metodologa: Cmo se realiza la evaluacin.

- Aspectos logsticos: Plazos, costes, recursos, capacidades del personal involucrado, etc.

Propsito

Es la razn por la cual se realiza una evaluacin. Va ms all de lo que queremos saber y por qu queremos saberlo. Se suele expresar en una frase o prrafo con dos partes:

- Qu queremos evaluar.

- Para qu queremos evaluar.

Algn ejemplo de propsito de una evaluacin podra ser:

- Aportar informacin sobre el grado de uso de la nueva intranet y las mejoras en productividad que aporta a la organizacin.

- Determinar el grado de conocimiento de marca de la organizacin tras la campaa de comunicacin corporativa llevada a cabo.

El propsito orienta el proceso de evaluacin en sentido amplio.

Preguntas clave

Son los aspectos centrales que debe responder el proceso de evaluacin. No se suelen responder con un s o un no. Una pregunta bien hecha ser aquella que:

- Provoque la reflexin.

- Ponga en duda los supuestos de partida.

- Aporte preguntas adicionales.

Siguiendo los ejemplos anteriores, algunas preguntas clave para el ejemplo anterior podran ser:

- Quines son los principales destinatarios de la intranet?

- Cubre adecuadamente sus verdaderas necesidades?

- Reduce la burocracia interna?

- Es funcional?


Pgina 14 de 29



2.0

- Cmo se seleccionaron los proveedores externos?

- Qu grado de participacin han tenido sus usuarios en el diseo de la herramienta?

- Tal cual se ha desarrollado el proyecto, sera replicable en circunstancias similares?

Las buenas preguntas clave no suelen centrarse en un solo aspecto, y normalmente tienen carcter transversal, por lo que su respuesta vendr dada por un anlisis profundo en el que participarn numerosas partes de la entidad.

En general, cuantas ms preguntas clave se realizan, ms informacin surge, menos evidente y ms relevante es.

Metodologa

Concepto similar en lo etimolgico, pero opuesto en lo semntico a mtodos. Se refiere ms bien al tipo de aproximacin realizado. Si hemos tenido en cuenta preferentemente fuentes de informacin escritas, o si por el contrario la evaluacin se considera eminentemente participativa, si contrastamos la informacin de una fuente con otras (triangulamos la informacin), etc.

Suele especificar tambin el formato de los reportes que se elaborarn. Si sern escritos, si se realizar una presentacin al equipo directivo o a la comisin encargada de valorar el proyecto, si habr reportes intermedios o no, etc.

RECOGIDA DE INFORMACIN

Las cinco cuestiones clave

Independientemente de los objetivos del proyecto y del propsito de la evaluacin o el seguimiento, hay cinco aspectos que todo proceso de recogida de informacin debe tener siempre presente. Son los siguientes:

- Pertinencia. el proyecto propuesto es el ms adecuado a la situacin que pretendemos mejorar? Por qu? Por qu no?

- Eficacia. Se ha logrado el propsito del proyecto, sus objetivos? Por qu? Por qu no?

- Eficiencia. Hemos utilizado los recursos adecuados y de la mejor forma posible? Qu se podra haber hecho para mejorar su utilizacin y facilitar la sostenibilidad del mismo?

- Impacto. En qu medida ha contribuido este proyecto a los logros de la organizacin a largo plazo? Qu consecuencias positivas o negativas ha tenido? Qu imprevistos han sucedido?

- Sostenibilidad. Se seguirn obteniendo impactos positivos una vez finalicemos el proyecto?

Consideraciones sobre la recogida de informacin

Durante la recogida de informacin se debe prestar especial atencin a la situacin inicial (algunos las llaman condiciones de entorno), a qu hacer si carecemos de informacin de partida (algunos autores lo denominan control de daos) y a los mtodos utilizados.

Condiciones de partida y control de daos

A la hora de enfrentar la realizacin de cualquier proyecto, hay que tener un punto de partida que nos permita obtener la informacin de inicio del mismo.


Pgina 15 de 29



2.0

Es muy difcil medir los avances que hemos realizado si se desconoce la situacin inicial, salvo en aquellos proyectos cuyo objetivo es implementar herramientas hasta entonces no utilizadas.

No obstante, siempre es posible obtener informacin general sobre la situacin de inicio aunque informe sobre la misma de manera indirecta, por ejemplo, datos sobre participacin de voluntarios en diversas actividades, que nos puede servir para determinar cuntos voluntarios es razonable que lleguemos a involucrar en un determinado proyecto.

O informacin referente a impactos en la web de entidades similares que nos servirn a efectos de comparacin con los resultados obtenidos.

Si los objetivos del proyecto se orientan hacia la implementacin de herramientas, podremos obtener informacin sobre los beneficios de su utilizacin preguntando a organizaciones que ya la tengan implementadas.

A pesar de todo, es posible que no se pueda obtener informacin de partida: bien porque sea una iniciativa pionera, bien porque sea demasiado costoso. Como ltima medida habr que intentar reconstruirla yendo hacia atrs en el tiempo y obteniendo informacin procedente de las partes involucradas, lecturas de informes antiguos, etc.

Si, por ejemplo, el proyecto pretende implementar una norma de gestin de la calidad y no es la primera vez que esto se intent, la informacin ms relevante no ser tanto la situacin actual de la organizacin, sino los hechos que impidieron en su da realizar la implementacin. Habr que comparar la situacin pasada con la actual, y esto facilitar la toma de medidas orientadas a resolver tales dificultades en el caso de que se presenten nuevamente.

Mtodos de recogida de informacin

En esta seccin incluiremos una lista de los mtodos ms utilizados para la recogida de informacin, orientada tanto al seguimiento como a la evaluacin de proyectos.

Una de las ms utilizadas es el uso de muestras, que si bien no es una herramienta suficiente por s sola, es muy eficaz si se utiliza junto con otras.

La mayor dificultad del uso de muestras es la correcta seleccin de las mismas, de forma que el resultado sea extrapolable al total de la poblacin.

Entre las tcnicas de seleccin de muestras podemos incluir las siguientes:

- Muestra aleatoria. La seleccin se realiza mediante criterio que no ests vinculados a ninguna variable que influya en el proyecto. Por ejemplo, si el nmero del NIF es par o si la letra del mismo est entre las 10 primeras.

- Muestra estratificada. Por ejemplo, un puesto par en cada categora laboral.

- Clster. Se escogen los que cumplen un criterio, por ejemplo, personas que tengan al menos dos aos de antigedad.

Para dar mayor fiabilidad a la recogida de informacin, se suelen triangular los mtodos, es decir, cada conjunto de datos obtenidos, se verifica con otro mtodo distinto.


Pgina 16 de 29



2.0

Tabla 2. Mtodos de recogida de informacin.

HERRAMIENTA DESCRIPCIN UTILIDAD DESVENTAJAS

Entrevistas Estructuradas, semiestructuradas o sin estructurar. Incluyen preguntas especficas con informacin sobre los indicadores, abiertas o no.

Proporcionan informacin cuantitativa y cualitativa.

Se pueden hacer a cualquier persona afectada por el proyecto.

Por telfono o por email, muy flexible.

Hay que saber entrevistar.

Entrevistas a informadores clave

Los informadores clave son especialistas en alguno de los aspectos fundamentales del proyecto.

No suelen estar relacionados directamente ni con el proyecto ni con la organizacin, suelen ser objetivos.

Pueden aportar una visin muy amplia que aclare considerablemente la valoracin del proyecto.

Los entrevistadores deben tener alto nivel.

Lo recogido no debe convertirse en verdades absolutas.

Cuestionarios Preguntas escritas que deben aportar informacin medible sobre indicadores concretos.

Ahorra mucho tiempo.

Annimas, aportan informacin que no se recoge en entrevistas.

Deben hacerse de forma que se entiendan bien las preguntas y las respuestas.

Si es complejo, se suele necesitar apoyo de expertos.

Focus groups Un grupo de entre 6 y 12 personas son entrevistados por un facilitador mediante una planificacin muy estructurada, las preguntas se centran normalmente en un solo aspecto del proyecto.

Una forma til de obtener informacin de bastante gente a la vez.

Es difcil tener una muestra aleatoria significativa para hacerlos.

Al ser conjunta, es posible que unos influencien a otros.

Si es posible, mejor grabarlos y transcribir las respuestas.

Ranking Un grupo de personas, de forma

Difcil de


Pgina 17 de 29



2.0

individual o colectiva, puntan diversos aspectos del proyecto.

implementar.

Precisa de explicaciones muy detalladas pues si no se entiende correctamente las respuestas pueden estar totalmente distorsionadas.

Escalas de puntuacin

Puntuaciones continuas (1-10, 1-6,) aplicadas a cada concepto.

til para medir actitudes, opiniones, percepciones, etc.

Las puntuaciones de la escala deben estar muy bien calibradas y ser coherentes entre s.

Anlisis de incidentes crticos

Centra el inters de un grupo o personas individuales sobre un evento concreto, relevante para el proyecto.

Su propsito es extraer una visin global de qu sucede realmente.

Muy til cuando lo que haya ocurrido pueda poner en riesgo el proyecto.

Es probable que aparezcan grandes contradicciones entre las diferentes versiones de lo acontecido.

Debe apoyarse en otras herramientas.

Observacin participante

Significa la observacin directa de los hechos, procesos, relaciones y conductas de los afectados por el proyecto.

Participar implica estar involucrado en las actividades, no permanecer a distancia.

Muy til para confirmar informacin obtenida por otras vas.

Es difcil observar y participar sin perder la perspectiva.

Entraa invertir mucho tiempo.


Pgina 18 de 29



2.0

ANLISIS DE LA INFORMACIN

Independientemente de si se est realizando el seguimiento o la evaluacin de un proyecto, llegar un momento en que se dispondr de una cantidad importante de informacin que debe ser correctamente procesada y analizada, a fin de obtener las conclusiones adecuadas.

En este contexto, el anlisis debe entenderse como la transformacin de la informacin detallada en tendencias, interpretaciones o patrones de comportamiento ms o menos evidente. El punto de partida del anlisis de cualquier proyecto o contexto organizacional tiene poco que ver con que se suele nombrar como lo cientfico o, al menos, tiene poco que ver con las ciencias duras.

La comprensin intuitiva de los aspectos fundamentales ser clave para realizar una correcta interpretacin de la informacin reunida. Una vez identificados los elementos clave que subyacen en la informacin, ser posible estructurar y organizar sta.

El siguiente paso ser escribir las conclusiones a partir de lo encontrado y realizar las correspondientes recomendaciones.

De una forma grfica, el proceso completo puede describirse as:

Escoger los indicadores clave para la evaluacin y

el seguimiento.

Recoger informacin relacionada con los

indicadores.

Crear una estructura para analizar la informacin,

basada en una interpretacin intuitiva de

los hechos y en los aspectos que surjan

inesperadamente, que puedan alterar el transcurrir

del proyecto.

Leer los datos a travs de la estructura anterior.

Identificar patrones, tendencias, posibles interpretaciones

Poner por escrito hallazgos, conclusiones y

recomendaciones.


Pgina 19 de 29



2.0

DE LA EVALUACIN Y EL SEGUIMIENTO A LA ACCIN

Hacer el seguimiento de un proyecto o emitir una evaluacin del mismo no sirve de nada si no genera alguna accin a partir del anlisis e interpretacin de la informacin recogida. Una vez tenemos los hallazgos (en el contexto de la gestin de la calidad suelen denominar a los hallazgos evidencias), las conclusiones y las recomendaciones, debemos hacer lo siguiente:

- Informar a las partes interesadas.

- Aprender (y reflexionar sobre lo aprendido) durante todo el proceso.

- Tomar decisiones sobre cmo seguir adelante.

- Si es necesario, gestionar las posibles resistencias a los cambios generados en el seno de la organizacin.

Generacin de informes

Cualquier proceso de anlisis, debera seguirse del correspondiente informe. Se enviarn reportes cuyo contenido, si bien ser el mismo, se modificar en funcin del destinatario, debiendo elaborar, por tanto, informes distintos, en diferentes formatos. Unas veces sern verbales, otras veces sern escritos y, cada vez ms, se realizarn presentaciones que combinarn lo escrito con lo verbal y lo audiovisual.

Adjuntamos una tabla con distintos tipos de reportes dependiendo del destinatario y del momento de ejecucin del proyecto en el que nos encontremos.


Pgina 20 de 29



2.0

Tabla 3. Tipos de informe, segn el destinatario.

Destinatario del informe

Estado del proyecto Formato ms adecuado

rgano de gobierno

Intermedio, basado en el seguimiento de su ejecucin

Escrito

Evaluacin Escrito, precedido de un sumario ejecutivo (5 pgs.) y presentacin del equipo de evaluacin

Equipo directivo, Comit de direccin


Escrito, discutido en la reunin del Comit de direccin

Evaluacin Escrito y presentacin del equipo de evaluacin

Staff de la organizacin


Escrito y presentado a los departamentos implicados

Evaluacin

Escrito y presentado a los departamentos implicados por el equipo de evaluacin, seguido de una discusin en profundidad de las conclusiones y recomendaciones relevantes

Beneficiarios (si los hubiera) o clientes internos

Intermedio, slo aspectos significativos y evaluacin

Presentacin verbal, soportada por resmenes ejecutivos, grficos, tablas, medios audiovisuales, etc.

Especialmente importante si la organizacin o el proyecto espera un cambio significativo en la ejecucin del proyecto

Donantes (si los hubiera)


Sumario

Evaluacin

Reporte escrito completo con sumario ejecutivo o, en su caso, una versin especial, que est centrada en los intereses de los donantes

Debe prestarse especial atencin al lenguaje del documento, prescindiendo de todo tecnicismo

Debe prestarse atencin especial si quieren solicitarse nuevas aportaciones econmicas

Comunidad involucrada ( si fuera pertinente)


Pgina 21 de 29



2.0

Elementos habituales de un informe

Aunque la estructura de un informe estar en parte determinada por los intereses de sus destinatarios, hay una serie de componentes que todo informe profesional debe tener. Son los que se adjuntan en la tabla contigua.

Tabla 4. Componentes de un informe.

CONTENIDO DESCRIPCIN

SUMARIO EJECUTIVO

No ms de 5 pginas, cuanto ms corto, mejor, aporta informacin suficiente para la gente con poco tiempo

Pretende despertar el inters del lector, a fin de que se lea el reporte completo

PREFACIO No es imprescindible, pero es una buena oportunidad de agradecer, la colaboracin de los participantes en la evaluacin

TABLA DE CONTENIDOS Ayudar al lector a localizar ms fcilmente los contenidos de inters. Si es un documento electrnico, incluir hipervnculos

SECCIN 1: INTRODUCCIN

Suele comentar los antecedentes del proyecto, proporcionando informacin sobre la organizacin, el contexto en el que se desarrolla el proyecto, por qu se acomete, etc.

Tambin suele informar sobre el equipo de evaluacin, la metodologa seguida, etc.

SECCIN 2: EVIDENCIAS Y HALLAZGOS

Contendr secciones en las que se detallarn los hallazgos realizados durante la evaluacin, en trminos de eficiencia, eficacia o impacto, as como aquellos hechos que surjan y no estn previstos inicialmente

SECCIN 3: CONCLUSIONES

En este apartado se recogen conclusiones a partir de hechos y hallazgos descritos en el apartado anterior, as como la interpretacin que se haya realizado

Puede ser pertinente un anlisis DAFO recogiendo estos puntos, a modo de sumario, enfatizando puntos dbiles y fuertes

SECCIN 4: RECOMENDACIONES Esta seccin debe proporcionar ideas sobre cmo resolver las debilidades aprovechando los puntos fuertes detectados

APNDICES

Incluir trminos de referencia, listado de personas participantes en la evaluacin, cuestionarios utilizados, ndices de tablas, y toda la documentacin de apoyo que se


Pgina 22 de 29



2.0

considere pertinente

Aprendizaje

El aprendizaje 1en las organizaciones es tan sumamente importante que por s mismo debera

justificar la realizacin del seguimiento o la evaluacin de un proyecto u organizacin en su conjunto.

Solamente mediante la identificacin de qu funciona y qu no, la deteccin de qu es lo que se ha hecho correctamente y lo que debe ser mejorado, es posible actuar de una forma adecuada ante las desviaciones y situaciones inesperadas que en la ejecucin de un proyecto, pueden surgir.

El propsito ltimo del aprendizaje es cambiar lo que sea necesario para avanzar. Tambin permite comprender las suposiciones en las que se basan las decisiones tomadas.

El ciclo accin-reflexin-accin tambin posibilita la autocrtica. Es frecuente considerar que todo ha ido bien o que los responsables son ellos. Sin embargo, debemos recordar, como deca John Ford, que lo que buscamos no es un culpable, es una solucin. Y en el caso del seguimiento o la evaluacin de un proyecto esto es especialmente importante.

Es habitual que cambien las condiciones de contorno, las necesidades de los usuarios, etc., de modo que tanto las estrategias como los objetivos deben ser revisados y, en su caso, modificados y ajustados a la nueva situacin.

Las organizaciones que no aprenden, se estancan. El proceso riguroso de seguimiento y evaluacin fuerza a las organizaciones a aprender y a crecer. Por eso es tan importante realizar ambos procesos adecuadamente.

El aprendizaje es mayor si el entorno lo facilita. Las siguientes caractersticas aparecen frecuentemente en entornos donde el aprendizaje es algo buscado conscientemente:

- Las personas consideran que sus ideas y propuestas se aprecian positivamente, aunque no se acepten.

- Los errores y fracasos sirven para aprender, no hay que avergonzarse de ellos.

- Los equipos que participan en los proyectos se comunican abiertamente y con regularidad.

- Los gestores buscan conscientemente soluciones conjuntas y escuchan a los dems.

- En los talleres y reuniones se reserva tiempo de forma habitual para examinar los errores, evaluarlas y extraer lecciones.

- La pregunta por qu ocurre esto? es frecuente.

Toma de decisiones efectiva

Las recomendaciones surgidas tanto del seguimiento como de la evaluacin estn orientadas para ayudar a la toma de decisiones.

El xito en la ejecucin de un proyecto depende directamente de la capacidad de sus responsables de tomar las decisiones correctas y llevarlas a cabo. Las fases de la toma de decisiones son las siguientes:

1. Planificacin correcta.

2. Implementacin.

1 La quinta disciplina, Peter Senge. 1994


Pgina 23 de 29



2.0

3. Seguimiento y evaluacin.

4. Anlisis de la informacin obtenida.

5. Valoracin de las implicaciones de los hallazgos y conclusiones aportadas en el anlisis previo.

6. Listado de acciones posibles.

7. Consensuar las acciones que se decidan acometer.

8. Compartir los ajustes a realizar con los implicados, en particular, con los afectados ms directamente.

9. Implementacin.

10. Seguimiento y evaluacin.

En todo caso, los aspectos fundamentales de una buena toma de decisiones son los siguientes:

- Entender las implicaciones de lo que se ha aprendido.

- Identificar claramente qu es lo que hay que hacer y por qu hay que hacerlo.

- Plantear posibles alternativas.

- Consensuar internamente.

- Consensuar con las partes.

- Obtener un mandato de los rganos de gobierno, si el alcance del proyecto as lo exige.

- Poner en marcha lo decidido.


Pgina 24 de 29



2.0

BIBLIOGRAFA

- Gestin orientada al impacto en el desarrollo rural. Gua para el seguimiento y evaluacin de proyectos. FIDA.

- Your Project and its outcomes. Charities evaluation services. 2006.

- First steps in monitoring and evaluation. Charities evaluation services. 2005.

- Scoping study. Monitoring and Evaluation of research communications. Catherine Butcher and Gil Yaron. 2006.

- Monitoring and evaluation. CIVICUS.

- Impact measurement and accountability in Emergencies. The good enough guide. Oxfam, 2007.

- Monitoring and evaluating information and communication for development programmes. Department for international development, 2005.

- Assessing Impact. Angus Morrison-Saunders, Earthscan

- Kellog foundation evaluation handbook.

- Evaluating HIV projects, a guide for NGOs.

- Participatory Ethnographic Evaluation and Research (PEER), methodology of monitoring and evaluation review, june 2004.

- Monitoring and Evaluation, Civicus.

- Practical Program Evaluation, Huey-Tsyh Chen. SAGE.

- How Change Happens. Interdisciplinary perspectives for Human development. Oxfam GB, Roman Krznaric.february 2007

- Balanced Scorecard for Government and Nonprofit agencies. Niven. Wiley.

- The fifth discipline: the art and practice of the learning organization. Peter Senge.

- La gestin de la calidad total en la empresa moderna. Jos Ruiz-Canela. Rama empresa.

- La gestin de la calidad total en la empresa moderna. Jos Ruiz-Canela. Rama empresa.

- Tcnicas para la gestin de la calidad. Pedro Grima. Daz de Santos.

- Las nuevas 7 herramientas para la mejora de la calidad.

- Jos Francisco Villar. Fundacin Confemetal.

- La Quinta disciplina. Peter Senge.


Pgina 25 de 29



2.0

ANEJO 1. Seguimiento. Lista de comprobacin de preguntas a realizar

Consideraciones iniciales. Para qu sirve el seguimiento. Razones para hacerlo

Identificar los problemas y sus causas.

Sugerir soluciones a los problemas.

Reflexionar sobre la estrategia.

Ver hacia dnde vamos y cmo vamos a llegar.

Aportar informacin y discernimiento.

Aumentar la probabilidad de aumentar el impacto.

Qu supone realizar el seguimiento de un proyecto

1. Establecer indicadores de proceso, eficacia, eficiencia e impacto.

2. Recoger y mantener organizada informacin.

3. Analizar la informacin.

4. Utilizar la informacin en la gestin diaria, en las pequeas decisiones.

En suma, planificar recursos.

Qu supone realizar la evaluacin?

1. Revisar qu se pretenda conseguir con la realizacin de ese proyecto.

2. Valorar el progreso en trminos de lo que se quera lograr.

3. Revisar la estrategia.

4. Revisar cmo se ha trabajado.

5. Implicaciones para los grupos de inters.

ES decir, analizar eficacia, eficiencia e impacto.


Pgina 26 de 29



2.0

Anejo 2. Planificacin del seguimiento

Qu elementos deben estar definidos en la planificacin?

Qu debemos respondernos?


Qu informacin necesitamos?

Cmo la obtendremos?

Quin deber estar involucrado?

Qu es lo que queremos conocer?

Quin es realmente el destinatario de nuestro trabajo?

Son sujetos pasivos o van a participar?

Podemos mejorar nuestro impacto a partir de lo que aprendemos en la evaluacin y seguimiento, tal y como lo realizamos?

Estamos siendo eficientes?

Est el proceso vinculado al resultado?

Anejo 3. Preguntas a realizarse en la evaluacin

Cmo funciona este proyecto?

Por qu ha funcionado o no? Cules fueron las circunstancias? y quin lo llev a cabo?

Cmo se llev a cabo?

Cules fueron los obstculos que nos encontramos?

Qu significaron las experiencias vividas para las personas involucradas?

Cmo se vinculan tales experiencias a los resultados obtenidos?

Qu hemos aprendido ejecutando el proyecto?

Qu factores externos afectaron el desarrollo, el diseo, el xito o los obstculos a los que nos enfrentamos?

Cules eran los impactos que ms nos costaron medir?

Cmo podemos intentar medirlos o al menos documentarlos?

ANEJO 4. Gua de anlisis del cambio generado

Fuente: How change happens

Oxfam GB Research report, february 2007

Roman Krznaric

PREGUNTARSE RECORDAR PENSAR EN


Pgina 27 de 29



2.0

Qu cambio queremos provocar?

Cul era la situacin previa?

Cul es la situacin tras el proyecto?

Contrastar el antes/ despus de:

- Conductas individuos /grupos.

- Polticas institucionales.

- Actitudes sociales, creencias.

- La situacin del medio.

- El grado de bienestar de la poblacin.

A quin o a qu involucramos en el cambio?

Agentes pasivos

Agentes activos

Quienes lo facilitaron

Quienes se resistieron o lo dificultaron

Considerar:

- Individuos /grupos sociales.

- Administraciones pblicas:

- Sociedad civil.

- Sector privado.

- Agentes externos (UE).

Qu estrategias se usaron para generar el cambio?

Estrategias seguidas por los agentes antes considerados

Individuos / grupos sociales.

- Incentivos.

- Amenazas.

- Llamadas al altruismo o al inters particular.

- Cambios en la visin del mundo.

- Promover nuevos estilos de relaciones personales.

- Participacin de lo lderes locales.



Instituciones / organizaciones.

- Reforma / revolucin?

- Coercin o consenso?

- Dentro o fuera del sistema?


Pgina 28 de 29



2.0

- Accin local / estatal?

- Objetivos a corto / largo?

- Acciones legales / ilegales?

- Estrategias arriba / abajo o viceversa?



Instituciones / organizaciones.

- Alianza / divisin?

- Planes cerrados / experimentacin?

- Crear organizaciones / movimientos?

- Movilizacin masiva / accin directa/ confrontacin / retos

- Aprendizaje organizacional y flexibilidad.

Qu contextos afectaron al cambio?

Cules lo promovieron?

Cules lo permitieron?

Cules fueron barreras?

Contexto social:

- Visiones del mundo.

- Ideologas.

- Nacionalismo.

- Estructura social.

- Gnero.

- Familia, religin.

- Urbanismo.

- Cultura.

- Medios y libertades.

- Vida asociativa.

- Acceso a educacin / salud.

Cul fue el proceso de cambio?

Cmo podra dibujarse?

Tipos de proceso:

- Progreso acumulativo?


Pgina 29 de 29



2.0

El cambio se produce en varios niveles, cmo interactuaron?

- Ciclos, secuencias?

- Aparicin de hitos?

- Disyuntivas clave o crisis?

- Conflictos o interacciones?

- Catalizadores o cataclismos?

- Presiones externas o internas?

- Autorregulacin del sistema

- Procesos desconocidos, imprevistos

Evaluar los elementos del cambio

Cul fue el ms relevante?

Bast con un solo elemento?

Cmo interactuaron?

Cul es el menos reconocido?

Qu no cambi?

Consideraciones finales:

- Cambio complejo, explicacin compleja.

- Informacin puede que insuficiente.

- Ojo con los prejuicios y asunciones de partida.

- Sesgo formativo.

- Enfoque multi e inter disciplinar.

6contenidos Evaluacion Proyectos Tcm7-13353

Documents

Transcript of 6contenidos Evaluacion Proyectos Tcm7-13353