VIGILANCIA DE LA COMUNICACIÓN Y

METODOLOGÍAS PARA EVALUAR

LA ESTRATEGIA DE COMUNICACIÓN DE

RIESGO

Modulo 62

CONTENIDO DE LA UNIDAD 2

METODOLOGÍAS E INDICADORES DE

EVALUACIÓN

Modulo 62

1. Cómo evaluar, metodologías, instrumentos e indicadores2. La investigación formativa3. El monitoreo4. Evaluación final5. Usos de los resultados del monitoreo y

evaluación para la toma de decisiones

Contenido

1.Objetivos de comunicación2. Definición de datos que van a ser recopilados3. Metodología4. Instrumentación5. Recopilación de datos6. Análisis de los datos7. Documentación

Elementos básicos(NCI, 1992):

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

26

27

28

MONITOREO Y QUÉ ES EVALUACIÓN

29

Monitoreo

Sin el proceso de monitoreo, no podemos atribuir totalmente los resultados de una evaluación. …

El monitoreo mide el progreso hacia el logro de nuestros objetivos de programación y comunicación

El monitoreo nos permite documentar los procesos y calidad de nuestro trabajo, lo cual puede llevar a obtener resultados positivos

Por ejemplo… ¿En qué áreas podría necesitar la asistencia de los consultores?

9

Recuerde que el monitoreo es la recopilación rutinaria de información para verificar el proceso y la calidad:

¿Hasta qué punto se llevan realmente a cabo las actividades planificadas?

¿Qué tan bien son implementadas estas actividades?

También puede incluir la reacción de la población a las actividades implementadas.

 

31

Monitoreo

Evaluación

Sin la evaluación de resultados, no podemos medir el cambio como un resultado del programa…

La evaluación es la recopilación de información en distintos puntos del proyecto para investigar sistemáticamente la efectividad de un programa en suscitar el cambio deseado en la comunidad o población objetivo

 La evaluación requiere una comparación de dos o más cosas y la medición del cambio con el tiempo.

12

Evaluación13

Algunos programas evalúan tanto los resultados como el impacto…

Resultados: cambios a corto o mediano plazo obtenidos por el programa a través de la realización de actividades

Impacto: efectos a largo plazo (por ejemplo, cambios en el estado de la salud). Esto puede ser a través de estudios especiales con una amplia cobertura distrital, regional o nacional.

Plan de trabajo

Con la evaluación se pueden responder preguntas como…

¿Qué clase de cambios experimentaron las personas o comunidades a las que llegaron nuestros esfuerzos?

¿Fueron estos cambios significativos para nuestro programa?

¿Cuán cerca llegamos en lo que respecta a alcanzar nuestros objetivos?

14

Decisiones Clave previas a la Recopilación de Información

12

Es importante definir quienes son los usuarios y cuales son los usos de la informacion que se va a recolectar.

Luego de definir esto, es recomendable redactar y mantener presentes los objetivos MADRE

Una vez se completen estos pasos, los programas pueden decidir lo siguiente:

Indicadores Métodos y herramientas de investigación para evaluación Pasos para garantizar la calidad de la información Formas de analizar la information Cómo reportar los resultados de M&E a la comunidad, socios  y donantes

Luego, puede iniciar la recolección de la información

Indicadores de M&E

Los indicadores son como senales que le muestran como va en su camino hacia lograr sus objetivos …

- Es decir, le muestran que tanto estan cambiando las cosas de la manera deseada

El proceso de selección de indicadores puede ser bastante simple si los objetivos se presentaron con claridad y en términos que definen la cantidad, calidad y período de tiempo de un aspecto específico del programa.

Los indicadores de resultados se determinan de manera más adecuada durante la planificación del programa.

-Así pueden guiar la recolección de la información de referencia.

36

Indicadores de M&E

Indicadores para Monitoreo…

De Resultados

De Calidad

Indicadores para Evaluación …

De resultados

-De Impacto*

37

* En el marco de este curso el enfoque esta en el de resultados

Diseño de la Investigación para Evaluación

38

El mejor enfoque para medir el cambio es realizar una buena recolección de información de referencia y de seguimiento periódico.

Información de referencia (Base) Información Intermedia (Monitoreo) Información Final (Evaluación)

Como demostrar que los cambios encontrados son el resultado de su programa?

-Comparación con un grupo externo (no participante)

- Comparación entre miembros del grupo participante según exposición y/o participación

 

MÉTODOS DE INVESTIGACIÓN DE EVALUACIÓN

39

Evaluación

Tenga presente que todos los métodos de evaluación deben permitir comparar la situación previa a la intervención y la posterior a la misma o a aquellos expuestos a la intervención con los que no están expuestos a la misma, para asegurarse de si ha habido o no algún cambio.

  Un paso importante para determinar qué métodos utilizar es

vincular sus métodos a sus indicadores.

Con base en lo que se desea medir, lo que se desea ver que cambie, habrá algunos métodos que son más apropiados que

otros.

40

Métodos Cualitativos

Los metodos de M&E cualitativos…

Producen informacion detallada y descriptiva, que permiten ver como se estan haciendo las cosas

Tambien nos permiten ver que piensa nuestra audiencia sobre el programa, como interpretan los cambios que occuren desde este.

Estos son invaluables para aprender, volver a planificar y abordar la calidad del programa.

Al igual que para proporcionar una perspectiva sobre por qué los participantes hacen lo que hacen.

21

Métodos Cualitativos

Para Monitoreo…

Notas de las visitas de un sitio de monitoreo Entradas del diario realizadas por los trabajadores de

vinculación con la comunidad/promoción y defensa.

Para Evaluación…

Entrevistas a profundidad Grupos focales Dibujo Participativo (Ver Greiner)

21

Métodos Cuantitativos

La mayoría de las necesidades de monitoreo se cubren a través de métodos de investigación de evaluación cuantitativa.

Estos métodos permiten a los programas recopilar información numérica que se pueden combinar y resumir para cualquier período de tiempo determinado.

La información puede provenir de muchas fuentes diferentes, tales como:

Hojas de asistencia o formularios de admisión Estadísticas de cobertura de anuncios radiales. Formularios de recuento de actividades rutinarias

43

Métodos Cuantitativos

Las preguntas de evaluación también se pueden responder a través de métodos cuantitativos.

-Los métodos comunes de evaluación cuantitativa incluyen:

El censo de población, Las encuestas basadas en la población y Los componentes estándar de las encuestas de centros de salud

44

VINCULANDO INDICADORES, MÉTODOS Y HERRAMIENTAS

45

Herramientas

Como registramos la información que obtenemos por medio de un método especifico….

Las herramientas estructuradas y estandarizadas son esenciales para información cuantitativa.

También son muy útiles a la hora de reunir información cualitativa. Por ejemplo, una guía de temas/preguntas para un Grupo Focal

El personal del programa puede administrar las herramientas o éstas pueden auto-administrarse.

46

Herramientas

Algunos de los elementos clave en el diseño de buenas herramientas de M&E…

Ser participativo. Es decir, incluir al personal que utilizará las herramientas en el diseño de las mismas.

Hacer que las herramientas sean tan simples y claras como sea posible. Deben ser concisas y únicamente recolectar información que se utilizará.

Las herramientas deben examinarse de manera preliminar para garantizar que el personal del programa

-Para las herramientas auto-administradas, considere la educación de los clientes, el espacio, la privacidad y la confidencialidad.

47

Herramientas

Algunos de los elementos clave en el diseño de buenas herramientas de M&E…

Explique al personal del programa las razones y necesidad de la recolección de información, para que puedan comunicarle esta a los participantes.

  El personal del programa debe estar bien capacitado para

utilizar las herramientas de recolección de información para explicar y revisar las herramientas auto-administradas de recopilación de datos.

-Los ejercicios de representación de roles pueden ayudar a desarrollar las aptitudes de comunicación del personal para mejorar las áreas desafiantes de la recolección de información

21

Indicadores, Métodos y Herramientas Cuantitativos de Monitoreo

49

Indicadores, Métodos y Herramientas Cualitativos de Monitoreo

50

Indicadores de M&E Métodos Cualitativos Herramientas Cualitativas

Monitoreo

% de consejeros que proporcionan información exacta

Observación directa Formulario de observación con espacio para que el observador tome notas

% de folletos con información actualizada

Análisis del contenido de los materiales Herramienta del listado de contenido

Cantidad de materiales apropiados para la población objetivo

Evaluación preliminar de materiales con la población objetivo

Guía de Discusión

Indicadores, Métodos y Herramientas Cuantitativos de Evaluación

Indicador de M&E Métodos Cuantitativos Herramientas Cuantitativas

Evaluación

% de la población que utilizó un condón durante su último encuentro sexual

Encuesta basada en la población Encuesta de Vigilancia Conductual, Encuesta del Indicador de SIDA, DHS

% de participantes del programa que creen que es seguro utilizar anticonceptivos modernos

Encuestas previas y posteriores a la intervención

Cuestionario diseñado para el programa

% de mujeres casadas a quienes se les proporcionó una referencia de Planificación Familiar en cada sitio de APV

Entrevistas presenciales, entrevistas de egresos del cliente

Cuestionario diseñado para el programa

51

Indicadores, Métodos y Herramientas Cualitativos de Evaluación

52

Indicadores de M&E Métodos Cualitativos Herramientas Cualitativas

Evaluación

La percepción comunitaria de las normas apoya el cambio conductual

Discusiones de grupo focal Guía de discusión de grupo focal

La calidad de los tipos de preguntas que hace la comunidad se profundiza

Periodismo/tomar notas durante o justo después de las actividades o interacciones

Lineamientos sobre qué escuchar y cómo tomar notas

El grupo objetivo considera que los pares educadores son líderes

Entrevistas con informantes claves Guía de la entrevista

CALIDAD, ANÁLISIS Y USO DE LA INFORMACIÓN DE M&E

53

Calidad de la Información

Existen muchas maneras de garantizar la calidad de la información.

La mayoría de estas se basan en una buena planificación y monitoreo.

Cuando encuentre errores es su información determine la fuente del error.

-Si el error surge de un error de ingreso o codificación de datos, esto se puede resolver en la oficina.

- Si el ingreso no es claro, hace falta o de alguna manera no es seguro, puede ser necesario comunicarse con el personal de campo para su corrección o verificación.

54

Formas para Prepararse para generar información de Alta Calidad.

Desarrollar metas, objetivos, indicadores claros y preguntas de investigación de evaluación

Tener un plan detallado para la recolección y análisis de información (por ejemplo, quién, cuándo, cómo, etc.)

Examinar de forma preliminar los métodos y herramientas

Capacitar al personal en monitoreo y recolección de información

Crear titularidad y fe en en proceso de recolección de información entre los miembros del personal responsable

55

Formas para Prepararse para generar información de Alta Calidad.

Incorporar verificaciones de calidad de datos en todas las etapas

Monitorear el trabajo: revisar que todos los formularios estén completos, verificar que todas las respuestas estén claramente escritas y verificar que todas las respuestas sean consistentes y que todas las cifras se hayan contado correctamente

Realizar los pasos necesarios para abordar los errores de inmediato

Documentar cualquier cambio y mejorar el sistema de recolección de información, según sea necesario

56

Maneras de Verificar la Calidad Una Vez Digitalizada.

Transposición: Por ejemplo, cuando se ingresa “39” como “93”. Los errores de transposición los ocasionan usualmente los errores tipográficos.

Errores de copiado: Un ejemplo es cuando se ingresa “1” como “7” o cuando el número “0” se ingresa como la letra “O”.

Errores de codificación: Ingresar el código equivocado. (por ejemplo, el sujeto entrevistado ingresó “1 = Sí”, pero el codificador copió “2 = No”).

57

Maneras de Verificar la Calidad Una Vez

Digitalizada.

Errores de enrutamiento/ dirección : La persona que llena el formulario escribe el número en el lugar equivocado o en el orden equivocado.

Errores de consistencia: Los errores de consistencia ocurren cuando dos o más respuestas en el mismo cuestionario se contradicen. Por ejemplo, si la fecha de nacimiento y edad no son consistentes.

Errores de rango: Los errores de rango ocurren cuando un número se encuentra fuera del rango de valores probables o posibles.

58

Interpretación y Uso de la información

El análisis de la información sobre los resultados es más útil cuando se realiza conjuntamente con el análisis de la información de monitoreo...

La información del proceso puede ayudar al evaluador a comprender cómo y por qué las intervenciones han alcanzado sus efectos y, posiblemente, qué es lo que específicamente hace la diferencia.

Examinar la información de resultado sin evaluar la implementación del programa podría conducir a conclusiones erróneas sobre la efectividad de las intervenciones.

59

GRACIAS

EXITOS!

60