Guía Para La Evaluación de Programas y Políticas Públicas

Gua para la Evaluacin de Programas y Polticas Pblicas

2

GUA PARA LA EVALUACIN DE

PROGRAMAS Y POLTICAS PBLICAS

Grupo de trabajo que ha participado en la elaboracin de la gua:

Por la Consejera de Presidencia, Justicia e Igualdad Inspeccin General de Servicios: M Teresa Gil Expsito Ftima Bezares Carretero

Por la Consejera de Economa, Hacienda y Seguridad

Intervencin General: Rosa M Regel Garca Carmen Lobato Cabaas

Viceconsejera de Hacienda y Planificacin M Lourdes Quesada Diaz Direccin General de Planificacin y Presupuestos Monserrat Cabrera Morales

Por la Consejera de Cultura, Deportes, Polticas Sociales y Vivienda Inmaculada Fernndez Martn

Por el Servicio Canario de Empleo

Anabella Martn Jimnez

Por el Servicio Canario de La Salud

Juan Luis Olmedo Guerrero Ana Mara Prez Afonso

3

El Gobierno de Canarias, en sesin celebrada el 2 de agosto de 2012, aprob la Estrategia para la modernizacin y mejora de los Servicios Pblicos de la Comunidad Autnoma de Canarias (PEMAC 2012-2014), acuerdo publicado en el B.O.C. n 195, de 4 de octubre de 2012.

Esta Estrategia, el PEMAC, incluye un total de 7 Lneas de actuacin:

Lnea 1. Desarrollo e implantacin de la administracin electrnica Lnea 2. Simplificacin de los procedimientos administrativos y reduccin de cargas

administrativas Lnea 3. Mejora de la calidad en la prestacin de los servicios pblicos Lnea 4. Evaluacin de programas y polticas pblicas Lnea 5. La direccin por objetivos orientada a resultados Lnea 6. Gestin integral del conocimiento corporativo Lnea 7. Transversalidad

La Lnea 4: Evaluacin de programas y polticas pblicas comenz su andadura en octubre de 2012 con la puesta en marcha de un plan de formacin en evaluacin de programas y polticas pblicas que finaliz en junio de 2013, con una duracin de 80 horas. En esta accin formativa participaron una representacin amplia de personal de los diferentes departamentos de la Administracin Pblica de la Comunidad Autnoma de Canarias y de sus Organismos Pblicos.

Finalizado el curso de formacin, se abord el segundo proyecto de esta Lnea, consistente en establecer un Marco metodolgico comn, para ello desde la Inspeccin General de Servicios, continuando con la filosofa del PEMAC de hacer un proceso participativo, se propuso un grupo de trabajo amplio y representativo que integra empleados pblicos de la Administracin Pblica de la Comunidad Autnoma de Canarias y sus Organismos Pblicos que recibieron la formacin y representan tanto a rganos horizontales (Inspeccin General de Servicios, Intervencin General, Viceconsejera de Hacienda y Planificacin y Direccin General de Planificacin y Presupuestos) como a rganos con competencia en aquellas polticas cuyas intervenciones son ms susceptibles de evaluaciones a medio plazo (Consejera de Cultura, Deportes, Polticas Sociales y Vivienda, Servicio Canario de la Salud y Servicio Canario de Empleo).

Del trabajo conjunto de este grupo se ha obtenido la Gua que presento y que pretende servir de herramienta para dotar a esta organizacin de una metodologa estndar y sistemas comunes para su posterior aplicacin en todos los departamentos y Organismos Pblicos que se inicien en el camino de la evaluacin de programas y polticas pblicas.

Tanto la Inspeccin General de Servicios como las personas integrantes del grupo de trabajo expresan el agradecimiento a la Profesora Titular de la Universidad de Las Palmas de Gran Canaria, Doctora en Ciencias Econmicas y Empresariales, Da. M Teresa Cabrera Nuez, que imparti la formacin y ha supervisado la elaboracin de esta Gua, as como al resto de personal que ha participado en la formacin y ha aportado sugerencias y comentarios al borrador final.

Cndida Hernndez Prez Inspectora General de Servicios

4

INDICE _____________________________________________________________________________________

1. BLOQUE I

1.1. Objeto de la Gua 1.2. Objeto de la evaluacin 1.3. Tipos de evaluacin 1.4. Criterios de evaluacin 1.5. Fases de la evaluacin

2. BLOQUE II

2.1. Evaluacin de Implementacin

2.1.1. Objeto 2.1.2. Fases

2.1.3. Criterios aplicables 2.1.4. Indicadores 2.1.5. Tcnicas de recogida de informacin 2.1.6. Ventajas e inconvenientes

2.2. Evaluacin de Resultados

2.2.1. Objeto 2.2.2. Fases 2.2.3. Criterios aplicables 2.2.4. Indicadores 2.2.5. Tcnicas de recogida de informacin 2.2.6. Ventajas e inconvenientes

2.3. Evaluacin de Impacto

2.3.1. Objeto 2.3.2. Fases 2.3.3. Criterios aplicables 2.3.4. Indicadores 2.3.5. Tcnicas de recogida de informacin 2.3.6. Ventajas e inconvenientes

3. BLOQUE III 3.1. Tipos de informe y elaboracin

3.1.1. El informe ejecutivo 3.1.2. Los informes preliminares 3.1.3. El informe final

3.1.3.1. Estructura del informe

3.2. Difusin de los resultados 3.2.1. Proceso de difusin de informe 3.2.2. Pautas a seguir para informar, teniendo en cuenta las distintas situaciones de la audiencia

4. Bibliografa y fuentes de informacin utilizada

5

1. BLOQUE I

1.1. Objeto de la Gua

Este documento es el resultado del anlisis realizado por un grupo de trabajo formado por personal de la Administracin Pblica de la Comunidad Autnoma de Canarias y de sus organismos pblicos designado para elaborar una gua que permita establecer un Marco metodolgico comn1 dotando de recursos, criterios, instrumentos y tcnicas que faciliten la seleccin y evaluacin de intervenciones pblicas en los diferentes departamentos. Esta metodologa tiene como objeto facilitar la evaluacin de polticas pblicas aspira a ser una herramienta de trabajo que permita conseguir el objetivo estratgico de la lnea:

Incorporar y consolidar la evaluacin de los programas y las polticas pblicas en la Administracin Autonmica, como herramienta de rendicin de cuentas a la ciudadana

canaria.

La gua se configura como un documento de uso interno y sus destinatarios principales son los gestores de los procesos de evaluacin, independientemente de que sean o no los responsables de realizar dichas evaluaciones. No se trata de un manual terico que desarrolla las diferentes tcnicas de evaluacin, ya que existe amplia documentacin en este sentido, sino una gua prctica que sirva de orientacin sobre las tareas a realizar durante la gestin del proceso de evaluacin de cualquier tipo de intervencin pblica: poltica, plan, medida, actuacin, etc.

El enfoque que se ha dado parte de considerar cmo establecer el diseo de una evaluacin una vez sta actuacin se decida por el Gobierno de Canarias, por la persona titular del departamento, por la Inspeccin General de Servicios o por la colaboracin de varios actores, en definitiva, por el rgano competente para determinar el inicio de la evaluacin.

La gua est centrada en los tres tipos de evaluacin que se han considerado de mayor utilidad a la hora de iniciarse en el camino de la evaluacin de intervenciones pblicas por parte de sta Administracin, tipos que se desarrollan en el bloque II y que se corresponden con la evaluacin de implementacin, de resultados y de impacto.

Finalmente, en el bloque III se aborda el resultado de la evaluacin, es decir, la elaboracin de los informes en sus diferentes modalidades y las formas de difusin de estos resultados.

Cierra la gua una relacin de referencias bibliogrficas y documentales empleadas para su elaboracin y que pueden ser de utilidad a los gestores a la hora de profundizar en cualquiera de los aspectos tratados en la gua.

1 Marco metodolgico comn es el segundo proyecto incluido en la Lnea 4 del PEMAC, Evaluacin de programas y polticas pblicas.

6

1.2. Objeto de la evaluacin.

Puede parecer que existen muchos motivos para plantear la realizacin de una evaluacin, pero hay que tener claro que la evaluacin es una herramienta para conocer los resultados y efectos de las intervenciones pblicas en sus diferentes niveles:

! Plan o Estrategia ! Programa ! Medida ! Accin ! Proyecto

La evaluacin puede ajustarse a una nica intervencin pblica o hacer referencia a un conjunto de intervenciones relacionadas entre s, por tener objetivos comunes, estar dirigidas al mismo pblico, situarse en el mismo contexto o bien orientar su actuacin al mismo sector o mbito de actuacin etc.

La poblacin destinataria de las intervenciones, en cualquiera de sus aspectos a analizar son las personas beneficiarias.

Necesidades de la poblacin Intervencin pblica

Evaluacin

Cualquier tipo de intervencin pblica parte, o debera partir, de un anlisis riguroso de la realidad:

! Identificando los problemas y necesidades a las que responde la intervencin. ! Analizando las causas y consecuencias.

Cuanto ms claramente estn identificados los problemas y sus causas y mejor vinculados estn con los objetivos, ms fcilmente se puede abordar el diseo de la estrategia de intervencin. Planificacin, ejecucin y evaluacin son procesos que estn muy relacionados.

La clave para disear una nueva intervencin, o para reformular una existente es conocer los servicios y las prestaciones que se necesitan para solucionar el problema en cuestin.

Aprobada la realizacin de la evaluacin por el rgano competente, el equipo evaluador, una vez que considera que la evaluacin es susceptible de realizarse (evaluacin de evaluabilidad), deber contar con una aproximacin de los siguientes aspectos:

Usuarios y usuarias, expectativas y propsitos de la evaluacin. Objeto de la evaluacin (identificado y acotado). La lgica de la intervencin. Las preguntas de evaluacin.

7

Abanico de posibles herramientas y tcnicas a aplicar. Plazo de presentacin de resultados.

Estas y otras cuestiones se irn desarrollando en los bloques II y III al analizar los tipos de evaluacin considerados en la gua.

La evaluacin permite obtener una base slida sobre la que poder determinar qu intervenciones se deben eliminar y cules deben continuar o mejorar su intervencin, de acuerdo con su capacidad para alcanzar los objetivos previstos y lograr los efectos esperados. En definitiva, la funcin ms importante de la evaluacin es proporcionar informacin acerca de la marcha de las citadas intervenciones pblicas.

En el siguiente cuadro se recogen los propsitos ms habituales que puede tener una evaluacin:

Propsitos Tipos de decisiones Ayudar a tomar una decisin Decisiones claves

Decisiones correctivas de la implementacin. Decisiones sobre programas-demostracin. Seleccin de la mejor versin de un programa. Seleccin del mejor diseo de un programa nuevo. Decisiones sobre la financiacin de programas de

terceras personas.

Contribuir al aprendizaje de la organizacin Introducir alternativas y conceptos nuevos. Comprobacin de la veracidad de determinadas

intuiciones.

Utilizar la evaluacin como instrumento de gestin

Proporcionar feedback al personal del programa sobre los efectos de su actividad.

Rendicin de cuentas sobre los resultados obtenidos. Establecer incentivos para el personal o unidades que

ejecutan o gestionan el programa. Alinear la actividad con los objetivos del programa.

Conocimiento bsico sobre las polticas pblicas

Facilitar a las instituciones acadmicas el conocimiento de las intervenciones pblicas.

Cumplimiento de un requisito normativo Cumplir con la normativa que regula la intervencin pblica (ejemplo de intervenciones pblicas en materia de subvenciones).

Rendicin de cuentas a la ciudadana Proporcionar una gestin ms eficaz y eficiente para una ciudadana que exige cada vez ms transparencia en la gestin de los recursos pblicos

Fuente: Elaboracin propia

8

1.3. Tipos de evaluacin.

Existen diferentes clasificaciones de las evaluaciones de polticas pblicas, en funcin del modo de investigacin, el propsito, la perspectiva temporal, el equipo evaluador, el contenido, el momento, etc. La mayora de los manuales utilizados como consulta establecen las siguientes clasificaciones:

Evaluacin descriptiva y analtica Evaluacin sumativa y formativa o de proceso Evaluacin ex ante, intermedia, ex post Evaluacin interna, externa, mixta Evaluacin de necesidades, de diseo, de evaluabilidad, de implementacin, de resultados,

de impacto y metaevaluaciones.

A su vez las diferentes tipologas no son excluyentes sino que pueden ser complementarias, porque no existe una metodologa de evaluacin de programas pblicos nica y vlida para todas las intervenciones pblicas. El siguiente cuadro pretende ofrecer por el equipo evaluador una categorizacin de los principales tipos de evaluacin, tratando de orientar a la hora de encuadrar la evaluacin, sin olvidar que el objeto de la gua se va a centrar en las tres evaluaciones segn el contenido desarrolladas en el bloque II.

DIMENSIN DESCRIPCIN TIPOLOGA DEFINICIN ASPECTOS A TENER EN CUENTA

Quin la realiza

Segn sea la procedencia de quin evala

Interna

Realizada por personal adscrito a la entidad que se encarga de valorar los xitos o fracasos del programa. Est focalizada en la utilizacin.

-Los evaluadores internos deben tener los conocimientos necesarios para emprender la evaluacin. -Deben estar motivados y requiere dedicacin.

Externa

Realizada por personal externo que puede contar con el conocimiento especializado necesario.

-Desconocimiento de la organizacin. -Dificultad de acceso a la informacin.

Mixta

Realizada por personal de la entidad que gestiona la intervencin, apoyados por un equipo externo o asistencia tcnica que orienta el proceso y/o desarrolla el trabajo de evaluacin.

-Hay que acotar el alcance para que no se eternice el proceso de la evaluacin.

Momento temporal

Segn el momento de ejecucin en

que se encuentre la intervencin pblica cuando

se decide su evaluacin

Ex ante

Realizada antes de ejecutar la poltica o el programa pblico. Su objetivo es analizar y determinar la adecuacin de la intervencin.

-Ideal en una cultura que ha implantado con xito la evaluacin desde el comienzo de la planificacin.

Intermedia

Realizada a medio camino en el periodo de ejecucin de una intervencin para obtener una foto fija de cmo se est desarrollando y que est consiguiendo el programa en el medio plazo.

-Es una evaluacin que se emplea cuando se comienza a obtener informacin relevante (resultados) y permite introducir modificaciones en el diseo.

9


Ex post

Realizada una vez finalizada la ejecucin del programa, emite un juicio sobre el xito o fracaso de la intervencin desarrollada.

-Se puede enjuiciar.

Modo de investigacin

Descriptiva

Su finalidad es la obtencin de parmetros cuantitativos que puedan ser aplicados a grupos de personas que se benefician de una poltica, programa o servicio

-Cuantificar los destinatarios/as, recursos financieros

Analtica

Su finalidad es responder a cuestiones de tipo causa-efecto. Requiere de modelos tericos y diseos de investigacin adecuados para demostrar la certeza de las interpretaciones causales.

-Hay que tener bien definida la poblacin experimental.

Temtica y objeto

Segn el nivel de planificacin

Estratgica Tiene por objeto una poltica, plan o estrategia general de actuacin.

-Depende del objeto a evaluar

Operativa Centra su atencin en la gestin de procesos y resultados.

Funcin Segn el propsito

Formativa o de proceso

Realiza una valoracin progresiva del funcionamiento y desarrollo de una intervencin, con el fin de darla a conocer a sus responsables para poder introducir modificaciones.

-Requiere conocimiento detallado de las medidas polticas a aplicar para anticipar problemas y examinar el logro de los objetivos.

Sumativa o recapitulativa

Se realiza al final de una intervencin o de una fase, para determinar en qu medida se produjeron los resultados previstos, con el objetivo de proporcionar informacin necesaria para realizar una valoracin global de los resultado o impactos.

-Requiere que haya transcurrido un periodo de tiempo suficiente desde la adopcin de la poltica o programa, de forma que su organizacin y actividades hayan alcanzado una cierta estabilidad.

Contenido

Fases de la intervencin en la que se centra

su atencin

Evaluabilidad

Determinar hasta qu punto una intervencin es evaluable, su viabilidad y utilidad. Debe ser el paso previo a la puesta en marcha de cualquier evaluacin.

-Previa a una evaluacin de gran magnitud, indica su viabilidad. -Se focaliza en los aspectos de todo lo que es medible. -Evita actividades y esfuerzos innecesarios.

Necesidades

Analiza el volumen y las caractersticas esenciales del problema que la intervencin quiere solucionar

-A quin afecta -A qu cantidad

Diseo

Analiza y valora el diseo y conceptualizacin del programa. (racionalidad y coherencia de la intervencin)

-La poblacin objeto -El conjunto de recursos y actividades del programa

Implementacin Valora la forma en que se ponen en prctica los objetivos inmediatos y

Desarrollado en el Bloque II

10


gestionan las intervenciones en trminos de tiempo y recursos.

Resultados

Valora hasta qu punto se pueden conseguir, se estn consiguiendo o se han conseguido los objetivos ms inmediatos y directos perseguidos con la actuacin.


Impacto

Analiza y valora los efectos ms generales y menos inmediatos de la intervencin sobre una poblacin ampliada (podr abarcar tanto el objeto de la intervencin como el conjunto de la sociedad).


Metaevaluacin

Es la evaluacin de una o varias evaluaciones

-Se requiere experiencia evaluativa previa.

Fuente: elaboracin propia, a partir de Cuaderno de Gestin de Evaluaciones Pblicas en Navarra; Gua de evaluacin de Polticas Pblicas del Gobierno Vasco; Apuntes curso Evaluacin de programas y polticas pblicas, Teresa Cabrera Nuez; Fundamentos de Evaluacin de Polticas Pblicas AEVAL.

Desde un punto de vista metodolgico, se debe tener en cuenta:

El grado de desarrollo de una intervencin va a condicionar el tipo de evaluacin. No se puede afrontar de la misma forma la evaluacin de una intervencin nueva o reciente que la de una establecida desde hace tiempo o si es piloto, la evaluacin deber ser diseada en funcin de las caractersticas propias de las intervenciones.

No existe un procedimiento nico y estndar para obtener informacin, sino que se deber recurrir a diversas herramientas que el equipo que llevar a cabo la evaluacin seleccionar en funcin de la intervencin y de la evaluacin.

1.4. Criterios de evaluacin

Los criterios sirven para emitir los juicios de valor que deben dar respuesta a las preguntas de evaluacin que el equipo evaluador prev contestar en relacin a los objetivos planteados en el diseo de la evaluacin. Los principales criterios de evaluacin son:

Criterio Definicin Preguntas que se deben hacer por el equipo

evaluador

Qu evaluamos

Relevancia

Se corresponde con la evaluacin de la calidad y correccin del diagnstico en el que se sustenta en el conocimiento de la realidad sobre la que se interviene y en los cambios que se hayan podido producir. Es necesario analizar cmo se definieron y priorizaron los problemas sociales y cmo influenci el entorno.

En qu medida la intervencin realizada est alineada con las necesidades y prioridades del entorno? Las acciones emprendidas otorgan prioridad segn la importancia de las necesidades detectadas? Era pertinente el objetivo de mejora de la poltica pblica en el contexto aplicado?

Est centrado en: diseo y diagnstico previo de la poltica pblica. Dificultades: no disponer de los datos necesarios.

Pertinencia Se examina si los objetivos se han redactado de una forma clara y concisa, y si se especifica el

Los objetivos planteados dan repuesta a las necesidades de la poblacin

Est centrado en: diseo y diagnstico previo de la poltica pblica.

11


evaluador

Qu evaluamos

producto que se pretende obtener. Valora la adecuacin de los resultados y los objetivos de la intervencin al contexto en el que se realiza a travs del anlisis de la calidad del diagnstico, juzgando su correspondencia con las necesidades observadas en la poblacin beneficiaria.

beneficiaria? Se identifica claramente el resultado que pretende alcanzar cada objetivo de la poltica? Los objetivos Son realistas y alcanzables? Son claros y concretos? Son medibles?

Dificultades: falta de consenso y falta de concrecin.

Coherencia

Se realiza a dos niveles: 1.-Coherencia interna: valora la articulacin de los objetivos de la intervencin con los instrumentos propuestos para lograrlos y su adecuacin a los problemas. 2.-Coherencia externa: analiza la compatibilidad de la intervencin con otras intervenciones pblicas con las que pueda tener sinergias o complementariedad.

Est adecuadamente diseada la intervencin para alcanzar los objetivos pretendidos? El ciclo de programacin, seguimiento, evaluacin y financiacin est correctamente explicitado? Se puede decir que no existen complementariedad o superposicin entre las intervenciones pblicas evaluadas y otras aplicadas en el mismo territorio?

Est centrado en: diseo y diagnstico previo de la intervencin pblica. Dificultades: imprecisin en la definicin y falta de concrecin en los objetivos.

Eficacia

Medida en que se lograron o se espera lograr los objetivos de la intervencin, con independencia de los costes que su ejecucin implique.

En qu medida se han cumplido los objetivos? Qu acciones concretas de la intervencin han favorecido el cumplimiento de los objetivos esperados? Han existido factores externos a la evaluacin que hayan influido en la resolucin de los problemas detectados? Causas que estn relacionadas con la eficacia o ausencia de eficacia de la intervencin?

Est centrado en: implementacin y resultados. Dificultades: resultados previstos poco claros o confusos y escaso conocimiento de los vnculos entre causa y efecto.

Eficiencia

Medida en que se lograron los objetivos, previsiones o resultados en relacin a los recursos consumidos en el proceso.

Cul ha sido el coste material de los objetivos conseguidos? Se aplicaron procedimientos racionales de gestin financiera y de equipo? Se han utilizado los recursos de la manera ms econmica posible?

Est centrado en: implementacin y resultados. Dificultades: no disponer de los datos de referencia sobre la asignacin de los recursos.

Equidad

Implica analizar hasta qu punto la distribucin del coste o los beneficios de los programas pblicos entre la poblacin se ha realizado con algn criterio estndar de distribucin equitativa.

Se han utilizado criterios de equidad en la definicin de los objetivos de la intervencin pblica? La dedicacin de esfuerzo ha seguido una lgica de reparto justo?

Est centrado en: diseo, implementacin, resultados e impacto. Dificultades: distintas lgicas de actuacin.

12


evaluador

Qu evaluamos

Satisfaccin

Identifica los juicios emitidos por los diferentes actores implicados sobre la intervencin evaluada.

El grado de satisfaccin sobre la intervencin es elevado? Qu actores se muestran ms satisfechos y con qu dimensin?

Est centrado en: diseo, implementacin, resultados e impacto.

Sostenibilidad

Probabilidad de que continen los beneficios de una intervencin en el largo plazo. Tambin se estudia la disponibilidad de los recursos administrativos, financieros y humanos que haran falta para mantener los resultados de la intervencin en el largo plazo.

Cul es la probabilidad de que los efectos, cambios producidos por la intervencin se mantengan en el futuro una vez finalizada la intervencin? La propia intervencin pblica, tal como est diseada Es perdurable en el tiempo? Debe ser reformulada? Tienen las diferentes partes que participan la voluntad y la capacidad de continuar por su cuenta las actividades de la intervencin?

Est centrado en: Impacto. Dificultades: la sostenibilidad hipottica y proyectada y la imposibilidad de prever todos los factores intermedios.

Fuente: elaboracin propia, a partir de Cuaderno de Gestin de Evaluaciones Pblicas en Navarra; Gua de evaluacin de Polticas Pblicas del Gobierno Vasco; Apuntes curso Evaluacin de programas y polticas pblicas, Teresa Cabrera Nuez; Fundamentos de Evaluacin de Polticas Pblicas AEVAL.

1.5. Fases de la evaluacin

Segn el tipo de evaluacin podemos diferenciar diferente fases, en la Gua se han definido como genricas las siguientes:

MOMENTO DE LA FORMULACIN PREGUNTAS QUE SON NECESARIAS FORMULAR EN TODO PROCESO DE EVALUACIN

Constitucin del equipo evaluador En funcin de la intervencin a evaluar podr estar constituido por el equipo evaluador y personal del Departamento u Organismo Pblico a evaluar.

Anlisis de la situacin y decisin (evaluabilidad)

Familiarizarse con la intervencin a evaluar que vendr determinada por el Gobierno/ Titular del Departamento /IGS, o la colaboracin de varios etc. Determinar si la evaluacin es susceptible de realizarse:

! NO (Se emite informe finalizando la actuacin).

! SI (Se inicia el proceso de evaluacin).

Determinacin del tipo de evaluacin Segn la actuacin a realizar habr que concretar el tipo de evaluacin que procede realizar o la combinacin de varias.

Estrategia de evaluacin Definir la metodologa

Qu informacin se desea obtener? A determinar por el equipo de evaluacin.

Cmo se va a evaluar? Seguir los pasos segn el tipo de la evaluacin

Qu tcnicas de recogida de datos se adaptan al modelo de evaluacin a seguir? Herramientas a utilizar: cualitativas / cuantitativas

13

MOMENTO DE LA FORMULACIN PREGUNTAS QUE SON NECESARIAS FORMULAR EN TODO PROCESO DE EVALUACIN

Cundo se evala?

Establecer cronograma Recogida de informacin / Anlisis de datos Recogida y anlisis de los datos.

Redaccin de Informe Disear los informes adecuados a la evaluacin a realizar.

Difusin de resultados Proceso de difusin del informe. Pautas a seguir para informar, teniendo en cuenta las distintas situaciones derivadas de las audiencias o de la situacin.


BLOQUE II

En este bloque se exponen de una manera ms amplia los tres tipos de evaluacin que esta gua pretende desarrollar de una forma diferenciada para su aplicacin en esta organizacin, se trata de la evaluacin de implementacin, la evaluacin de resultados y la evaluacin de impacto.

2.1. Evaluacin de implementacin.

2.1.1. Objeto.

La evaluacin de implementacin tiene por objeto analizar y valorar si la intervencin pblica aplicada est consiguiendo los resultados operativos u outputs intermedios previstos, y si los distintos componentes o partes de dicha intervencin que actan en su ejecucin son adecuados en relacin con los citados resultados. En el primer caso, se pretende conocer si se da una cobertura adecuada a las necesidades que provocan la intervencin pblica y en el segundo, valorar su funcionamiento y la organizacin interna.

A partir de la descripcin, del anlisis de la cobertura y de los factores que intervienen en la misma, la evaluacin de implementacin puede contribuir a desarrollar hiptesis sobre lo que est sucediendo con la ejecucin de lo programado y proponer instrumentos o medidas alternativas que podran ponerse en marcha para alcanzar la cobertura y los objetivos previstos.

Esta informacin tambin es necesaria para valorar la eficiencia operativa de la intervencin pblica, detectar qu proporcin del pblico objetivo est siendo atendido realmente conociendo para ello los recursos que se destinan- y para decidir sobre la continuidad, modificacin o ampliacin de las modalidades de provisin de servicios en funcin de dichos factores.

Por tanto, responde a las siguientes preguntas:

! La poblacin diana est recibiendo los servicios previstos? ! El funcionamiento y la organizacin interna de la intervencin pblica son

adecuados?

14

Una de las caractersticas de este tipo de evaluacin es la de emitir juicios sobre la adecuacin o no de la ejecucin de una intervencin pblica en relacin con los resultados esperados y los recursos utilizados.

As mismo, deben ser tenidos en cuenta los siguientes aspectos a analizar que pueden provocar desviaciones o dficits respecto al diseo inicial:

a) La claridad y adaptacin a la realidad sobre la que se acta. b) El conocimiento e implicacin en la ejecucin de la intervencin de las personas

responsables de su implementacin. c) Los cambios del contexto sobre el que se haba planificado o programado. d) La comunicacin de la intervencin. e) La suficiencia de recursos para su ejecucin. f) Las instituciones o personas que participan en la implementacin.

2.1.2. Fases

a) Diseo de la estrategia de evaluacin:

En esta fase se identifican los componentes o dimensiones clave de la intervencin pblica, las interrelaciones entre ellos, los grados de consecucin deseables y se formulan preguntas de evaluacin relacionadas con su implementacin efectiva en todos estos mbitos (qu evaluar).

Se analiza el diseo de la intervencin pblica y sus componentes. De esta forma, se observan los recursos (inputs) utilizados, que seran aquellos que son necesarios para llevar a cabo las actividades previstas. Se comprueban las actividades (procesos), es decir, aquello que se hace con los recursos con el fin de conseguir los objetivos de la intervencin. Y se identifican los productos intermedios (outputs intermedios), es decir, lo que se espera que las actividades produzcan directamente (cmo evaluar, qu informacin se desea obtener y cundo).

Si la intervencin pblica no estuviera diseada se deber reconstruir con esta lgica.

b) Recogida de informacin:

En esta fase se procede a la recogida emprica de informacin sobre los tres elementos clave que constituyen la intervencin pblica.

Dicha informacin nos debe facilitar la respuesta a las siguientes preguntas:

! Qu recursos se utilizan para desarrollar los procesos y obtener los resultados? ! Qu procesos se han puesto en marcha para conseguir los objetivos de la

intervencin pblica? ! Cules son los resultados esperados con la realizacin de dichos procesos?

Se han de explicitar los recursos econmicos y materiales empleados-tangibles- y valorar si son suficientes y estn disponibles, as como si contribuyen a la consecucin de los objetivos.

15

Tambin analizar los recursos de personal-humanos-, en cantidad, calidad en cuanto a la perspectiva del conocimiento y su motivacin o implicacin en la consecucin de los objetivos de la intervencin.

Adems, identificar los recursos -intangibles-, entendidos como los recursos tecnolgicos, as como valores tales como la reputacin de la organizacin o la cultura organizativa de la misma.

Las tcnicas de recogida de informacin que se adaptan a este tipo de evaluacin se desarrollan en el apartado 2.1.5.

c) Anlisis de datos:

Despus de obtener los datos de cada una de las variables definidas en el diseo de la estrategia, el equipo evaluador debe hacer un balance de la informacin, con objeto de poder dar respuesta a las dos preguntas que han de formularse per se en toda evaluacin de la implementacin:

! La poblacin objetivo est recibiendo los servicios previstos?

Aqu se ha de identificar la correccin o desviacin en la participacin de la poblacin-objetivo en el programa.

A partir de la descripcin y anlisis de la cobertura de la intervencin pblica y de los factores que intervienen en la misma podemos observar la relacin entre el perfil de la poblacin objetivo prevista conforme a la teora de la intervencin y la realmente atendida, as como la proporcin en que dicha poblacin est accediendo a los servicios previstos en la intervencin. Esto ltimo relacionado con los recursos aportados permitir valorar la eficiencia operativa de la intervencin pblica.

! El funcionamiento y la organizacin interna de la intervencin pblica son adecuados?

Supone evaluar los procesos clave tanto de la produccin como de la prestacin de los servicios, valorando su adecuacin a los inicialmente previstos.

d) Elaboracin del informe y comunicacin de resultados:

En el bloque III de la presente gua se aborda el contenido del informe y la forma de difusin de los resultados.

2.1.3. Criterios aplicables.

Los criterios utilizados para realizar juicios de valor en la evaluacin de implementacin son, principalmente, los de coherencia interna y externa, eficacia, eficiencia, equidad y satisfaccin.

16

a) Coherencia interna y externa:

El criterio de coherencia interna analiza la consistencia lgica entre los distintos elementos que forman parte de una intervencin pblica. El adecuado anlisis de este criterio deber permitir discernir si dicha intervencin pblica se organiza y gestiona adecuadamente.

Las posibles dimensiones a analizar seran las siguientes:

" Las de administracin de la intervencin o recursos disponibles, tales como los recursos humanos asignados a la intervencin (competencia, motivacin e implicacin con el mismo), as como los econmicos y materiales (asignaciones presupuestarias, infraestructuras disponibles, equipamientos, sistemas de informacin, etc.).

" Las de actividades o procesos realizados para la adecuada prestacin del servicio; tales como la existencia de un sistema de procesos; una apropiada estructura organizativa (lo que podr permitir detectar posibles disfunciones en la distribucin de competencias y funciones), la planificacin previa o el establecimiento de relaciones interorganizativas.

" Las de ejecucin del servicio, identificando la produccin de resultados operativos (outputs intermedios) derivados de los procesos claves que se estn ejecutando y su adecuacin con los previstos inicialmente por la intervencin. Ello permitir detectar posibles problemas y eventuales efectos en los outputs finales esperados.

Las preguntas que se han de contestar para analizar la coherencia interna son:

! Se puede decir que las actividades y los resultados permiten alcanzar los objetivos de manera lgica?

! Existen contradicciones entre los distintos niveles de objetivos? ! Existen duplicidades entre las actividades previstas en relacin a la consecucin de

los objetivos de la intervencin pblica?

Por otra parte, el criterio de coherencia externa permite valorar el grado de correspondencia que existe entre una intervencin pblica y otras que se estn ejecutando de forma simultnea en un mismo territorio. Para su aplicacin se han de estudiar los objetivos y la intervencin de forma comparada con todas las intervenciones relacionadas que convergen en un territorio o sobre una misma poblacin objeto. Se trata de contrastar el grado de complementariedad y las posibles sinergias existentes entre la intervencin objeto de evaluacin y otras intervenciones.

El anlisis de coherencia externa debe proporcionar respuesta a estas cuestiones:

! Se puede decir que no existe superposicin entre la intervencin pblica evaluada y otras intervenciones aplicadas en el mismo territorio?

! Los objetivos planteados en la intervencin coinciden con los expresados en otras intervenciones del territorio?

b) Eficacia:

El criterio de eficacia tiene por objeto determinar el grado en que una intervencin pblica alcanza o espera que alcance sus resultados operativos e intermedios, en un perodo determinado, sin entrar a valorar los costes que su ejecucin implica. En la evaluacin de implementacin este criterio se focaliza, principalmente, en determinar si la intervencin pblica est llegando adecuadamente a la poblacin diana. El anlisis de este criterio deber permitir

17

identificar y valorar posibles desviaciones en la participacin de la poblacin diana, puesto que se podr detectar el grado en el que determinados grupos participan en l y en qu proporcin.

A partir de este anlisis, la evaluacin puede proporcionar instrumentos o medidas alternativas para paliar los posibles dficits de cobertura encontrados.

La evaluacin de este criterio debe responder a preguntas tales como:

! Hasta qu punto llegan los beneficios de la intervencin pblica a las personas destinatarias?

! Se producen desviaciones entre la poblacin diana y las personas que realmente estn beneficindose de la intervencin pblica?

! Existen barreras que impiden a la poblacin objetivo acceder u obtener los beneficios de la intervencin?

Los posibles problemas de cobertura pueden venir determinados por varias razones, que pueden operar simultneamente

" En los casos de participacin voluntaria por razones de autoseleccin (unos grupos son ms proclives a participar que otros, por una deficiente comprensin de la intervencin e incluso por una percepcin negativa en relacin a ciertos servicios).

" Dinmicas propias de la ejecucin de la intervencin, como la discrecionalidad en la aplicacin de los criterios de admisin, fomentando la participacin de grupos considerados menos problemticos para el desarrollo de la intervencin frente a grupos percibidos como ms problemticos.

" Barreras de acceso, como pueden ser las dificultades de traslado a los emplazamientos donde se prestan servicios, la existencia de barreras arquitectnicas para personas de movilidad reducida. Tambin pueden ser barreras de idioma, de gnero, culturales o de otro tipo que no se haban identificado adecuadamente en el diseo de la intervencin.

" Sobrecobertura, que podra ser debida a la financiacin no adecuada de la intervencin o porque se termina atrayendo a grupos de personas usuarias inicialmente no previstos.

c) Eficiencia:

Este criterio tiene por objeto relacionar los costes y los beneficios generados por los resultados operacionales e intermedios de una intervencin pblica. Con su anlisis se pretende valorar hasta qu punto los resultados obtenidos hasta el momento de la evaluacin derivan de una utilizacin eficiente de los recursos financieros, humanos y materiales utilizados. La eficiencia es sinnimo de racionalidad econmica, es la relacin entre la eficacia y el esfuerzo, medido este ltimo en trminos de costes monetarios. La aplicacin de este criterio en la evaluacin de implementacin supone riesgos de que los beneficios se infra o sobrevaloren. El problema de la adecuacin de los recursos (inputs) y productos/resultados (outputs) estimados es una de las reas controvertidas en la utilizacin de este criterio.

La evaluacin de este criterio en la evaluacin de la implementacin deber permitir responder las siguientes cuestiones:

18

! La relacin inputs-outputs previstos se est ajustando a lo planteado en la intervencin?

! En el caso de que se produzcan desviaciones se deben a la falta de aplicacin de procedimientos racionales de gestin financiera y de equipo o por un error en las previsiones?

! Se estn utilizando los recursos para alcanzar los objetivos de la manera ms econmica posible?

d) Equidad:

Este criterio tiene por finalidad valorar hasta qu punto la distribucin del coste o los beneficios de la intervencin entre la poblacin es consistente con algn criterio estndar defendible y coherente con la teora de la intervencin evaluada. El criterio de equidad se refiere a la distribucin de los efectos y esfuerzos entre diferentes grupos en la sociedad. El anlisis de la cobertura utilizando este criterio, permite observar la distribucin de los resultados y/o su coste entre la poblacin destinataria de la intervencin pblica.

Las cuestiones principales a las que se debe responder sern:

! El desarrollo de la intervencin est respondiendo a algn estndar defendible de distribucin?

! Se est propiciando el acceso a los servicios de manera equitativa a los diferentes grupos que componen la poblacin objetivo?

e) Satisfaccin:

Este criterio trata de valorar las actitudes y opiniones de la ciudadana respecto al cumplimiento de los objetivos operacionales e intermedios de una intervencin pblica. Se pretende conocer la percepcin de la poblacin hacia caractersticas de los resultados de difcil medicin objetiva. La evaluacin de implementacin utilizando este criterio puede ayudar a medir la respuesta y equidad de la provisin del servicio. No obstante, su utilizacin proceder en funcin de la existencia de resultados suficientes que permitan abarcar una muestra significativa de personas destinatarias de la intervencin pblica o que tengan conocimiento de ella, de forma que puedan mostrar una valoracin subjetiva de su implementacin.

La evaluacin bajo este criterio debe permitir contestar a cuestiones como:

! Existe percepciones negativas sobre alguno de los servicios prestados? ! Se formulan sugerencias reiteradas sobre alguno de los servicios

prestados?

19

2.1.4. Indicadores.

En la materia que nos ocupa el indicador es un dato cuantitativo o cualitativo que permite dar cuenta sobre el estado de algn aspecto de las intervenciones pblicas que interesa conocer. Los indicadores han de reunir una serie de atributos, entre los que cabe destacar que han de ser claros, relevantes, econmicos, medibles y adecuados.

Una vez determinados los productos (output) que sern objeto de medicin, la definicin de los indicadores nos permitir adoptar las variables clave ms relevantes y valiosas para la obtencin y comparacin de los datos que nos facilitarn informacin sobre el cambio producido por la intervencin pblica.

El tipo de indicador elegido estar en funcin indudablemente de la dimensin o atributo que se haya definido en la fase de diseo de la evaluacin y de los criterios establecidos en funcin de las cuestiones a las que quien evala debe dar respuesta.

Los indicadores de la evaluacin de la implementacin deben aportar la informacin necesaria que permita valorar si el desarrollo de la intervencin est siendo el adecuado para alcanzar los objetivos previstos. A continuacin se establece la tipologa de indicadores y algunos ejemplos de los mismos siguiendo el esquema de los criterios desarrollados en el punto anterior.

Metodologa Tipo de indicador Finalidad Ejemplos

Cuantitativa o Cualitativa

De coherencia interna

Administracin de la intervencin: Recursos humanos: estos

indicadores debern permitir evaluar aspectos tales como la adecuacin profesional de las personas que participan en la gestin de la intervencin o su percepcin sobre la claridad de las funciones, roles y tareas que tienen asignadas.

N de participantes en la gestin de la intervencin, por categoras y especializacin profesional.

Grado de satisfaccin con la coordinacin de los equipos expresado por las personas encargadas de la gestin.

N de reuniones del equipo responsable de la gestin.

N de expedientes tramitados por cada persona encargada de la gestin.

Recursos econmicos y materiales: estos indicadores sern relativos a importes y recursos disponibles, tanto para la ejecucin directa de la intervencin como para necesidades indirectas.

Dotacin presupuestaria vinculada a la intervencin

Grado de ejecucin del presupuesto vinculado a la intervencin

N de equipos informticos a disposicin de las personas participantes en la gestin.

Actividades o procesos realizados para la adecuada prestacin del servicio: estos indicadores se compondrn de variables de tipo nominal, en las que se establecern respuestas dicotmicas (si/no) a las preguntas que planteemos en la definicin de la evaluacin. Estos aspectos pueden y deben ser objeto de evaluaciones especficas.

Realizacin de tareas de planificacin propias de la intervencin objeto de evaluacin.

Existencia de planes de gobierno, sectoriales o transversales que afectan a la intervencin.

Existencia de informes relativos a ejercicios de revisin de procesos que intervienen en la intervencin.

Gestin y ejecucin del servicio: se establecer el listado de servicios o

N de servicios prestados, agrupados segn necesidad del

20


bienes producidos, lo que permitir detectar si se estn produciendo desviaciones en la ejecucin de los mismos.

equipo evaluador. Porcentaje de servicios prestados

en relacin a los previstos. Tiempos medios de ejecucin de

los servicios en relacin a los previstos.

Cuantitativa o Cualitativa

De coherencia externa

Los indicadores relativos a este aspecto deben permitir contrastar el grado de complementariedad y las posibles sinergias existentes entre la intervencin objeto de la evaluacin y otras intervenciones pblicas existentes o, por el contrario, si la intervencin compite o interfiere con otras existentes.

Existencia de servicios de similares caractersticas para un territorio determinado.

Existencia de sistemas de coordinacin con administraciones que prestan servicios de carcter complementario a la intervencin objeto de evaluacin.

Tiempos medios de ejecucin de los servicios en relacin a los establecidos en la planificacin de los mismos.

Cuantitativa o Cualitativa De eficacia

Estos indicadores se centrarn en el anlisis de la cobertura, haciendo referencia a la cuanta y caractersticas que definen a las personas participantes en una determinada intervencin. Permitirn no solo establecer cuantas personas se han beneficiado de una determinada intervencin, sino tambin sealar qu proporcin del pblico objetivo est accediendo a los beneficios de la misma o si se han producido desviaciones en las caractersticas que determinaban el acceso.

Caracterizacin de la poblacin objetivo de la intervencin y de los beneficiarios segn las variables que definen el acceso a la misma; como pueden ser la edad, el nivel de estudios; la situacin laboral, el nivel de renta, la residencia, la procedencia, etc., todas ellas cruzadas con la variable sexo.

Tasa de cobertura de un determinado servicio por sexo respecto al total de la poblacin objetivo.

Cuantitativa o Cualitativa De eficiencia

Estos indicadores medirn la forma en que se estn utilizando los recursos durante el proceso de generacin del producto y/o servicio. Existe el riesgo de que la informacin proporcionada por los mismos nos lleve a conclusiones errneas. La inclusin de indicadores de este tipo ser de utilidad sobre todo cuando nos enfrentemos a evaluaciones de intervenciones de carcter plurianual, puesto que las mismas permiten tanto la observacin de un nmero suficiente de outputs como el anlisis de costes derivados de los mismos.

Coste por persona beneficiaria de un determinado servicio prestado.

Coste medio de los recursos utilizados para gestionar un expediente de una subvencin.

Cuantitativa o Cualitativa De equidad

Estos indicadores permitirn conocer si existen sesgos en la distribucin de los servicios prestados. Se pueden determinar mediante la utilizacin de esta perspectiva de los indicadores de cobertura.

Tasas de cobertura de un determinado servicio por gnero en relacin a la poblacin objetivo por la misma variable.

Tasas de cobertura de un determinado servicio por territorio en relacin a la poblacin objetivo por la misma variable.

21


Cuantitativa o Cualitativa De satisfaccin

Estos indicadores representan una dimensin determinante para las entidades pblicas ya que sta se encuentra relacionada con un principio fundamental de enfoque al cliente. Son indicadores que permitirn mejorar la calidad percibida del servicio/producto

Existencia de sistema normalizado de quejas y sugerencias

N y tipologa de quejas presentadas por las personas beneficiarias usuarias de los servicios.

N y tipologa de las sugerencias presentadas por las personas usuarias de los servicios. Diferenciadas por sexo.

N y tipologa de las quejas presentadas por las personas beneficiarias, usuarias de los servicios, diferenciadas por sexo.

Fuente: Elaboracin propia a partir de la gua prctica de Evaluacin de la implementacin. Instituto Cataln de evaluacin de las polticas pblicas.

2.1.5. Tcnicas de recogida de informacin.

Entre los medios disponibles para sistematizar la medicin de los criterios mencionados y evaluacin de la implementacin de las intervenciones se cuentan los siguientes, que podemos agrupar por su carcter cualitativo o cuantitativo.

Tcnicas cuantitativas

Consulta a bases de datos y/o registros: consultas a los sistemas de informacin dispuestos para la gestin de la intervencin, tales como bases de datos de registro de participantes, de registro de servicios prestados, etc.

Fuentes estadsticas: existen diferentes, variadas y completas fuentes estadsticas elaboradas por organizaciones tanto en el mbito nacional como internacional.

Encuestas: el tipo de encuesta ms utilizado en este tipo de evaluacin es la llevada a cabo mediante la administracin de un cuestionario a una muestra representativa de personas, lo que permite la categorizacin de opiniones tanto de las personas interesadas o beneficiarias como de poblacin en general. Es una tcnica fiable, pero muy costosa y que precisa de un conocimiento exhaustivo de la intervencin y de una preparacin importante de quienes se encargan de entrevistar, adems de un adecuado aplicativo informtico para la explotacin de los datos obtenidos.

Tcnicas cualitativas

Anlisis Documental: revisin de la literatura o bibliogrfica, tales como documentos oficiales, informes de investigacin, evaluaciones generales, artculos, libros, estudios especficos en el rea de inters, incluyendo evaluaciones pasadas.

Observacin natural: los datos observacionales describen el escenario de una intervencin, las actividades que tienen lugar en el escenario, quienes participan en las actividades y el significado de esas actividades para esas personas.

Entrevistas personales y/o a grupos focales: se obtiene informacin mediante una conversacin profesional con una o varias personas para un estudio analtico de

22

investigacin o para contribuir en los diagnsticos o tratamientos sociales. Se desarrollan a travs de tcnicas especficas como pueden ser los grupos focales o las entrevistas en profundidad.

2.1.6. Ventajas e inconvenientes.

Ventajas

" Permite comprobar si la intervencin se desarrolla adecuadamente y poder analizar, si se da el caso, causas, efectos y ajustes a realizar ante eventuales desviaciones que afecten a los outputs de la misma.

" Proporciona datos sobre fallos en la ejecucin, disminucin de la demanda de servicios que conduzcan a decisiones de reasignacin de recursos, cambios en ciertas ubicaciones, etc.,

Inconvenientes

" Si no existe un buen sistema de informacin que recoja regularmente y gestione de forma adecuada los datos sobre la provisin de servicios, puede resultar muy complicado llegar a saber qu es lo que la intervencin est produciendo realmente.

" La ausencia de objetivos pertinentes y medibles. " La ausencia de correlacin entre los objetivos operativos con los objetivos especficos, lo

cual disminuye el valor como herramienta de gestin para evaluar las intervenciones.

2.2. Evaluacin de resultados.

2.2.1. Objeto.

La evaluacin de resultados trata de conocer hasta qu punto la intervencin pblica aplicada est consiguiendo los objetivos establecidos o esperados -evaluacin de eficacia- y a qu coste se consiguen en trminos de tiempo, recursos humanos, recursos materiales y monetarios -evaluacin de eficiencia-.

La evaluacin de resultados hace referencia a los objetivos ms inmediatos y directos perseguidos con la actuacin. Su evaluacin se centra en analizar los efectos (outcomes) directos en quienes se benefician de la intervencin (empresas, personas desempleadas, grupos de atencin especial, etc.).

Este tipo de evaluacin implica:

Realizar un anlisis descriptivo de los cambios que se dieron en las condiciones de las personas beneficiarias como consecuencia de la implantacin de la intervencin.

Especificar las acciones de la implementacin de la intervencin que han causado el cambio

23

Exponer, el grado de consecucin de objetivos mediante indicadores vlidos para este tipo de evaluacin.

Se entender que la intervencin pblica ha funcionado si produce cambios acordes a los objetivos. Mediante esta evaluacin se demostrar que los cambios son consecuencia de la implementacin de la citada intervencin.

Con la evaluacin de resultados se pretende responder a las siguientes preguntas:

! Cules son los resultados crticos que la intervencin trata de lograr? ! Qu efectos de corto y medio plazo gener la intervencin? ! Con la intervencin pblica implementada se han conseguido los resultados

buscados? ! Los resultados son consecuencia de la implementacin de la intervencin? ! Se incluyen los resultados no buscados?

En este tipo de evaluacin, la funcin del equipo evaluador consiste en demostrar que los cambios que se han producido son resultado de la intervencin y no se pueden explicar como consecuencia de un proceso alternativo no incluido en la misma.

2.2.2. Fases


Los resultados se pueden identificar segn los objetivos fijados en la intervencin a evaluar. El objetivo general debe indicar los resultados a largo plazo a los que se quiere llegar con la intervencin y los objetivos especficos, los efectos de corto y medio plazo. Tambin se pueden deducir cules son los resultados esperados partiendo de las principales actividades planteadas (qu evaluar).

En principio, la intervencin debe tener establecidos sus resultados esperados en su etapa de diseo. Si esto ocurre y la intervencin presenta metas, indicadores y un sistema de informacin peridica para alimentarlos, el equipo evaluador tendra que analizar estos elementos y priorizar con los actores involucrados los resultados que se van a evaluar.

La intervencin puede tener varias actividades pero no todas son relevantes para lograr los objetivos especficos. Es importante elegir los hitos observables y medibles que estn directamente relacionados con obtener un resultado, ya que puede haber actividades asociadas con los procesos internos o la gestin de la intervencin que son importantes para su desarrollo, pero que no se encuentran directamente ligadas con los resultados que se quieren medir.

La evaluacin de resultados tiene que medir los progresos realizados en relacin con los resultados (directos o indirectos) esperados y verificar si se han alcanzado. Por esta razn, es importante que para cada resultado a evaluar se construyan indicadores que capturen datos observables y se fije una meta para cada indicador que la intervencin se compromete a cumplir (cmo evaluar, qu informacin se desea obtener y cundo).

24

b) Recogida de la informacin:

En esta fase se procede a la recogida emprica de informacin que se necesita para medir los indicadores. Es importante buscar la manera ms eficiente de obtencin de los datos dentro de las restricciones existentes.

Primero se observa si la intervencin est realizando las actividades para conseguir los resultados esperados y se obtienen cifras y caractersticas de los beneficiarios reales, entre otros. Se identifican los vacos de informacin y se plantean mtodos alternativos (instrumentos) de obtencin de la informacin (encuestas, grupos focales, etc.).

Las tcnicas de recogida de informacin que se adaptan a este tipo de evaluacin se desarrollan en el apartado 2.2.5.

c) Anlisis de datos:

Despus de obtener los datos de cada una de las variables definidas en el diseo de la estrategia, el equipo evaluador debe hacer un balance de la informacin, y realizar un anlisis de las bases de datos para evaluar los cambios que se generaron por las personas beneficiarias despus de la intervencin y corroborar si se consiguieron los objetivos esperados a corto y mediano plazo.


En el bloque III de la presenta gua se aborda el contenido del informe y la forma de difusin de los resultados.


Este tipo de evaluacin, para emitir juicios de valor que le permita analizar el cumplimiento de los objetivos planteados, utiliza los siguientes criterios: eficacia, eficiencia, equidad y satisfaccin.

a) Eficacia: Tiene por objeto determinar el grado en el que una intervencin pblica alcanza sus objetivos, en un perodo determinado y con independencia de los costes que su ejecucin implique. Se parte de la premisa que el objetivo del programa ha sido definido de manera inequvoca y con carcter operacional.

En este anlisis se deber tener en cuenta que la intervencin pblica es slo uno de los varios factores que contribuyen al logro de los objetivos establecidos. El equipo de evaluacin deber prestar atencin tambin a aquellas causas que estn relacionadas con la eficacia o ausencia de eficacia de la intervencin.

25

El anlisis de eficacia debe proporcionar respuesta a este tipo de cuestiones:

! En qu medida se han cumplido los objetivos? ! Qu acciones concretas de la poltica han favorecido el cumplimiento de los

objetivos esperados? ! Han existido factores externos a la evaluacin que hayan influido en la resolucin

de los problemas detectados?

Los mtodos y herramientas de carcter analtico que pueden ser utilizados para efectuar el anlisis de eficacia son la medicin (ex ante) de los valores iniciales de las variables resultantes y otras variables importantes y su comparacin con la medicin (ex post) de esas mismas variables despus de haberse llevado a cabo la intervencin.

b) Eficiencia: Permite valorar hasta qu punto los resultados obtenidos derivan de una utilizacin eficiente de los recursos financieros, humanos y materiales utilizados. La principal dificultad para medir la eficiencia de una intervencin est en establecer un valor de referencia sobre la asignacin de recursos. En teora, los exmenes previos en relacin a la eficiencia se establecern durante el proceso de planificacin de la intervencin, en su ficha presupuestaria o financiera. Si no fuera as el equipo evaluador deber establecer este valor sobre el que se realizan las mediciones. Se trata de comparar los costes con los beneficios de la intervencin a la vista de sus resultados.

El anlisis de eficiencia debe proporcionar respuesta a este tipo de cuestiones:

! Cul ha sido el coste material de los resultados conseguidos? ! Se aplicaron procedimientos racionales de gestin financiera y de equipo? ! Se han utilizado los recursos de la manera ms econmica posible?

c) Equidad: Tiene el objetivo de valorar la equidad en los resultados obtenidos o que se pretenden alcanzar a travs de una intervencin pblica. Por ello, es clave cuando se quiera medir este criterio, ahondar sobre la distribucin de recursos establecida en la intervencin.

La evaluacin del criterio de equidad conlleva analizar hasta qu punto la distribucin del coste o los beneficios de las intervenciones pblicas entre la poblacin se ha realizado con algn criterio estndar de distribucin equitativa.

El anlisis de equidad debe proporcionar respuesta a este tipo de cuestiones:

! Se han utilizado criterios de equidad en la definicin de los objetivos de la intervencin pblica?

! La dedicacin de esfuerzos ha seguido una lgica de reparto justo?

d) Satisfaccin: Tiene el objetivo de valorar la percepcin de la ciudadana, como consumidora de la intervencin, ante los resultados obtenidos por la intervencin pblica. Al igual que ocurre en la evaluacin de la implementacin, la satisfaccin expresada por la misma, puede ayudar a medir la respuesta y equidad de la provisin del servicio pblico.

26

El anlisis de satisfaccin debe proporcionar respuesta a este tipo de cuestiones:

! Las personas beneficiarias de la intervencin pblica se encuentran satisfechas con los resultados obtenidos?

! Qu subgrupo de esas personas o actores muestran ms conformidad o satisfaccin? ! Con qu atributo de la intervencin pblica evaluada se encuentran ms satisfechas?

En los resultados obtenidos de las encuestas o de algn otro mtodo de recogida de datos utilizado, hay que valorar las caractersticas socioeconmicas, actitudes polticas u otros condicionantes (territorio, sexo, grupo tnico, edad, etc.) de la muestra, que puedan sesgar las conclusiones obtenidas.

2.2.4. Indicadores.

Dentro de la evaluacin de programas y polticas pblicas el indicador es un dato cuantitativo o cualitativo que permite dar cuenta sobre el estado de algn aspecto de la realidad de las intervenciones pblicas que interesa conocer. Los indicadores han de reunir una serie de atributos, entre los que cabe destacar que han de ser claros, relevantes, econmicos, medibles y adecuados.

Una vez determinados los resultados finales (outcomes) que sern objeto de medicin, la definicin de los indicadores permitir identificar las variables clave ms relevantes y valiosas para la obtencin y comparacin de los datos que facilitarn informacin sobre el cambio producido por la intervencin pblica.

El tipo de indicador elegido estar en funcin indudablemente de la dimensin o atributo que se haya definido en la fase de diseo de la evaluacin y de los criterios establecidos en funcin de las cuestiones a las que el equipo evaluador deba dar respuesta.

Los indicadores de la evaluacin de resultados deben medir los efectos inmediatos y directos de los programas, una vez finalizados. En general, han de proporcionar informacin acerca de los cambios que se han producido, por ejemplo: nmero de beneficiarios de actividades de la intervencin pblica que han encontrado empleo o que han aumentado sus cualificaciones.

Los indicadores asociados a la evaluacin de resultados se analizan y comparan en diferentes momentos del tiempo con la ayuda de mtodos estadsticos y de recopilacin de informacin cuantitativa y cualitativa para lograr explicar el cambio de las variables. Para hacer una evaluacin de resultados se requiere tener datos antes y despus de la intervencin para el grupo de beneficiarios. Esto permite hacer comparaciones a lo largo del tiempo y anlisis transversales con posterioridad a la intervencin.

27

A continuacin se establece la tipologa de indicadores y algunos ejemplos de los mismos siguiendo el esquema de los criterios desarrollados en el punto anterior.


Cuantitativa o Cualitativa De eficacia

Los indicadores de eficacia harn referencia al logro de los objetivos previstos, sin tener en cuenta los costes.

Porcentaje de empresas con conexin a internet (empresas con acceso a internet/total de empresas).

Cuantitativa o Cualitativa De eficiencia

Los indicadores de eficiencia se centrarn en la relacin existente entre los objetivos alcanzados y sus costes. Estos indicadores permitirn medir las realizaciones, resultados e impactos obtenidos en relacin a los recursos empleados.

N de jvenes empleados antes y despus de la intervencin pblica

Recursos financieros invertidos en polticas activas de empleo..

Fuente: elaboracin propia

La tabla siguiente facilita una serie de ejemplos de indicadores de resultados atendiendo a los objetivos especficos que se quieren alcanzar:

Objetivo especfico Actuacin Indicador de resultado

Potenciar el uso de las TIC en las empresas y en la sociedad

Incorporacin de las TIC en el sector empresarial.

Porcentaje de empresas con conexin a internet (empresas con acceso a internet/total de empresas)

Incorporacin de las TIC en la sociedad.

Poblacin que utiliza habitualmente internet Porcentaje de viviendas con conexin a internet (viviendas que disponen de acceso a internet/total viviendas)

Aumentar la competitividad del tejido empresarial

Impulso a la internacionalizacin de las empresas

Empresas exportadoras/total de empresas Exportaciones totales/VAB

Incrementar las posibilidades de insercin laboral y social de los jvenes desempleados

Cursos de capacitacin en oficios tcnicos

Variacin porcentual del aprendizaje de los jvenes participantes en los cursos.

Ampliacin y consolidacin de las infraestructuras de suelo industrial existentes

Urbanizacin de la zona ampliada del polgono industrial X

Variacin porcentual del nmero de empresas instaladas en el polgono industrial.

Aumentar la movilidad de la poblacin

Construccin y mejora de carreteras Variacin porcentual del tiempo necesario para viajar de X a Y a una velocidad media.

Fuente: elaboracin propia


Tal como se ha mencionado anteriormente, los resultados de una intervencin pblica se denominan genricamente efectos ya que constituyen las consecuencias de su realizacin fsica y financiera. Para hacer el seguimiento de los resultados de la intervencin, stos deben ser identificados y analizados segn su estructura.

28

En cualquier tipo de evaluacin la informacin a recoger debe encuadrarse en cuatro grandes bloques:

a) Informacin sobre la intervencin objeto de la evaluacin. b) Efectos en la poblacin beneficiaria, conforme a los objetivos de la intervencin. c) Variables correspondientes al contexto donde se implementa la intervencin. d) Variables que surgen directamente de la intervencin.

Con anterioridad a iniciar el trabajo de recogida de informacin el equipo evaluador debe decidir qu informacin se quiere obtener, qu tcnicas de recogida de datos va a utilizar y qu instrumentos de medicin. Sobre todo debe conocer con qu fuentes de informacin cuentan y si les son accesibles y fiables, por tanto se tendrn que decidir las tcnicas en funcin de los recursos disponibles y acordes a los planteamientos metodolgicos del tipo de evaluacin elegido.

La evaluacin de resultados requiere tcnicas que controlen al mximo los factores que realmente han intervenido en la consecucin o no de los objetivos planteados en la planificacin previa. En la mayora de los casos se combinarn tcnicas complementarias, tanto cuantitativas como cualitativas.

Se propone las siguientes tcnicas de recogida de datos:

Tcnicas cuantitativas

Consulta a bases de datos y/o registros: consultas a los sistemas de informacin dispuestos para la gestin de la intervencin, tales como bases de datos de registro de participantes, de registro de servicios prestados, etc.

Fuentes estadsticas: existen diferentes, variadas y completas fuentes estadsticas a disposicin de los investigadores elaboradas por organizaciones tanto en el mbito nacional como internacional.

Encuestas: el tipo de encuesta ms utilizado en este tipo de evaluacin es la llevada a cabo mediante la administracin de un cuestionario a una muestra representativa de personas, lo que permite la categorizacin de opiniones tanto de las personas interesadas o beneficiarias como de poblacin en general. Es una tcnica fiable, pero muy costosa y que precisa de un conocimiento exhaustivo de la intervencin y de una preparacin importante de quienes se encargan de entrevistar, adems de un adecuado aplicativo informtico para la explotacin de los datos obtenidos.

Tcnicas cualitativas

Anlisis documental: en el marco de las Administraciones pblicas es bsico el anlisis de la legislacin sobre la materia objeto de intervencin ya que las normas determinan las actuaciones. Adems es imprescindible recoger informacin de la propia intervencin implementada, el anlisis de las posibles memorias anuales existentes, y en su caso documentacin estratgica existente sobre el departamento o unidad objeto de evaluacin.

Entrevistas personales y/o a grupos focales: estas tcnicas permiten profundizar en los aspectos cualitativos de los resultados obtenidos con la intervencin, deben estar bien

29

estructuradas, contando con un guin inicial, y ofrecer garantas de validez y fiabilidad, tambin pueden ser utilizadas como una tcnica complementaria a los resultados de una encuesta.

Estudios de casos: es una tcnica que trabaja con informacin de una experiencia real en el marco de la intervencin realizada, implica un examen exhaustivo mediante la comparacin cruzada de casos. Se utiliza para obtener informacin a fondo de los procesos que han generado los resultados obtenidos. Esta tcnica es til para estudiar con mayor detalle las variables y/o factores que han sido determinantes en la consecucin de los resultados, pero es una tcnica muy costosa en tiempo y dinero.

El anlisis cuantitativo de los datos obtenidos mediante estas tcnicas permite, a travs de la interpretacin de los mismos, extraer conclusiones sobre los resultados numricos del programa, por otra parte el anlisis cualitativo permite detectar tendencias en la informacin recogida, obtener clasificaciones por categoras y responder a algunas de las preguntas iniciales planteadas al principio del proceso evaluativo.

2.2.6. Ventajas e inconvenientes.

Ventajas

" Se centra en las modificaciones de los comportamientos y contextos relacionados con la poblacin beneficiaria de los productos de la intervencin.

" Quin realice la evaluacin puede detectar posibles fallos en la intervencin sin necesidad de esperar los resultados a largo plazo.

" Ayuda a explicar cmo y porqu ocurrieron los efectos de la intervencin. " Permite detectar las discrepancias en la ejecucin real de la intervencin y la ejecucin

esperada, as como su contribucin a la solucin de los problemas. " Coste moderado y realizacin de evaluacin en un plazo de tiempo relativamente corto.

Inconvenientes " La definicin de los objetivos ya que, en muchas ocasiones, los objetivos existentes en la

planificacin previa pueden haber estado formulados de forma confusa y muy general, o no existir.

" La evaluacin de resultados es un modelo de relaciones causales en donde la causa son las variables de la intervencin y los resultados son los efectos perseguidos por dicha intervencin. El problema esencial de este tipo de evaluacin est en la posibilidad de que haya otras variables exgenas que estn relacionadas a la vez con las variables de la intervencin. Precisamente la validez interna es clave en la evaluacin de resultados que pretende demostrar de un modo inequvoco que existen, o que no existen, efectos especficos debidos a una intervencin determinada.

30

2.3. Evaluacin de impacto.

2.3.1. Objeto.

Mientras que la evaluacin de resultados se centra en los efectos de la intervencin pblica sobre la poblacin objetivo, la evaluacin de impacto va ms all, para analizar tanto una poblacin mayor como la totalidad de los efectos de la citada intervencin.

Por tanto, este tipo de evaluacin se centra en:

1) Medir a medio y largo plazo los efectos de una intervencin pblica sobre la poblacin ampliada, (que podr abarcar tanto el objeto de la citada intervencin como el conjunto de la sociedad).

2) Identificar la totalidad de los efectos posibles de la intervencin: especficos y globales, buscados segn los objetivos o no, positivos, negativos o neutros; directos o indirectos2.

Para que pueda llevarse a cabo con xito la evaluacin del impacto de una intervencin pblica, se deben de cumplir los siguientes requisitos:

a) Que la intervencin a analizar se haya aplicado en idnticas condiciones durante cierto tiempo, pues en caso contrario no se puede concluir con certeza el elemento causal que est definiendo el resultado de la misma.

b) Que en la intervencin se definan los objetivos o productos a conseguir con la poltica pblica, es decir que define la situacin de cambio que la misma pretende introducir en el sistema.

c) Que estos objetivos o resultados (outcomes) sean concretos, medibles y consecuencia directa de la implantacin del programa o poltica pblica.

d) Al tratarse de una evaluacin ex post, es necesario que haya transcurrido el tiempo suficiente para que la intervencin pblica pueda surtir los efectos diseados o esperados.

e) Es necesario un mnimo conocimiento del proceso de implementacin para interpretar los resultados de una evaluacin de impacto y transformarlos en recomendaciones de mejora. Incluso si los resultados de la misma son positivos, el hecho de comprobar que el proceso de implementacin se ha producido de acuerdo con las previsiones, refuerza la conclusin de que la intervencin pblica es la causa de los impactos.

2.3.2. Fases


La evaluacin de impacto requiere que previamente se hayan identificado los objetivos de la intervencin y una teora del cambio que enlace, las actividades y los productos de la

2 Fundamentos de evaluacin de polticas pblicas. AEVAL

31

intervencin pblica con los impactos que pretenden lograrse (definir el impacto). Se debern seleccionar los objetivos cuyo impacto se va a evaluar, y de stos extraer una dimensin o atributo medible de entre las varias que constituye el objetivo (qu evaluar). Sera recomendable seleccionar dimensiones o atributos de las que se dispone medidas anteriores para comparar el resultado ex post con el ex ante.

Una vez concretados los objetivos y variables en los que se centrar la evaluacin, se deber identificar la poblacin e instituciones involucradas y su peso especfico en los resultados. Comprende tanto los destinatarios directos como otros agentes que estn influyendo en el resultado de la intervencin pblica. Asimismo, se podr determinar la existencia, dentro de la poblacin implicada, de subgrupos con efectos diferenciados en las estimaciones de impacto, que permita determinar la caracterstica o condiciones de la poblacin que mejor se adapta o responde ante la implementacin de la intervencin pblica. En tal sentido, conviene analizar el contexto socioeconmico y poltico en el que se enmarca la intervencin pblica a evaluar y definir factores favorables (oportunidades) y negativos (amenazas), que pueden interferir o hayan interferido en los resultados, incidiendo en la relacin causa efectos (cmo evaluar).

La evaluacin de impacto supone poder comparar la situacin final expost con otro escenario que no se ha visto afectado por la intervencin, y medir la diferencia entre ambos, entendiendo que en igualdad de condiciones la diferencia entre los dos escenarios es debido a la intervencin pblica, es decir responder a la pregunta Qu hubiera ocurrido si el programa no se hubiera implantado? (anlisis contrafactual). En tal sentido, se deber medir el resultado de la intervencin (outcomes) en la poblacin de destino de la misma y ponerlo en relacin con los que se hubieran dado en ausencia de la intervencin pblica, la diferencia entre ambos resultados nos permitir conocer y medir el impacto de la intervencin pblica (qu informacin se desea obtener).

Una vez definido el impacto y los atributos o variables que lo componen, se ha de concretar en qu momento se proceder a la medicin de las variables (cundo evaluar).

Que las evaluaciones de impacto sean ex post por definicin no quiere decir que deban comenzarse despus de que el programa finalice. El hecho de comenzar a disearse e incluso implantarse ex ante, permite introducir a tiempo las variables, los datos o registros que resulten ms relevantes en la evaluacin, al mismo tiempo que accesibles, y reducir las amenazas que puedan influir en la consecucin del objetivo o que puedan contaminar el proceso de evolucin

b) Recogida de informacin:

En esta fase se procede a la recogida emprica de informacin, respecto a los indicadores definidos en el diseo de la estrategia como ms relevantes y tiles al objeto de la evaluacin. Conocer los datos administrativos de que se dispone, puede ayudar a concretar la medicin de los resultados en los grupos experimentales y de control que sern objeto de observacin en el trabajo de evaluacin, que permita realizar comparaciones vlidas.

Las tcnicas de recogidas de informacin que se adaptan a este tipo de evaluacin se desarrollan en el apartado 2.3.5.

32

c) Anlisis de los datos:

Despus de obtener los datos de cada una de las variables definidas en el diseo de la estrategia, el equipo evaluador debe hacer un balance de la informacin, con objeto de poder medir el cambio producido en la variable objeto, y si ste es debido a la intervencin pblica.

Desde el punto de vista metodolgico, evaluar el impacto supone establecer una relacin causal entre la intervencin pblica y su efecto a largo plazo, y para ello se deber intentar aislar el efecto de todos los factores endgenos que puedan influir o interferir en la situacin de hecho que pretende abordar la citada intervencin.


En el bloque III de la presenta gua se aborda el contenido del informe y la forma de difusin de los resultados.


En relacin con la evaluacin de impacto, los criterios que determinan las cuestiones que deber plantearse el equipo evaluador en la consecucin de los objetivos propios de este tipo de evaluacin son principalmente, equidad, satisfaccin y sostenibilidad.

a) Equidad: Valora la equidad en las condiciones de recepcin por las personas destinatarias de los efectos de la intervencin pblica que se evala. De esta forma, se intenta determinar hasta qu punto la distribucin del coste o los beneficios de la intervencin entre la poblacin es consistente con algn criterio estndar equitativo. En tal sentido responde a las siguientes cuestiones:

! Hasta qu punto la distribucin de los destinatarios de la intervencin entre la poblacin es consistente con algn estndar defendible de distribucin?

! En qu medida la intervencin llega a tratar de la misma manera a la poblacin objetivo? (equidad horizontal).

! En qu medida personas no incluidas en la poblacin objetivo a la que va dirigida la intervencin pblica, se benefician de la misma? (equidad vertical).

! La dedicacin de esfuerzo ha seguido una lgica de reparto justo?

b) Satisfaccin: Mide la percepcin de la ciudadana a los resultados de la intervencin pblica y quien evala debe dar respuesta a las siguientes cuestiones:

! Las personas destinatarias de la intervencin pblica se encuentran satisfechas con los resultados obtenidos?

! Qu grupo o subgrupo de agentes muestran ms conformidad o satisfaccin? ! Con qu atributo de la intervencin pblica evaluada se encuentran ms

satisfechas?

33

En los resultados obtenidos de las encuestas o de algn otro mtodo de recogida de datos utilizado, hay que valorar las caractersticas socioeconmicas, actitudes polticas u otros condicionantes (territorio, gnero, grupos tnicos, etc.) de la muestra, que puedan sesgar las conclusiones obtenidas.

c) Sostenibilidad: Permite evaluar la autonoma del sistema una vez que termina la intervencin pblica para mantener en el tiempo el resultado obtenido y, con ello, la probabilidad de que continen los beneficios de la intervencin a largo plazo, despus de retirar los recursos externos. Las preguntas a las que se debe dar respuesta son:

! Cul es la probabilidad de que los efectos o cambios producidos por la intervencin se mantengan en el futuro una vez finalizada la misma?

! Puede afirmarse que la intervencin pblica evaluada es perdurable en el tiempo? ! Tienen las contrapartes participantes la voluntad y la capacidad de continuar por su

cuenta las actividades de la intervencin?

En la respuesta a estas cuestiones hay que valorar en lo posible, la incidencia que otros factores externos puedan interferir o estn interfiriendo en la consecucin de los objetivos planteados por la intervencin pblica y que afectan a los resultados a largo plazo, y en qu medida los cambios observados en las variables clave o indicadores objetivo se deben a las intervenciones pblicas.

2.3.4. Indicadores.

En la evaluacin de programas y polticas pblicas, el indicador es un dato cuantitativo o cualitativo que permite dar cuenta sobre el estado de algn aspecto de la realidad de las intervenciones pblicas que interesa conocer. Los indicadores han de reunir una serie de atributos, entre los que cabe destacar que han de ser claros, relevantes, econmicos, medibles y adecuados.

Una vez determinados los efectos finales (outcomes) que sern objeto de medicin, la definicin de los indicadores nos permitir adoptar las variables clave ms relevantes y valiosas para la obtencin y comparacin de los datos que nos facilitarn informacin sobre el cambio producido por la intervencin pblica.

El tipo de indicador elegido estar en funcin indudablemente de la dimensin o atributo que se haya definido en la fase de diseo de la evaluacin y de los criterios establecidos en funcin de las cuestiones a las que el equipo evaluador deba dar respuesta.

Los indicadores que se utilizarn en una evaluacin de impacto se clasifican atendiendo al nivel en que se centra la evaluacin, distinguindose entre indicadores de efectos intermedios, que miden los efectos directos de un programa sobre su universo de atencin e indicadores de efectos finales, que miden las transformaciones estructurales en las condiciones de vida de las personas en la actividad econmica o en el medio ambiente producidas por las intervenciones pblicas.

34

A continuacin se establece la tipologa de indicadores y algunos ejemplos de los mismos siguiendo el esquema de los criterios desarrollados en el punto anterior.


Cuantitativo

De efectos intermedios

Permite medir aspectos tangibles de la realidad. La fuente de obtencin de datos son las observaciones objetivas y verificables.

Absolutos: n de destinatarios finales, censo de viviendas, registros de sucesos demogrficos (nacimientos, mortalidad,sexo etc.).

Relativos: tasa de empleo, tasa de migracin, porcentaje de poblacin beneficiaria/poblacin objetivo.

De efectos finales

Absolutos: PIB, registro de tipos de enfermedades, tasa de crecimiento de la poblacin.

Relativos: ndice de esperanza de vida, evolucin de la tasa de mortalidad, porcentaje de variacin del PIB, tasa de alfabetismo.

Cualitativo

De efectos intermedios

Permite medir caractersticas intangibles. La fuente de obtencin de datos son las percepciones, valores, opiniones, vivencias, etc.

Absolutos: n de ciudadanos satisfechos con la intervencin X.

Relativos: n de ciudadanos satisfechos/n total de ciudadanos.

De efectos finales

Absolutos: estado de salud, calidad de vida (pobreza, disponibilidad de alimentos, adaptacin al medio), condiciones socioeconmicas.

Relativos: porcentaje de variacin de la calidad de vida o de las condiciones socioeconmicas.



La seleccin de la estrategia ms adecuada al tipo de intervencin, depender del anlisis previo realizado en la fase de diseo de la evaluacin, de los objetivos de la intervencin, las variables cuantitativas o cualitativas que lo definan, los datos de que se dispongan y el momento en que se afronta la evaluacin.

A continuacin se expone una breve referencia de las Metodologas y Tcnicas de anlisis de datos ms usadas en la evaluacin de impacto.

35

Metodologas cuantitativas3:

Permite medir aspectos tangibles de la realidad, derivado de observaciones objetivas y verificables. Este tipo de enfoque es preeminente en la evaluacin de impacto, ya que la cuestin fundamental a resolver es de naturaleza cuantitativa.

Los tipos de diseos utilizados en las metodologas cuantitativas son los siguientes:

Diseo experimental: diseo con una medicin. Comprende la observacin a un grupo experimental (grupo de personas en el que previamente se ha hecho incidir un estmulo o variable experimental) y de un grupo control (grupo de personas que no se estn sometidos al estmulo o variable a analizar).

El lmite del diseo experimental: supone controlar el comportamiento de otras variables extraas que puedan influir en el resultado, por lo que supone el aislamiento del fenmeno que se quiera estudiar, los grupos de control y experimental deben ser homogneos, y tiene que disearse antes de la implementacin del programa.

Diseo cuasi experimental: intenta suplir el lmite del diseo experimental, aislando el efecto de la intervencin pblica, de otras variables extraas que estn o pudieran estar interfiriendo en el resultado. No obstante, algunos de los modelos de este diseo son tcnicamente complejos y su aplicacin exige conocimientos avanzados de estadstica.

Metodologas cualitativas4

Permiten medir caractersticas intangibles a travs de percepciones, valores u opiniones. Usa por tanto mtodos preexperimentales o no experimentales. Con el fin de reforzar la robustez de la evaluacin de impacto, resulta recomendable complementar el anlisis con tcnicas cualitativas ya referenciadas en los dos tipos de evaluacin anteriormente expuestos

Se muestra a continuacin un cuadro que resume las principales tcnicas aplicadas en una evaluacin de impacto:

Metodologa Diseo Tipo En que consiste Que se obtiene Cuantitativa Experimental Modelo antes-despus Es el ms simple para evaluar

impactos. El grupo es medido dos veces, antes y despus de la puesta en marcha de la intervencin pblica.

La diferencia entre la medida del resultado en ambos momentos.

Diseo de comparacin con un grupo esttico

Un grupo que ha experimentado la variable o tratamiento experimental (grupo experimental) se compara con otro que no la ha experimentado denominado (grupo de control).

La diferencia del resultado de la intervencin pblica entre ambos grupos.

3 Para un mayor desarrollo de las tcnicas de anlisis cuantitativo, nos remitimos al documento Gua prctica 5. Evaluacin de impacto editado por IVALUA Instituto Cataln de Evaluacin de Polticas Pblicas. 4 Para un mayor desarrollo de las tcnicas de anlisis cualitativo, nos remitimos al documento Gua prctica 8. La metodologa cualitativa en la evaluacin de polticas pblicas editado por IVALUA Instituto Cataln de Evaluacin de Polticas Pblicas.

36

Metodologa Diseo Tipo En que consiste Que se obtiene Cuasi experimental

Modelos de series temporales interrumpidas

Medidas del resultado sobre mltiples perodos de tiempo, anteriores y posteriores a la implantacin de la intervencin pblica a evaluar.

Se dispone de ms informacin que en el modelo experimental, pues la repeticin de las medidas proporciona un mayor poder de aislamiento de los efectos, y permite controlar la maduracin, la administracin del test, seleccin muestral y mortalidad (abandono del proyecto por miembros del grupo experimental o del grupo de control).

Modelos de regresin Compara la regresin de las variables que mide los efectos de la intervencin sobre la variable base a la que se determina la admisibilidad de la intervencin pblica en grupos tratados y no tratados

Se obtiene la diferencia del valor del outcome antes y despus de la intervencin en los dos

Guía Para La Evaluación de Programas y Políticas Públicas

Documents

Transcript of Guía Para La Evaluación de Programas y Políticas Públicas