Presentacion scorecards tool_central_america_mh_mt
-
Upload
soonho-kim -
Category
Food
-
view
157 -
download
2
Transcript of Presentacion scorecards tool_central_america_mh_mt
Manuel Hernandez y Maximo Torero, IFPRI
San Salvador, 4 de diciembre del 2013
Programa de Innovación en Acceso
a MercadosEvaluación de Impacto de la Herramienta
PSC
Índice
Implementación de metodología y Selección de proyectos
Resultados
Evaluación de impacto:
Diseño
Encuesta de Línea de Base y Seguimiento
Análisis costo-beneficio
Conclusiones
Diseño de la metodología de Scorecards
¿Que es lo que se busca?
• En proyectos de desarrollo, es posible que proyectos con mayor potencial para reducción de pobreza no sean sostenibles en el tiempo y viceversa (tradeoff).
• La metodología de Scorecards busca asegurarse de que los proyectos no solo se focalicen en disminuir la pobreza, sino que además sean sostenibles.
Metodología de Scorecards
Comprende dos dimensiones:
• Primera etapa: score de riesgo.
Se estima un nivel de riesgo para cada proyecto y solo aquellos que
superan cierto nivel mínimo de riesgo pasan a una segunda instancia.
(Modelo semi-paramétrico)
• Segunda etapa: score de pobreza.
Se evalúan los proyectos sobre la base de sus potenciales efectos en la
reducción de pobreza y se eligen los proyectos con mayor puntuación.
(Método de componentes principales)
Universo de proyectos
Proyectos que pasan el criterio de score de riesgo
Proyectos que pasan el score de riesgo y de pobreza
Metodología de Scorecards
Comprende dos dimensiones:
• Primera etapa: score de riesgo.
Se estima un nivel de riesgo para cada proyecto y solo aquellos que
superan cierto nivel mínimo de riesgo pasan a una segunda instancia.
(Modelo semi-paramétrico)
• Segunda etapa: score de pobreza.
Se evalúan los proyectos sobre la base de sus potenciales efectos en la
reducción de pobreza y se eligen los proyectos con mayor puntuación.
(Método de componentes principales)
Características de la Empresa
• Experiencia en el sector
• Cantidad de trabajadores o asociados
• Calificación crediticia
• Activos que posee
• Nivel de endeudamiento
Características de los asociados
• Edad
• Género
• Situación civil
• Número de miembros de la familia
• Nivel de educación
Metodología de Scorecards
Comprende dos dimensiones:
• Primera etapa: score de riesgo.
Se estima un nivel de riesgo para cada proyecto y solo aquellos que
superan cierto nivel mínimo de riesgo pasan a una segunda instancia.
(Modelo semi-paramétrico)
• Segunda etapa: score de pobreza.
Se evalúan los proyectos sobre la base de sus potenciales efectos en la
reducción de pobreza y se eligen los proyectos con mayor puntuación.
(Método de componentes principales)
Ubicación en zona de alta pobreza rural
Acceso limitado a mercados
Numero de nuevos puestos de trabajo generados
Porcentaje de mano de obra no calificada
Porcentaje de mano de obra femenina
Numero de empleos directos
Numero de empleos indirectos
Índice
Implementación de metodología y Selección de proyectos
Resultados
Evaluación de impacto:
Diseño
Encuesta de Línea de Base y Seguimiento
Análisis costo-beneficio
Conclusiones
Diseño de la metodología de Scorecards
Postulación, evaluación y selección de proyectos
Etapa # Proyectos
Cierre de postulación (7 de enero del 2011) 58
Hábiles (completaron toda la información
requerida y establecida en las bases)
39
Superaron mínimo nivel de riesgo (67%) 24
Seleccionados (a partir de su puntuación de
pobreza) (24 de enero del 2011)
9
5 proyectos de Honduras; 2 de Nicaragua; 1 de El Salvador y 1 de Guatemala por un monto total de US$1,630,663.
Proyectos seleccionados
-5
-4
-3
-2
-1
0
1
2
3
4
5
-6 -5 -4 -3 -2 -1 0 1 2 3 4 5 6 7
CP2
(19.
98 %
)
CP1 (31.70 %)
Banhcafé (Honduras)
Mayor alivio de pobreza
Menor alivio de pobreza
WWF (Guatemala)
Lemenigi (Honduras)
Las Segovias (Nicaragua)COMUCAP (Honduras)
TechnoServe (Honduras)
Helvetas (Nicaragua)
Desarrollo Sostenible (El Salvador)
Aldea Global (Honduras)
Proyectos seleccionados
# pais empresa
# beneficiarios
directos # empleos monto (US$)
total mujeres directos
1 Honduras Fundación Banhcafé 391 155 1,571 212,176
2 Honduras Empresa Agroindustrial del Coco Lemenigi Lomba 30 19 308 176,300
3 Nicaragua COOPERATIVA MULTIFUNCIONAL LAS
SEGOVIAS RL
120 48 251 212,299
4 El Salvador FUNDACION PARA EL DESARROLLO
SOSTENIBLE
70 22 94 187,075
5 Honduras PROYECTO ALDEA GLOBAL 150 53 1,810 212,500
6 Honduras Asociación Coordinadora de Mujeres campesinas de
La Paz (COMUCAP)
50 50 144 212,500
7 Nicaragua Intercooperation-Helvetas 30 29 3 87,460
8 Guatemala World Wildlife Fund 98 3 1,257 186,700
9 Honduras Cooperativa CARUCHIL 80 27 85 143,623
1,019 406 5,523 1,630,663
Observaciones
• Los siete primeros proyectos seleccionados obtuvieron la mayor puntuación en cuanto al scorecard de pobreza.
• Tal como se estableció en las bases de la convocatoria, el octavo proyecto seleccionado, World Wildlife Fund de Guatemala, obedeció a la disposición de agencias donantes de al menos un proyecto por país (y a la posterior tacha de la Red Nacional de Grupos Gestores).
• El noveno proyecto seleccionado, Cooperativa CARUCHIL de Honduras, reemplazo a TechnoServe que luego se retiro, y era precisamente el siguiente en línea.
Índice
Implementación de metodología y Selección de proyectos
Resultados
Evaluación de impacto:
Diseño
Encuesta de Línea de Base y Seguimiento
Análisis costo-beneficio
Conclusiones
Diseño de la metodología de Scorecards
¿Por qué la evaluación de impacto?
1. Evidencia de que sí funciona▫ ¿Cuánto mejoro la situación de los beneficiarios debido al
programa?
2. Rendición de cuentas (transparencia)▫ ¿Cuales fueron los resultados?
3. Herramienta de política fiscal y de gestión ▫ ¿Seguimos invirtiendo en el programa o mejor invertimos
en otra cosas?
4. Los resultados son esenciales para su sostenibilidad y difusión
▫ ¿Es el programa costo-efectivo?
5. Replicabilidad▫ ¿Podemos expandir el programa a otras áreas?
¿Por qué la evaluación de impacto? (2)
¿Como se realiza?
A: $100 ingresos
B: $100 ingresos
P: $140 ingresos
SP: ?
P: ?
SP: $120 ingresos
Beneficiarios
Grupo de Control
Antes de programa (2011)
Después de programa (2012/13)
Situación observable Situación no observable
140 - ?
Compara situación de beneficiarios “con el programa (P)” vs. situación “sin el programa (SP)”.
Impacto del programa: (140-100) – (120-100) = $20
Se requiere realizar una encuesta de línea de base y por lo menos una encuesta de seguimiento.
Índice
Implementación de metodología y Selección de proyectos
Resultados
Evaluación de impacto:
Diseño
Encuesta de Línea de Base y Seguimiento
Análisis costo-beneficio
Conclusiones
Diseño de la metodología de Scorecards
Encuestas de Línea de Base y Seguimiento
Diciembre 2011Enero 2012
Encuesta de Línea de Base721 beneficiarios
Diciembre 2012Enero 2013
Encuesta de Seguimiento681 beneficiarios
625 beneficiariosen ambas encuestas
Para evaluar la herramienta PSC se llevaron a cabo dos encuestas diseñadas por IFPRI.
Muestra representativa según ubicación y género de los beneficiarios (usando información brindada en las postulaciones).
Menos encuestadosdebido a migración
temporal (corte de café),migración permanente,
problemas de convocatoria
Encuestas de Línea de Base y Seguimiento (2)
• Se contó con la colaboración de Research & Planning, empresa con amplia experiencia en recolección de datos en Centroamérica.
• Apoyo de RUTA (Francisco Olivet) en coordinaciones entre Research & Planning y Coordinadores de los Proyectos.
• Para el levantamiento de información se utilizaron tabletas electrónicas (mayor consistencia en el recojo de información).
El Salvador: 1 proyecto
Canton Valle Nuevo, Candelaria La Frontera
Hombres
Mujeres
Total
Encuestados
Línea de Base Seguimiento Ambas
566165
698087
131922
Fundación para el Desarrollo Sostenible
(El Salvador: Santa Ana)
Guatemala: 1 proyecto
Comunidad Monte Blanco, Purulha
Hombres
Mujeres
Total
33 34 33
97 97 96
Encuestados
Línea de Base Seguimiento Ambas
64 63 63
World Wildlife Fund
(Guatemala: Baja Verapaz, Alta Verapaz)
Honduras: 4 proyectos (1)
Mohaga – Belen Gualcho
Hombres
Mujeres
Total
13 11 11
94 91 88
Encuestados
81 80 77
Línea de Base Seguimiento Ambas
Poyecto Aldea Global
(Honduras: Ocotepeque)
Hombres
Mujeres
Total
16 13
Encuestados
AmbasSeguimientoLínea de Base
Fundación Banhcafé
(Honduras: La Paz, Intubuca)
89 82 73
606674
15
Honduras: 4 proyectos (2)
Punta Piedra - Limon
Hombres
Mujeres
Total
65 81 54
73 88 58
Ambas
Encuestados
478
Línea de Base Seguimiento
Empresa Agroindustrial de Coco
(Honduras: Iriona, Limon)
Hombres
Mujeres
Total
Asociación Coordinadora de Mujeres
Campesinas de La Paz (Honduras: La Paz)
100 91 90
100 91 90
Encuestados
Línea de Base Seguimiento Ambas
0 0 0
Nicaragua: 2 proyectos
Comunidad Rio Blanco
Hombres
Mujeres
Total
Encuestados
Línea de Base Seguimiento Ambas
58 53
34 30 30
92 83 83
Cooperativa Multifuncional Las Segovias
(Nicaragua: Nueva Segovia)
53
Hombres
Mujeres
Total
83 66 65
89 69 68
Intercooperacion-Helvetas
(Nicaragua: Matagalpa)
Encuestados
Línea de Base Seguimiento Ambas
6 3 3
Muestra para análisisNúmero de beneficiarios encuestados por proyecto
97 96
TOTAL 721 681 625
8 Wold Wildlife Fund Guatemala 97
91 90
7Intercooperation-
HelvetasNicaragua 89 69 68
6 COMUCAP Honduras 100
80 69
5Proyecto Aldea
GlobalHonduras 94 91 88
4Fundación para el
Desarrollo El Salvador 87
88 58
3Cooperativa
multifuncional Las Nicaragua 92 83 83
2Empresa
Agroindustrial de Honduras 73
Nº de beneficiarios encuestados en
la Encuesta de Seguimiento
Nº de beneficiarios encuestados
en ambas encuestas
1Fundación
BanhcafeHonduras 89 82 73
Ranking de
proyecto
Nombre del
proyectoPaís
Nº de beneficiarios
encuestados en Línea de Base
Índice
Implementación de metodología y Selección de proyectos
Resultados
Evaluación de impacto:
Diseño
Encuesta de Línea de Base y Seguimiento
Análisis costo-beneficio
Conclusiones
Diseño de la metodología de Scorecards
Evaluación de impactoUmbral 1
itY
Línea de base (2011/12)
Fundación Banhcafé
Empresa Agroindustrial del Coco
World Wildlife Fund
Intercooperation-Helvetas
Asociación de Mujeres Campesinas de La Paz
Proyecto Aldea Global
Fundación para el Desarrollo Sostenible
Cooperativa Multifuncional Las Segovias
Fundación Banhcafé
Empresa Agroindustrial del Coco
World Wildlife Fund
Intercooperation-Helvetas
Asociación de Mujeres Campesinas de La Paz
Proyecto Aldea Global
Fundación para el Desarrollo Sostenible
Cooperativa Multifuncional Las Segovias
Seguimiento (2012/13)
Evaluación de impacto (2)Umbral 2
itY
Fundación Banhcafé
Empresa Agroindustrial del Coco
World Wildlife Fund
Intercooperation-Helvetas
Asociación de Mujeres Campesinas de La Paz
Proyecto Aldea Global
Fundación para el Desarrollo Sostenible
Cooperativa Multifuncional Las Segovias
Fundación Banhcafé
Empresa Agroindustrial del Coco
World Wildlife Fund
Intercooperation-Helvetas
Asociación de Mujeres Campesinas de La Paz
Proyecto Aldea Global
Fundación para el Desarrollo Sostenible
Cooperativa Multifuncional Las Segovias
Línea de base (2011/12) Seguimiento (2012/13)
Evaluación de impacto (3)Umbral 7
itY
Fundación Banhcafé
Empresa Agroindustrial del Coco
World Wildlife Fund
Intercooperation-Helvetas
Asociación de Mujeres Campesinas de La Paz
Proyecto Aldea Global
Fundación para el Desarrollo Sostenible
Cooperativa Multifuncional Las Segovias
Fundación Banhcafé
Empresa Agroindustrial del Coco
World Wildlife Fund
Intercooperation-Helvetas
Asociación de Mujeres Campesinas de La Paz
Proyecto Aldea Global
Fundación para el Desarrollo Sostenible
Cooperativa Multifuncional Las Segovias
Línea de base (2011/12) Seguimiento (2012/13)
Evaluación de impacto (4)
Listado de los indicadores considerados
VARIABLES DEPENDIENTES
Horas recreación
Horas descanso
Log producción cultivo principal
Solicitud crédito
Recibo crédito
Cuenta bancaria
Acceso mercados locales
Uso fertilizante
Nivel de estrés
Nivel de bienestar
Nivel de satisfacción
Ln ingreso mensual total
Ln ingreso mensual pc
Ln gasto mensual total
Ln gasto mensual pc
Ln gasto total alimentos
Ln gasto total educación
Ln gasto total salud
Horas actividad principal
Horas ambas actividades
Evaluación de impacto (5)
Porcentaje de beneficiarios que recibieron alguna de las tres
principales intervenciones por proyecto
• Ayuda 1: Capacitación/ Asistencia técnica en aspectos organizativos
• Ayuda 2: Capacitación/Asistencia técnica en producción y/o transformación de productos
• Ayuda 3: Capacitación/Asistencia técnica en comercialización de productos
• Ayuda 7: Provisión de insumos (donación)
Variación en el numero de ayudas a cada beneficiario.
Índice
Implementación de metodología y Selección de proyectos
Resultados
Evaluación de impacto:
Diseño
Encuesta de Línea de Base y Seguimiento
Análisis costo-beneficio
Conclusiones
Diseño de la metodología de Scorecards
Valoración subjetiva de los proyectos
Nota promedio del conjunto de ayudas recibidas (rango 1 al 10)
7.4
6.3
8.7
7.78.2 8.0
8.3
9.1
0.0
1.0
2.0
3.0
4.0
5.0
6.0
7.0
8.0
9.0
10.0
Fbanhcafe ECACOLL COOPMULSE FUNDAPAES PAldeaGlobal COMUCAP Inter-Helvetas WWF
Valoración subjetiva de los proyectos (2)
Porcentaje de beneficiarios que participarían en un proyecto similar en un futuro próximo
• Claro interés en volver a participar en un proyecto similar
• Mas del 70% de beneficiarios por proyecto definitivamente participaría en un proyecto similar
Valoración subjetiva de los proyectos (3)
Aspectos donde los beneficiarios creen consiguieron unmayor impacto
ResultadosVariación del ingreso mensual total y per cápita
• Incremento entre 30% y 45 % del ingreso (total y per cápita) entre el antes y el después de la aplicación de los proyectos
• Los beneficiarios de los siete primeros proyectos incrementaron en mayor proporción su ingreso en comparación con los beneficiarios del octavo proyecto
Resultados (2)Variación del gasto mensual total y per cápita
• Incremento entre 15% y 35% del gasto mensual (total y per cápita) entre el antes y el después de la aplicación de los proyectos
• Los beneficiarios de los dos primeros proyectos en su conjunto fueron los que más incrementaron su gasto en comparación con los beneficiarios de los seis proyectos restantes
Resultados (3)Variación del gasto mensual total en salud (y educación)
• Aumento del 20-40% en el gasto en salud para los distintos umbrales de selección considerados
Resultados (4)Variación de las horas de trabajo dedicadas a la actividad principal
• 6 horas más de trabajo para los beneficiarios de la Fundación Banhcaféen comparación con los beneficiarios de los otros proyectos.
• 4 horas menos de trabajo para los beneficiarios de todos los proyectos en conjunto en comparación con los beneficiarios de WWF
Resultados (5)Variación en la probabilidad de solicitar un crédito
• Incremento en la probabilidad de solicitar un crédito para los distintos umbrales
• 11 puntos % mas para el umbral 2 y 20 puntos % más para el umbral 7
Resultados (6)Variación en la probabilidad de vender producción en el mercado local
• Mayor variación en probabilidad de vender producción en el mercado local para beneficiarios de WWF versus los demás beneficiarios (38 puntos %)
• Diferencia no significativa en los otros umbrales
Comparaciones adicionales
• Se comparan pares de proyectos con cultivos principales similares pero con distintas posiciones en el ranking.
itY
Fundación Banhcafé (puesto 1)
Proyecto Aldea Global (puesto 5)
Fundación Banhcafé (puesto 1)
Proyecto Aldea Global (puesto 5)
FUNDAPAES (puesto 4)
COOPMULSE (puesto 3)
FUNDAPAES (puesto 4)
COOPMULSE (puesto 3)
COMUCAP (puesto 6)
WWF (puesto 8)
COMUCAP (puesto 6)
WWF (puesto 8)
Hortalizas
Granos básicos
Café
Línea de base (2011/12) Seguimiento (2012/13)
Comparaciones adicionales (2)Variación del ingreso total mensual
• El ingreso mensual total se incrementópara todos los proyectos en una posición más alta en el ranking en comparación con aquellos en las posiciones más bajas.
• 16% al comparar proyecto 1 con proyecto 5, 8% al comparar proyecto 3 con proyecto 4 y 20% al comparar proyecto 6 con proyecto 8
Comparaciones adicionales (3)Variación en la probabilidad de solicitar un crédito
• La probabilidad de solicitar un crédito aumentó al hacer la comparación entre los pares de proyectos seleccionados.
• Cambios de 1 punto %, 11.8 puntos % y 20.3puntos %.
Análisis Cualitativo – Colaboración GWU
• Visitas a Fundación Banhcafé y Proyecto Aldea Global en Honduras.
• Grupos de enfoque con
beneficiarios y entrevistas
con representantes de los
proyectos.
• Grupos divididos por género,
ocho comunidades visitadas.
• Total de 12 grupos de enfoque Grupo de enfoque de mujeres en Yamaranguila
(seis por proyecto).
Análisis Cualitativo – Colaboración GWU (2)
Temas en los que se centraron las entrevistas:
Asistencia técnica
Infraestructura productiva (incluyendo sistemas de riego e invernaderos)
Acceso a mercados formales
Acceso al crédito
Generación de ingresos
Generación de empleo
Calidad de vida (incluyendo vivienda, salud, educación y dieta)
Autonomía de las mujeres
Entrevista con productor de San Isidro (FUNBANHCAFE)
Productor de tomate en invernadero (PAG)
• Satisfacción general de los beneficiarios de ambos proyectos en temas de asistencia técnica, mejoras de sistemas de riego, incremento de ingresos ymejora de calidad de vida.
Análisis Cualitativo – Colaboración GWU (3)
Parte del equipo de GWU en una de las comunidades visitadas
Temas FunBanhcafé PAG
Invernaderos Propiedad comunalPropiedad privada
Riesgo económico
Acceso a mercados formales
Falta de coordinación en algunas comunidades
Venta del 80-90% de la producción en mercados formales
Acceso al crédito
Acceso al crédito como una estrategia de largo plazo
Acceso al crédito limitado a la duración del proyecto
Empleo
Mayor generación de empleo adicional(contratación) y empoderamiento de las mujeres
Sólo agricultores con mayores recursosconsiguieron contratar personal
Índice
Implementación de metodología y Selección de proyectos
Resultados
Evaluación de impacto:
Diseño
Encuesta de Línea de Base y Seguimiento
Análisis costo-beneficio
Conclusiones
Diseño de la metodología de Scorecards
Análisis costo-beneficio
¿Cuanto dólares se generaron por cada dólar invertido?
Se llevo a cabo un análisis costo-beneficio donde:
– El costo es el monto total otorgado a cada proyecto para su implementación.
– El beneficio es el cambio estimado en los ingresos de los beneficiarios directos en cada proyecto.
Se consideraron tres escenarios:
– Aumento en ingresos de beneficiarios solo durante periodo de ejecución de proyectos.
– El ingreso de los beneficiarios aumenta en un horizonte temporal de 5 años.
– El ingreso de los beneficiarios aumenta en un horizonte temporal de 10 años.
Análisis costo-beneficio (2)Beneficio neto total y beneficio neto por beneficiario
• Si el aumento de ingresos ocurre únicamente durante el periodo de ejecución de los proyectos, el beneficio neto total sería de $2,929,187 y el beneficio neto por beneficiario sería de $1,840.
• Los beneficios netos se incrementarían en casi 3 veces en un horizonte de 5 años y 5 veces en un horizonte de 10 años.
Análisis costo-beneficio (3)Beneficio neto total por proyecto
• Se obtiene un balance positivo de la implementación de la herramienta
Se omite WWF del cálculo porque se usa como proyecto base.
Diseño de la metodología de Scorecards
Índice
Implementación de metodología y Selección de proyectos
Resultados
Evaluación de impacto:
Diseño
Encuesta de Línea de Base y Seguimiento
Análisis costo-beneficio
Conclusiones
Resumen y conclusiones
1. Los proyectos se caracterizaron por brindar distintos tipos de ayuda y en distintos niveles de cobertura.
- Ayudas mas populares: capacitación/asistencia técnica en aspectos organizativos, producción y comercialización; y provisión de insumos.
2. En términos de percepción, alto nivel de calificación por parte de los beneficiarios.
- La gran mayoría estaría dispuesto a participar en un similar proyecto a futuro.
- Aspectos donde se cree el programa tuvo mayor impacto: volúmenes de producción y ventas.
Resumen y conclusiones (2)
3. Los resultados permiten validar la herramienta en cuanto a la identificación de proyectos con gran (y menor) potencial.
- Resultados de evaluación de la herramienta guardan estrecha correlación con la puntuación inicial obtenida por los proyectos a través de la PSC.
- Los dos primeros proyectos seleccionados son los que mostraron mayores cambios en varios indicadores respecto a los demás proyectos; el octavo proyecto seleccionado muestra menores cambios relativos.
- Principales diferencias entre los primeros proyectos y el resto se dan en ingresos y gastos totales y per cápita, horas dedicadas a actividad principal y acceso a canales formales de crédito.
Resumen y conclusiones (3)
4. El análisis costo-beneficio arroja, en líneas generales, un balance positivo.
- Beneficio neto total y por beneficiario positivo.
- Proyectos con mejor posición en el ranking muestran un mayor beneficio neto.
5. Importancia de expandir el programa piloto para refinar evaluación de herramienta.
- Capturar heterogeneidades dentro de cada proyecto (debido a diferentes niveles y tipos de ayuda) e identificar efectos de mediano y largo plazo.