Sesión de formación II
Transcript of Sesión de formación II
![Page 1: Sesión de formación II](https://reader035.fdocuments.net/reader035/viewer/2022081605/62c27e71108668239c0a843c/html5/thumbnails/1.jpg)
Sebastián Martínez Oficina de Planificación Estratégica y Efectividad en el Desarrollo,
Banco Interamericano de Desarrollo Presentación por Sebastian Martinez, basado en el libro “Impact Evaluation in Practice” por Gertler, Martinez, Premand, Rawlings and Vermeersch (2010). El contenido de esta presentación representa la opinión del autor y no necesariamente del Banco Inter Americano de Desarrollo
Sesión de formación II:
Estimando el impacto: causalidad, método experimental y métodos
cuasi-experimentales
![Page 2: Sesión de formación II](https://reader035.fdocuments.net/reader035/viewer/2022081605/62c27e71108668239c0a843c/html5/thumbnails/2.jpg)
Esquema de la sesion
Midiendo el Impacto
Inferencia Causal
Escogiendo un método……….
1
2
5
Dos buenos ejemplos de MALOS contrafactuales 3
Métodos de Evaluación de Impacto 4
![Page 3: Sesión de formación II](https://reader035.fdocuments.net/reader035/viewer/2022081605/62c27e71108668239c0a843c/html5/thumbnails/3.jpg)
Esquema de la sesion
Midiendo el Impacto
Inferencia Causal
Escogiendo un método……….
1
2
5
Dos buenos ejemplos de MALOS contrafactuales 3
Métodos de Evaluación de Impacto 4
![Page 4: Sesión de formación II](https://reader035.fdocuments.net/reader035/viewer/2022081605/62c27e71108668239c0a843c/html5/thumbnails/4.jpg)
Qué es una Evaluación de Impacto? Comenzamos con una Pregunta de Desarrollo…
o Como reducir el desempleo entre los jóvenes? o Como incrementar la inscripción escolar? o Como mejorar la nutrición de los niños? o Otros………
Proponemos una solución….. o Capacitación técnico-vocacional para jóvenes o Becas escolares o Suplementos nutricionales
4
![Page 5: Sesión de formación II](https://reader035.fdocuments.net/reader035/viewer/2022081605/62c27e71108668239c0a843c/html5/thumbnails/5.jpg)
Finalmente, el programa tuvo IMPACTO? o La capacitación técnico-vocacional redujo el
desempleo de los jóvenes? o Las becas escolares aumentaron la inscripción
escolar? o Los suplementos nutricionales mejoraron la
nutrición de los niños?
5
La Evaluación de Impacto mide la relación causa-efecto
entre una intervención y un resultado
![Page 6: Sesión de formación II](https://reader035.fdocuments.net/reader035/viewer/2022081605/62c27e71108668239c0a843c/html5/thumbnails/6.jpg)
Esquema de la sesion
Midiendo el Impacto
Inferencia Causal
Escogiendo un método……….
1
2
5
Dos buenos ejemplos de MALOS contrafactuales 3
Métodos de Evaluación de Impacto 4
![Page 7: Sesión de formación II](https://reader035.fdocuments.net/reader035/viewer/2022081605/62c27e71108668239c0a843c/html5/thumbnails/7.jpg)
Objetivo de la Evaluación de Impacto
7
Estimar el efecto causal (impacto) de una intervención (P) en un resultado (Y).
(P) = Programa o “Tratamiento” (Y) = Resultado, Medida de Exito
Ejemplo: Cual es el impacto de un programa de capacitación técnico-vocacional (P) sobre el empleo de los jóvenes (Y)?
“
![Page 8: Sesión de formación II](https://reader035.fdocuments.net/reader035/viewer/2022081605/62c27e71108668239c0a843c/html5/thumbnails/8.jpg)
Inferencia Causal
8
Cual es el impacto de (P) sobre (Y)?
α= (Y | P=1)-(Y | P=0)
Respuesta:
![Page 9: Sesión de formación II](https://reader035.fdocuments.net/reader035/viewer/2022081605/62c27e71108668239c0a843c/html5/thumbnails/9.jpg)
9
Problema de Datos Incompletos
Para un Beneficiario de Programa:
α= (Y | P=1)-(Y | P=0)
Observamos (Y | P=1): Condición de empleo (Y) habiendo participado en programa (P=1)
Pero NO observamos (Y | P=0): Condición de empleo (Y) sin participación en programa (P=0)
![Page 10: Sesión de formación II](https://reader035.fdocuments.net/reader035/viewer/2022081605/62c27e71108668239c0a843c/html5/thumbnails/10.jpg)
10
Solución Estimamos lo que hubiese sucedido con Y en la ausencia de P.
Llamamos esto el….. Contrafactual.
![Page 11: Sesión de formación II](https://reader035.fdocuments.net/reader035/viewer/2022081605/62c27e71108668239c0a843c/html5/thumbnails/11.jpg)
11
Estimando el impacto de P sobre Y
Observamos (Y | P=1) Resultado bajo Tratamiento
Estimamos (Y | P=0) El Contrafactual
Usa grupos de Comparación o Control
α= (Y | P=1)-(Y | P=0)
IMPACTO = - contrafactual Resultado con Tratamiento
![Page 12: Sesión de formación II](https://reader035.fdocuments.net/reader035/viewer/2022081605/62c27e71108668239c0a843c/html5/thumbnails/12.jpg)
12
Ejemplo: Cual es el Impacto de…
Darle a Fulanito
(P)
(Y)?
dinero
en su consumo de caramelos?
![Page 13: Sesión de formación II](https://reader035.fdocuments.net/reader035/viewer/2022081605/62c27e71108668239c0a843c/html5/thumbnails/13.jpg)
13
El clon perfecto Fulanito “Clon”
IMPACTO=6-4=2 6 caramelos 4 caramelos
![Page 14: Sesión de formación II](https://reader035.fdocuments.net/reader035/viewer/2022081605/62c27e71108668239c0a843c/html5/thumbnails/14.jpg)
14
En realidad, usamos propiedades de la estadística.. Tratamiento Comparación
Y Promedio=6 caramelos Y Promedio=4 caramelos
IMPACTO=6-4=2
![Page 15: Sesión de formación II](https://reader035.fdocuments.net/reader035/viewer/2022081605/62c27e71108668239c0a843c/html5/thumbnails/15.jpg)
15
Encontrando buenos controles
Queremos encontrar “clones” para los “Fulanitos” de nuestros programas.
Los grupos de tratamiento y control deben tener • Características idénticas • Excepto por la intervención
En práctica, usamos reglas de elegibilidad al programa para encontrar buenos controles
![Page 16: Sesión de formación II](https://reader035.fdocuments.net/reader035/viewer/2022081605/62c27e71108668239c0a843c/html5/thumbnails/16.jpg)
Esquema de la sesion
Midiendo el Impacto
Inferencia Causal
Escogiendo un metodo……….
1
2
5
Dos buenos ejemplos de MALOS contrafactuales 3
Métodos de Evaluación de Impacto 4
![Page 17: Sesión de formación II](https://reader035.fdocuments.net/reader035/viewer/2022081605/62c27e71108668239c0a843c/html5/thumbnails/17.jpg)
17
0
0.05
0.1
0.15
0.2
0.25
0.3
0.35
0.4
0.45
0.5
Round 1 Round 2 Round 3
% E
mpl
oyed
Employment
Vocational Skills - Male
Vocational Skills - Female
Impacto de un programa de empleo
0.17
0.26
0.45
0.38
![Page 18: Sesión de formación II](https://reader035.fdocuments.net/reader035/viewer/2022081605/62c27e71108668239c0a843c/html5/thumbnails/18.jpg)
18
0
0.05
0.1
0.15
0.2
0.25
0.3
0.35
0.4
0.45
0.5
Round 1 Round 2 Round 3
% E
mpl
oyed
Employment
Vocational Skills - Male
Vocational Skills - Female
Impacto de un programa de empleo
0.17
0.26
0.45
0.38
![Page 19: Sesión de formación II](https://reader035.fdocuments.net/reader035/viewer/2022081605/62c27e71108668239c0a843c/html5/thumbnails/19.jpg)
Impacto de un programa de empleo
19
0
0.1
0.2
0.3
0.4
0.5
0.6
Round 1 Round 2 Round 3
% E
mpl
oyed
Employment
Vocational Skills - Male
Control - Male
Vocational Skills - Female
Control - Female
0.26 0.20
0.45
0.53
![Page 20: Sesión de formación II](https://reader035.fdocuments.net/reader035/viewer/2022081605/62c27e71108668239c0a843c/html5/thumbnails/20.jpg)
Controles Auto-seleccionados
Generalmente NO son buenos controles aquellos que:
Eligen NO participar Son Inelegibles para participar (con algunas excepciones
importantes)
Sesgo de Selección: o Características de la población están
correlacionados con su participación en el programa y los resultados de interés (Y)
Podemos controlar por observables Pero no por inobservables!
![Page 21: Sesión de formación II](https://reader035.fdocuments.net/reader035/viewer/2022081605/62c27e71108668239c0a843c/html5/thumbnails/21.jpg)
21
Condición pre-programa: Compara: Mismos individuos Antes y después de recibir P.
Problema: Otros factores externos que inciden en el resultado a través del tiempo
Auto-seccionados
Compara: Grupo de beneficiarios con grupo control que elige no participar.
Problema: Sesgo de selección. No sabemos precisamente porque los controles no participaron
Recuerda
Ambos contrafactuales pueden llevar a sesgos en la
estimación del impacto
!
![Page 22: Sesión de formación II](https://reader035.fdocuments.net/reader035/viewer/2022081605/62c27e71108668239c0a843c/html5/thumbnails/22.jpg)
Esquema de la sesion
Midiendo el Impacto
Inferencia Causal
Escogiendo un método……….
1
2
5
Dos buenos ejemplos de MALOS contrafactuales 3
Métodos de Evaluación de Impacto 4
![Page 23: Sesión de formación II](https://reader035.fdocuments.net/reader035/viewer/2022081605/62c27e71108668239c0a843c/html5/thumbnails/23.jpg)
Metodos de Evaluacion de Impacto Todos los métodos comparten el mismo objetivo:
obtener un estimado valido del contrafactual (Y | P=0) , para poder responder:
23
α= (Y | P=1)-(Y | P=0)
![Page 24: Sesión de formación II](https://reader035.fdocuments.net/reader035/viewer/2022081605/62c27e71108668239c0a843c/html5/thumbnails/24.jpg)
24
Nuestra “cajita de herramientas” para
evaluar impacto
1. Asignación Aleatoria
3. Diseño de Regresión Discontinua
2. Variables Instrumentales
4. Diferencias en Diferencias
5. Pareamiento
Metodos de Evaluacion de Impacto
![Page 25: Sesión de formación II](https://reader035.fdocuments.net/reader035/viewer/2022081605/62c27e71108668239c0a843c/html5/thumbnails/25.jpg)
= Inelegible
Asignación Aleatoria
= Elegible
1. Poblacion
Validez Externa
2. Muestra
3. Tratamiento
Validez Interna
Comparación
1. Asignacion Aleatoria
![Page 26: Sesión de formación II](https://reader035.fdocuments.net/reader035/viewer/2022081605/62c27e71108668239c0a843c/html5/thumbnails/26.jpg)
0
Eligible
Inscrito Nunca Promoción Siempre
Oferta y Promoción Aleatoria
1.Población Elegible 2.Aleatoriza
Oferta/Promoción 3. Inscripción
CON Oferta/Promoción
SIN Oferta/Promoción
2. Variables Instrumentales. Oferta y promocion aleatoria
![Page 27: Sesión de formación II](https://reader035.fdocuments.net/reader035/viewer/2022081605/62c27e71108668239c0a843c/html5/thumbnails/27.jpg)
Diseno de Regresion Discontinua
No Elegible
Elegible
3. Diseno de Regresion Discontinua
![Page 28: Sesión de formación II](https://reader035.fdocuments.net/reader035/viewer/2022081605/62c27e71108668239c0a843c/html5/thumbnails/28.jpg)
Post-Intervención
IMPACTO
![Page 29: Sesión de formación II](https://reader035.fdocuments.net/reader035/viewer/2022081605/62c27e71108668239c0a843c/html5/thumbnails/29.jpg)
Diferencias en Diferencias Y= Inscripción Escolar P= Programa de Tutoría
Dif-en-Dif: Impacto=(Yt1-Yt0)-(Yc1-Yc0)
Con Programa
Sin Programa
Post 0.74 0.81
Pre 0.60 0.78
Diferencia +0.14 +0.03 0.11
- -
- =
29
4. Diferencias en Diferencias (dif-en-dif)
![Page 30: Sesión de formación II](https://reader035.fdocuments.net/reader035/viewer/2022081605/62c27e71108668239c0a843c/html5/thumbnails/30.jpg)
Impacto =(A-B)-(C-D)=(A-C)-(B-D) In
scrip
ción
Esc
olar
B=0.60
C=0.81
D=0.78
T=0 T=1 Tiempo
Con Program
a
Sin Programa
Impacto=0.11
A=0.74
![Page 31: Sesión de formación II](https://reader035.fdocuments.net/reader035/viewer/2022081605/62c27e71108668239c0a843c/html5/thumbnails/31.jpg)
Impacto =(A-B)-(C-D)=(A-C)-(B-D) In
scrip
ción
Esc
olar
Impacto<0.11
B=0.60
A=0.74
C=0.81
D=0.78
T=0 T=1 Tiempo
Con Program
a
Sin Programa
![Page 32: Sesión de formación II](https://reader035.fdocuments.net/reader035/viewer/2022081605/62c27e71108668239c0a843c/html5/thumbnails/32.jpg)
Pareamiento por Propensión a Participar: Propensity-Score Matching (PSM)
Grupo de comparación: no-participantes con las mismas características observables que participantes
o Pueden existir muchas características importantes
Pareamiento en base a “puntaje de propensión”, (propuesto por Rosenbaum y Rubin):
o Para cada unidad, computar la probabilidad de participar en base a características observables: puntaje de propensión
o Escoger pares que tienen puntajes de propensión cercanos
32
5. Pareamiento por Propensión a Participar: Propensity-Score Matching (PSM)
![Page 33: Sesión de formación II](https://reader035.fdocuments.net/reader035/viewer/2022081605/62c27e71108668239c0a843c/html5/thumbnails/33.jpg)
Densidad de puntajes de propensión
Densidad
Puntaje de Propensión
0 1
Participantes
No-Participantes
Soporte Común
![Page 34: Sesión de formación II](https://reader035.fdocuments.net/reader035/viewer/2022081605/62c27e71108668239c0a843c/html5/thumbnails/34.jpg)
Esquema de la sesion
Midiendo el Impacto
Inferencia Causal
Escogiendo un método……….
1
2
5
Dos buenos ejemplos de MALOS contrafactuales 3
Métodos de Evaluación de Impacto 4
![Page 35: Sesión de formación II](https://reader035.fdocuments.net/reader035/viewer/2022081605/62c27e71108668239c0a843c/html5/thumbnails/35.jpg)
35
El “mejor” metodo considera:
Reglas Operativas
Controlamos por “todo”?
El resultado es valido para “todos”?
o Reglas de elegibilidad, focalización y cronograma operativo + mínimo riesgo operativo
o Validez externa o Efectos locales versus globales o Impactos validos para
población mas amplia
o Validez Interna o Grupo de comparación valido
![Page 36: Sesión de formación II](https://reader035.fdocuments.net/reader035/viewer/2022081605/62c27e71108668239c0a843c/html5/thumbnails/36.jpg)
Usando las reglas operativas del programa para seleccionar el método…
36
Exceso de demanda para programa
(recursos limitados)
Sin exceso de demanda para el programa
(recursos suficientes) Índice
continuo de focalización y
umbral
Sin Indice continuo de
focalizacion y umbral
Índice continuo de focalización
y umbral
Sin Índice continuo de
focalización y umbral
Expansión en fases a lo largo
del tiempo
o Asignación Aleatoria
o DRD
o Asignación Aleatoria
o VI o DD con
Pareamiento
o Asignación Aleatoria en fases
o DRD
o Asignación Aleatoria a fases
o VI o DD con
Pareamiento
Implementación Inmediata
o Asignación Aleatoria
o DRD
o Asignación Aleatoria
o VI o DD con
Pareamiento
o DRD
Si la participación no es plena:
o VI o DD con
Pareamiento Fuente: Gertler et al. “Impact Evaluation in Practice” (2010)
![Page 37: Sesión de formación II](https://reader035.fdocuments.net/reader035/viewer/2022081605/62c27e71108668239c0a843c/html5/thumbnails/37.jpg)
37
Mensaje Clave
El objetivo de la evaluación de impacto es estimar el efecto causal de un programa sobre los resultados de interés.
![Page 38: Sesión de formación II](https://reader035.fdocuments.net/reader035/viewer/2022081605/62c27e71108668239c0a843c/html5/thumbnails/38.jpg)
38
Mensaje Clave
Para medir el impacto, necesitamos estimar el contrafactual. • Lo que hubiese sucedido en la ausencia del
programa • Para esto usamos grupos de comparación