INNOVACIÓN E INSTITUCIONALIZACIÓN

Política pública educativa

Noviembre 2019

Juan Manuel Hernández-Agramonte

Director de País, IPA Peru, Bolivia and Paraguay

jmhernandez@poverty-action.org

IPA: Una ONG internacional de

investigación fundada en el 2002 por

Dean Karlan, profesor de Economía de

la Universidad de Yale.

Innovations for Poverty Action

Nuestra metodología:

Evaluaciones de impacto experimental

(Randomized Controlled Trials, RCTs)

Nuestra misión:

Diseñar, testear y promover soluciones

efectivas a problemas de política.

Innovations for Poverty Action

Sectors include Education, Gender, Health, Social Protection, ECD

evaluations

800+

¿CÓMO LOS SOLUCIONAMOS?

¿QUÉ PUEDE FUNCIONAR?

Falta de información para

toma de decisiones

Enfrentamos problemas de política pública

Ausentismo escolar

Abandono escolar

Bajos logros en los

aprendizajes

PROGRAMAS

INNOVADORES

Innovación y evidencia

EVIDENCIA SOBRE

SU EFECTIVIDAD

IMPACTO EN

RESULTADOS

Evaluación

Evaluación

Evaluación de

programas

Evaluación de impacto

Impacto de la política (programa) A en un

resultado B

El impacto de un programa de mejora de

prácticas de crianza en el desarrollo infantil

temprano

Objetivo de evaluación de impacto

Información certera: Causalidad

Evaluación de impacto experimental (RCTs)

Intervención

(Tratamiento)

No

intervención

(Control)

Asignación

aleatoria

Medición de resultados en

ambos grupos

Grupo objetivo

(muestra piloto)

EfectividadDiseñar, iterar-mejorar y escalar

Ministerio de Educación y Ciencias (MEC) y BID

Bajas puntuaciones en matemáticas

Intervención en Educación Inicial (5 años)

Uso de Educación por Radio Interactiva (ERI)

Resolución de problemas y bilingüe.

Evaluación de impacto experimental (IPA)

Sesgos de género en educación: Tikichuela

J.M. Hernández-Agramonte, E. Näslund-Hadley, S. Parker

******

Evaluación de impacto experimental (RCTs)

Intervención

(Tratamiento)

No

intervención

(Control)

Asignación

aleatoria

Medición de resultados en

ambos grupos

Grupo objetivo

(muestra piloto)

(1) Control (2) Tratamiento

Pu

ntu

ac

ión

ma

tem

áti

ca

s

0.20sd

¿Qué hacemos ante una política efectiva para elevar los

aprendizajes, pero que crea una brecha de género?

14

Métodos mixtos

15

Modificar el programa en base a los resultados

16

Ciclo de aprendizaje

Diseñar, aprender y mejorar

EVALUACIÓN

2011Incremento .20

Cierre de brechas

Brechas niños y niñas

DISEÑO

IPS

ERI

DECISIONES

2011Modificar programa

Evaluar modificaciones

EVALUACIÓN

2013

Incremento .17

No se produce

brecha

DECISIONES

2013

Ampliar a 1° y 2º

de primario

Escalamiento

EficienciaAsignación de recursos basado en evidencia

19

¿Cómo reducir el ausentismo escolar?

Medicamentos

antiparásitosUniformes

gratuitos

25%

44%

EFECTIVIDADRed

uc

ció

n d

e a

us

en

tism

o

20

Medicamentos

antiparásitos

Uniformes

gratuitos

$3.27X1año

$141X1 año

Co

sto

-efe

ctiv

ida

d

Costo-efectividad

¿Cuál es la mejor manera de que los niños estén mas tiempo en la escuela?

Identificar intervenciones efectivas a problema de política

para mejorar los indicadores de resultados.

Asignar recursos a las intervenciones más costo-efectivas para

mejorar el retorno a la inversión social de los gobiernos.

Producir conocimiento sobre el sector, bien público para el

país y la región.

Permite la mejora en la toma de decisiones de política pública

Utilidad de los RCTs

1

2

3

¿Cómo podemos

institucionalizar el uso y

generación de evidencia

en el ciclo de política

pública?

Laboratorio de innovación para la

educación instalado dentro del

Ministerio de Educación del Perú

MineduLAB

Permite al Ministerio mejorar los

indicadores educativos y de gestion a

través de intervenciones innovadoras

El laboratorio diseña, evalúa

rigurosamente, e implementa nuevas

políticas o mejoras a políticas

existentes

El equipo de MineduLab crea

colaboraciones entre académicos

y unidades implementadoras

Apoyo a la investigación y traducción

El equipo está formado por

profesionales en evaluación

entrenados en la implementación

de evaluaciones experimentales

Media/traduce en la relación entre

las unidades implementadoras y los

equipos de investigadores

Equipo

MineduLAB

Unidad

implementadora

+

Académicos

Ciclo de aprendizaje

25

Identificación del problema

y diagnóstico

Contextualización

de la evidencia

Diseño de innovación

y evaluación

Evaluación

experimental

Implementación

de la innovación

Uso de la evidencia producida

incorporando aprendizajes

Escalamiento

de programas

efectivos

Inserto en la Secretaría de

Planificación Estratégica

Posición institucional

Secretaría de

planificación

estratégica

M&E

Presupuesto

MineduLAB

Monitoreo

Evaluación

Centraliza los sistemas de

información

Capacidad de persuadir a las

unidades implementadoras

Provee servicios de M&E y

asignación de presupuesto a la

unidades implementadoras

El laboratorio usa datos de los

sistemas de información y

evaluaciones censales/muestrales

Innovación costo-efectiva

El ministerio cuenta con gran

cantidad de datos (barato y

rápido)

Enfoque en modificar políticas

existentes incorporando

innovaciones de la economía-

psicología del comportamiento

El proceso de toma de decisions

de MineduLab garantiza la

relevancia académica y de política

de las innovaciones.

Relevancia política y académica

Intersección de

incentivos

Crea demanda a través de talleres

de diseminación y convocatorias

abiertas

Las propuestas son seleccionadas

por el Secretario y su equipo con

asistencia de un directorio de

académicos

Evidencia

novedosa que

permite avanzar el

conocimiento

científico

Evidencia que

responde a

prioridades

políticas

Completa el ciclo de aprendizaje

Impacto

Apoya a las unidades implementadoras a

tomar decisiones basadas en los

resultados

Disemina resultados y aprendizajes

mediante publicaciones y presentaciones

(bien público)

http://www.minedu.gob.pe/minedulab/

Innovaciones en fase de evaluaciónInnovaciones con resultados

School Principal StudentsSchool Principal, Teachers

and ParentsParents and Students Teachers Teachers

TeachersTeachers and ParentsParents and Students

Innovaciones en implementación

School Principal, Teachers

and Parents

Text Messages to

improve school

Management

“Grow your

Mind”

Videos sharing the

financial benefits of

secondary and higher

education

Booklets with comparable

information on results of

similar schools

Text Messages

to motivate

teachers

Non-monetary

incentives for

teachers

Feedback on

schools’ key

indicators

Information to

outstanding

students

Access to

technology for

teaching purposes

Increase the

visibility of teacher

absenteeism

Videos con información en los

retornos económicos y sociales a la

educación combinado información

sobre financiación de la educación

superior.

Telenovelas (información) para reducir abandonoF. Gallego, C. Neilson, O. Molina

18% disminuye el abandono

escolar en las zonas urbanas

(mayor en rurales).Mejoras en las puntuaciones de

niñas – 4% matemáticas, 3%

lectura.

MINEDU ha escalado la

innovación.

SMS para mejorar la ejecución de

actividades de mantenimiento en

las escuelas (n=31,000).

SMS para mejorar el mantenimiento de las escuelasA. Dustan, J. M. Hernández-Agramonte, S. Maldonado

Redujo en 15% la brecha de

declaración de gasto y 10% retiro

de fondos.

Los efectos se mantienen 2 años

después.

Por cada USD$1 el retorno de gasto

fue USD$916 → Escalamiento

SMS con mensajes basados en la

economía del comportamiento

para incrementar la cantidad y

calidad de la inversión parental.

SMS para mejorar acompañamiento de padresA. Dustan, J. M. Hernández-Agramonte, S. Maldonado

Esfuerzo del MINEDU por diseñar

políticas que lleguen a los padres

masivamente.

Intervención fuera del entorno

escolar.

Como se creó el laboratorio?

1. Identificación de campeones y

contratación de equipos técnicos.

2. Personal acompañando –embedded

(IPA/J-PAL)

3. Mapeo y chequeo de data

4. Logrando victorias rápidas

5. Diseñando y testeando procesos

6. Lanzamiento del laboratorio

Diseño e implementación

Creación y ajuste

2014 al 2016

Innovación

2014 al Presente

1. Enfoque en datos administrativos

restringe el set de preguntas que el

laboratorio puede contestar (limitada

capacidad de aprendizaje)

2. Alta rotación de funcionarios puede

obstaculizar los escalamientos y

experimentos.

3. Un entorno político volátil y poca

institucionalidad puede amenazar su

continuidad.

Desafíos

1. Generación de un fondo de

innovación para MineduLab

2. Apoyo en la generación de

investigación con

investigadores locales e

internacionales, y a la gestión

de la evidencia.

3. Replicar modelo de

MineduLab en la region

apoyando a otros equipos.

Siguientes pasos

Gracias!

poverty-action.org

1. Evaluation “champions”

2. Prominent technical teams (attractive

position)

3. Excellent institutional positioning

4. Large quantity of administrative data

5. Low cost focus

6. Quick and relevant results (impact)

Key factors for success

El problema de la inferencia causal

Puntaje promedio en prueba PISA de lenguaje

Consumo de helado per cápita (Litros por año)

Fuente: OECD; Euromonitor; The Economist

¿Cuál cree que es la variable Y?