pdf 3623 kb

Click here to load reader

  • date post

    02-Jan-2017
  • Category

    Documents

  • view

    238
  • download

    9

Embed Size (px)

Transcript of pdf 3623 kb

  • N. I.P.O.: 634-12-002-1

    TCNICAS DE EVALUACIN DE IMPACTO: PROPENSITY SCORE MATCHING Y

    APLICACIONES PRCTICAS CON STATA

    Autora: Magdalena Rodrguez Coma Instituto de Estudios Fiscales

    DOC. n.o 2/2012

    INSTITUTO DE I F ESTUDIOS FISCALES

  • N.B.: Las opiniones expresadas en este documento son de la exclusiva responsabilidad de los autores, pudiendo no coincidir con las del Instituto de Estudios Fiscales.

    Edita: Instituto de Estudios Fiscales

    I.S.S.N.: 1578-0244

    Depsito Legal: M-23771-2001

  • 11. INTRODUCCIN

    12. EVALUACIN DE IMPACTO. ESPECIAL REFERENCIA A PROGRAMAS SOCIALES

    13. IMPORTANCIA DE LOS DISEOS CUASI-EXPERIMENTALES EN LA EVALUACIN

    14. EL PROBLEMA DEL SESGO DE SELECCIN AL MEDIR EFECTOS CAUSALES

    15. EL PROBLEMA DE LA DIMENSIONALIDAD

    16. FUENTES DE INFORMACIN PARA LA EVALUACIN

    17. PROPENSITY SCORE MATCHING (PSM)

    18. IMPORTANCIA DEL CUMPLIMIENTO DE LAS HIPTESIS D E IN DEPENDENCIA CONDICIONADA Y SOPORTE COMN EN LA APLICACIN DEL PSM

    19. MODELO DE PARTICIPACIN EN EL PROGRAMA. ECUACIN DE ASIGNACIN. CLCULO DEL PROPENSITY SCORE (PS) CON STATA

    10. DIFERENTES ALGORITMOS DE MATCHING

    11. ESTIMACIN DEL CONTRAFACTUAL , EVALUACIN DE RESULTADOS Y ESTIMACIN DE ERRORES CON STATA 11.1. Estimacin del efecto medio del tratamiento en los tratados (ATT) con STATA utilizando

    Matching basado en el mtodo del vecino mas cercano (Nearest Neighbor Matching) 11.2. Estimacin del efecto medio del tratamiento en los tratados (ATT) con STATA utilizando

    Matching con estratificacin (Becker & Ichino) 11.3. Estimacin del efecto medio del tratamiento en los tratados (ATT) con STATA utilizando

    Matching basado en Kernel 11.4. Estimacin del efecto medio del tratamiento en los tratados (ATT) con STATA utilizando

    Radius Matching 11.5. Comandos de STATA para realizar un anlisis de sensibilidad de los efectos medios del

    tratamiento 11.6. Estimacin del efecto medio del tratamiento en los tratados (ATT) con STATA utilizando el

    PSMATH2 (autores Edwin Leuven y B)

    12. IMPORTANCIA DE REALIZAR UN ANLISIS DE SENSIBILIDAD DE LOS RESULTADOS 12.1. Sensibilidad a los algoritmos de Matching 12.2. Sensibilidad a la especificacin del modelo de participacin

    13. EVALUACIN DE TRATAMIENTOS MLTIPLES

    14. EVALUACIN DE EFECTOS INDIRECTOS DE LOS PROGRAMAS

    15. CONCLUSIONES

    ANEXOS

    Anexo 1. Software libre y alternativas comerciales a STATA para implementar mtodos de Matching y PS

    NDICE

    3

  • Anexo 2. Direcciones tiles en Internet

    Anexo 3. Glosario

    Anexo 4. Documentacin adicional

    REFERENCIAS BIBLIOGRAFICAS

    4

  • Instituto de Estudios Fiscales

    1. INTRODUCCIN

    El uso de tcnicas micro economtricas para estimar los efectos las polticas de desarrollo se ha convertido en un enfoque comn, no slo para los estudiosos, sino tambin para los responsables polticos involucrados en el diseo, implantacin y evaluacin de proyectos en diferentes campos. Desde el punto de vista acadmico, la mayor parte de los estudios de evaluacin publicados son cuasiexperimentales y se basan en la aplicacin de estas tcnicas a la informacin proporcionada por importantes fuentes de datos secundarias1.

    Entre estas tcnicas cuasi-experimentales, el Propensity Score Matching (PSM) se aplica cada vez ms en la comunidad de evaluacin de polticas. En este trabajo se proporciona una gua de los aspectos clave para utilizar la metodologa de PSM, con aplicaciones prcticas y ejemplos utilizando el programa STATA. Este documento ha sido elaborado con fines docentes. Dirigido a los alumnos asistentes al III CURSO DE EVALUACIN DE POLTICAS PBLICAS Y PROGRAMAS PRESUPUESTARIOS celebrado en el Instituto de Estudios Fiscales, en Madrid del 3 al 28 de octubre de 2011, puede ser til a profesionales interesados en la comprensin de la aplicacin de estas tcnicas a determinados problemas de evaluacin.

    La unidad didctica resume las condiciones bsicas para que el PSM se pueda utilizar para evaluar el impacto de un programa y tambin las fuentes de datos necesaria. Se explica de qu modo, en base al supuesto de independencia condicional junto con la hiptesis de soporte comn, puede reducirse el sesgo de seleccin cuando la participacin en un programa se determina a travs de un modelo de participacin especificado con variables que miden caractersticas observables. Se contemplan los principales aspectos tcnicos de forma sencilla, abordndolos desde una perspectiva conceptual, que permita la comprensin de la metodologa y su aplicacin al trabajo emprico.

    Tambin se describen diferentes algoritmos de matching y algunos test para evaluar la calidad de los resultados, ilustrando la importancia de realizar siempre un anlisis de sensibilidad de las estimaciones que proporcione mayor credibilidad a las evaluaciones de impacto realizadas. La inclusin de ejemplos basados en estudios de casos, se refieren a investigaciones realizadas con registros administrativos procedentes de un programa social (IMI) que proporciona rentas a los ms desfavorecidos, combinadas con programas de ayuda a la reinsercin laboral2 y pretende facilitar a los alumnos la aplicacin prctica con software y datos reales. Estos ejemplos, realizados con STATA3, abarcan evaluacin de efectos directos, indirectos y tambin evaluacin de una matriz de decisin en un contexto de tratamientos mltiples.

    Se dedica4 un apartado al software libre para tratar mtodos de matching y PSM y alternativas comerciales de otros programas economtricos a STATA, con objeto de presentar a los lectores una panormica ms completa de las posibilidades analticas que les permita adoptar las decisiones adecuadas en cada caso. Tambin se presenta un glosario5 con una breve descripcin de los conceptos fundamentales de esta metodologa. El apartado de referencias bibliogrficas abarca referencias fundamentales6, manuales del Banco Mundial y Banco Inter-americano de Desarrollo7, referencias para aplicaciones con STATA8 y estudios empricos.

    1 A estos efectos, es interesante consultar Social Experimentation, Program Evaluation, and Public Policy (2009), volumen que contiene una coleccin de los mejores artculos de experimentos sociales y evaluacin de programas que han aparecido en Journal of Policy Analysis and Management (JPAM).

    2 Estudios realizados por Ayala y Rodrguez (2006, 2007, 2010a, 2010b, 2011). 3 En el III Curso de Evaluacin de Polticas Pblicas y Programas Presupuestarios se dedican varias sesiones a formacin en STATA. En un excelente manual sobre evaluacin de impacto como es el de Shahidur R. Khandker, Gayatri B. Koolwal, Hussain Samad (2009) se incluyen todos los ejemplos con STATA. 4 Vase Anexo 1. 5 Los trminos que aparecen en el texto en cursiva se incluyen en el glosario del Anexo 3 6 Caliendo, M. and Kopeinig, S. ( 2005); Dehejia, R. (2005); Dehejia, R.H. and Wahba, S. (2002); Heckman, J.;, Ichimura, H. and Todd, P. (1998); Heckman, James J.; LaLonde, Robert and Smith, Jeffrey (1999).; Imbens, G.W. (2004); Jalan, J. and Ravallion, M. (2003); Rosenbaum, P. and Rubin, D. (1983); Smith, J. and Todd, P. (2005). 7 Shahidur R.K. et al. (2009); Gertler, P.J. et al. (2011); Baker Judy L. (2000); Heinrich C. et al. (2010).

    8 Abadie, A., D. et al. (2004); Becker, S.O. & Caliendo, M. (2007); Becker, S., &. Ichino, A. (2002); Nannicini, T. (2007).

    5

  • 2. EVALUACIN DE IMPACTO. ESPECIAL REFERENCIA A PROGRAMAS SOCIALES

    En todas las actividades de evaluacin de programas es de inters fundamental conocer si una intervencin concreta, tal y como ha sido diseada, es eficaz en el logro de sus objetivos principales. Una intervencin bien diseada (o "tratamiento") generalmente se basa en la teora y la evidencia emprica, articulada en torno a los mecanismos de intervencin del colectivo implicado en el proyecto, que en la prctica suele ser complejo e interdisciplinar, para lograr sus objetivos y producir los resultados deseados.

    El principal reto de la evaluacin de impacto, para que sea creble, es la construccin de la hiptesis resultado, es decir, lo que habra sucedido a los participantes en ausencia de tratamiento. Este fenmeno es inobservable por su propia definicin, es lo que se denomina resultado contrafactual, y tiene que ser estimado utilizando mtodos estadsticos dado que no se puede observar.

    La evaluacin experimental, en la que la asignacin al tratamiento (o la participacin en el programa) es aleatoria, se utiliza en la evaluacin de las intervenciones debido a sus ventajas estadsticas en la identificacin de los impactos del programa. Cuando existe una asignacin aleatoria de los participantes a un programa, los grupos de participante y no participantes son comparables a efectos de resultados medibles u objetivos definidos por indicadores. La aleatoriedad asegura que los grupos son comparables. Un tema muy relacionado como es el de la causalidad, que est en el fondo de todos los debates sobre evaluacin, tiene enfoques polidricos en la literatura y de gran complejidad9 . El tema de la causalidad es el ncleo de la evaluacin de programas. La pregunta relevante podra ser: Existe alguna actuacin deliberada, a veces llamada tratamiento o variable independiente que causa un cambio en determinados resultados o variables dependientes, con una vinculacin terica entre ellos? Desde una perspectiva de evaluacin de programas pblicos, los tratamientos incluyen programas y polticas de gobierno, legislacin e innovaciones de la gestin pblica.

    La asignacin aleatoria al tratamiento se considera el estndar de oro (gold standard) en el trabajo de evaluacin simplemente porque10 las unidades asignadas a los grupos tratamiento y control deben ser estadsticamente equivalentes en ambas caract