Metodos de Evaluacion

Click here to load reader

  • date post

    15-Jan-2016
  • Category

    Documents

  • view

    215
  • download

    0

Embed Size (px)

description

EVALUACION DE PROYECTOS

Transcript of Metodos de Evaluacion

  • 1

    TCNICAS CUANTITATIVAS DE EVALUACIN DE POLTICAS PBLICAS

    I CURSO DE EVALUACION DE POLTICAS PBLICAS Y PROGRAMAS PRESUPUESTARIOS

    MADRID, OCTUBRE DE 2009

    AUTOR: Ignacio Moral Arce

  • 2

    NDICE 1. Evaluacin de polticas publicas ... 3

    1.1 Evaluacin ex_ante. 3 1.2 Evaluacin ex_post. 3

    2. El problema de la causalidad o de la evaluacin de polticas. 3 2.1.Problemas de medicin. 4 2.2.Inferencia causal. 4 3. El sesgo de seleccin 7 4. Diseos de evaluacin.. 8 4.1 Diseos experimentales ensayos aleatorizados. 9 4.2 Diseos cuasi-experimentales 10 4.3 Diseos no experimentales 11 5. Mtodos de estimacin.. 11 5.1. Diferencia de medias. 11 5.2. Variables Instrumentales 12

    5.2.1. Problema de omisin de variables relevantes... 12 5.2.2. Problema de participacin endgena 13 5.2.3. Estimacin del problema de omisin de variable y endogeneidad... 13

    5.2.3.1 Estimacin por mnimos cuadrados. 13 5.2.3.2. Estimacin por variables instrumentales. 14

    5.3. Mtodo de dobles diferencias (dif en dif) 15 5.3.1. Caso de ms de dos periodos y grupos: Datos de panel. 18 5.4. Regresiones en discontinuidad 18 5.5. Mtodos de apareamiento (matching) 20 5.5.1. Propensity score matching 23 5.5.1.1. Clculo del Propensity score 23

  • 3

    1. Evaluacin de Polticas Una evaluacin completa de una determinada poltica se define como una evaluacin que incluye la supervisin o seguimiento, la evaluacin del proceso, anlisis del coste-beneficio, y finalmente la evaluacin de impacto. El seguimiento ayudar a evaluar si un programa se est aplicando como estaba previsto y permitir una retroalimentacin continua sobre el estado de ejecucin del programa y la identificacin de problemas especficos a medida que surjan. La evaluacin del proceso estudia de qu forma opera el programa y se centra en analizar los problemas en la prestacin de los servicios. La evaluacin del coste-beneficio analiza el gasto del programa (tanto monetario como no monetario), los usos alternativos que se pueden dar a los recursos disponibles y los beneficios producidos por el programa. Y, por ltimo, la evaluacin de impacto est destinada a determinar si la intervencin publica tuvo los efectos deseados sobre los individuos, y si esos efectos son atribuibles a la intervencin del programa. Teniendo presente lo mencionado previamente, en este tema nos vamos a centrar en explicar cuales son las tcnicas mas utilizadas en la evaluacin cuantitativa del impacto de una poltica pblica. Desde de un punto de vista temporal se puede diferenciar entre dos tipos de evaluacin: ex ante y ex post. La primera se realiza previa al comienzo del proyecto. La segunda se lleva a cabo cuando el proyecto ya est en ejecucin o ha concluido y las decisiones se adoptan en funcin de los resultados que se han alcanzado. 1.1. Evaluacin ex ante Tiene por finalidad proporcionar criterios racionales para tomar una decisin cualitativa de gran importancia: si el proyecto debe o no implementarse. Tambin permite ordenar los proyectos segn su eficiencia para alcanzar los objetivos perseguidos. Tanto el Anlisis Coste-Beneficio como el Anlisis Coste- Efectividad son metodologas aptas para la evaluacin ex ante. Sin embargo, el ACB es ms adecuado para analizar proyectos econmicos y el ACE presenta mayores potencialidades para la evaluacin de proyectos sociales. 1.2. Evaluacin ex post Es necesario distinguir la situacin de los proyectos que estn en curso de aquellos que ya han concluido. Ambos tipos se evalan buscando obtener elementos de juicio para la adopcin de decisiones cualitativas y cuantitativas. 2. El problema de la Causalidad o de evaluacin de polticas La metodologa de la evaluacin de impactos se basa en la existencia de relaciones causales. Si tenemos dos variables x e y, siendo x la causa, y el efecto, la causalidad se puede expresar como X y

  • 4

    Las implicaciones que se derivan de la expresin anterior son:

    a) los cambios de x producen cambios en y. b) la relacin entre x e y es asimtrica y no reversible c) la variable y puede variar por otras fuentes. Se aceptan situaciones del tipo:

    x --> z --> y, en este caso, x es causa de z que, a su vez, produce y. d) No existen relaciones espreas entre variables.

    2.1 Problemas de medicin Para que la evaluacin sea correcta debe cumplir ciertos criterios metodolgicos, en especial los relacionados con la validez y la robustez de las mediciones. - Validez Existe validez si se ha medido lo que se pretende medir. Hay que diferenciar entre dos tipos de validez:

    - validez interna, que est relacionada con el nmero mnimo de casos que se necesitan para interpretar el experimento.

    - Validez externa, que tiene que ver con la generalizacin del resultado obtenido. En este caso la cuestin planteada es a que contexto, poblacin y variables puede generalizarse el efecto estudiado.

    - Robustez La robustez es la estabilidad y la exactitud en la medicin. Una medicin es robusta si un instrumento aplicado repetidamente sobre el mismo objeto de anlisis genera los mismos resultados o muy similares. 2.2. Inferencia Causal El anlisis de inferencia causal trata de determinar los efectos de una determinada intervencin o poltica pblica, contestando preguntas del siguiente tipo: Afecta el salario mnimo al salario de todos los trabajadores? Mejora la calidad de la educacin si se reduce el numero de alumnos en las clases?, aunque todo este tipo de preguntas se puede analizar desde la ptica siguiente "Cul sera la situacin si la intervencin no hubiera tenido lugar?". Esto implica estimar cul habra sido la situacin de los individuos o entidades afectadas por el programa que interesa evaluar en ausencia del mismo, as que el problema fundamental con el que nos encontramos es un problema de identificacin y de falta de observacin de uno de los elementos del estudio (el contrafactual). Comenzamos definiendo a la poblacin objeto de estudio por la letra U. Cada unidad o individuo de U es denotado por u. Para cada u U, hay asociado un valor Y(u) de la variable de inters Y, la cual llamamos variable de respuesta. Sea A una segunda variable definida en U, que denominamos como el atributo de las unidades en U. La idea fundamental que esta detrs de este modelo es la posibilidad o no de exponer a cada unidad a la accin de una causa: Cada unidad tiene que ser potencialmente expuesta a cualquiera de las causas. Por simplicidad, asumimos que hay slo 2 causas o niveles de tratamiento. Sea D una variable que indica la causa a la cual cada unidad en U es expuesta:

  • 5

    =

    control al expuesta esu unidad la si to tratamiena expuesta esu unidad la si

    ct

    D

    En un estudio controlado, D es establecido por el experimentador, mientras que en un estudio sin control, D es determinado por factores que estn ms all del control del experimentador. Los valores que toma Y se ven (potencialmente) afectados por una determinada causa, t o c, a la que cada unidad es expuesta. As, necesitamos dos variables de respuesta: Yt(u), Yc(u)

    - Yt(u) es el valor de la respuesta que sera observada si la unidad u fuera expuesta a t.

    - Yc(u) es el valor que sera observado en la misma unidad u si sta fuera expuesta a c.

    Alternativamente, D se puede expresar como una variable binaria:

    =

    control al expuesta esu unidad la si 0to tratamiena expuesta esu unidad la si 1

    D

    Por lo tanto el resultado de una unidad u de la poblacin se puede escribir como )()1()()( 01 uYDuDYuY += , donde )(1 uY es el resultado de la unidad u cuando es expuesta al tratamiento, mientras que )(0 uY es el resultado de la misma unidad cuando es expuesta al control. As que, para una determinada unidad u, el efecto que tiene el tratamiento viene dado por:

    = )()( 01 uYuY . El problema fundamental de la ecuacin anterior es que resulta imposible observar el valor de )(1 uY e )(0 uY en la misma unidad u, por lo que no podemos inferir el efecto del tratamiento porque no tenemos la evidencia del contrafactual. Dado que el efecto causal para una sola unidad u no puede ser observado, se intenta identificar el efecto causal promedio para la poblacin, as que se calcula el efecto de tratamiento promedio (ETP) de t (en comparacin a c) en una poblacin U. Entonces, dado que

    )()( 01 uYuYTE uu == tenemos [ ] ==== 010101 ))(())(()()( YYuYEuYEuYuYEETP UUUU , (1) por lo tanto, la solucin ms sencilla consiste en reemplazar el efecto causal imposible de observar de t en una unidad u especfica con la posibilidad de estimar el efecto causal promedio de t sobre una poblacin U de unidades. Sin embargo, )( 1YEU y

    )( 0YEU son las esperanzas poblacionales y no se observan por lo que no pueden ser calculadas, pero pueden ser estimadas mediante sus contrapartidas muestrales ( ) 11 YYEU = , ( ) 00 YYEU = ,

  • 6

    donde ( ).UE indica el estimador de ( ).UE , as que se sustituye en la expresin (1) y se obtiene 0101 ))(())(( YYuYEuYEETP UUU == . (1.1) Vamos a considerar a continuacin el estimador de ETP despus de tratamiento como [ ] [ ]01 01 === DYDY (2) Las ecuaciones (1.1) y (2) no son comparables de manera estricta porque (1.1) est expresada en trminos poblacionales, mientras que (2) representa un estimador calculado a partir de una muestra obtenida de esa poblacin. La forma de poder comparar ambas expresiones parte del hecho de considerar una nueva variable en nuestro anlisis, que llamamos p, y se define como la proporcin de la poblacin que es asignada al grupo de tratamiento. Entonces la expresin del ETP se puede escribir como [ ] [ ]==+==+= == 0)()1(1)()1( 010101 DYYpDYYppp DD [ ] [ ] [ ] [ ]==+==== 0)()1(1)(0)()1(1)( 1001 DYpDYpDYpDYp

    01 YY = . Si suponemos que [ ] [ ]0)(1)( 11 === DYDY y [ ] [ ]0)(1)(