Metodologia Aprobacion de Indicadores

Metodologa para la aprobacin de indicadores de los programas sociales

Primera edicin, 2014

Consejo Nacional de Evaluacin de la Poltica de Desarrollo Social

Boulevard Adolfo Lpez Mateos 160

Colonia San ngel Inn

CP 01060

Delegacin lvaro Obregn

Mxico, DF

Impreso y hecho en Mxico

Printed and made in Mexico

ISBN: 978-607-9384-05-0

Citacin sugerida:

Consejo Nacional de Evaluacin de la Poltica de Desarrollo Social. Metodologa para la aprobacin de indicadores de los programas sociales. Mxico, DF: CONEVAL, 2014.

CONSEJO NACIONAL DE EVALUACIN DE LA POLTICA DE DESARROLLO SOCIAL

INVESTIGADORES ACADMICOS Mara del Rosario Crdenas Elizalde Fernando Alberto Corts Cceres Agustn Escobar Latap Salomn Nahmad Sittn John Scott Andretta Graciela Mara Teruel Belismelis

SECRETARA EJECUTIVA Gonzalo Hernndez Licona Secretario Ejecutivo

Ricardo C. Aparicio Jimnez Director General Adjunto de Anlisis de la Pobreza

Thania Paola de la Garza Navarrete Directora General Adjunta de Evaluacin

dgar A. Martnez Mendoza Director General Adjunto de Coordinacin

Daniel Gutirrez Cruz Director General Adjunto de Administracin

COLABORADORES

EQUIPO TCNICO dgar A. Martnez Mendoza Jos Manuel del Muro Guerrero Gabriela Gutirrez Salas Freddy Damin Urbina Romero

Manuel Jorge Gonzlez-Montesinos Martnez Alejandro Medina Giopp

CONSULTORES EXTERNOSValidacin de instrumentos, anexo C

DIRECTORIO

CONTENIDO

SIGLAS y ACRNIMOS 5

GLOSARIO 6

PRESENTACIN 7

PRIMERA PARTE 10QU ES LA APROBACIN DE INDICADORES? 10FUNDAMENTO NORMATIVO 10ANTECEDENTES DE LA APROBACIN DE INDICADORES 11

SEGUNDA PARTE 15METODOLOGA PARA LA APROBACIN DE INDICADORES DE LOS PROGRAMAS SOCIALES 16 Consideraciones iniciales de la aprobacin

de indicadores 16 Etapas de la aprobacin de indicadores 17

Etapa 1. Valoracin integral de indicadores de resultados, servicios y gestin 18Etapa 2. Valoracin especfica de indicadores de resultados 27Etapa 3. Emisin del dictamen de aprobacin de los indicadores 33

Incorporacin, modificacin y eliminacin de indicadores aprobados 35 Alcances de la aprobacin de indicadores 36

REFERENCIAS BIBLIOGRFICAS 38

ANEXO A. CRITERIOS PARA REVISAR INDICADORES 39

ANEXO B. FICHAS DE REVISIN DE LA MIR y DE INDICADORES 41

ANEXO C. VALIDACIN EXTERNA DE LOS INSTRUMENTOS DE APOyO METODOLGICO USADOS EN LA APROBACIN DE INDICADORES y DE LOS CRITERIOS ANALIZADOS 44

Consejo Nacional de Evaluacin de la Poltica de Desarrollo Social 5

SIGLAS y ACRNIMOS

APF Administracin pblica federal ASF Auditora Superior de la Federacin CONEVAL Consejo Nacional de Evaluacin de la Poltica de Desarrollo

Social LGDS Ley General de Desarrollo Social MIR Matriz de Indicadores para Resultados MML Metodologa de Marco Lgico SFP Secretara de la Funcin Pblica SHCP Secretara de Hacienda y Crdito Pblico

Metodologa para la aprobacin de indicadores de los programas sociales6

Comisin Ejecutiva. Es el cuerpo tc-nico-auxiliar del rgano de gobierno encargado de ejercer las funciones sustantivas de carcter tcnico para la evaluacin de la poltica de desa-rrollo social y el informe de avances de los programas de desarrollo social que implementen las entidades y dependencias de la administracin pblica federal.

Dependencias. A las que se refiere el artculo 2 de la Ley Orgnica de la Administracin Pblica Federal que participen en la ejecucin de programas de desarrollo social.

Entidades. A las que se refiere el ar-tculo 3 de la Ley Orgnica de la Administracin Pblica Federal que participen en la ejecucin de pro-gramas de desarrollo social.

Evaluacin. Es el anlisis sistemti-co y objetivo de los programas fede-rales y cuya finalidad es determinar la pertinencia y el logro de sus objetivos y metas, as como su eficiencia, efica-cia, calidad, resultados, impacto y sostenibilidad.

Indicador. Herramienta utilizada, a partir de variables cuantitativas o cualitativas, para medir el logro de los objetivos de los programas de desarrollo social y que representan un referente para el seguimiento de los avances y la evaluacin de sus resultados.

Matriz de Indicadores para Resulta-dos. Matriz de cuatro filas por cuatro columnas construida con base en la Metodologa de Marco Lgico en la cual se describe el fin, el propsito, los componentes y las actividades, as como los indicadores, medios de verificacin y supuestos para cada uno de los objetivos de los progra-mas presupuestarios.

rgano de gobierno. Es el mximo rgano del CONEVAL integrado por seis investigadores acadmi-cos elegidos democrticamente por convocatoria pblica, que tie-nen a su cargo la administracin del CONEVAL y el ejercicio de las atribuciones indelegables que le corresponden en trminos del art-culo 58 de la Ley Federal de las En-tidades Paraestatales y las dems disposiciones aplicables, y por el ti-tular de la Secretara de Desarrollo Social, quien lo preside.

Programa de desarrollo social. Programas presupuestarios de mo-dalidad S (sujetos a reglas de ope-racin) o U (otros programas de subsidios) que son responsabilidad de una dependencia o entidad de la administracin pblica federal y que estn alineados con alguno de los derechos sociales o con la dimensin del bienestar econmi-co. Lo anterior, de acuerdo con el Inventario de Programas Federales de Desarrollo Social del Consejo.

GLOSARIO


En este documento se presenta la metodologa implementada por el Consejo Nacional de Evaluacin de la Poltica de Desarrollo So-cial (CONEVAL) para aprobar los indicadores de resultados, servicios y gestin de los programas sociales. La aprobacin de indicadores forma parte de las acciones emprendidas por el CONEVAL para ge-nerar un sistema de indicadores que permita que los programas sociales monitoreen el logro de sus objetivos con un enfoque hacia resultados.

El documento se divide en dos partes: la primera presenta los con-ceptos bsicos de la aprobacin de indicadores, cul es su funda-mento normativo y los antecedentes de su creacin, y la segunda se enfoca en cmo se lleva a cabo, al describir las tres etapas que integran el proceso de aprobacin de indicadores y sealar para cada una su objetivo, en qu consiste, qu se valora, los instrumen-tos utilizados para la valoracin, los actores involucrados y su desa-rrollo procedimental.

PRESENTACIN

Primera parte


QU ES LA APROBACIN DE INDICADORES?Es el proceso mediante el cual el CONEVAL establece si los indica-dores de resultados, servicios y gestin de los programas sociales cumplen con los criterios mnimos necesarios para medir los obje-tivos de dichos programas en un punto determinado en el tiempo.

FUNDAMENTO NORMATIVOLa Ley General de Desarrollo Social (LGDS)1 dispone en el artcu-lo 72 que la evaluacin de la poltica de desarrollo social est a cargo del CONEVAL y tiene por objeto revisar peridicamente el cumplimiento del objetivo social de los programas, metas y acciones de la poltica de desarrollo social para que los respon-sables de stos puedan corregirlos, modificarlos, adicionarlos, reorientarlos o suspenderlos de manera total o parcial.

Tambin, el artculo 74 de la misma ley seala que, para la eva-luacin de resultados, los programas sociales debern incluir, de manera invariable, los indicadores de resultados, gestin y servicios para medir su cobertura, calidad e impacto, y el artculo 77 estable-ce que el CONEVAL, antes de aprobar los indicadores, los someter a consideracin de la Secretara de Hacienda y Crdito Pblico (SHCP) y de la Cmara de Diputados, por conducto de la Auditora Superior de la Federacin (ASF), a fin de que emitan las recomen-daciones que estimen pertinentes.

En el mismo sentido, el artculo 76 del Reglamento de la LGDS insti-tuye que el CONEVAL definir los criterios para la elaboracin de los indicadores de resultados, gestin y servicios para medir la cober-tura, calidad e impacto de los programas sociales.

ANTECEDENTES DE LA APROBACIN DE INDICADORESAdems de tener un fundamento normativo, la aprobacin de indicadores apoya la iniciativa del CONEVAL de contar con un sistema de indicadores de los programas sociales que proporcio-ne informacin objetiva, oportuna y confiable para monitorear los resultados alcanzados por stos.

1 Diario Oficial de la Federacin, 20 de enero de 2004. ltima reforma 7 de noviembre de 2013.


En 2006, el CONEVAL realiz un diagnstico mediante el cual se identific que a pesar de existir una normativa que estableca que los programas sociales (con reglas de operacin) deban tener in-dicadores, los elementos existentes en la materia presentaban cier-ta desarticulacin conceptual y metodolgica, la mayora de los indicadores versaban sobre el ejercicio del gasto o de productos o servicios entregados, no exista un lenguaje comn en materia de indicadores ni tampoco una metodologa estandarizada para su construccin. A lo anterior se sum que el objetivo para el cual para el cual la mayora de estos programas haban sido creados no estaba claramente definido, sino que era un objetivo general o mostraba ambigedad en su planteamiento, lo que dificultaba asignar un indicador que valorara el logro de sus resultados.

Considerando ese diagnstico inicial, el CONEVAL dise un es-quema para que los programas generaran, en un primer mo-mento, indicadores de resultados, servicios y gestin de manera homognea y a la par que se trabajaba en mejorar la definicin de sus objetivos y, posteriormente, conducir a su aprobacin. Este esquema incluy como grandes acciones las siguientes:

Institucionalizacin de la generacin de indicadores. Acompaamiento tcnico en su construccin y mejora. Su aprobacin.

En lo que se refiere a la institucionalizacin, en marzo de 2007 el CONEVAL, junto con la SHCP y la Secretara de la Funcin Pblica (SFP), emiti los Lineamientos generales para la evaluacin de los pro-gramas federales de la administracin pblica federal,2 en los cuales se estableci que los programas federales deban elaborar su Matriz de Indicadores para Resultados (MIR) con base en la Metodologa de Marco Lgico (MML).3

En julio del mismo ao, en coordinacin con la SHCP, el CONEVAL emiti la Metodologa para la elaboracin de la matriz de indicado-res de los programas presupuestarios de la administracin pblica federal, como parte de los Lineamientos generales para el proceso

2 Diario Oficial de la Federacin, 30 de marzo de 2007. Los lineamientos establecieron el marco normativo para las acciones de monitoreo y evaluacin a nivel federal.

3 Con base en experiencias internacionales de pases como Chile, Canad, entre otros, el CONEVAL eligi la Metodologa de Marco Lgico para construir la Matriz de Indicadores para Resultados de los programas.


de programacin y presupuestacin para el ejercicio fiscal 2008.4 Con esto se institucionaliz la generacin de indicadores, adems de que se vincul la MIR de cada programa federal al proceso de planeacin y presupuestacin.

Respecto al acompaamiento tcnico en la construccin de indi-cadores y su mejora, una vez establecida la base normativa, tam-bin en 2007 se inici un proceso de capacitacin y sensibilizacin de los servidores pblicos para elaborar la primera versin de la MIR de los programas a su cargo; lo anterior, con el apoyo de con-sultores expertos del Instituto Latinoamericano de Planificacin Eco-nmica y Social de la Comisin Econmica para Amrica Latina y el Caribe (ILPES-CEPAL).5 Como resultado, se elaboraron las MIR de ms de 130 programas sociales para el ejercicio fiscal 2008.

Desde entonces y de manera permanente, el CONEVAL ha apo-yado los programas y las acciones sociales para mejorar su MIR a travs de asesoras tcnicas, cursos-taller de MML, revisin de indi-cadores, entre otras.

La etapa de aprobacin de indicadores se empez a llevar a cabo casi a la par de los trabajos de mejora de las MIR. Sin embar-go, implic un proceso mucho ms complejo tanto en su diseo como implementacin debido a las diversas aristas que deban considerarse. Por una parte, era necesario definir de modo espec-fico los criterios mnimos que deban cumplir los indicadores para determinar si eran aprobados o no, y por la otra, deba disearse un mecanismo de revisin y anlisis de estos criterios para ms de mil indicadores que fuera lo ms objetivo posible; esto significaba contar no slo con la visin de un evaluador externo, en este caso el CONEVAL, sino tambin con la participacin activa de los encar-gados de operar los programas.

4 Con oficio circular nmero 307-A-1593 del 17 de julio de 2007, la SHCP emiti los Lineamientos generales para el proceso de programacin y presupuestacin para el ejercicio fiscal 2008, los cuales establecen las directrices del proceso de programacin y presupuestacin para el prximo ejercicio fiscal con un enfoque de gestin para resultados. Como anexo de los lineamientos, se incluyeron las disposiciones generales para la creacin de las matrices de indicadores de los programas presupuestarios, as como su vinculacin con el proceso presu-puestario y el sistema de evaluacin del desempeo.

5 El ILPES-CEPAL, en 2004, era el organismo latinoamericano con mayor experiencia en la apli-cacin de la MML en programas y contaba con herramientas de capacitacin; en 2004, este mismo organismo public el documento metodolgico desarrollado con el fin de apoyar la aplicacin de la MML en pases latinoamericanos (http://www.eclac.cl/publicaciones/xml/4/20664/boletin15.pdf).


Asimismo, debido a que el artculo 77 seala que antes de aprobar los indicadores el CONEVAL debe someterlos a consideracin de la SHCP y la Cmara de Diputados, por conducto de la ASF, se de-ba considerar tambin la emisin de recomendaciones de estos actores; por lo tanto, definir cmo llevar a cabo la aprobacin era un reto an mayor. Al respecto, el CONEVAL se haba coordinado previamente con la SHCP para la emisin de normativa en el tema de evaluacin e indicadores y para la capacitacin de los servido-res pblicos en 2007, por lo que se continuaron los trabajados con dicha rea con la intencin de aprobar los indicadores.

En cuanto a la ASF, como un primer paso para contar con su partici-pacin, el CONEVAL se puso en contacto con la Auditora Especial de Desempeo, rea a cargo de las auditoras sobre el desempe-o de polticas pblicas, programas de gobierno, programas pre-supuestarios, proyectos especiales, polticas y estrategias generales a las que se refiere el Presupuesto de Egresos de la Federacin,6 para invitarla a formar parte del proceso de aprobacin. Derivado de esto, en enero y febrero de 2008 se capacit a los servidores p-blicos de esta rea en MML con la finalidad de que la emisin de recomendaciones por parte de la ASF se realizara con base en el mismo marco conceptual y metodolgico que utilizan el CONEVAL y la SHCP, y de este modo se avanzara en una misma lnea hacia la mejora de los indicadores de los programas sociales.

Se debe sealar que el CONEVAL, durante 2008 y 2009, realiz una investigacin documental en el tema de aprobacin de indicado-res; no obstante, no se identific evidencia nacional o internacio-nal sobre un concepto o mecanismo de aprobacin. Ante ello, y teniendo en cuenta los aspectos mencionados, el CONEVAL desa-rroll un proceso para validar los indicadores, el cual se describe en la siguiente seccin de este documento.

6 Reglamento Interior de la Auditora Superior de la Federacin, Diario Oficial de la Federacin, 29 de abril de 2013.

Segunda parte


METODOLOGA PARA LA APROBACIN DE INDICADORES DE LOS PROGRAMAS SOCIALES

Consideraciones iniciales de la aprobacin de indicadoresLa aprobacin de indicadores es el proceso mediante el cual el CONEVAL establece si los indicadores de resultados, servicios y ges-tin de los programas sociales cumplen con los criterios mnimos necesarios para medir los objetivos de dichos programas en un punto determinado en el tiempo.

Programas presupuestarios sujetos al proceso de aprobacin stos son los programas sociales del Inventario CONEVAL de

Programas y Acciones Federales de Desarrollo Social, inclui-dos en el Programa Anual de Evaluacin del ejercicio fiscal correspondiente.

Qu se aprueba? Se aprueban los indicadores de la MIR registrada ante la SHCP

para el ejercicio fiscal correspondiente. El dictamen se emite sobre el conjunto de indicadores, es decir, no se aprueban indicadores de manera individual. Asimismo, la aprobacin no implica la aprobacin de la MIR ni de ningn otro aspecto del programa; nicamente de los criterios mnimos de sus in-dicadores.

Es necesario mencionar que las modificaciones realizadas a los in-dicadores de resultados, servicios y gestin, como parte de su pro-ceso de aprobacin, son responsabilidad nica de los operadores de los programas sociales.

En la tabla 1 se presenta la equivalencia en la nomenclatura con que se distinguen los indicadores de la MIR en la Ley Federal de Presupuesto y Responsabilidad Hacendaria7 (LFPRH) y en la LGDS segn su nivel de objetivo.

7 Diario Oficial de la Federacin, 30 de marzo de 2006. ltima reforma 24 de enero de 2014.


Actores involucrados En el proceso de aprobacin participan servidores pblicos

responsables del programa social correspondiente, de la Unidad de Evaluacin de la coordinadora de sector, del CONEVAL, la SHCP, la ASF, expertos temticos en las pro-blemticas que atienden los programas sociales, expertos estadsticos, as como otros involucrados que el CONEVAL considere pertinente invitar.

Etapas de la aprobacin de indicadoresEl proceso de aprobacin de indicadores consta de tres etapas. En las primeras dos se analiza si los indicadores cumplen con cier-tos criterios y la etapa final consiste en la emisin del dictamen de aprobacin por parte del CONEVAL.

Tabla 1. Equivalencia de la nomenclatura de indicadores

LGDS MIR LFPRH

ResultadosFin

EstratgicosPropsito

Bienes y servicios ComponentesGestinGestin Actividades

Diagrama 1. Etapas de la aprobacin de indicadores

Fuente: CONEVAL, 2013.

1. Valoracin integral de indicadores de resultados, servicios y gestin

Informacin a la ASF y SHCP

Comentarios de la ASF y SHCP

2. Valoracin especfica de los indicadores de resultados

3. Emisin del dictamen de aprobacin de indicadores

En cuanto a los criterios analizados en las etapas 1 y 2, hay que destacar que stos corresponden a criterios mnimos determinados por el CONEVAL, como aquellos que deben cumplir los indicadores para garantizar que aporten informacin del logro del objetivo al cual se encuentran asociados. Sin embargo, es necesario aclarar que no son criterios nicos; la bibliografa especializada propone


otros criterios deseables que pueden ser retomados para la cons-truccin y revisin de indicadores. En el anexo A se presenta un resumen de algunos de estos criterios.

En el diagrama 1 tambin se hace referencia a las actividades de envo y recepcin de informacin a la Cmara de Diputados, por conducto de la ASF, y a la SHCP. Al respecto, el CONEVAL enva las MIR y los indicadores de los programas sociales sujetos al proceso de aprobacin a estas instancias para que emitan las recomenda-ciones que consideren pertinentes, de acuerdo con lo establecido en el artculo 77 de la LGDS. Es conveniente aclarar que para opti-mizar este proceso y evitar remitir la misma informacin cada ao, nicamente se enva la informacin de los programas creados en el actual ejercicio fiscal y la de aquellos que tuvieron cambios sus-tanciales en su MIR o indicadores.

El CONEVAL podr considerar en los anlisis de los indicadores de los programas de desarrollo social las recomendaciones y los an-lisis que realicen la SHCP y la Cmara de Diputados por conducto de la ASF. Asimismo, estas recomendaciones son enviadas a los pro-gramas sociales para su consideracin.

Etapa 1. Valoracin integral de indicadores de resultados, servicios y gestin

Elementos para llevar a cabo la valoracin integralEn esta etapa se determina si los indicadores de resultados, servicios y gestin de un programa social cumplen con los criterios mnimos de diseo: relevancia, adecuacin, claridad y monitoreabilidad.

Estos criterios se eligieron debido a que se refieren a aspectos esen-ciales que debe cumplir cualquier indicador sin importar si es de resultados, servicios o gestin, por lo que puede decirse que son cri-terios bsicos aplicables a todo el conjunto de indicadores de los programas sociales del Gobierno Federal. A continuacin se descri-be en qu consiste cada criterio y posteriormente se presenta un ejemplo de cuando un indicador cumple con stos o no.

RelevanciaUn indicador es relevante cuando aporta informacin de al me-nos un factor relevante del objetivo al cual se encuentra asocia-do, es decir, debe estar definido sobre algn aspecto importante con sentido prctico. Esto implica, adems, que en el indicador


se especifique al menos una meta acorde con su frecuencia de medicin y que est construido como la relacin de dos o ms variables.

AdecuacinUn indicador es adecuado cuando aporta la informacin suficien-te para emitir un juicio terminal y homogneo respecto del desem-peo del programa, es decir, que distintos actores pueden llegar a conclusiones similares al interpretar el indicador. Lo anterior implica que las metas anuales y sexenales sean congruentes con el senti-do del indicador (ascendente o descendente) y que su dimensin (eficiencia, eficacia, calidad o economa) sea consistente con los conceptos de la MML.

ClaridadUn indicador es claro cuando no existen dudas acerca de qu es lo que busca medir. Esto implica que el nombre del indicador sea au-toexplicativo y acorde con el mtodo de clculo, que la frecuencia de medicin y la unidad de medida entre las variables que integran el mtodo de clculo sean consistentes y que la descripcin de di-chas variables permita a cualquier actor comprender a qu se refie-ren los trminos y conceptos usados.

MonitoreabilidadUn indicador es monitoreable si la informacin de sus medios de verificacin es precisa e inequvoca. Esto implica que se conozcan el valor de la lnea base del indicador y los datos precisos para ubicar dnde es posible consultar el medio de verificacin, y que la periodi-cidad con la cual ste se actualiza sea consistente con la frecuencia de medicin del indicador.

Ejemplo de cumplimiento de criteriosEn la tabla 2 se presenta un objetivo y dos posibles indicadores para medir su cumplimiento.


En la tabla 3 se presenta la valoracin del cumplimiento de criterios de los indicadores propuestos en la tabla 2.

Tabla 2. Ejemplo de objetivo y propuestas de indicadores

Objetivo

Objetivo: Alumnos de instituciones pblicas de educacin superior que pertenecen a familias con ingreso inferior a la Lnea de Bienestar concluyen el nivel educativo

Indicador 1 Indicador 2

Nombre del indicador Nombre del indicador

Becas otorgadas a alumnos Porcentaje de alumnos apoyados que concluyen sus estudios respecto al total de apoyados

Mtodo de clculo Mtodo de clculo

(# de alumnos apoyados en el ao t / # de becas programadas a entregar en el ao t) * 100

(# de alumnos apoyados en el ao t-5 que concluyen sus estudios en el ao t / # de alumnos apoyados en el ao t-5) * 100

Frecuencia de medicin Frecuencia de medicin

Anual Anual

Medio de verificacin Medio de verificacin

Registros administrativosReporte de eficiencia terminal de alumnos apoyados. Actualizado anualmente por la Direccin de Seguimiento Institucional

Dimensin Dimensin

Eficiencia Eficacia

Lnea base Ao de lnea base Lnea base Ao de lnea base

100% 2013 65% 2013

Meta del periodo Meta

100% (meta anual) 75% (meta anual)

Meta sexenal Meta sexenal

85% 90%

Sentido del indicador Sentido del indicador

Ascendente Ascendente



Tabla 3. Ejemplo de valoracin de los criterios de diseo: relevancia, adecuacin, claridad y monitoreabilidad

Criterio IndicadorCumple

el criterio?

Por qu s o por qu no?

El indicador es relevante?

Indicador 1 No

El factor relevante del objetivo es la conclusin de la educacin superior; as, el indicador debe dar cuenta de este resultado. En este caso, el indicador mide las becas entregadas, lo cual no aporta informacin sobre dicha conclusin, por lo que el indicador no es relevante para el objetivo planteado.

Indicador 2 SEl indicador proporciona informacin sobre los alumnos que concluyen sus estudios, lo cual mide el factor relevante de conclusin de la educacin superior.

El indicador es adecuado?

Indicador 1 No

Si el valor de la lnea base es del 100% y el sentido del indicador es ascendente, se esperara que tanto la meta anual como la sexenal fueran al menos del mismo valor que la lnea base, pero no menores que sta. Asimismo, dado que el indicador mide lo programado frente a lo realizado, mide el cumplimiento; por lo tanto, es un indicador de eficacia y no de eficiencia.Lo anterior no permite emitir un juicio terminal y homogneo acerca del desempeo del programa debido a que no es posible valorar si ste fue bueno o no; distintos actores pueden llegar a conclusiones distintas.

Indicador 2 S

Si el valor de la lnea base es de 65% y el sentido del indicador es ascendente, entonces se esperara que tanto la meta anual como la sexenal fueran al menos del mismo valor que la lnea base; en este caso, la meta anual es de 75% y sexenal de 90%; por lo tanto, son congruentes.El indicador mide el cumplimiento, por lo que efectivamente es un indicador de eficacia.

El indicador es claro?

Indicador 1 No

El nombre del indicador no es autoexplicativo debido a que no especifica que el mtodo de clculo es un porcentaje, adems de que slo se expresa como becas otorgadas, lo cual no forma parte de las variables del mtodo de clculo.Por otra parte, las unidades de medida entre el numerador y el denominador no son coherentes. Dado que se busca medir un porcentaje, la unidad de medida del numerador y denominador debe ser la misma. En este caso, el numerador mide alumnos y el denominador, becas.

Indicador 2 S

El nombre del indicador es autoexplicativo porque especifica que se mide un porcentaje y expresa las variables que se establecen en el mtodo de clculo alumnos apoyados que concluyen respecto al total de apoyados.La frecuencia de medicin del numerador es coherente con la del denominador. Asimismo, stos miden alumnos, por lo que la unidad de medida es consistente con el mtodo de clculo de un porcentaje.

El indicador es monitoreable?

Indicador 1 NoEn este caso no es posible valorar los medios de verificacin, ya que slo se plantean como registros administrativos.

Indicador 2 S

Se establece que el reporte de eficiencia terminal de alumnos apoyados es anual, por lo que es consistente con la frecuencia de medicin del indicador. Asimismo, se indica el rea a cargo de la informacin y la periodicidad con que se actualiza.



Como se observa en el ejemplo anterior, la valoracin de los criterios de diseo no es una tarea sencilla, especialmente si se considera que debe replicarse para el conjunto de cerca de 1,500 indicadores de los programas sociales. Adems, para analizar el indicador es necesario conocer y examinar tambin el objetivo al cual se en-cuentra asociado, ya que si ste presenta alguna inconsistencia, por ejemplo que tenga poca claridad en su planteamiento, o contiene mltiples objetivos, la tarea de asignarle un indicador se vuelve ms compleja, lo que puede ocasionar que el indicador elegido no cumpla con uno o ms de los criterios.

Tomando en cuenta lo anterior, para simplificar y sistematizar el anlisis del cumplimiento de los criterios de diseo, el CONEVAL de-sarroll dos instrumentos de apoyo metodolgico (stos se presen-tan en el anexo B):

La ficha de evaluacin de la Matriz de Indicadores para Re-sultados (ficha MIR).

La ficha de evaluacin de indicadores (ficha indicadores).

Estas fichas de evaluacin se componen de reactivos binarios (s/no) que identifican si la MIR y los indicadores de un programa po-seen ciertas caractersticas; con la ficha MIR se analiza el resumen narrativo, indicadores, medios de verificacin y supuestos en su conjunto para determinar si la MIR cumple con los aspectos meto-dolgicos de la MML y con la normativa aplicable. Por su parte, la ficha de indicadores analiza, para cada uno de los indicadores, si stos son relevantes, adecuados, claros y monitoreables. Hay que mencionar que estos instrumentos han sido validados estadstica-mente por un consultor externo experto en la elaboracin de instru-mentos de medicin.

En la validacin estadstica llevada a cabo se revisaron las pro-piedades mtricas de las herramientas de revisin y se conclu-y que no se requieren ajustes o modificaciones a sus elementos, ya que todos ellos trabajan en conjunto y dentro las expectativas del modelo mtrico. Asimismo, en cuanto a las propiedades mtricas de las herramientas de revisin de los indicadores para 2013, se de-termin que stas presentan las mejores propiedades mtricas obtenidas hasta ahora, por lo que se sugiri continuar emplen-dola. Para mayor detalle del desarrollo de la validacin, vase el anexo C.


La aplicacin de las fichas de evaluacin se efecta de manera sistematizada mediante el Sistema de Revisin de Matriz de Indica-dores para Resultados (SIREMIR), una herramienta informtica de-sarrollada por el CONEVAL que contiene la MIR y las fichas tcnicas de cada uno de los indicadores de los programas y las acciones sociales del ejercicio fiscal correspondiente, as como las fichas de evaluacin.

Este ejercicio permite identificar las oportunidades de mejora tanto de la MIR en su conjunto como de cada indicador de manera in-dividual. Asimismo, dado que las fichas son instrumentos homog-neos, es posible comparar los resultados obtenidos entre programas y conocer su evolucin respecto de las valoraciones integrales rea-lizadas en aos anteriores. Gracias a estas ventajas, y para tener un diagnstico global de todas las intervenciones en materia social, en la valoracin integral se consideran todos los programas sociales, es decir, tanto los que se encuentran en proceso de aprobacin de sus indicadores como los que ya cuentan con dicha aprobacin; tam-bin se incluyen las acciones sociales (programas presupuestarios con clasificacin presupuestaria E y B), aun cuando stas no estn sujetas a la aprobacin de sus indicadores por el momento.

La valoracin integral se lleva a cabo bienalmente. En el caso de los programas sociales creados en un ao para el cual no se tenga programada la valoracin integral, el CONEVAL podr ejecutarla en dicho ao. Asimismo, en esta valoracin podr considerar los pro-gramas que tuvieron cambios sustanciales en su MIR o indicadores, as como otros programas o acciones sociales que crea pertinente.

En el diagrama 2 se presenta un resumen de los elementos de la etapa de la valoracin integral de indicadores de resultados, servi-cios y gestin.


Pasos de la valoracin integral de indicadores de resultados, servicios y gestin

De acuerdo con lo anterior, la valoracin integral sigue los pasos que se detallan a continuacin:

1. Aplicacin de fichas de evaluacin. El CONEVAL utiliza la ficha MIR en cada programa y la ficha indicadores en cada uno de los indicadores contenidos en su MIR mediante el SIREMIR.

2. Elaboracin de productos. Con la aplicacin de las fichas, el CONEVAL genera los siguientes productos:

Reporte de la ficha MIR. Contiene comentarios y sugerencias de mejora del diseo de la MIR con base en las oportunida-des de mejora identificadas durante la implementacin de la citada ficha. Se elabora un reporte para cada programa y accin social valorados.

Reporte de la ficha de indicadores. Contiene comentarios y sugerencias de mejora para los indicadores, especfica-mente de los criterios de relevancia, adecuacin, claridad y monitoreabilidad, con base en las oportunidades de mejora

Objetivo de la valoracin integral

Instrumentos que usa el CONEVAL para hacer la

valoracin

Determinar si los indicadores de resultados, servicios y gestin de un programa social cumplen con los criterios mnimos de diseo.

1. Ficha MIR2. Ficha indicadoresEstos instrumentos se aplican mediante el SIREMIR.

1. Relevancia2. Adecuacin3. Claridad4. Monitoreabilidad

1. Reporte de la ficha MIR 2. Reporte de la ficha de

indicadores3. Diagnstico de las matrices

de indicadores para resultados

4. Diagnstico de las matrices de indicadores para resultados por dependencia

Se toman como referencia los programas y las acciones sociales del Inventario CONEVAL de Programas y Acciones Federales de Desarrollo Social, incluidos en el Programa Anual de Evaluacin del ejercicio fiscal correspondiente.

La valoracin integral se lleva a cabo bienalmente. No obstante, tambin puede realizarse de manera anual si el CONEVAL lo considera necesario.

Criterios que se valoran en esta etapa

Productos que genera el CONEVAL en la valoracin

integral

Programas presupuestarios que forman parte de la valoracin

integral

Periodicidad con que se realiza la valoracin integral

Diagrama 2. Elementos de la valoracin integral de indicadores de resultados, servicios y gestin



identificadas durante la implementacin de la citada ficha. Se elabora un reporte para cada uno de los indicadores de cada programa y accin social valorados.

Diagnstico de las matrices de indicadores para resulta-dos. Contiene un anlisis global de todas las MIR de los programas y las acciones sociales incluidos en la valora-cin integral.

Diagnstico de las matrices de indicadores para resultados por dependencia. Contiene un anlisis acotado nicamen-te a las MIR de los programas y las acciones sociales de una dependencia que fueron considerados en la valoracin in-tegral. Se elabora uno por cada dependencia de la admi-nistracin pblica federal.

Estos diagnsticos contienen una clasificacin de las MIR de los programas y las acciones sociales analizados; dicha cla-sificacin representa el estado general en que se encuen-tran las MIR tomando en cuenta tanto su diseo como sus indicadores. De acuerdo con los resultados de la implemen-tacin de las fichas de evaluacin, la MIR de un programa puede ser clasificada en una de las siguientes categoras:

o Matrices con diseo destacado. Cuentan con un diseo consistente en la alineacin de sus objetivos y en la cons-truccin de sus indicadores. Pueden necesitar algunos cambios menores de forma en sus objetivos o indicado-res, pero esto no implica un rediseo de ningn aspecto.

o Matrices con diseo adecuado. MIR en proceso de con-solidacin en las cuales es conveniente precisar mejor la alineacin de sus objetivos o adecuar algunos de sus indicadores. Puede requerir cambios menores en la es-tructura para fortalecer su lgica vertical y horizontal.

o Matrices con diseo moderado. MIR que deben mejorar el planteamiento de sus objetivos de manera que reflejen apropiadamente los logros que pretenden alcanzar, por lo que es necesario que realicen ajustes al diseo de sus objetivos. Respecto a los indicadores, se debe mejorar su relevancia para el monitoreo de los objetivos a los que se asocian.

o Matrices con diseo con oportunidad de mejora. MIR que presentan problemas en la lgica vertical y se ven amenazadas por la indefinicin de los objetivos. Requie-ren cambios significativos para fortalecer la coherencia del diseo.


Adems de este anlisis global, los diagnsticos contienen tambin un anlisis del diseo y de los indicadores de las MIR por separado, para los cuales se identifican los principales avances y retos. Esto permite, por ejemplo, que una vez que se ha conocido la categora en que se encuentra clasificado un programa o una accin, sea posible identificar si los retos en los que debe trabajar para mejorar su clasificacin se ubi-can, en mayor medida, en su diseo o en sus indicadores.

Tambin, los diagnsticos presentan un anlisis de la evolu-cin de las MIR de los programas y las acciones sociales que han tenido una valoracin integral en aos anteriores, de ma-nera que es posible identificar en qu reas se ha avanzado y cules son los retos que han perdurado en el tiempo.

Por ltimo, los diagnsticos por dependencia presentan una ficha de resumen para cada programa analizado, la cual contiene informacin general del programa, el anlisis de su diseo, indicadores y evolucin, si es el caso, as como los principales retos para la consolidacin de sus herramientas de monitoreo.

3. Envo de productos a actores involucrados. Cada producto es dirigido a la Unidad de Evaluacin de la coordinadora de sec-tor correspondiente para que sta, a su vez, lo remita tanto a los programas a fin de que sea considerado para mejorar sus indicadores como a los actores que el CONEVAL crea pertinen-te. Asimismo, los productos son publicados en la seccin de In-dicadores de programas sociales de la pgina de internet del CONEVAL.8

De acuerdo con la clasificacin obtenida por los programas, el CONEVAL identifica las oportunidades de mejora de cada pro-grama y determina acciones de capacitacin o asesora que po-dran recibir para atender estas oportunidades y seguir avanzando en la aprobacin de sus indicadores.

Los programas cuya MIR fue clasificada con un diseo destacado o adecuado son prioritariamente seleccionados para ser incluidos en la siguiente etapa del proceso de aprobacin de indicadores.

8 http://www.coneval.gob.mx/evaluacion/Paginas/Evaluacion.aspx >> Indicadores de progra-mas sociales.


Etapa 2. Valoracin especfica de indicadores de resultados

Elementos para la valoracin especficaEn esta etapa se determina si los indicadores de resultados de un programa, es decir, los indicadores de fin y propsito de su MIR, cumplen con los criterios mnimos de consistencia. stos son perti-nencia temtica y factibilidad tcnica.

Estos criterios se eligieron debido a que comprenden aspectos con-ceptuales y tcnicos que debe cumplir cualquier indicador que busque medir los resultados logrados por un programa social en su poblacin objetivo o rea de enfoque. A continuacin se describe en qu consiste cada criterio y luego se presenta un ejemplo de cundo un indicador cumple con stos o no.

Pertinencia temticaUn indicador es pertinente temticamente cuando aporta de ma-nera efectiva informacin sobre un resultado alcanzado y aborda una temtica de inters sectorial vinculada a los objetivos del pro-grama. Esto implica de modo necesario que el objetivo al cual se encuentra relacionado haga referencia a un resultado, entendido como un cambio permanente en las condiciones de vida y que, adems, dada la temtica que atiende el programa, el indicador sea una buena aproximacin para medir el cumplimiento de su objetivo.

Factibilidad tcnicaUn indicador es factible tcnicamente cuando la estructura del mtodo de clculo y los medios de verificacin usados para su construccin son tales que el indicador puede ser estimado de manera efectiva con los recursos (humanos, financieros, materia-les, de informacin, entre otros) con que cuenta el programa. Esto implica, adems, que el indicador no tenga sesgos metodolgicos en su estimacin que puedan ocasionar que no proporcione la informacin que se pretende obtener con su estimacin.

Para que el indicador cumpla con estos criterios, de manera im-plcita, es necesario que previamente cumpla con los criterios de relevancia, adecuacin, claridad y monitoreabilidad.

Ejemplo de cumplimiento de criteriosEn la tabla 4 se presenta un objetivo y dos posibles indicadores para medir su cumplimiento.


En la tabla 5 se presenta la valoracin del cumplimiento de criterios de los indicadores propuestos en la tabla 4.

Tabla 4. Ejemplo de objetivo y propuestas de indicadores


Objetivo

Objetivo: Industrias prioritarias vulnerables a coyunturas econmicas elevan su competitividad

Indicador 1 Indicador 2

Nombre del indicador Nombre del indicador

Competitividad en industrias de consumo bsico Porcentaje de empresas apoyadas que incrementaron sus ventas

Definicin Definicin

Comparacin porcentual anual del precio de bienes producidos con insumos de la industria apoyada contra el precio de bienes producidos con insumos sin apoyo.

Se refiere a la proporcin de empresas apoyadas que vieron incrementada sus ventas despus de dos aos de haber sido apoyadas respecto al total de empresas que fueron apoyadas en el mismo periodo.

Mtodo de clculo Mtodo de clculo

(Precio promedio de bienes producidos con insumos de la industria apoyada/ Precio promedio de bienes producidos con insumos sin apoyo)*100

[Nmero de empresas que fueron apoyadas en el ao t y presentan un incremento en sus ventas en el ao t +2/ Nmero de empresas que fueron apoyadas en el ao t] x 100

Frecuencia de medicin Frecuencia de medicin

Anual Anual

Medio de verificacin Medio de verificacin

Informes de precios Informe anual de resultados del programa, elaborado por la Direccin de Apoyo a Industrias Prioritarias

Dimensin Dimensin

Eficacia Eficacia

Lnea base Ao de lnea base Lnea base Ao de lnea base

87.9% 2012 65% 2012

Meta del periodo Meta

90.04% (meta anual) 75% (meta anual)

Meta sexenal Meta sexenal

Sin informacin 90%

Sentido del indicador Sentido del indicador

Descendente Ascendente


Como se advierte, valorar si un indicador cumple con estos cri-terios es ms complejo que estimar si es relevante, adecuado, claro y monitoreable, ya que se requiere, entre otros aspectos, co-nocimientos especializados tanto en la temtica que atiende el programa como en la construccin del mtodo de clculo ms apropiado.

De acuerdo con lo anterior, para analizar el cumplimiento de es-tos criterios, el CONEVAL utiliza como instrumento de apoyo meto-dolgico la Mesa Tcnica de Revisin de Indicadores (MeTRI), la cual, como su nombre lo indica, consiste en la organizacin de

Tabla 5. Ejemplo de valoracin de los criterios de consistencia:pertinencia temtica y factibilidad tcnica

Criterio IndicadorCumple

el criterio?

Por qu s o por qu no?

El indicador es pertinente temticamente?

Indicador 1 No

El indicador no es pertinente temticamente dado que no mide el resultado que plantea el objetivo: elevar la competitividad. El indicador compara los precios promedio de las industrias apoyadas y no apoyadas para captar variaciones ante coyunturas importantes, lo cual puede ser informacin relevante para el programa; sin embargo, no aporta informacin sobre la competitividad. Existen otros indicadores que pueden estimarse con la informacin que tiene el programa en la actualidad y que pueden dar cuenta en mayor medida del logro del objetivo planteado.

Indicador 2 S

El indicador no mide en forma neta la competitividad; no obstante, establecer un indicador que estime esto representa un costo elevado para el programa, ya que requiere la elaboracin de fuentes de informacin que actualmente no es posible financiar con el presupuesto asignado. Por tanto, dada la informacin con que ahora cuenta el programa, el incremento de las ventas puede considerarse que es una variable proxy de la competitividad.

El indicador es factible tcnicamente?

Indicador 1 No

El indicador no es factible tcnicamente, dado que la informacin acerca de los medios de verificacin y la construccin de las variables usadas en su mtodo de clculo no es suficiente para identificar con precisin qu es lo que mide el indicador y, por tanto, poder replicar su estimacin.Asimismo, no es claro qu bienes se consideran en la medicin, por lo que no es posible determinar si las variaciones en su precio provengan directamente de las acciones realizadas por el programa o se deban a otros factores externos a ste; por ejemplo, un incremento/decremento de la demanda de dichos bienes.

Indicador 2 S

El indicador es factible tcnicamente debido a que su mtodo de clculo y medios de verificacin son tales que el indicador puede ser estimado con la informacin con que cuenta el programa. Adems, puede ser sujeto de una comprobacin independiente.



una mesa de trabajo en la que participan servidores pblicos del CONEVAL, un experto temtico y, en su caso, un experto estads-tico. Asimismo, se invita a servidores pblicos responsables del programa de desarrollo social correspondiente, de la Unidad de Evaluacin de la coordinadora de sector, de la SHCP y de la ASF, as como a otros involucrados que el CONEVAL crea pertinente.

El experto temtico y el estadstico que participan en la MeTRI son seleccionados por el CONEVAL y deben contar con experiencia en evaluacin de programas de desarrollo social y tener conoci-mientos especializados en el sector al cual pertenece el programa a analizar. Asimismo, ser miembros de una institucin acadmica pblica o privada dedicada a la investigacin o la evaluacin de polticas pblicas, o bien, ser consultor privado con las caractersti-cas mencionadas.

En la MeTRI nicamente se analiza un programa social a la vez. sta es moderada por el CONEVAL y se lleva a cabo de la siguiente forma:

1. Los servidores pblicos representantes del programa elaboran una descripcin de la problemtica a solucionar, el objetivo concreto del programa, las caractersticas de la poblacin ob-jetivo y los bienes y servicios que se entregan a la poblacin. Tambin pueden presentar informacin adicional que conside-ren relevante para la revisin de los indicadores de resultados.

2. El experto temtico y el estadstico, en su caso, presentan el anlisis sobre los indicadores de resultados. El experto temtico se enfoca en el anlisis de la pertinencia temtica del indica-dor con base en las siguientes preguntas gua:

El objetivo del programa corresponde a un resultado (cambio permanente en las condiciones de vida)? En caso de no ser as, cmo puede plantearse el objetivo del programa como un resultado dada la temtica sectorial a la cual se vincula?

El indicador mide el logro de un resultado del programa? El indicador mide el logro del objetivo del programa? El indicador es el mejor indicador para medir el objetivo del

programa?, si no, cul sera una mejor aproximacin del in-dicador para mejorar el objetivo del programa?

Qu otros indicadores podran usarse para medir el logro del objetivo del programa o para complementar la medicin realizada por el indicador actual?


Por su parte, el experto estadstico se centra en analizar si el indi-cador es factible tcnicamente con base en las siguientes pre-guntas gua:

El mtodo de clculo del indicador permite que ste pueda ser estimado con los recursos con que cuenta el programa? De no ser as, qu modificaciones deben hacerse para que el indicador pueda ser valorado?

Los medios de verificacin del indicador pueden ser obteni-dos con los recursos con que cuenta el programa? De no ser as, cules son los medios de verificacin que puede usar el programa?

El indicador presenta sesgos en su construccin, por ejem-plo, en las variables usadas, que ocasionan que proporcione informacin distinta de la que se pretende medir? En caso de ser as, qu modificaciones deben hacerse para eliminar dichos sesgos?

Es necesario mencionar que el experto temtico y el estadsti-co, en su caso, pueden retomar el anlisis de los criterios mni-mos de diseo estimados en la etapa de valoracin integral de indicadores de resultados, servicios y gestin.

3. Los representantes del programa podrn emitir su opinin sobre los comentarios del experto temtico y estadstico.

4. Los dems participantes podrn emitir su opinin sobre los indi-cadores analizados.

La MeTRI, como instrumento de apoyo metodolgico, ha sido vali-dada tcnicamente por un consultor externo experto en el anlisis de indicadores. Dentro de este anlisis se concluy que la MeTRI es una valiosa aportacin del CONEVAL a la revisin de indicadores de cualquier intervencin pblica. Asimismo, a la fecha no se ha encon-trado evidencia de casos internacionales en los que se lleve a cabo este tipo de revisin de indicadores con los actores involucrados. Por tanto, la MeTRI es una innovacin en materia de monitoreo que pu-diera ser replicada a nivel subnacional e internacional. En el anexo C se ofrecen ms detalles de esta valoracin.

La valoracin especfica se lleva a cabo anualmente. Los progra-mas cuya MIR fue clasificada con un diseo destacado o adecua-do en la etapa de valoracin integral son prioritariamente seleccio-nados para ser incluidos en esta etapa.


La valoracin especfica se aplica de manera prioritaria a los indi-cadores de resultados, una vez concretada la etapa de valoracin integral. Sin embargo, tambin puede utilizarse en los indicadores de servicios o gestin cuando el CONEVAL lo considere pertinente.

En el diagrama 3 se incluye un resumen de los elementos de la eta-pa de la valoracin especfica de indicadores de resultados.

Diagrama 3. Elementos de la valoracin especfica de los indicadores de resultados


Objetivo de la valoracin integral


valoracin

Determinar si los indicadores de resultados, servicios y gestin de un programa social cumplen con los criterios mnimos de diseo.

1. Mesa Tcnica de Revisin de Indicadores. Es moderada por el CONEVAL.

1. Pertinencia temtica.2. Factibilidad tcnica.

1. Informe de Mesa Tcnica de Revisin de Indicadores de Resultados.

2. Resolucin para dictamen de aprobacin.

Programas sociales que han participado en la valoracin integral. Los programas cuya MIR fue clasificada con un diseo destacado o adecuado en dicha etapa son prioritariamente seleccionados para ser incluidos en la valoracin especfica.

La valoracin especfica se lleva a cabo anualmente.


Productos que genera el CONEVAL en la valoracin

especfica

Programas presupuestarios que forman parte de la valoracin

integral

Periodicidad con la que se realiza la valoracin especfica

De acuerdo con lo anterior, la valoracin especfica sigue los pasos que se detallan a continuacin:

1. Seleccin de programas para la valoracin especfica de indi-cadores de resultados. Con base en los resultados de la valo-racin integral, se determinan los programas cuyos indicadores de resultados se analizarn en la MeTRI.

2. El CONEVAL convoca y lleva a cabo la sesin de la MeTRI con la participacin de todos los involucrados.

3. A partir de las aportaciones y sugerencias de los participantes de la MeTRI, el CONEVAL integra el Informe de Mesa Tcnica de Revisin de Indicadores de Resultados (Informe de MeTRI) preliminar, el cual es enviado a los responsables del programa mediante la Unidad de Evaluacin de la coordinadora de sec-tor correspondiente.


4. Una vez recibido el informe de la MeTRI preliminar, el programa enva al CONEVAL, a travs de la Unidad de Evaluacin de la coordinadora de sector correspondiente, lo siguiente:

Comentarios al informe de la MeTRI preliminar. Posicin institucional sobre el contenido del informe de la

MeTRI preliminar y las sugerencias de modificacin. Plan de trabajo de atencin a sugerencias de modificacin

o ajuste, en el que se especifican las sugerencias que sern atendidas, las acciones que se emprendern para ello, el pla-zo de su realizacin y el rea responsable de su ejecucin.

5. Una vez recibida la informacin anterior, el CONEVAL integra el informe de la MeTRI final, que es enviado de nuevo al programa y a los involucrados que el CONEVAL considere pertinente. En este informe se anexa, en su caso, el anlisis de los indicadores elaborado por la SHCP y la ASF.

Etapa 3. Emisin del dictamen de aprobacin de los indicadores

Elementos para la emisin del dictamenEn esta etapa se emite el dictamen de aprobacin de los indica-dores de los programas sociales, el cual puede ser alguno de los siguientes:

1. Aprobacin directa. Los indicadores cumplen con los criterios mnimos necesarios en materia de diseo y consistencia para medir los objetivos del programa social.

2. Aprobacin condicionada. Los indicadores requieren modifica-ciones menores para cumplir con los criterios mnimos necesa-rios en materia de diseo y consistencia para medir los objetivos del programa social.

3. An no cumple con criterios mnimos. Los indicadores an no cumplen con los criterios mnimos de diseo y consistencia; re-quieren cambios para que puedan medir los objetivos del pro-grama social.

La emisin del dictamen de aprobacin se efecta anualmente una vez concretadas las etapas 1 y 2. Todos los programas sociales sujetos al proceso de aprobacin de indicadores que han parti-cipado en al menos una de las dos primeras etapas, ya sea en el ejercicio fiscal actual o de aos anteriores, reciben un dictamen de aprobacin.


En el diagrama 4 se presenta un resumen de los elementos de la etapa de emisin del dictamen de aprobacin de los indicadores.

Diagrama 4. Elementos de la emisin del dictamen de aprobacin de los indicadores


Objetivo de emisin del dictamen

Instrumentos que usa el CONEVAL para emitir

el dictamen

Emitir el dictamen de aprobacin de los indicadores de los programas sociales.

N/A

N/A

3. Dictamen de aprobacin de indicadores

Programas sociales sujetos al proceso de aprobacin que han participado en al menos una de las dos primeras etapas de la aprobacin.

El CONEVAL emite el dictamen de aprobacin de indicadores anualmente.


Productos que genera el CONEVAL en la emisin del

dictamen

Programas presupuestarios que reciben dictamen de aprobacin

Periodicidad con la que se emite el dictamen de

aprobacin

De acuerdo con lo anterior, los pasos para la emisin del dictamen de aprobacin son los siguientes:

1. Con base en los resultados de las etapas 1 y 2 y, en su caso, en las modificaciones realizadas por los programas a los indica-dores durante estas etapas, el CONEVAL elabora una propues-ta de dictamen de aprobacin para los indicadores de cada programa sujeto al proceso de aprobacin. Esta propuesta puede ser: aprobacin directa, aprobacin condicionada o an no cumple con criterios mnimos.

2. El CONEVAL integra un informe de aprobacin de los progra-mas de desarrollo social con la propuesta de dictamen de aprobacin de los indicadores y la descripcin de las acciones ejecutadas en las etapas 1 y 2.

3. El informe es presentado a la Comisin Ejecutiva del CONEVAL para su acuerdo.

4. Una vez que el informe ha sido acordado por la Comisin Ejecu-tiva, se expone ante el rgano de gobierno del CONEVAL para su aprobacin.

5. Cuando el rgano de gobierno emite el dictamen de aproba-cin de los indicadores, el CONEVAL notifica su estatus de apro-


bacin a los programas mediante la Unidad de Evaluacin del Desempeo.

Los programas con dictamen de aprobacin condicionada debe-rn realizar las adecuaciones sugeridas para consolidar el diseo de sus indicadores. Una vez concretado esto, el CONEVAL solicitar a su rgano de gobierno el cambio de dictamen de aprobacin condicionada a aprobacin directa.

Los programas cuyo dictamen sea an no cumple con criterios m-nimos continuarn en el proceso de aprobacin y sern sujetos a un esquema de mejora en el diseo de sus indicadores con base en los resultados de la valoracin integral y, en su caso, de la valo-racin especfica. Los programas podrn solicitar capacitacin o asesora tcnica al CONEVAL por medio de la Unidad de Evalua-cin de la coordinadora de sector.

El CONEVAL monitorear de manera peridica los ajustes que ha-gan los programas con dictamen de aprobacin directa o condi-cionada a su MIR e indicadores.

Incorporacin, modificacin y eliminacin de indicadores aprobados Los programas sociales con un dictamen de aprobacin directa o condicionada que incorporen, eliminen o modifiquen indicadores de su MIR debern informar al CONEVAL, mediante la Unidad de Evaluacin de la coordinadora de sector, los cambios realizados tanto en la MIR como en los indicadores y la justificacin de stos.

El CONEVAL, a su vez, determinar una resolucin sobre el dictamen de aprobacin emitido previamente a los indicadores del progra-ma, la cual podr ser una de las siguientes:

Se mantiene su estatus de aprobacin. Si los criterios de di-seo y consistencia con los que cumplen los indicadores se conservan.

Se modifica su estatus de aprobacin. Si los criterios de di-seo y consistencia con los que cumplen los indicadores se modifican y se puede pasar de aprobacin condicionada a aprobacin directa o viceversa.

Se revoca su aprobacin. Si los indicadores ya no cumplen con los criterios de diseo y consistencia.


Vale la pena mencionar que en caso de que el CONEVAL lo con-sidere pertinente, o por solicitud del programa, a travs de la Uni-dad de Evaluacin de la coordinadora de sector, se podrn llevar a cabo actividades de capacitacin o asesora tcnica antes de someter los cambios a la MIR y a sus indicadores.

Alcances de la aprobacin de indicadoresEn la aprobacin de indicadores es necesario tener en cuenta lo siguiente para comprender sus alcances:

La aprobacin de indicadores es el proceso mediante el cual el CONEVAL establece si los indicadores de resultados, servi-cios y gestin de los programas sociales cumplen con los cri-terios mnimos necesarios para medir los objetivos de dichos programas en un punto determinado en el tiempo. En este sentido, la aprobacin de indicadores no es una evaluacin completa de los indicadores en s misma.

Las etapas de la aprobacin se llevan a cabo mediante traba-jo de gabinete con la participacin de diversos actores; para ello se utilizan, principalmente, los documentos referentes a la MIR y las fichas de los indicadores registrados ante la SHCP en el ejercicio fiscal correspondiente. En la etapa de valora-cin especfica de indicadores de resultados podrn utilizar-se otros documentos que los programas estimen necesarios para el anlisis de los indicadores.

Si bien el anlisis se centra en examinar los criterios que cumplen los indicadores, la aprobacin incluye de manera implcita un anlisis de la lgica causal del diseo del pro-grama, ya que en algunos casos, para poder determinar si los indicadores cumplen con los criterios considerados en la aprobacin, es preciso tambin conocer en profundidad el objetivo al cual se encuentran vinculados.

El anlisis de las metas y las lneas base de los indicadores rea-lizado en la aprobacin se dirige a valorar si stas son consis-tentes con su frecuencia de medicin, el sentido del indicador y la meta sexenal planteada. La valoracin de la pertinencia de las metas establecidas, su cumplimiento, as como la veraci-dad del clculo de la lnea base y la meta alcanzada se lleva a cabo en otros instrumentos del CONEVAL.

Asimismo, en el caso de los medios de verificacin para cons-truir los indicadores, el anlisis centra su inters en que stos


se encuentren claramente identificados, que sean consisten-tes con lo que el indicador busca medir y que estn disponi-bles para el programa con los recursos que posee. Se omite de la aprobacin el anlisis de los microdatos usados para disear las variables con que se estima el indicador.

Por ltimo, es necesario mencionar que la aprobacin no im-plica la aprobacin de la MIR ni de ningn otro aspecto del programa; nicamente de sus indicadores.


Bond, T. G. y Ch. M. Fox (2001). Applying the Rasch Model: Fundamental Measure-ment in the Human Sciences. Nueva Jersey: Erlbaum.

Consejo Nacional de Evaluacin de la Polti-ca de Desarrollo Social (CONEVAL) (s.f.). Indicadores de programas sociales. Mxico. Consultado en mayo de 2014 en http://www.coneval.gob.mx/evalua-cion/Paginas/Evaluacion.aspx

DANE (2012). Introduccin al diseo, construc-cin e interpretacin de indicadores. Colombia. Consultado en mayo de 2014 en https://www.dane.gov.co/files/sen/planificacion/cuadernillos/Introduc-cionDisenoConstruccionInterpretacio-nIndicadoresWeb.pdf

Diario Oficial de la Federacin (2004, 20 de enero). Ley General de Desarrollo So-cial [ltima reforma 7 de noviembre de 2013.]. Mxico. Consultado en mayo de 2014 en http://www.diputados.gob.mx/LeyesBiblio/pdf/264.pdf

_____ (2007, 30 de marzo). Lineamientos ge-nerales para la evaluacin de los pro-gramas federales de la administracin pblica federal. Mxico. Consultado en mayo de 2014 en http://www.coneval.gob.mx/rw/resource/coneval/eval_mon/361.pdf

_____ (2013, 29 de abril). Reglamento Interior de la Auditora Superior de la Federacin. Mxico. Consultado en mayo de 2014 en http://dof.gob.mx/nota_detalle.php?codigo=5297381&fecha=29/04/2013

_____ (2006, 30 de marzo). Ley Federal de Pre-supuesto y Responsabilidad Hacendaria [ltima reforma 24 de enero de 2014]. Mxico. Consultado en mayo de 2014 en http://www.diputados.gob.mx/Le-yesBiblio/pdf/LFPRH.pdf

Embretson, S. E. y P. S. Reise (2000). Item Respon-se Theory for Psychologists. Mahaw, NJ, Londres: Lawrence Erlbaum Associates.

ILPES-CEPAL (2004, octubre). Boletn del Ins-tituto, nm. 15. Consultado en mayo de 2014 en http://www.coneval.gob.mx/rw/resource/coneval/EVALUACIO-NES/Bibliograf%C3%ADa%20sobre%20la%20Metodolog%C3%ADa%20de%20Marco%20L%C3%B3gico/1322.pdf

Linacre, J. M. (1991-2013). Rasch-Model Com-puter Programs. Chicago, IL: Electronic Publication. Consultado en www. wins-teps.com/http://www.winsteps.com/a/winsteps-manual.pdf

Secretara de Hacienda y Crdito Pblico (SHCP). Gua para el diseo de indi-cadores estratgicos. Consultado en http://www.shcp.gob.mx/EGRESOS/PEF/Documentos%20Recientes/guia_ind_estrategicos20100823.pdf

_____ (2007, 17 de julio). Lineamientos gene-rales para el proceso de programacin y presupuestacin para el ejercicio fis-cal 2008 [oficio circular 307-A. 1593]. Mxico. Consultado en mayo de 2014 en http://www.normateca.gob.mx/Archivos/41_D_1265_31-07-2007.pdf

United Nations Development Programme (2009). Handbook on Planning, Moni-toring and Evaluating for Development Results. Estados Unidos. Consultado en mayo de 2014 en http://web.undp.org/evaluation/handbook/documents/english/pme-handbook.pdf

USAID Center for Development Information and Evaluation (1998). Performance Monitoring and Evaluation TIPS. Estados Unidos. Consultado en mayo de 2014 en http://www.adpc.net/pdr-sea/eval/file32.pdf

REFERENCIAS BIBLIOGRFICAS


ANEXO A. CRITERIOS PARA REVISAR INDICADORES

Los criterios analizados en la valoracin integral fueron determina-dos por el CONEVAL con base en sus atribuciones, como aquellos que deben cumplir los indicadores para garantizar que aporten in-formacin del logro del objetivo al cual se encuentran asociados. Sin embargo, es necesario aclarar que no son criterios nicos; a conti-nuacin se presentan otros ms que pueden ser retomados para la construccin y revisin de indicadores segn diversos organismos.

ANEXOS

Cuadro 1. Criterios para indicadores

Criterios Descripcin Fuente

SMART

S (Especfico). El objetivo del indicador debe ser preciso sobre cmo, cundo y dnde va a cambiar la situacin de los beneficiarios. M (Medible). El objetivo del indicador debe establecer metas que se puedan medir con datos confiables.A (Realizable). El objetivo del indicador debe poder cumplirse e indicar cmo se debe actuar.R (Relevante). El objetivo del indicador debe ser pertinente e importante, por lo que debe reflejar resultados significativos.T (Acotado en el tiempo). El objetivo del indicador debe estar limitado a un periodo para su alcance y ser oportuno.

United Nations Development Programme. Handbook on Planning, Monitoring and Evaluating for Development Results. Consultado en http://web.undp.org/evaluation/handbook/documents/english/pme-handbook.pdf

CREMA

C (Claro). El indicador debe ser preciso e inequvoco, es decir, poder ser entendido por cualquier persona sea parte del programa o no. R (Relevante). El indicador debe ser apropiado y medir aspectos importantes del objetivo. E (Econmico). El indicador debe estar disponible a un costo razonable. M (Medible). El indicador debe poder ser sometido a una evaluacin independiente. A (Adecuado). El indicador debe ofrecer una base suficiente que permita estimar el desempeo y evaluar los resultados.

Secretara de Hacienda y Crdito Pblico. Gua para el diseo de indicadores estratgicos. Consultado en http://www.shcp.gob.mx/EGRESOS/PEF/Documentos%20Recientes/guia_ind_estrategicos20100823.pdf


Criterios propuestos por la CEPAL

Preciso e inequvoco. No debe existir duda sobre lo que se est midiendo. Relevante. Debe reflejar una dimensin importante del logro del objetivo.Econmico. La informacin necesaria para generar la informacin debe estar disponible a un costo razonable.Transparente y pblico. Debe poder sujetarse a una evaluacin independiente. Confiable. Debe medir lo mismo en diferentes mediciones, es decir, las personas deben poder llegar a conclusiones similares.Aporte marginal. Debe proveer informacin adicional en comparacin con otros indicadores propuestos.Asimismo, menciona que un indicador debe ser pertinente, preciso y de fcil interpretacin, comparable de un tiempo a otro e independiente; debe responder a las acciones que desarrolla el programa; tomar en cuenta las situaciones extremas; la informacin debe ser recolectada a un costo razonable y cubrir los aspectos ms significativos; y los datos bsicos del indicador deben estar sustentados en sistemas que puedan ser auditados.

ILPES-CEPAL. Boletn del Instituto, nm. 15, octubre de 2004. Consultado en http://www.coneval.gob.mx/rw/resource/coneval/EVALUACIONES/Bibliograf%C3%ADa%20sobre%20la%20Metodolog%C3%ADa%20de%20Marco%20L%C3%B3gico/1322.pdf

DOPA

Directos. Un indicador de desempeo es directo (o vlido) si sigue de cerca el resultado que se pretende medir.Objetivos. Un indicador es objetivo si no es ambiguo respecto a lo que est midiendo y los datos que est recopilando.Prcticos. Un indicador prctico es aquel que se construye con datos que pueden ser recolectados en forma oportuna y a un costo razonable.Adecuados. El nmero de indicadores para medir un resultado determinado debe ser el mnimo necesario para asegurar que la medicin del resultado es capturado eficientemente.

USAID Center for Development Information and Evaluation. Consultado enhttp://www.adpc.net/pdr-sea/eval/file32.pdf

Criterios del Departamento Administrativo Nacional de Estadstica (DANE) de Colombia

Pertinencia. Busca que el indicador permita describir la situacin o el fenmeno determinado, objeto de la accin. Funcionalidad. Verifica que el indicador sea medible, operable y sensible a los cambios registrados en la situacin inicial.Disponibilidad. Los indicadores deben ser construidos a partir de las variables sobre las cuales exista informacin estadstica de tal manera que puedan ser consultados cuando sea necesario.Confiabilidad. Los datos deben ser medidos siempre con criterios estndares y la informacin requerida ha de poseer atributos de calidad estadstica.

DANE. Introduccin al diseo, construccin e interpretacin de indicadores. Consultado en https://www.dane.gov.co/files/sen/planificacion/cuadernillos/IntroduccionDisenoConstruccionInterpretacionIndicadoresWeb.pdf

Criterios Descripcin Fuente



ANEXO B. FICHAS DE REVISIN DE LA MIR E INDICADORESA continuacin se presentan las fichas de evaluacin de la MIR y de indicadores utilizadas por el CONEVAL para la etapa de valora-cin integral de indicadores de resultados, servicios y gestin. Los reactivos se responden de manera binaria (s/no).

Cuadro 1. Ficha de evaluacin de la MIR

Rubros y subrubros de evaluacin de la calidad de la MIR

i) Planeacin nacional Criterios

i.1 El programa tiene relacin directa o es congruente con el objetivo estratgico superior al cual est vinculado.

El fin del programa est vinculado a los objetivos sectorial, especial o institucional considerando que:

a) Existen conceptos comunes entre el fin y los objetivos del programa sectorial, especial o institucional?

b) El logro del fin aporta al cumplimiento de alguna(s) de la(s) meta(s) de alguno(s) de los objetivos del programa sectorial, especial o institucional?

ii) Lgica vertical

ii.1 Se incluyen las actividades necesarias y suficientes para la consecucin de cada componente.

a) Las actividades (a excepcin de las transversales) son nicas? b) Las actividades son las necesarias para generar los componentes?c) Las actividades son las suficientes para generar los componentes?d) La redaccin de los objetivos de actividades cumplen con la redaccin sugerida

en la MML?e) A excepcin de las actividades transversales, los objetivos de las actividades

se repiten en algn otro nivel de la MIR?f) Se encuentran ordenadas de manera cronolgica?

ii.2 Los componentes son los necesarios y suficientes para lograr el propsito del programa.

a) Los objetivos de componentes son nicos a lo largo de la matriz?b) Los componentes son los necesarios para alcanzar el propsito establecido?c) Los componentes son los suficientes para alcanzar el propsito establecido?d) La redaccin de los objetivos de componentes cumplen con la redaccin

sugerida en la MML?

ii.3 El propsito es nico y representa un cambio especfico en las condiciones de vida de la poblacin objetivo.

a) El objetivo de propsito es nico? b) El objetivo de propsito est identificado como un cambio especfico

en las condiciones de vida de la poblacin objetivo?c) La poblacin objetivo est definida con claridad y acotada geogrfica o

socialmente?d) Es consecuencia directa que se espera ocurrir como resultado

de los componentes?e) La redaccin del objetivo de propsito cumple con la redaccin sugerida

en la MML?

ii.4 Si se contribuye al logro del fin y se mantienen vigentes los supuestos asociados a ste, se garantizar la sustentabilidad de los beneficios del programa.

a) El objetivo de fin tiene asociado al menos un supuesto?b) El supuesto est fuera del mbito del control del programa?c) Si se mantiene el supuesto, se considera que el cumplimiento del fin implica

el logro de un objetivo jerrquicamente superior?

ii.5 Si se logra el propsito y se cumplen los supuestos asociados a ste, se contribuir al logro del fin (lgica vertical).

a) El objetivo de propsito tiene asociado al menos un supuesto?b) El supuesto est fuera del mbito del control del programa?c) Si se mantiene el supuesto, se considera que el cumplimiento

del propsito implica el logro del fin?

ii.6 Si se producen los componentes detallados y se cumplen con los supuestos asociados a stas, se lograr el propsito (lgica vertical).

a) Los componentes tienen asociados al menos un supuesto?b) El supuesto est fuera del mbito del control del programa?c) Si se mantienen los supuestos, se considera que la entrega

de los componentes implica el logro del propsito?


ii.7 Si se completan las actividades programadas y se cumplen los supuestos asociados a stas, se lograrn producir los componentes (lgica vertical).

a) Las actividades tienen asociado al menos un supuesto?b) El supuesto est fuera del mbito del control del programa?c) Si se mantienen los supuestos, se considera que la realizacin

de las actividades implica la generacin de los componentes?

iii) Lgica horizontal

iii.1 Los indicadores a nivel de fin permiten monitorear el programa y evaluar adecuadamente el logro del fin

Los criterios que deben tener los indicadores son los siguientes:

a) Clarosb) Relevantesc) Monitoreablesd) Adecuados

Como revisin agregada se debe determinar si:

a) Los indicadores son los necesarios para monitorear el desempeo del objetivo establecido?

b) Los indicadores son los suficientes para monitorear el desempeo del objetivo establecido?

iii.2 Los indicadores a nivel de propsito permiten monitorear el programa y evaluar adecuadamente el logro del propsito.






iii.3 Los indicadores a nivel de componentes permiten monitorear el programa y evaluar adecuadamente el logro de cada uno de los componentes.






iii.4 Los indicadores a nivel de actividades permiten monitorear el programa y evaluar adecuadamente el logro de cada una de las actividades.






iii.5 Los medios de verificacin identificados para los indicadores de fin son los necesarios y suficientes para obtener la informacin requerida para el clculo de los datos y su eventual verificacin externa (monitoreo).

a) La frecuencia de medicin coincide con la de los medios de verificacin?b) Los datos de las variables a medir efectivamente son medidos por el medio

de verificacin planteado?




iii.6 Los medios de verificacin identificados para los indicadores de propsito son los necesarios y suficientes para obtener la informacin requerida para el clculo de los datos y su eventual verificacin externa (monitoreo).



iii.7 Los medios de verificacin identificados para los indicadores de componentes son los necesarios y suficientes para obtener la informacin requerida para el clculo de los datos y su eventual verificacin externa (monitoreo).



iii.8 Los medios de verificacin identificados para los indicadores de actividades son los necesarios y suficientes para obtener la informacin requerida para el clculo de los datos y su eventual verificacin externa (monitoreo).




Cuadro2. Ficha de evaluacin de indicadores

Rubros y subrubros de evaluacin de calidad de los indicadores

i) Claridad Criterios

i.1 La frmula de clculo del indicador es coherente con su nombre?

a) La frmula de clculo se encuentra expresada como es sealado en el nombre (porcentaje, proporcin, tasa, etctera)?

b) El nombre del indicador expresa lo conformado en la frmula de clculo?

i.2 Existe coherencia dentro de los elementos (numerador y denominador) que conforman la frmula de clculo del indicador?

a) Existe coherencia del numerador y denominador en cuanto a frecuencias de medicin y unidades de medida?

i.3 La descripcin de las variables de la frmula de clculo permite tener claridad sobre cualquier concepto incluido en ella?

a) La definicin de las variables es clara y si utiliza conceptos especializados, stos se explican en una nota tcnica?

ii) Relevancia

ii.1 El indicador refleja un factor o variable central del logro del objetivo?

a) Existe al menos un factor relevante del objetivo que se mide en el indicador?

ii.2 El indicador est asociado a una meta(s) especfica(s) de acuerdo con la frecuencia de medicin establecida?

a) El indicador cuenta con al menos una meta especfica de acuerdo con la frecuencia de medicin?


iii) Monitoreable

iii.1 El indicador tiene un valor de lnea base para su seguimiento?

a) El indicador tiene especificado el valor de la lnea de base, o bien, tiene explcito cundo se realizar el primer levantamiento para la lnea base?

iii.2 Los medios de verificacin planteados en el indicador son consistentes?



iv) Adecuado

iv.1 Existe congruencia en el establecimiento de metas anuales y sexenales?

a) Las metas anuales y sexenales son congruentes en el sentido del indicador?

iv.2 La dimensin del indicador est bien identificada (eficacia, eficiencia, calidad, economa)?

a) La dimensin del indicador coincide con los conceptos de las guas y manuales de la Metodologa de Marco Lgico?

Rubros y subrubros de evaluacin de calidad de los indicadores


ANEXO C. VALIDACIN EXTERNA DE LOS INSTRUMENTOS DE APOYO METODOLGICO USADOS EN LA APROBACIN DE INDICADORES Y DE LOS CRITERIOS ANALIZADOSEn las etapas de la valoracin integral de indicadores y de valora-cin especfica se usan instrumentos de apoyo metodolgico para estimar si los indicadores analizados cumplen con los criterios ob-servados en cada etapa. stos se presentan en el cuadro 1.

Cuadro 1. Instrumentos de apoyo metodolgico usados en la aprobacin de indicadores


Etapa

1. Valoracin integral de indicadores de resultados, servicios y gestin.

2. Valoracin especfica de indicadores de resultados.

1. Relevancia2. Adecuacin3. Claridad4. Monitoreabilidad

5. Pertinencia temtica6. Factibilidad tcnica

1. Ficha de evaluacin de la Matriz de Indicadores para Resultados (ficha MIR)

2. Ficha de evaluacin de indicadores (ficha indicadores)

3. Mesa Tcnica de Revisin de Indicadores (MeTRI)



valoracin

Con el objetivo de garantizar que estos instrumentos realmente permitan realizar una valoracin consistente, objetiva, oportuna y confiable de los criterios que cumplen los indicadores de los pro-gramas sociales sujetos al proceso de aprobacin, el CONEVAL,


con el apoyo de consultores externos, llev a cabo una validacin de dichos instrumentos. Para valorar los instrumentos utilizados en la primera etapa, el doctor Manuel Jorge Gonzlez-Montesinos Martnez,9 profesor-investigador de la Universidad de Sonora, realiz una validacin estadstica; por su parte, el doctor Alejandro Medina Giopp,10 especialista senior en monitoreo y evaluacin del Banco Mundial, efectu una validacin tcnica de los criterios analizados en las dos etapas. Los principales resultados y las conclusiones de cada validacin se presentan a continuacin.

Validacin estadstica de los instrumentos de la etapa 1En esta etapa se utilizan la ficha MIR (16 reactivos) y la ficha indica-dores (9 reactivos), las cuales se presentan en el anexo B de este documento. Al respecto, la metodologa para la validacin estads-tica se deriva del Modelo Mtrico de Rasch (MMR), originalmente propuesto para determinar la calidad mtrica de tems en instru-mentos de aptitud o logro. El uso del MMR se extiende a una amplia gama de situaciones en las que se aplican instrumentos diseados para medir valoracin subjetiva (Embretson y Reise, 2000).11

En el plano psicomtrico, los inventarios de percepcin captan da-tos cualitativos. En este caso se trata de datos binarios (1,0) resul-tantes de la apreciacin subjetiva de los jueces entrenados. El MMR convierte los datos cualitativos a medidas lineales expresadas en unidades lgito (Linacre, 2013).12 Esta conversin es admisible si y slo si los patrones de respuesta a los tems se ajustan a las expec-tativas del modelo de contraste. Esta condicin de ajuste de los da-tos cualitativos al modelo mtrico es precisamente la que se repre-senta en los intervalos de 0.50 a 1.50 en los ndices de bondad de ajuste interno y externo. Cuando estas especificaciones de calidad se cumplen para cada aspecto (tem) valorado, se cuenta con res-paldo para afirmar que el tem capta la informacin suficiente so-

9 El doctor Gonzlez Montesinos, catedrtico del Centro Regional de Formacin Docente e Inves-tigacin Educativa y de la Universidad Autnoma de Baja California, ha desarrollado modelos de diagnstico de variables educativas. Tambin, tiene publicaciones sobre anlisis de resul-tados a partir de instrumentos estandarizados de medicin y en fundamentos de anlisis de Rasch.

10 El doctor Medina Giopp es especialista en encuestas internacionales de hogares, administra-cin social y ha publicado artculos sobre el sistema de monitoreo y evaluacin en Mxico, implementaciones de polticas pblicas en Latinoamrica y creacin de valor pblico, entre otros temas.

11 Embretson y Reise (2000) sealan que lo que se requiere lograr es que la mayor cantidad de varianza observada en las respuestas a los tems de cada constructo sea explicada por un solo atributo latente.

12 The necessary and sufficient transformation of ordered qualitative observations into linear measures is a Rasch model. Rasch models are logit-linear models, which can also be expressed as log-linear models (Linacre, 2013, p. 31).


bre el aspecto valorado controlando factores que puedan producir distorsiones o sesgos en la valoracin subjetiva de los jueces.

El sustento de estas especificaciones de calidad mtrica se deriva de la proporcin de varianza en los datos binarios representada por cada tem. Si un tem resulta con un valor de ajuste interno o externo menor de 0.50, se concluye que ste capta menos de 50 por ciento de la varianza esperada con el modelo. A la inversa, si un tem resulta con valores de ajuste interno o externo mayores de 1.50, se concluye que el tem capta 50% ms de la varianza espe-rada con el modelo (Bond y Fox, 2001). Por extensin, si los valores de estos ndices aproximan la unidad, se concluye que el tem tien-de a captar el 100% de la varianza esperada. Por ello, cuanto ms cercanos a 1.0 resulten los valores de ajuste, mayor es la calidad mtrica del tem.

Estas especificaciones efectan una cuantificacin real del grado en que las valoraciones emitidas por los jueces estn libres de ses-gos o de interferencias que pueden presentarse durante la aplica-cin de las escalas. Cuando se rebasan los valores crticos de uno de los dos umbrales, se concluye que el tem (aspecto) presenta sesgos o interferencias. Por el contrario, si la presencia de sesgos en las valoraciones se descarta, las puntuaciones resultantes se con-vierten en medidas lineales de los aspectos valorados a travs de los inventarios de percepcin, es decir, que son una buena medida para valorar el tem.

Los resultados de los procesos descritos aportan evidencia para es-tablecer la dimensionalidad de las escalas, la estabilidad de los parmetros entre muestras de aplicacin y, sobre todo, los controles de la objetividad de los jueces en la asignacin de puntuaciones a travs del uso consistente de las herramientas de revisin aplica-das de forma estandarizada mediante el SIREMIR. Adems, una vez establecida la fiabilidad de las escalas, se agregaron elementos de evidencia robusta para determinar la validacin de los constructos de calidad y cumplimiento percibidos por jueces entrenados en los indicadores de las MIR.

MetodologaLos procedimientos para el anlisis de propiedades mtricas de las herramientas de revisin de los tems de valoracin de indicado-res se implementaron con la versin 3.80.1 de WINSTEPS , Linacre (2013), con base en el siguiente esquema:


APM1: 16 aspectos (reactivos) APM2: 9 aspectos (reactivos)

El objetivo de cada APM es aplicar el control de calidad indivi-dual a cada aspecto valorado (ITEM) por los raters a travs de los inventarios de percepcin de 16 y 9 tems con los que se califica la presencia o ausencia de los aspectos de inters en los indica-dores MIR.

De conformidad con los criterios de bondad de ajuste para tems de percepcin, cada aspecto debe mantenerse en los siguientes rangos de tolerancia:

Ajuste interno MNSQ Ajuste externo MNSQ

0.50 < INFIT < 1.50 0.50 < OUTFIT < 1.50

Debe tenerse presente que valores fuera de estos rangos indican que en los patrones de respuesta de los raters al aspecto valorado (ITEM) se detectan estadsticamente una o ambas de las siguientes condiciones:

El ITEM no aporta suficiente informacin sobre el aspecto va-lorado: INFIT o OUTFIT < 0.50

El ITEM capta interferencia (ruido aleatorio) que no aporta informacin sobre el aspecto valorado: INFIT o OUTFIT > 1.50

Interpretacin de INFITEl criterio de ajuste interno (INFIT) est orientado a detectar patro-nes de respuesta anmalos (que no se ajustan

Metodologia Aprobacion de Indicadores

Documents

Transcript of Metodologia Aprobacion de Indicadores