Fondo de Fomento y Desarrollo de la Investigación Científica y Tecnológica
Programa “Servicios a grupos con necesidades especiales (E003)”, a cargo del Instituto Nacional de las Personas Adultas
Mayores
Informe Metodológico
Erick Herzaín Torres Mulhia Responsable Administrativo
Omar de Jesús Ceballos Barragán
Responsable Técnico
26/07/2012
217
Contenido Introducción…………………………………………………………………………………………………………………………………………………….…218
I. Objetivos de la Evaluación…………………………………………………………………………………………………………………………..219
Diseño y Consistencia ................................................................................................................................................ 219
Medición de Resultados Cuantitativos (para diversos tipos de apoyos que otorga el INAPAM). ............................. 220
Evaluación Cualitativa ................................................................................................................................................ 220
II. Metodología de la Evaluación del Programa………………………………………………………………………………………….…….220
a. Metodología Específica del Apartado de Diseño y Consistencia...................................................................... 221
b. Medición de Resultados ................................................................................................................................... 222
c. Delimitación del alcance de la Evaluación Complementaria de Diseño, Consistencia y Medición de Resultados. ……………………………………………………………………………………………………………………………………………………………………222
i. En materia de Diseño ................................................................................................................................... 223
ii. En materia de Consistencia.......................................................................................................................... 226
iii. Argumentación de las respuestas a las preguntas ...................................................................................... 230
iv. Características del Apartado de Medición de Resultados ........................................................................... 234
Metodología de Medición de Resultados .............................................................................................................. 234
Características generales del diseño muestral ...................................................................................................... 238
Prueba piloto ......................................................................................................................................................... 244
d. Estructura temática del informe de Evaluación. .............................................................................................. 246
ANEXOS………………………………………………………………………………………………………………………………………………………………251
Anexo 1: Modelo de Términos de Referencia para la Evaluación en materia de Diseño .......................................... 251
Anexo 2: Modelo de Términos de Referencia para la Evaluación de Consistencia y Resultados (versión acotada) para el Programa “Servicios a grupos con necesidades especiales (E003)” a cargo del INAPAM ..................................... 284
Anexo 3. Clasificación de descuentos ........................................................................................................................ 325
Anexo 4. Cuestionario ................................................................................................................................................ 330
Anexo 5. Guía para la conducción de la sesión para los grupos de enfoque (focus groups). .................................... 340
Anexo 6. Encuestas de Satisfacción de Servicios ....................................................................................................... 343
218
Introducción El informe metodológico presentado por el Fondo de Fomento y Desarrollo de la Investigación Científica y Tecnológica de la Universidad Autónoma del Estado de México (FONDICT) tiene como objeto mostrar la manera en que se realizará la Evaluación Complementaria de Diseño, Consistencia y Medición de Resultados del Programa “Servicios a grupos con necesidades especiales (E003)”, a cargo del Instituto Nacional de las Personas Adultas Mayores (INAPAM). El INAPAM tiene como misión promover el desarrollo humano integral de los Adultos Mayores (AM), facilitándoles empleo, ocupación, retribución, asistencia y las oportunidades necesarias para alcanzar niveles de bienestar y alta calidad de vida, reduciendo las desigualdades extremas y las inequidades de género. El INAPAM ofrece diferentes servicios y acciones para aquellas personas de 60 años o más, los cuales de acuerdo con su página web oficial son: SERVICIOS:
1) Acceso a Centros de Atención Integral: ofrecen servicios de atención médica de primer nivel;1 apoyan la detección, el control y el seguimiento de las enfermedades comunes de las personas adultas mayores.
2) Acceso a Centros culturales: son espacios donde se ofrecen diversas alternativas de formación y desarrollo humano a los AM. Las materias y talleres que se imparten se dan a partir de un sistema formal de enseñanza,2 flexible y acorde con las características del aprendizaje de las personas adultas mayores.
3) Clubes INAPAM: son espacios comunitarios donde se reúnen e interactúan AM en los que se ofrecen
diversas alternativas de formación y desarrollo humano, de corte educativo, cultural, deportivo y social.
4) Juegos nacionales deportivos y culturales de las personas adultas mayores: son eventos deportivos donde los AM compiten en diversas disciplinas. Estos juegos se realizan al culminar la serie de eventos que comprenden etapas municipales, estatales, torneos regionales, así como la celebración de eventos específicos.
1 Los servicios médicos de primer nivel (SMPN) se proveen a través de centros especializados en atender padecimientos
específicos. Algunos de los SMPN que ofrece el INAPAM en sus Centros de atención Integral son los siguientes: Geriatría, Otorrinolaringología, Dermatología, Ginecología, Reumatología, Ortopedia, Psicología, Odontología, Nutrición y Rayos X, entre otros. 2 Este sistema se caracteriza por su uniformidad, con estructuras verticales y horizontales (clases agrupadas por edad y
ciclos jerárquicos) y criterios de admisión de aplicación universal, incluye aquellos procesos de enseñanza-aprendizaje llevados a cabo en centros de educación o formación, con carácter estructurado (según un programa con objetivos, metodología, bibliografía, etc.). Esta educación se diseña para ser universal, secuencial, estandarizada e institucionalizada y garantizar una cierta medida de continuidad (al menos para aquellos que no son excluidos del sistema).
219
ACCIONES:
1) Capacitación para el trabajo y ocupación del tiempo libre: consiste en el desarrollo de alternativas de adiestramiento en la producción de artículos de diversa índole, para el autoconsumo o la producción a pequeña escala. Dentro de las alternativas que se ofrecen están la bisutería, bordado, cerámica, dibujo, escultura, repujado, talla en madera, entre otras.
2) Albergues y residencias diurnas: proporcionan asistencia integral a los AM que no cuentan con apoyo
familiar o recursos económicos que les permitan cubrir sus necesidades básicas y ser independientes; esto es, atención de carácter multidisciplinario que consiste en cuatro elementos interrelacionados entre sí: manejo clínico, cuidados de enfermería, consejería y apoyo emocional, y apoyo social.
3) Educación para la salud: sus acciones se dividen en 1) las dirigidas a las personas adultas mayores y en
edad prejubilatoria, con el propósito de prevenir y mejorar sus condiciones de vida, y 2) acciones dirigidas a otros grupos de edad con una perspectiva de envejecimiento y un eminente sentido preventivo.
4) El INAPAM va a tu barrio: a través de jornadas se ofrecen servicios de afiliación, asistencia jurídica y consultas médicas a los AM que habitan en comunidades de bajo y muy bajo desarrollo social.
5) Empleo para adultos mayores: el INAPAM sirve como vínculo entre los prestadores de servicios y las
empresas que desean contratar a los AM.
I. Objetivos de la Evaluación El objetivo general de la evaluación es evaluar el diseño y la orientación a resultados del Programa “Servicios a grupos con necesidades especiales (E003)”, a cargo del Instituto Nacional de las Personas Adultas Mayores (INAPAM), con la finalidad de proveer información que retroalimente su diseño, gestión y resultados, así como, evaluar algunos resultados de las acciones y servicios que ofrece el INAPAM, a través de este Programa. Los objetivos específicos para los tres apartados de la Evaluación son:
Diseño y Consistencia
a. Analizar mediante trabajo de gabinete la lógica y congruencia en el diseño del Programa, su vinculación con la planeación sectorial y nacional, la consistencia entre el diseño y la normatividad aplicable, así como las posibles complementariedades y/o coincidencias con otros programas o instituciones federales;
b. Identificar si el Programa cuenta con instrumentos de planeación y orientación hacia resultados, con el fin de obtener información que permita retroalimentar la planeación y la gestión del Instituto;
c. Examinar si el Programa ha definido una estrategia de cobertura de mediano y de largo plazo y los avances presentados en el periodo 2007-2011;
d. Analizar los principales procesos establecidos en la normatividad aplicable; así como los sistemas de información con los que cuenta el Programa y sus mecanismos de rendición de cuentas;
220
e. Examinar los resultados de sus acciones con base en los indicadores identificados en la Matriz de Indicadores para Resultados (MIR) del Programa y proponer la incorporación de nuevos indicadores, de ser pertinente, que reflejen resultados integrales de las acciones realizadas;
Medición de Resultados Cuantitativos (para diversos tipos de apoyos que otorga el INAPAM).
a. Conocer el beneficio que brinda el Programa, a través de sus servicios y acciones, considerando que la Tarjeta INAPAM es el instrumento para que los Adultos Mayores (AM) beneficiarios obtengan descuentos en salud, alimentación, transporte, vestido, hogar, recreación y cultura y artículos diversos con los que puede proteger su economía.
b. Explorar el volumen3 de los bienes y servicios consumidos por parte de los Adultos Mayores, la distribución del uso de los servicios del INAPAM con la tarjeta plástica y el grado de satisfacción de los beneficiarios del INAPAM.
Evaluación Cualitativa
a. Conocer la satisfacción con los servicios y acciones que otorga el Programa, en cuanto al servicio, la atención proporcionada por los prestadores del mismo, así como, con las instalaciones en las cuales se realiza.
II. Metodología de la Evaluación del Programa La Evaluación Complementaria de Diseño, Consistencia y Medición de Resultados se divide en 3 apartados: 1) Evaluación en Materia de Diseño4; 2) Evaluación en Materia de Consistencia5; 3) Medición de Resultados6. La estrategia general para los apartados de diseño y consistencia se basa en la valoración de atributos del diseño, planeación y operación, mediante la valoración de la información documental con que cuenta el programa, así como alguna otra información que se considere relevante. Asimismo, se complementará con entrevistas a los operadores del mismo.
3El volumen de bienes y servicios consumidos por parte de los Adultos Mayores se refiere al gasto que realiza el Adulto
Mayor de acuerdo a los rubros señalados en el directorio de beneficios de la tarjeta INAPAM como son. Alimentación, Vestido y Hogar, Salud, Recreación, Educación y Cultura, Transporte y Diversos 4 Las preguntas específicas se encuentran en el Anexo 1. Modelo de Términos de Referencia para la Evaluación en Materia
de Diseño elaborados por CONEVAL. 5 Las preguntas específicas se encuentran en el Anexo 2 Modelo de Términos de Referencia para la Evaluación en
Consistencia y Resultados, (Versión Acotada de los Modelos de los Términos de Referencia para la Evaluación de Consistencia y Resultados elaborados por el CONEVAL). 6 El cuestionario se encuentra en el Anexo 4.
221
El apartado de Medición de Resultados, se realizará mediante el levantamiento de al menos 1,200 encuestas efectivas, así como la realización de estudios de caso mediante 3 grupos de enfoque, lo cual permitirá documentar los resultados del programa, el grado de satisfacción de los beneficiarios, y la frecuencia de uso de los beneficios otorgados por el INAPAM. La metodología de la evaluación describe el contenido y los objetivos de la Evaluación Complementaria de Diseño, Consistencia y Medición de Resultados; los tipos de preguntas; las bases de la argumentación de las respuestas a las preguntas; y los criterios generales para responder dichas preguntas. Para ello, el documento tiene tres apartados divididos en dos grandes secciones, que consisten en clasificar la información en cuatro tipos:
1. Información del evaluador. Esta información es la que los evaluadores consideran necesaria para responder a las preguntas.
2. Información del Programa. Son las fuentes de información que el programa ha identificado para responder a las preguntas.
3. Entrevistas con operadores del programa. Las entrevistas se utilizarán para complementar las respuestas y, en su caso, obtener información adicional.
4. Información de otras evaluaciones. Se utilizarán los resultados mostrados en evaluaciones realizadas al programa o programas similares que se encuentren disponibles en el ámbito nacional o internacional.
a. Metodología Específica del Apartado de Diseño y Consistencia La metodología de los primeros dos apartados de la evaluación consiste en:
a. Analizar mediante trabajo de gabinete la lógica y congruencia en el diseño del Programa, su vinculación con la planeación sectorial y nacional, la consistencia entre el diseño y la normatividad aplicable, así como las posibles complementariedades y/o coincidencias con otros programas o instituciones federales;
b. Identificar si el Programa cuenta con instrumentos de planeación y orientación hacia resultados, con el fin de obtener información que permita retroalimentar la planeación y la gestión del Programa;
c. Examinar si el Programa ha definido una estrategia de cobertura de mediano y de largo plazo y los avances presentados en el periodo 2007-2011;
d. Analizar los principales procesos establecidos en la normatividad aplicable; así como los sistemas de información con los que cuenta el Programa y sus mecanismos de rendición de cuentas;
e. Examinar los resultados de sus acciones con base en los indicadores identificados en la Matriz de Indicadores para Resultados (MIR) del Programa y proponer la incorporación de nuevos indicadores, de ser pertinente, que reflejen resultados integrales de las acciones realizadas.
222
b. Medición de Resultados La metodología del tercer apartado de la evaluación consiste en:
a. Conocer el beneficio que brinda el Programa, a través de sus servicios y acciones, considerando que la Tarjeta INAPAM es el instrumento para que los Adultos Mayores beneficiarios obtengan descuentos y beneficios en salud, alimentación, transporte, vestido, hogar, recreación y cultura y artículos diversos con los que puede proteger su economía. Estos descuentos surgen de convenios previos con distintos actores del sector privado y público. Considerando esto, mediante encuestas de opinión y de satisfacción, se requiere explorar lo siguiente:
Estimar la frecuencia de uso de la Tarjeta Plástica INAPAM;
Conocer los principales usos de la Tarjeta Plástica por grandes rubros: alimentación, salud, vestido, hogar, transporte, pago de servicios e impuestos;
Indagar sobre la satisfacción con los beneficios que le ofrece la Tarjeta Plástica INAPAM;
Conocer los patrones de consumo de los bienes y servicios que pueden adquirirse de manera preferencial mediante el uso de la Tarjeta INAPAM por grandes rubros.
b. Indagar la satisfacción, asistencia y frecuencia de uso en los siguientes servicios proporcionados por el
INAPAM:
Capacitación para el trabajo y ocupación del tiempo libre;
Centro de Atención Integral;
Culturales;
Clubes INAPAM;
Albergues y Residencias Diurnas;
El INAPAM va a tu barrio;
Empleo para AM (y de manera particular conocer el porcentaje de AM que encuentran empleo
a través de este servicio), y
Educación para la salud.
a. Realizar estudios de caso mediante grupos foco de tres de los servicios enunciados anteriormente. Para ello, se realizará una reunión con modalidad de entrevista grupal abierta y estructurada sobre los beneficios que tiene el servicio en su calidad de vida, calidad con la cual es otorgada el servicio y áreas de oportunidad en la mejora del servicio. Cada grupo estará formado por seis u ocho adultos mayores que asistan al servicio en cuestión.
c. Delimitación del alcance de la Evaluación Complementaria de Diseño, Consistencia y Medición de Resultados.
Con base en que el objeto de la evaluación consiste en proveer información que retroalimente el diseño, gestión y resultados del Programa “Servicios a Grupos con Necesidades Especiales (E003)”, se responden 21 preguntas en materia de Diseño, 28 en Materia de Consistencia y se levantarán encuestas para la Medición de Resultados.
223
En Materia de Diseño:
APARTADO PREGUNTAS TOTAL
Justificación de la creación y del diseño del Programa 1-3 3
Contribución a los objetivos nacionales y a los sectoriales 4-6 3
Población potencial y objetivo 7-9 3
Matriz de Indicadores para Resultados 10-20 11
Complementariedades y coincidencias con otras instituciones o programas federales 21 1
TOTAL 21 21
Fuente: Anexo 1 del Modelo de Términos de Referencia para la Evaluación en Materia de Diseño.
En Materia de Consistencia:
APARTADO PREGUNTAS TOTAL
Planeación y Orientación a Resultados 1-6 6
Cobertura y Focalización 7-9 3
Operación 10-23 14
Percepción de la Población Atendida 24 1
Medición de Resultados 25-28 4
TOTAL 28 28
Fuente: Anexo 2 Modelo de Términos de Referencia para la Evaluación en Consistencia y Resultados.
i. En materia de Diseño La evaluación en materia de diseño, es una evaluación de carácter documental que tiene como objetivo evaluar los incentivos que generan el INAPAM a través de las acciones, servicios y productos que otorga para solucionar el problema para el cual fue creado. Para ello, se analizarán los siguientes subapartados, contenidos en los Términos de Referencia en materia de Diseño7 (TdR Diseño): 1) Justificación de la creación y del diseño del Programa; 2) Contribución a los objetivos nacionales y a los sectoriales; 3) Población potencial y objetivo; 4) Análisis de la Matriz de Indicadores para Resultados; y 5) Análisis de las posibles complementariedades y coincidencias con otros programas federales.8 Características del programa Se realizará una breve descripción del programa (máximo dos cuartillas) con información pública y de los responsables del programa para generar el Anexo 1 “Descripción General del Programa”. Dicho anexo contendrá las siguientes características y se basará principalmente en información documental.
7 El Modelo de Términos de Referencia para la Evaluación en Materia de Diseño fue elaborado por CONEVAL y se encuentra
en el anexo 1 del presente informe. 8 Para ello se contestarán las preguntas 1 a 21 de acuerdo al anexo 1: Modelo de Términos de Referencia para la Evaluación en
Materia de Diseño.
224
CARACTERÍSTICAS DEL PROGRAMA FUENTES DE INFORMACIÓN
1. Identificación del programa (nombre, siglas, dependencia y/o entidad coordinadora, año de inicio de operación);
Documentos Normativos y Entrevistas.
2. Problema o necesidad que pretende atender; Documentos Normativos y Entrevistas.
3. Objetivos nacionales y sectoriales a los que se vincula; Documentos Normativos y Entrevistas.
4. Descripción de los objetivos del programa, así como de los bienes y/o servicios que ofrece;
Documentos Normativos y Entrevistas.
5. Identificación y cuantificación de la población potencial, objetivo y atendida;
Documentos Normativos y Entrevistas.
6. Cobertura y mecanismos de focalización; Documentos Normativos y Entrevistas.
7. Presupuesto aprobado en el ejercicio fiscal sujeto a evaluación;
Documentos Normativos y Entrevistas.
8. Principales metas de Fin, Propósito y Componentes, y Documentos Normativos y Entrevistas.
9. Valoración del diseño del programa respecto a la atención del problema o necesidad.
Documentos Normativos y Entrevistas.
Fuente: Elaboración propia con información de los Términos de Referencia
Análisis de la justificación de la creación y del diseño del programa Se evaluará si el programa tiene adecuadamente identificada la necesidad o problema que le da origen, y si él mismo es una solución adecuada a dicha problemática. Si cuenta con un diagnóstico del problema en cuanto a sus causas, efectos, características, ubicación, cuantificación y características de la población que presenta el problema. Por último, se evaluará la justificación documentada que sustente al programa como una adecuada solución o política de intervención para solucionar el problema. Análisis de la contribución del programa a los objetivos nacionales y sectoriales Se verificará la congruencia entre el fin del programa y del propósito, contenido en la Matriz de Indicadores de Resultados (MIR), con los objetivos estratégicos de la dependencia, o en su caso con los objetivos estratégicos contenidos en el Plan Nacional de Desarrollo. Asimismo, se contrastará lo señalado en la MIR del programa con evidencia generada por investigaciones o estudios nacionales e internacionales, si los servicios o productos que genera el programa son los adecuados para la consecución de su Propósito y Fin. Para ello se realizará el análisis del problema, identificándose los efectos y causas del mismo, para posteriormente realizar el análisis de objetivos y ver la forma en que el programa actúa sobre el problema. Análisis de la Población Potencial y Objetivo Se revisará la MIR, los Lineamientos de Operación u otras normatividades vigentes para el ejercicio fiscal 2011 para el Programa, a fin de delimitar la adecuada definición e identificación de la población potencial y objetivo del mismo.
225
Análisis de la Matriz de Indicadores para Resultados
De la lógica vertical de la matriz de indicadores Se evaluará la lógica vertical de la MIR del programa mediante el análisis de los diferentes niveles de su MIR, verificando si las actividades son las necesarias para generar los componentes, si los componentes son los necesarios para el logro del propósito, y la aportación del propósito al logro del fin.
De la lógica horizontal de la matriz de indicadores Se evaluará la lógica horizontal de la MIR del programa verificando la calidad de los indicadores de desempeño del programa y la información generada por los mismos, en los distintos niveles de la MIR.
De la valoración final de la matriz de indicadores Se propondrán modificaciones y adiciones a la matriz de indicadores del programa, en caso de ser necesario, a partir de la evaluación de la lógica vertical y horizontal. Análisis de las posibles complementariedades y coincidencias con otros programas federales. Se revisarán programas federales cuyo objetivo sea similar y se contrastarán su población objetivo, y cobertura a fin de determinar duplicidades, complementariedades y/o sinergias entre programa. 1) Valoración final del diseño del programa Se realizará una valoración general del programa utilizando las respuestas que integran cada uno de los apartados de la evaluación de diseño. 2) Análisis de fortalezas, oportunidades, debilidades y amenazas Se integrará en una sola tabla las fortalezas, oportunidades, debilidades y amenazas, especificadas por cada apartado de la evaluación y reportadas en el Anexo 8 “Principales Fortalezas, Retos y Recomendaciones”, en el que se incluirán un máximo de 5 fortalezas y/o oportunidades, 5 debilidades y/o amenazas, y 5 recomendaciones por apartado de la evaluación. 3) Conclusiones Se efectuarán conclusiones precisas y fundamentadas en el análisis y la evaluación realizada en cada una de sus secciones de la evaluación de diseño. Finalmente, la Evaluación incluirá los siguientes anexos presentados en el Modelo de Términos de Referencia en materia de diseño:
Anexo 1 “Descripción General del Programa”.
Anexo 2 “Metodología para la cuantificación de las poblaciones potencial y objetivo”.
Anexo 3 “Procedimiento para la actualización de la base de datos de beneficiarios”.
Anexo 4 “Indicadores”.
Anexo 5 “Metas del programa”.
226
Anexo 6 “Propuesta de mejora de la Matriz de Indicadores para Resultados”.
Anexo 7 “Complementariedad y coincidencias entre programas federales”.
Anexo 8 “Principales fortalezas, retos, y recomendaciones”.
Anexo 9 “Matriz de Indicadores para Resultados del programa”.
Anexo 10 “Fuentes de Información”.
Anexo 11 “Ficha técnica con los datos generales de la instancia evaluadora y el costo de la evaluación9”.
ii. En materia de Consistencia Se identificarán y se valorarán los atributos del Programa en cuanto a su: 1) Planeación y Orientación a Resultados, 2) Cobertura y Focalización, 3) Operación, 4) Percepción de la Población Atendida y 5) Medición de Resultados de acuerdo a los Términos de Referencia en materia de Consistencia y Resultados (TdR CyR).10
Planeación y Orientación a Resultados Instrumentos de planeación Se analizará si la Unidad Responsable del programa cuenta con un plan estratégico, con planes de trabajo anuales para alcanzar sus objetivos y si éstos cumplen con los criterios establecidos en los TdR CyR. Se analizará, con entrevistas, documentos que los operadores consideren relevantes, los Programas Operativos 2010 y 2011, el documento de planeación estratégica y táctica para el 2011, entre otros, si la planeación y planes de trabajo siguen un procedimiento establecido en un documento, si contempla el mediano y/o largo plazo, si tiene congruencia con la MIR-2011 y la existencia de indicadores. Se indagará si la planeación es conocida por los responsables de los principales proceso del programa, si tienen establecidas metas y si se revisan y actualizan. Igualmente, se verificará que las respuestas de las preguntas sean congruentes entre ellas, de acuerdo a lo especificado en los TdR CyR. Generación de información Se indagará si el programa recolecta información con respecto a temas tales como: su contribución a los objetivos del programa sectorial, especial o institucional, tipos y montos de apoyos otorgados a los beneficiarios en el tiempo, entre otros detallados en los TdR CyR. Asimismo, se examinará si la recolección de información para monitorear el desempeño del programa cuenta con ciertos requerimientos establecidos en los TdR CyR. Asimismo, se verificará que las respuestas de las preguntas sean congruentes entre ellas, de acuerdo a lo especificado en los TdR CyR.
9 El anexo será llenado por la Dirección General de Evaluación y Monitoreo de los Programas Sociales de la Secretaría de Desarrollo
Social. 10 Para ello se contestarán las preguntas 1 a 28 de acuerdo al anexo 2 Modelo de Términos de Referencia en materia de Consistencia y
Resultados, los cuales son una versión acotada de los términos de referencia emitido en materia por parte de CONEVAL.
.
227
Cobertura y Focalización Análisis de la Cobertura Se examinará si el programa ha definido una estrategia de cobertura de mediano y de largo plazo y los avances presentados en el ejercicio fiscal. Mediante entrevistas y fuentes de información del “Programa servicios a grupos con necesidades especiales E003”, se verificará si el programa cuenta con una estrategia de cobertura y focalización de mediano y de largo plazo documentada para atender a su población objetivo, y los avances presentados en el ejercicio fiscal. Para ello, se utilizará información para analizar la cobertura del Programa, a partir de las definiciones de población potencial, objetivo y atendida; y se indagará si el programa cuenta con una estrategia documentada para atender a su población objetivo, así como mecanismos para identificarla y si dichas estrategia y mecanismos cumplen con los criterios definidos en los TdR CyR. Se elaborarán el anexo 1 “Evolución de la cobertura” y 2 “Información de la población atendida” de acuerdo anexo 2 de los TdR CyR y se verificará la congruencia de las respuestas con el apartado de diseño.
Operación Se analizarán los principales procesos establecidos en la normatividad aplicable; así como los sistemas de información con los que cuenta el programa y sus mecanismos de rendición de cuentas. Para ello, se analizaran los procesos realizados por el programa; las mejora y simplificación regulatoria que haya realizado; organización y gestión; eficiencia y economía operativa del programa; sistematización de la información; cumplimiento y avance en los indicadores de gestión y productos; y rendición de cuentas y transparencia. Análisis de los procesos establecidos en la normatividad aplicable Se analizarán los procesos de solicitud de apoyos, selección de beneficiarios y/o proyectos, tipos de apoyos y ejecución cumplan con las características definidas en los TdR CyR. Se elaborará un diagrama de flujo del proceso general del programa para cumplir con los bienes y servicios (componentes), así como los procesos claves en la operación del programa. Clasificando los principales procesos en: la solicitud de apoyos, la selección de beneficiarios, los tipos de apoyos (producción de bienes y servicios), la ejecución (Distribución de bienes y servicios, y entrega de apoyos); asimismo, se analizarán otros procesos relevantes como son la difusión, el seguimiento a los beneficiarios, la supervisión y monitoreo, y contraloría social. Para ello, se utilizará la normatividad aplicable, los diagramas de procesos con los que cuente el programa y realizarán entrevistas con los operadores de programa, así como información que el programa considere pertinente. A fin de elaborar y valorar sus procesos, los cuales se reflejarán en el anexo 3 “Diagramas de flujo de los componentes y procesos clave”. Se verificará que las respuestas de las preguntas sean congruentes entre ellas, de acuerdo a lo especificado en los TdR CyR.
228
Mejora y simplificación regulatoria Se determinará y sustentará cuales cambios hechos en los tres últimos años han permitido agilizar el procesos de apoyo a los solicitantes, a partir de del análisis de los cambios en la normatividad aplicable en los últimos tres años, así como, información que considere el programa y entrevistas con los operadores. Asimismo, se verificará que las respuestas de las preguntas sean congruentes entre ellas, de acuerdo a lo especificado en los TdR CyR. Organización y gestión. Se examinarán cuáles son los problemas que enfrenta la unidad administrativa que opera el programa para la transferencia de recursos a las instancias ejecutoras y/o a los beneficiarios y las estrategias que han implementado. Para ello, se utilizarán entrevistas e información que considere el programa relevante. Eficiencia y economía operativa del Programa Se evaluará la eficiencia y eficacia a partir de la identificación y cuantificación de los gastos que realiza el programa para generar los bienes y los servicios que ofrece, así como la forma en que los desglosa. Para ello, se utilizará información que considere el programa y/o información (Presupuesto ejercido según fuente de financiamiento) en la que se desglosen los gastos en los que incurre con la finalidad de observar que contengan conceptos como gastos en operación (directos e indirectos), gastos en mantenimiento, gastos en capital y gasto unitario. Se evaluará, la economía del programa, a partir de indagar en entrevistas con los operadores, y con la información documental otorgada, las fuentes de financiamiento que el “Programa servicios a grupos con necesidades especiales E003” tiene para la operación y la proporción del presupuesto total que representa cada una de ellas. Se realizará el anexo 4 “Gastos desglosados del programa” del anexo 2 y se verificará que las respuestas de las preguntas sean congruentes entre ellas, de acuerdo a lo especificado en los TdR CyR. Sistematización de la información Se analizará si los sistemas o aplicaciones informáticas del programa tienen las características establecidas en los TdR CyR. Se utilizaran entrevistas e información que el programa considere relevante para verificar si cuenta con fuentes de información confiables que permitan verificar o validar la información capturada, su periodicidad y fechas límite para actualización, entre otros aspectos mencionados en los TdR CyR. Cumplimiento y avance en los indicadores de gestión y Productos Se analizará cuál es el avance de los indicadores de servicios, de gestión y de resultados de la MIR del programa con respecto a sus metas. Para ello, se utilizará la información que el programa considere necesaria, y en función de los indicadores reportados en el Portal Aplicativo de la Secretaría de Hacienda y Crédito Público, y
229
podrá utilizarse los informes trimestrales, el manual de seguimiento y control de metas, avance físico-financiero del presupuesto por entidad federativa, Programa Operativo Anual, avance financiero-presupuestal, entre otros, para indagar el avance y cumplimiento de los indicadores. Asimismo, se realizará una valoración por nivel de objetivo del avance de los indicadores, para ello, se hará una comparación de dicho avance en los últimos tres años. Derivado de este análisis, se elaborará el anexo 5 “Avances de los indicadores respecto de sus metas” del anexo 2. También, se cotejará que las respuestas de las preguntas sean congruentes entre ellas, de acuerdo a lo especificado en los TdR CyR. Rendición de cuentas y transparencia Se evaluará sí el Programa cuenta con mecanismos de transparencia y rendición de cuentas y si estos poseen las características definidas en los TdR CyR. Para ello, se utilizará la normatividad aplicable e información que el programa considere relevante. Asimismo, se analizará que el portal del programa tenga la difusión de los principales resultados del programa, la existencia de un teléfono o correo electrónico para informar y orientar, entre otros aspectos mencionados en los TdR CyR. Aunado a la existencia de los elementos antes mencionados, se harán pruebas de su operatividad.
Percepción de la Población Atendida En este apartado se identificará si el programa cuenta con instrumentos que le permitan recabar información para medir el grado de satisfacción de los beneficiarios del programa y sus resultados. Mediante entrevistas e información que el programa considere, se constatará si el programa cuenta con instrumentos para medir el grado de satisfacción de su población atendida y si su aplicación no induce respuestas, corresponde a las características de sus beneficiarios y si los resultados que arrojan son representativos. Del análisis se genera el anexo 6 “Instrumentos de medición del grado de satisfacción de la población atendida” del anexo 2.
Medición de Resultados El objetivo de este apartado es examinar los resultados del programa respecto a la atención del problema para el que fue creado. Para ello, se analizará, con entrevistas e información que el programa considere, cómo el Programa documenta sus resultados a nivel de Fin y Propósito de su MIR, así como sus resultados. Mediante las entrevistas, se indagará la posición institucional del Programa. Asimismo, se realizará una investigación documental, a nivel nacional e internacional, a fin de encontrar programas similares al “Programa servicios a grupos con necesidades especiales E003” y que tengan una evaluación de impacto. En caso de existir, se tomará la evaluación más actual y robusta con la finalidad de determinar sus características y validez de resultados, en función de la metodología, en caso contrario, se buscará evidencia a nivel internacional de programas o instituciones similares. Se verificará que las respuestas de las preguntas sean congruentes entre ellas, de acuerdo a lo especificado en los TdR CyR.
230
Análisis de Fortalezas, Oportunidades, Debilidades y Amenazas Se integrará en una tabla las fortalezas, oportunidades, debilidades y amenazas, especificadas por cada apartado de la evaluación y reportadas en el Anexo 7 “Principales Fortalezas, Retos y Recomendaciones”, en el que se incluirán un máximo de 5 fortalezas y/o oportunidades, 5 debilidades y/o amenazas, y 5 recomendaciones por sección de la evaluación de Consistencia.
Conclusiones Las conclusiones serán precisas y fundamentadas en el análisis y la evaluación realizada en cada una de sus secciones de la evaluación de consistencia. Asimismo, las mismas se incluirán en el Anexo 9 “Valoración Final del programa” la información de cada tema. Finalmente, la Evaluación incluirá los siguientes anexos presentados en el Modelo de Términos de Referencia en materia de Consistencia y Resultados:
- Anexo 1 “Evolución de la Cobertura”. - Anexo 2 “Información de la Población Atendida”. - Anexo 3 “Diagramas de flujo de los Componentes y procesos claves”. - Anexo 4 “Gastos desglosados del programa”. - Anexo 5 “Avance de los Indicadores respecto a sus metas”. - Anexo 6 “Instrumentos de Medición del Grado de Satisfacción de la Población Atendida”
(Formato libre). - Anexo 7 “Principales Fortalezas, Oportunidades, Debilidades, Amenazas y
Recomendaciones”. - Anexo 8 “Comparación con los resultados de la Evaluación de Consistencia y Resultados
anterior” (Formato libre). - Anexo 9 “Valoración Final del programa”.
iii. Argumentación de las respuestas a las preguntas
Tipos de preguntas Tanto para el apartado de Diseño, como el de Consistencia incluyen preguntas específicas de dos tipos: 1) preguntas que deben ser respondidas mediante un binario (SÍ/NO) y en los casos en que la respuesta sea “sí”, se debe seleccionar uno de cuatro niveles de respuesta definidos para cada pregunta; 2) preguntas que no tienen respuestas binarias (por lo que no incluyen niveles de respuestas).
Formato de la respuesta De acuerdo a los Términos de Referencia, cada una de las preguntas debe responderse en un máximo de una cuartilla e incluir los siguientes conceptos:
231
a. la pregunta; b. la respuesta binaria (SÍ/NO) o abierta, en caso de que la respuesta binaria sea “sí”, se debe incluir el nivel de respuesta (que incluya el número y la oración), y c. el análisis que justifique la respuesta.
Consideraciones para dar respuesta De acuerdo a los Términos de Referencia, para las preguntas que deben responderse de manera binaria (SÍ/NO), se debe considerar lo siguiente:
- Determinación de la respuesta binaria (SÍ/NO). Cuando el programa no cuente con documentos ni evidencias para dar respuesta a la pregunta se considera información inexistente y, por lo tanto, la respuesta es “No”.
- Si el programa cuenta con información para responder la pregunta, es decir, si la respuesta es “Sí”, se procede a precisar uno de cuatro niveles de respuesta, considerando los criterios establecidos en cada nivel.
Se podrá responder “No aplica” a alguna(s) de las preguntas sólo cuando las particularidades del programa evaluado no permitan responder a la pregunta. De presentarse el caso, se deben explicar las causas y los motivos de por qué “No aplica” en el espacio para la respuesta. Para el total de las preguntas, los Términos de Referencia incluyen los siguientes cuatro aspectos que se deben considerar al responder:
1. De manera enunciativa más no limitativa, elementos con los que debe justificar su valoración, así como la información que se debe incluir en la respuesta o en anexos.
2. Fuentes de información mínimas a utilizar para la respuesta. 3. Congruencia entre respuestas. 4. Incluir los anexos correspondientes.
Análisis de Gabinete La evaluación de gabinete se realizará mediante un análisis de la información proporcionada por el INAPAM, así como información adicional que se considere necesaria para justificar su análisis. En este contexto, como se indica en los Términos de Referencia, por análisis de gabinete se entiende al conjunto de actividades que involucra el acopio, la organización y la valoración de información concentrada en registros administrativos, bases de datos, evaluaciones internas y/o externas y documentación pública.
Análisis de Entrevistas a Funcionarios Por otro lado, de acuerdo con las necesidades de información y tomando en cuenta la forma de operar del Programa, se realizarán entrevistas con responsables y/o personal del Programa u otras áreas de la SEDESOL a fin de complementar los argumentos derivados del análisis de gabinete.
232
La metodología para responder consistirá en las siguientes etapas:
- Recopilación de información documental para responder cada una de las preguntas desde el punto de vista del Programa, para ello se tomará como base lo establecido como fuentes mínimas de información por pregunta en los Términos de Referencia respectivos.
- Indagar a partir de la información proporcionada, por medio de entrevistas la existencia de información documental adicional, así como el punto de vista de los operadores del programa sobre las posibles respuestas a las preguntas establecidas en los Términos de Referencia respectivos.
- Valorar la información documental, así como, la recabada mediante entrevistas para responder cada pregunta según corresponda, acorde a los Términos de Referencia respectivos, pudiendo complementar las respuestas con información documental adicional diferente a la proporcionada.
Listado de preguntas con entrevista apartado de Diseño
PREGUNTA ENTREVISTA OPINIÓN DE LOS OPERADORES DEL PROGRAMAS SOBRE:
1 Sí La necesidad o problema que le da origen
El diagnóstico del problema en cuanto a sus causas, efectos, características.
La justificación de intervención que lleva a cabo el programa.
2 Sí
3 Sí
4 Sí Congruencia entre el fin del programa con los objetivos estratégicos con el Plan Nacional de Desarrollo, Plan Sectorial y Metas del Milenio. 5 Sí
6 Sí
7 Sí Definición, identificación y cuantificación de la población potencial y objetivo del mismo,
Características del padrón de beneficiarios 8 Sí
9 Sí
10 Sí Lógica vertical de la matriz de indicadores de resultados.
Lógica horizontal de la matriz de indicadores de resultados.
Fichas técnicas de los indicadores.
Metas de los indicadores.
Posibles mejoras a la matriz de indicadores de resultados. .
11 Sí
12 Sí
13 Sí
14 No
15 No
16 Sí
17 Sí
18 No
19 No
20 Sí
21 Sí Duplicidades, complementariedades y/o sinergias entre programas.
233
Listado de preguntas con entrevista apartado de Consistencia
PREGUNTA ENTREVISTA OPINIÓN DE LOS OPERADORES DEL PROGRAMAS SOBRE:
1 Sí Características planeación de corto, mediano y largo plazo
Características de la planeación estratégica 2 Sí
3 Sí Utilidad de la información generada en evaluaciones externas
Seguimiento a los aspectos susceptibles de mejora
4 Sí
5 Sí
6 Sí Proceso general del programa para cumplir con los bienes y los servicios (Componentes) que genera
Solicitud de apoyos (demanda total de apoyos y las características de los solicitantes)
Procedimientos de selección de beneficiario
Procedimientos para el otorgamiento de los apoyos
Procedimientos para dar seguimiento a la ejecución de las obras y acciones del Programa
7 Sí
8 Sí
9 Sí
10 Sí
11 Sí
12 Sí
13 Sí
14 Sí
15 Sí
16 Sí
17 Sí Modificaciones a los documentos normativos del Programa
18 Sí Problemas que enfrenta la unidad administrativa que opera el Programa para la transferencia de recursos a las instancias ejecutoras y/o a los beneficiarios.
19
Sí
Identificación y cuantificación de los gastos en los que incurre el Programa para generar los bienes y los servicios (Componentes)
Gastos en operación (directos e indirectos), gastos en mantenimiento, gastos en capital, así como, el gasto unitario.
20 Sí Fuentes de financiamiento.
21 Sí Sistemas de información
22 Sí Avance de los indicadores de la MIR del Programa respecto de sus metas
23 Sí Se verificará si el Programa cuenta con mecanismos de transparencia y rendición de cuentas, así como sus características.
24 Sí Instrumentos para medir el grado de satisfacción de su población atendida
25 Sí
Resultados del Programa (Fin y de Propósito de su MIR)
Uso de las evaluaciones externas de resultados 26 Sí
27 Sí
28 Sí
234
iv. Características del Apartado de Medición de Resultados Con el objeto de diseñar instrumentos e indicadores de satisfacción y uso de los beneficios brindados por las acciones o servicios que otorga el Programa, así como los patrones de consumo de los bienes y servicios que pueden adquirirse de manera preferencial mediante el uso de la Tarjeta INAPAM, se realizará un cuestionario que permita obtener información lo más libre de sesgo posible. Con lo anterior, se permitirá generar indicadores sobre la satisfacción de los beneficiarios, así como otro tipo de indicadores que muestren resultados del programa, asimismo, en función de la disponibilidad de espacio en la encuesta se propone evaluar de manera general algunos determinantes del “envejecimiento activo”, el cual de acuerdo a la Organización Mundial de la Salud (OMS), se define como “… el proceso de optimización de las oportunidades de salud, participación y seguridad con el fin de mejorar la calidad de vida a medida que las personas envejecen”.11
Metodología de Medición de Resultados Tarjeta INAPAM Para conocer el beneficio que brinda el Programa, a través de sus servicios y acciones, y dado que se considera que la Tarjeta INAPAM es el instrumento para que los Adultos Mayores (AM) beneficiarios obtengan descuentos en salud, alimentación, transporte, vestido, hogar, recreación y cultura y artículos diversos con los que puede proteger su economía. Estos descuentos surgen de convenios previos con distintos actores del sector privado y público. Considerando esto, se requiere explorar los beneficios del INAPAM de las siguientes vertientes:
Estimar la frecuencia de uso de la Tarjeta Plástica INAPAM;
Conocer los principales usos de la Tarjeta Plástica por grandes rubros: alimentación, salud, vestido, hogar, transporte, pago de servicios e impuestos;
Indagar la sobre la satisfacción con los beneficios que le ofrece la Tarjeta Plástica INAPAM;
Conocer los patrones de consumo de los bienes y servicios que pueden adquirirse de manera preferencial mediante el uso de la Tarjeta INAPAM por grandes rubros.
En la siguiente tabla se enlistan los rubros de descuentos, la periodicidad de estos fue establecida de acuerdo a los criterios que se pueden inferir de la Encuesta Nacional Ingreso Gasto de los Hogares:
GASTOS MENSUALES
GASTOS TRIMESTRALES GASTOS SEMESTRALES GASTOS ANUALES
Restaurantes, Cafeterías Ropa y calzado Paquetes vacacionales Jurídicos
Pastelerías, Panaderías Joyería Viaje en avión Notariales
11
OMS, Envejecimiento activo: un marco político, Disponible en:
ccp.ucr.ac.cr/bvp/pdf/vejez/oms_envejecimiento_activo.pdf
235
GASTOS MENSUALES
GASTOS TRIMESTRALES GASTOS SEMESTRALES GASTOS ANUALES
Universidad, cursos técnicos o cursos de idiomas
Medicamentos Viaje en autobús foráneo Membresías comerciales, turísticas o medicas
Cine y Teatro Análisis Médicos Hotel u hospedaje
Seguro de gastos médicos mayores
Centros Recreativos o clubes deportivos
Médicos generales Balneario , Parques Recreativos Funerarios
Revistas y libros Médicos de Especialidad Vista a museos, paseos culturales, zonas arqueológicas
Pago de Predial
Camión, combi, micro o ruta
Servicios hospitalarios Paquetes vacacionales Pago de Agua
Metro, RTP metrobus o trolebús
Prótesis, aparatos ortopédicos, auditivos o visuales
Compra de electrónicos y electrodomésticos
Taxi Reparación de electrónicos y electrodomésticos
Muebles
Reparación y Mantenimiento Automotriz
Se propone el siguiente bloque de preguntas para analizar las vertientes anteriores12:
VERTIENTE PREGUNTA PROPUESTA
Estimar la frecuencia de uso de la Tarjeta Plástica INAPAM
La semana pasada ¿usted cuantas veces utilizó su tarjeta INAPAM para obtener un descuento?
Conocer los principales usos de la Tarjeta Plástica por grandes rubros: alimentación, salud, vestido, hogar, transporte, pago de servicios e impuestos
¿Para qué usa su tarjeta INAPAM?
Conocer los patrones de consumo de los bienes y servicios que pueden adquirirse de manera preferencial mediante el uso de la Tarjeta INAPAM por grandes rubros
En el mes de ________* ¿usted gastó o pagó servicios de rubro de descuento? ¿Utilizó su tarjeta INAPAM para obtener algún descuento?
Indagar sobre la satisfacción de los beneficios que le ofrece la Tarjeta Plástica INAPAM
En cuanto a los descuentos que otorga la tarjeta INAPAM, ¿Usted se encuentra muy satisfecho,
12
Las preguntas específicas y desarrolladas se encuentran en el Anexo 4.
236
satisfecho, poco satisfecho o nada satisfecho?
En cuanto a la aceptación de la tarjeta INAPAM en los comercios y establecimientos afiliados, ¿Usted se encuentra muy satisfecho, satisfecho, poco satisfecho o nada satisfecho?
En cuanto a los trámites para obtener la tarjeta INAPAM, ¿Usted considera que fueron muy difíciles, difíciles, fáciles o muy fáciles?
En cuanto al tiempo para tramitar su tarjeta INAPAM, ¿Usted se encuentra muy satisfecho, satisfecho, poco satisfecho o nada satisfecho?
Servicios Proporcionados por INAPAM Para indagar la satisfacción, asistencia y frecuencia de uso de servicios en los siguientes servicios proporcionados por el INAPAM:
Capacitación para el trabajo y ocupación del tiempo libre
El INAPAM desarrolla alternativas de adiestramiento en la producción de artículos de diversa Índole para el
autoconsumo o la producción a pequeña escala, con los cuales, además de ocupar su tiempo libre, los adultos
mayores pueden obtener un ingreso extra. Hay talleres de oficio, artesanías y artes plásticas que se imparten en
los centros culturales y clubes del INAPAM.
Dentro de las alternativas que se ofrecen está bisutería, bordado, cerámica, dibujo, escultura, estampado en
tela, florería, grabado, jugueterías, maya y rafia, marquetería, orfebrería y joyería, papel maché, peletería,
peluche, pintura, pintura en cerámica, pintura en porcelana, pirograbado, popotillo, repujado, talla en madera,
tarjetería española, tejido y vitral.
Además de capacitar a los adultos mayores en paquetería en equipos de cómputo, especialmente los programas
de Office e Internet, lo que constituye una herramienta invaluable para su actualización.
Centro de Atención Integral
Servicios de atención Médica (general y de especialidad) de primer nivel que apoyan la detección, el control y el
seguimiento de las enfermedades comunes en las personas adultas mayores.
Centros Culturales
Espacio de formación donde se ofrecen diversas alternativas de formación y desarrollo humano a las personas
de 60 años o más. Los talleres varían de humanidades, psicología, lenguas extranjeras, iniciación artística, taller
de artesanías y artes plásticas, labores artesanales, educación para la salud, cultura física para adultos, que les
permite recibir información, actualización, capacitación y adiestramiento.
237
Clubes INAPAM
Estos son espacios que permiten la interacción y la integración de los beneficiarios INAPAM, dónde se ofrecen
actividades de corte educativo, deportivo y social. La finalidad de generar estos espacios es promover la
participación de las personas adultas mayores.
Albergues y Residencias Diurnas
Proporcionan asistencia integral a los adultos mayores que no cuentan con apoyo familiar o recursos
económicos que les permiten cubrir sus necesidades básicas y ser independientes.
Ahí reciben alojamiento permanente o temporal, además de alimentación balanceada, supervisión geriátrica,
terapia ocupacional, y servicios de trabajo social.
Empleo para AM (y de manera particular conocer el porcentaje de AM que encuentran empleo a través de este
servicio).
El INAPAM es el enlace para adultos mayores con las empresas que desean contratar a las personas de 60 años
de edad y más.
Educación para la salud
Se imparten cursos en dos grandes líneas, las dirigidas a las personas adultas mayores y en edad prejubilatoria con el propósito de prevenir y mejorar sus condiciones de vida, a través de cursos, talleres y pláticas que abordan temas sobre el cuidado de la salud y desarrollo humano. Para conocer la satisfacción de los servicios de capacitación para el trabajo, talleres para ocupación del tiempo libre, bolsa de trabajo, atención médica, atención psicológica, atención ciudadana y/o jornadas federales, afiliación, asesoría jurídica, educativas, educación para la salud, física o deportiva, cultural y paseos, se utilizarán las preguntas siguientes:
CONOCIMIENTO DEL SERVICIO
USO DEL SERVICIO
SATISFACCIÓN CON EL SERVICIO
SATISFACCIÓN CON LA ATENCIÓN DEL
PRESTADOR DE SERVICIO
¿Conoce si en (ciudad) existen servicios o actividades de _____ otorgados por el INAPAM?
Usted ha utilizado el servicio o actividades de _____ otorgado por el INAPAM?
¿Dónde recibió el servicio o actividad de ______?
En cuanto al servicio o actividad de ___ otorgado por el INAPAM, ¿Usted se encuentra muy satisfecho, satisfecho, poco satisfecho o nada satisfecho?
En cuanto a la atención recibida por el personal que otorga el servicio o actividad de ______, ¿Usted se encuentra muy satisfecho, satisfecho, poco satisfecho o nada satisfecho?
238
Características generales del diseño muestral Población Objetivo La población objetivo del estudio son todas las personas, mayores de 60 años, que son beneficiarias del programa de “Servicios a grupos con necesidades especiales (E003)”, a cargo del Instituto Nacional de las Personas Adultas Mayores (INAPAM). El total de individuos para este estudio comprende a los beneficiarios con Tarjeta Plástica INAPAM para los ejercicios 2010 y 2011, que asciende a 426,019, según consta en el padrón de beneficiarios del INAPAM 2010-2011. Diseño de la muestra El diseño de la muestra se caracteriza por ser probabilístico, polietápico y por conglomerados, donde la unidad última de selección y observación es el beneficiario. Cabe señalar que no se propone una estratificación explícita de la población, pero se plantea una selección balanceada que dé representatividad a la muestra por sexo.
Marco muestral Para la construcción del marco muestral se consideró lo especificado en los Términos de Referencia para la Evaluación Complementaria de Diseño, Consistencia y Medición de Resultados (2010-2011) al Programa “Servicios a grupos con necesidades especiales (E003)”. En particular, se consideran únicamente a los beneficiarios que se encuentran en los municipios que concentran al 95% de la población beneficiaria, ordenados de mayor a menor cantidad de beneficiarios, con base en el padrón de beneficiarios del INAPAM de los años 2010 y 2011. Esquema de muestreo Probabilístico. Las unidades de muestreo tienen la misma probabilidad de ser seleccionadas. Polietápico. Las unidades últimas de selección o individuos, se eligen después de una etapa de selección previa. Unidades de Muestreo Unidad Primaria de Muestreo (UPM)
Colonias o grupos de colonias, definidas de tal forma que su tamaño permita garantizar una misma probabilidad de selección en cada municipio, considerando la fracción de muestreo a nivel nacional. Para ello, se asume que cada unidad primaria contendrá un número fijo de beneficiarios y se elegirá también un número fijo en cada uno de ellos para conformar la muestra. Unidad Secundaria o Última de Muestreo (USM) Se elegirán 8 beneficiarios del programa por cada UPM. Los beneficiarios serán entrevistados de forma individual en su vivienda. Tamaño de la muestra
239
El tamaño de muestra para un diseño aleatorio simple se calcula a partir de la siguiente expresión:
.
(1)
Tomando en cuenta que el diseño propuesto es polietápico y por conglomerados, el tamaño de muestra se ajusta para considerar el efecto de diseño y la correlación de las unidades dentro de las colonias o grupos de colonias (rho), usando la expresión siguiente:
donde:
Concepto Valores
Tamaño de la muestra (n) 1496
Población total en el Marco acotado (N) 426,019
Valor en tablas estadísticas de una
distribución normal (z).
1.96
Estimación de la proporción de interés (p) 50%
Error relativo máximo aceptable (e) 9.4%
Efecto de diseño (deff)13
2.89
Tasa de no respuesta máxima aceptable. 20%
Promedio de beneficiarios por UPM (B) 210
Para el cálculo del tamaño de muestra, se tomó como proporción de interés aquél que corresponde con la varianza máxima (p=0.5). La confianza para este diseño es de 95%, con un error relativo máximo esperado del 9.4% Selección de la Muestra Para la selección de la muestra se procederá como sigue: a. Se eligen 187 UPM del marco muestral acotado, empleando una selección aleatoria. El tamaño se define en
función del número de beneficiarios con Tarjeta Plástica INAPAM y el número óptimo de unidades secundarias. Esta selección se basa en los lineamientos establecidos en los Términos de Referencia14.
13
El efecto de diseño es un indicador que permite valorar, en términos relativos, la varianza que resulta de considerar un diseño por conglomerados, en relación a un diseño aleatorio simple. El valor que se emplea en este diseño fue obtenido de estudios previos; en particular, del programa de ZAP 2011. 14
Mismo que establece la consideración de al menos 60 municipios en la muestra.
240
b. Se define un esquema de muestreo con UPM del mismo tamaño, donde se eligen 8 beneficiarios en cada una de ellas. La elección del número de unidades secundarias se definió en función de un esquema de costos eficiente que minimiza la varianza en un diseño de conglomerados en dos etapas (Cochran, 1977). Esto es, los valores óptimos de a (número de unidades primarias seleccionadas) y b (número de beneficiarios de INAPAM seleccionados en cada UPM) se obtienen al minimizar la varianza para un costo fijo.
El modelo de costos para un diseño por conglomerados en dos etapas (sin considerar costos fijos) es como sigue: C=a*ca+a*(b*cb), donde ca es el costo por conglomerado y cb es el costo de levantar una entrevista dentro de cada conglomerado. ca está muy influenciado por los costos de viaje y de preparación, mientras que cb por los costos asociados a la entrevista. De esta manera, para un costo dado, C, se elige el valor óptimo de b que minimiza la varianza muestral, como sigue:
√
.
(2)
Estimadores El valor de la media poblacional ( ) se determina por medio de la siguiente expresión:
∑
, (3)
donde N es el total de la población (total de beneficiarios con Tarjeta Plástica INAPAM en el Marco Acotado) y el valor de la variable de interés del individuo i de esta población. Cuando toma valores dicotómicos (por ejemplo de 1 y 0), la expresión en 1 representa la proporción de individuos que comparten una característica específica (denominado estimador de proporción). Como los valores poblacionales son desconocidos, el valor de media o de proporciones, representado analíticamente por la expresión (3), se estima usando los valores muestrales obtenidos a través de la encuesta, como sigue:
∑
, (4)
donde representa el ponderador de la muestra para el individuo i, e el valor asociado de la variable de interés para el mismo individuo. Los ponderadores muestrales compensan el hecho de que algunos elementos en la población tienen diferentes probabilidades de selección, así como su representatividad. A diferencia de un esquema de muestreo aleatorio simple, la varianza en un diseño por conglomerados debe tomar en cuenta las diferencias en variabilidad entre y dentro de los conglomerados, donde estas diferencias quedarán definidas en función de la posible heterogeneidad entre los individuos que conforman a cada uno de ellos. En el caso específico de esta propuesta, los conglomerados, al estar representados por colonias o grupos de colonias, podrían tener varianzas distintas en función de su ubicación geográfica, el entorno socioeconómico, acceso a mercados formales, factores culturales, entre otros factores. Es decir, aunque las características de los apoyos de un beneficio o programa específico (como INAPAM) sean similares o idénticas para todos los
241
beneficiarios, las diferencias del entorno pueden ser factores de variabilidad entre ellos. Por ello, para la estimación de la varianza del estimador de la media ( ) en el diseño por conglomerados en dos etapas que se propone, se emplea la siguiente expresión (Kish, 1965):
(
)
(
)
,
(5)
Donde A y B representan el número total de UPM (colonias o grupos de colonias) y el número total de beneficiarios por cada UPM, respectivamente. Las variables a y b ya fueron definidas anteriormente. Por su
parte, y
, representan la varianza poblacional entre conglomerados y dentro de los conglomerados, respectivamente. A su vez, las fórmulas para de estas dos últimas expresiones se definen como:
∑ ( )
⁄ , y
∑
. Los términos , representan el valor de la variable de interés
de un individuo en el conglomerado , y la media del conglomerado , respectivamente. La estimación de proporciones sigue un procedimiento similar, sólo se ajustan los estimadores de la varianza para proporciones. Los valores de la varianza poblacional serán estimados a partir de sus valores muestrales una vez que se disponga de la muestra final. Finalmente, los ponderadores de la muestra serán estimados empleando las fracciones de muestreo que correspondan, congruentes con este diseño probabilístico. Las fracciones de muestreo finales se ajustarán conforme al número efectivo de entrevistas logradas en campo. De igual forma, se propone el uso de la técnica de pos-estratificación en caso de que algún grupo de interés en la población no resulte representado al final del levantamiento. Esto se hará a solicitud y de conformidad con los responsables del programa. Entre las ventajas en el uso de pos-estratificación se encuentran: ganancias de precisión con variaciones no considerables en la varianza y control en el ajuste poblacional. Por otro lado, la principal desventaja de este procedimiento es que se requiere de información auxiliar confiable con la cual hacer comparativos, que podría no estar disponible en la práctica. Selección de unidades primarias En el Cuadro 1 se ilustran los totales poblacionales, obtenidos a partir del Marco acotado del programa INAPAM. Por su parte, el cuadro 2 contiene el listado de las unidades primarias de muestreo seleccionadas en la primera etapa.
Cuadro 1. Marco muestral acotado, totales y proporciones por entidad federativa, INAPAM 2010-2012
Entidad
Marco acotado mun col Ben % mun % col % ben col /
mun ben / mun
ben / col
Aguascalientes 10 764 10924 5.13 4.02 2.7 76 1,092 14
Baja California 1 498 9065 0.51 2.62 2.2 498 9,065 18
Baja California Sur 1 190 3321 0.51 1.00 0.8 190 3,321 17
Campeche 1 166 3552 0.51 0.87 0.9 166 3,552 21
Chiapas 2 361 6058 1.03 1.90 1.5 181 3,029 17
Chihuahua 1 505 11593 0.51 2.66 2.9 505 11,593 23
242
Entidad
Marco acotado mun col Ben % mun % col % ben col /
mun ben / mun
ben / col
Coahuila de Zaragoza 2 460 7049 1.03 2.42 1.7 230 3,525 15
Colima 6 309 4153 3.08 1.63 1.0 52 692 13
Distrito Federal 16 1679 125386 8.21 8.84 31.0 105 7,837 75
Durango 4 537 9625 2.05 2.83 2.4 134 2,406 18
Guanajuato 5 550 4134 2.56 2.89 1.0 110 827 8
Guerrero 2 424 10367 1.03 2.23 2.6 212 5,184 24
Hidalgo 3 264 4493 1.54 1.39 1.1 88 1,498 17
Jalisco 5 863 8693 2.56 4.54 2.1 173 1,739 10
México 24 1935 26573 12.31 10.18 6.6 81 1,107 14
Michoacán de Ocampo
8 639 10566 4.10 3.36 2.6 80 1,321 17
Morelos 6 469 9364 3.08 2.47 2.3 78 1,561 20
Nayarit 14 618 11771 7.18 3.25 2.9 44 841 19
Nuevo León 9 1815 19707 4.62 9.55 4.9 202 2,190 11
Oaxaca 6 310 5607 3.08 1.63 1.4 52 935 18
Puebla 6 902 22640 3.08 4.75 5.6 150 3,773 25
Querétaro 3 613 10911 1.54 3.23 2.7 204 3,637 18
Quintana Roo 1 143 1751 0.51 0.75 0.4 143 1,751 12
San Luis Potosí 2 521 10515 1.03 2.74 2.6 261 5,258 20
Sinaloa 3 459 7730 1.54 2.42 1.9 153 2,577 17
Sonora 2 427 7137 1.03 2.25 1.8 214 3,569 17
Tabasco 7 522 7773 3.59 2.75 1.9 75 1,110 15
Tamaulipas 6 481 7055 3.08 2.53 1.7 80 1,176 15
Tlaxcala 17 323 4603 8.72 1.70 1.1 19 271 14
Veracruz 11 554 8729 5.64 2.92 2.2 50 794 16
Yucatán 2 359 8198 1.03 1.89 2.0 180 4,099 23
Zacatecas 9 343 5754 4.62 1.80 1.4 38 639 17
Total 195 19003 404797 100.00 100.00 100.0 97 2,076 21
Cuadro 2. Unidades primarias seleccionadas y tamaños de muestra, INAPAM 2010-2011 id Unidad primaria id Unidad primaria
1 Aguascalientes-Aguascalientes-INSURGENTES 95 Jalisco-Guadalajara-VILLASEÑOR
2 Aguascalientes-Aguascalientes-EL ENCINO 96 Jalisco-Tlaquepaque-TLAQUEPAQUE CENTRO
3 Aguascalientes-Aguascalientes-VALLE DEL RIO SAN PEDRO 97 México-Ecatepec de Morelos-IZCALLI SANTA CLARA
4 Aguascalientes-Calvillo-PIEDRAS CHINAS 98 México-La Paz-SAN SEBASTIAN CHIMALPA
5 Aguascalientes-Calvillo-LA LABOR 99 México-Metepec-ESPIRITU SANTO
6 Baja California Sur-La Paz-PUEBLO NUEVO 100 México-Metepec-LA ASUNCION
7 Baja California-Mexicali-VILLA DEL REY TERCERA ETAPA 101 México-Tlalnepantla de Baz-SAN LUCAS PATONI
8 Baja California-Mexicali-CAMPESTRE 102 México-Tlalnepantla de Baz-PRADO VALLEJO
9 Baja California-Mexicali-SAN PABLO 103 México-Toluca-CELANESE
10 Baja California-Mexicali-FOVISSSTE 104 México-Toluca-FRANCISCO MURGUIA EL RANCHITO
11 Campeche-Campeche-HEROES DE CHAPULTEPEC (FOVI) 105 México-Toluca-SAN MATEO OXTOTITLAN
12 Chiapas-Tuxtla Gutiérrez-LA PIMIENTA 106 Mexico-Toluca-COLON
13 Chiapas-Tuxtla Gutiérrez-CAPULINES 1 107 Michoacán de Ocampo-Morelia-DOCTOR MIGUEL SILVA
14 Chiapas-Tuxtla Gutiérrez-PATRIA NUEVA 108 Michoacán de Ocampo-Morelia-LAS AMERICAS
15 Chiapas-Tuxtla Gutiérrez-RESIDENCIAL LA HACIENDA 109 Michoacán de Ocampo-Morelia-MORELIA CENTRO
16 Chihuahua-Chihuahua-UNIDAD PROLETARIA 110 Michoacán de Ocampo-Morelia-BALCONES DE SANTA MARIA
17 Chihuahua-Chihuahua-CAMPESINA 111 Michoacán de Ocampo-Morelia-EDUARDO RUIZ
18 Chihuahua-Chihuahua-JUNTA DE LOS RIOS Y ETAPAS 112 Michoacán de Ocampo-Morelia-LAZARO CARDENAS
19 Chihuahua-Chihuahua-VILLANUEVA 113 Michoacán de Ocampo-Morelia-ISAAC ARRIAGA
20 Chihuahua-Chihuahua-SANTA ROSA 114 Michoacán de Ocampo-Morelia-SIMPANIO NORTE
243
id Unidad primaria id Unidad primaria
21 Chihuahua-Chihuahua-CTM (ORTIZ) 115 Morelos-Cuernavaca-SATELITE
22 Chihuahua-Chihuahua-PASEOS DE CHIHUAHUA I Y II 116 Morelos-Cuernavaca-LA CAROLINA
23 Coahuila de Zaragoza-Saltillo-AZTECA 117 Morelos-Cuernavaca-SAN CRISTOBAL
24 Coahuila de Zaragoza-Saltillo-SAN PEDRO DE LOS PINOS 118 Morelos-Cuernavaca-VISTA HERMOSA
25 Coahuila de Zaragoza-Saltillo-OCEANIA 119 Morelos-Emiliano Zapata-PALO ESCRITO
26 Coahuila de Zaragoza-Saltillo-LOMAS DE LOURDES 120 Morelos-Jiutepec-ATLACOMULCO
27 Coahuila de Zaragoza-Saltillo-RIO BRAVO 121 Nayarit-Amatlan de Cañas-ESTANCIA DE LOS LOPEZ
28 Coahuila de Zaragoza-Saltillo-DERRAMADERO 122 Nayarit-Compostela-COMPOSTELA CENTRO
29 Coahuila de Zaragoza-Saltillo-SALTILLO ZONA CENTRO 123 Nayarit-San Blas-JALCOCOTAN
30 Colima-Colima-JARDINES VISTA HERMOSA 124 Nayarit-Tepic-TEPIC CENTRO
31 Colima-Colima-HIDALGO 125 Nayarit-Tepic-MORELOS
32 Colima-Colima-COLIMA CENTRO 126 Nayarit-Tepic-MENCHACA
33 Distrito Federal-Azcapotzalco-TRABAJADORES DE HIERRO 127 Nayarit-Tepic-JACARANDAS
34 Distrito Federal-Benito Juárez-PIEDAD NARVARTE 128 Nayarit-Tepic-PUERTA DE LA LAGUNA
35 Distrito Federal-Benito Juárez-NAPOLES 129 Nuevo León-Guadalupe-JOSE LUIS MORA
36 Distrito Federal-Benito Juárez-MODERNA 130 Nuevo León-Guadalupe-LA PASTORA
37 Distrito Federal-Benito Juárez-SANTA CRUZ ATOYAC 131 Nuevo León-Monterrey-VALLE VERDE 1 SECTOR
38 Distrito Federal-Coyoacán-PARQUE SAN ANDRES 132 Nuevo León-Monterrey-RINCON DE LA PRIMAVERA 4 SECTOR
39 Distrito Federal-Coyoacán-VILLA COYOACAN 133 Nuevo León-Monterrey-SANTA CECILIA
40 Distrito Federal-Gustavo A. Madero-SAN JUAN Y GUADALUPE TICOMAN
134 Nuevo León-Monterrey-SAN ANGEL SUR
41 Distrito Federal-Gustavo A. Madero-PROVIDENCIA 135 Nuevo León-Monterrey-MADRE SELVA
42 Distrito Federal-Gustavo A. Madero-VILLA GUSTAVO A. MADERO
136 Nuevo León-Monterrey-C. R. O. C.
43 Distrito Federal-Gustavo A. Madero-BELISARIO DOMINGUEZ 137 Nuevo León-San Nicolás de los Garza-CIUDAD IDEAL
44 Distrito Federal-Gustavo A. Madero-ARAGON LA VILLA 138 Nuevo León-San Nicolás de los Garza-VALLE DEL NOGALAR
45 Distrito Federal-Gustavo A. Madero-SANTA ISABEL TOLA 139 Oaxaca-Oaxaca de Juárez-JARDIN
46 Distrito Federal-Gustavo A. Madero-AHUEHUETES 140 Oaxaca-Oaxaca de Juárez-GUADALUPE VICTORIA
47 Distrito Federal-Iztacalco-REFORMA IZTACCIHUATL NORTE 141 Oaxaca-Oaxaca de Juárez-LA NORIA
48 Distrito Federal-Iztacalco-EL RODEO 142 Oaxaca-Oaxaca de Juarez-5 SEÑORES
49 Distrito Federal-Iztapalapa-PALMITAS 143 Puebla-Puebla-IGNACIO ROMERO VARGAS
50 Distrito Federal-Iztapalapa-EL PRADO 144 Puebla-Puebla-CHULA VISTA
51 Distrito Federal-Iztapalapa-VALLE DE LUCES 145 Puebla-Puebla-CRISTOBAL COLON
52 Distrito Federal-Iztapalapa-MIGUEL DE LA MADRID HURTADO 146 Puebla-Puebla-FRANCISCO VILLA
53 Distrito Federal-Iztapalapa-LOMAS DE LA ESTANCIA 147 Puebla-Puebla-REFORMA AGUA AZUL
54 Distrito Federal-Iztapalapa-SANTA BARBARA 148 Puebla-Puebla-VILLA POSADAS
55 Distrito Federal-Iztapalapa-IZTLAHUACAN 149 Querétaro-Querétaro-DESARROLLO SAN PABLO
56 Distrito Federal-Iztapalapa-SAN ANDRES TETEPILCO 150 Querétaro-Querétaro-PLAZAS DEL SOL 1A SECCION
57 Distrito Federal-La Magdalena Contreras-SAN JERONIMO LIDICE 151 Querétaro-Querétaro -CENTRO
58 Distrito Federal-La Magdalena Contreras-LOMAS DE SAN BERNABE
152 Querétaro-Querétaro -PARAISO DIAMANTE
59 Distrito Federal-Miguel Hidalgo-ARGENTINA ANTIGUA 153 Querétaro-Querétaro-COLINAS DE SANTA CRUZ 1A SECCION
60 Distrito Federal-Tlahuac-LA GUADALUPE 154 Queretaro-Queretaro-LAS PALMAS
61 Distrito Federal-Tlahuac-JAIME TORRES BODET 155 San Luis Potosí-San Luis Potosí-FERROCARRILERA
62 Distrito Federal-Tlahuac-DEL MAR 156 San Luis Potosí-San Luis Potosí-RINCONADAS
63 Distrito Federal-Tlalpan-TORIELLO GUERRA 157 San Luis Potosí-San Luis Potosí-LOS REYES
64 Distrito Federal-Tlalpan-ARENAL TEPEPAN 158 San Luis Potosí-San Luis Potosí-CIUDAD 2000 INFONAVIT
65 Distrito Federal-Tlalpan-SANTA URSULA XITLA 159 San Luis Potosí-San Luis Potosí-TANGAMANGA
66 Distrito Federal-Tlalpan-GUADALUPE 160 San Luis Potosí-San Luis Potosí-HIMNO NACIONAL
67 Distrito Federal-Tlalpan-LOMAS DE PADIERNA 161 San Luis Potosí-San Luis Potosí-EL SAUZALITO
68 Distrito Federal-Tlalpan-MESA DE LOS HORNOS 162 Sinaloa-Culiacan-INFONAVIT HUMAYA
69 Distrito Federal-Venustiano Carranza-REVOLUCION 163 Sinaloa-Culiacan-EL DORADO
70 Distrito Federal-Venustiano Carranza-JARDIN BALBUENA 164 Sinaloa-Culiacan-QUINTO PATIO
71 Distrito Federal-Venustiano Carranza-20 DE NOVIEMBRE 165 Sinaloa-Culiacan-LAS QUINTAS
72 Distrito Federal-Venustiano Carranza-ARENAL 4A SECCION 166 Sinaloa-Culiacan-BACHIGUALATO
73 Distrito Federal-Xochimilco-JARDINES DEL SUR 167 Sinaloa-Culiacan-EMILIANO ZAPATA
244
id Unidad primaria id Unidad primaria 74 Distrito Federal-Xochimilco-DEL CARMEN 168 Sinaloa-Culiacan-CULIACAN CENTRO
75 Distrito Federal-Álvaro Obregon-CORPUS CHRISTY 169 Sonora-Hermosillo-ARTESANOS
76 Distrito Federal-Álvaro Obregón-PROGRESO TIZAPAN 170 Sonora-Hermosillo-VILLA DEL REAL
77 Distrito Federal-Álvaro Obregón-BEJERO DEL PUEBLO SANTA FE 171 Sonora-Hermosillo-HERMOSILLO CENTRO
78 Distrito Federal-Álvaro Obregón-LOMAS DE CHAMONTOYA 172 Sonora-Hermosillo-LAS ISABELES
79 Distrito Federal-Álvaro Obregón-GUADALUPE INN 173 Tabasco-Balancan-PALENQUE
80 Distrito Federal-Álvaro Obregón-SAN ANGEL 174 Tabasco-Centla-FRONTERA CENTRO
81 Durango-Durango-FRANCISCO ZARCO 175 Tabasco-Centro-RIO VIEJO
82 Durango-Durango-CUADRA DEL FERROCARRIL 176 Tabasco-Centro-EL RECREO
83 Durango-Durango-VALLE DEL GUADIANA 177 Tlaxcala-Contla de Juan Cuamatzi-SAN JOSE AZTATLA
84 Guanajuato-Guanajuato-LAS TERESAS 178 Veracruz de Ignacio de la Llave-Xalapa-RAFAEL LUCIO
85 Guanajuato-Silao-MEDRANOS 179 Veracruz de Ignacio de la Llave-Xalapa-DEL MAESTRO
86 Guanajuato-Silao-SAN DIEGO 180 Veracruz de Ignacio de la Llave-Xalapa-FERROCARRILERA
87 Guerrero-Acapulco de Juárez-LA LAJA 181 Yucatan-Mérida-VICENTE SOLIS
88 Guerrero-Acapulco de Juárez-CUAUHTEMOC INFONAVIT 182 Yucatán-Mérida-SALVADOR ALVARADO SUR
89 Guerrero-Coyuca de Benítez-LOS MOGOTES 183 Yucatán-Mérida-BOJORQUEZ
90 Hidalgo-Mineral de la Reforma-TULIPANES 184 Yucatán-Mérida-CASTILLA CAMARA
91 Hidalgo-Pachuca de Soto-RINCONADA DE SANTIAGO 185 Yucatán-Mérida-RESIDENCIAL DEL ARCO
92 Jalisco-Guadalajara-VALENTIN GOMEZ FARIAS 186 Zacatecas-Fresnillo-JOSE MARIA MORELOS
93 Jalisco-Guadalajara-OBLATOS 187 Zacatecas-Fresnillo-GUANAJUATO
94 Jalisco-Guadalajara-GUADALAJARA CENTRO TOTAL 1496
Prueba piloto Mediante la prueba piloto se evaluará el instrumento, el plan de análisis y los demás elementos contemplados en el proceso de recolección de información. De esta manera, probará el grado de aceptación de las personas a la encuesta, así como evaluar la forma de como los datos serán recolectados y el manejo posterior que se les dará a éstos. Para la prueba se levantará un total de 56 entrevistas en los estados de Hidalgo, Morelos, así como, en el Distrito Federal. Las entrevistas se repartirán de la siguiente manera.
ENTIDAD MUNICIPIO CANTIDAD DE ENCUESTAS
CANTIDAD DE COLONIAS
CANTIDAD DE BENEFICIARIOS
Hidalgo Pachuca 16 165 3500
Mineral de la reforma 8 80 888
Distrito Federal
Azcapotzalco 16 100 2833
Xochimilco 8 113 3185
Morelos Yautepec 8 35 149
El Personal involucrado en la prueba piloto será 1 Instructor supervisor general, 1 Supervisor de campo, 4 encuestadores. El calendario de levantamiento es Azcapotzalco 13 de agosto, Xochimilco, Pachuca y Mineral de la reforma el 14 de agosto y Yautepec el 18 del mismo mes.
245
Metodología del Apartado de Evaluación Cualitativa. Para tener un diagnóstico completo en torno al programa, se sugiere utilizar la técnica de grupos de enfoque (focus groups) y de encuestas de satisfacción de servicios con beneficiarios del INAPAM, ya que estas herramientas permiten trascender el análisis cuantitativo y conocer necesidades específicas en áreas de oportunidad para la gestión del Programa E003. Los grupos de enfoque (focus groups) y de encuestas de satisfacción de servicios no son representativas estadísticamente de la población ni validables por definición. No obstante, la utilidad de los estudios cualitativos radica en conocer la diversidad, sustento y formas de articulación de argumentos de la población beneficiaria. Grupos de enfoque (focus groups)
La estrategia de levantamiento consiste en realizar 3 grupos de enfoque (focus groups) con una duración de 2 horas, en los que participen de 10 a 12 personas adultas mayores. Uno de los grupos estará integrado sólo por mujeres, otro únicamente por hombres y el último estará integrado por la mitad de hombres y de mujeres.
La metodología a seguir es:
Detección personas adultas mayores beneficiarias por alguna modalidad del Programa.
Invitación de personas con el perfil propuesto a la sesión (mujeres, hombres, mujeres y hombres).
Organización de la sesión o las sesiones en un ambiente cómodo y relajado, con el fin de que los
participantes se sientan “a gusto”, tranquilos, despreocupados y relajados.
Realización de la sesión, en la cual la moderadora, una persona capacitada en el manejo o la conducción
de grupos y que creará un clima de confianza (rapport) entre los participantes.
Durante la sesión se solicitarán opiniones, se realizarán preguntas, se discutirán casos, se
intercambiarán puntos de vista y se valorarán diversos aspectos.
Elaboración del reporte de sesión el cual incluye:
Datos sobre los participantes
Fecha y duración de la sesión
Información completa del desarrollo de la sesión, actitud y comportamiento de los participantes hacia el
moderador y la sesión en sí, resultados de la sesión.
Observaciones del conductor, así como la bitácora de la sesión.
Encuestas de Satisfacción de Servicios proporcionados por el INAPAM
Las encuestas serán realizadas en el Distrito Federal en dos Centros de Atención Integral, una Residencia Diurna y dos Clubes INAPAM, se estima un tiempo máximo de aplicación de 5 minutos. La metodología a seguir es:
Al azar se elegirá una persona adulta mayor que se encuentre en las instalaciones donde se proporcionan los distintos servicios.
246
Se procederá a solicitar tiempo con el mismo, con el objeto de aplicar la encuesta. Para lo cual, mostrando su credencial realizaras el contacto inicial de la siguiente manera:
Buenos días/tardes/noches Mi nombre es ________ y vengo de parte de la Universidad Autónoma del Estado de México, estamos haciendo una encuesta sobre las acciones y servicios que proporciona el INAPAM, con el objetivo de valorar la calidad de los mismos. La información que usted nos proporcione es confidencial y será utilizada solamente con fines estadísticos. Asimismo, le informo que la encuesta no se ocupa para otorgar algún tipo de apoyo o programa social. ¿Podría contestarme las preguntas de la encuesta? No tomará más que unos minutos y realmente se lo agradeceríamos mucho.
En caso de que el beneficiario no desee contestar la encuesta se buscará a otra persona adulta mayor.
En caso de que el beneficiario acceda a contestar la encuesta, se procederá a la aplicación de la misma.
Al término de la aplicación de la encuesta se procederá a agradecer las atenciones brindadas por medio de frases amables y amistosas.
d. Estructura temática del informe de Evaluación. La Entrega final del Informe de Evaluación Complementaria de Diseño, Consistencia y Resultados y Medición de Resultados tendrá la siguiente estructura temática: 1. Resumen Ejecutivo (Máximo 3 cuartillas) 2. Índice 3. Introducción (1 cuartilla) 4. En Materia de Diseño (21 cuartillas) 5. En Materia de Consistencia (28 cuartillas) 6. Análisis de Fortalezas, Oportunidades, Debilidades, Amenazas y Recomendaciones. 11. Medición de Resultados (2 cuartillas) 12. Conclusiones (2 cuartillas) 13. Bibliografía 14. Anexos En Materia de Diseño
- Anexo 1 “Descripción General del Programa” (Formato libre). - Anexo 2 “Metodología para la cuantificación de las Poblaciones Potencial y Objetivo”
(Formato libre). - Anexo 3 “Procedimiento para la actualización de la base de datos de beneficiarios” (Formato libre). - Anexo 4 “Resumen Narrativo de la Matriz de Indicadores para Resultados”. (Formato libre). - Anexo 5 “Indicadores”. - Anexo 6 “Metas del programa”.
247
- Anexo 7 “Complementariedad y coincidencias entre programas federales”. - Anexo 8 “Principales Fortalezas, retos y recomendaciones”. - Anexo 9 “Matriz de Indicadrores para Resultados del Programa “Servicios a Grupos con
necesidades especiales E003, A cargo del INAPAM”. - Anexo 10 “Fuentes de Información” - Anexo 11 “Ficha Técnica con los datos generales de la instancia Evaluadora y Costo de la
Evaluación” En Materia de Consistencia
- Anexo 1 “Evolución de la Cobertura”. - Anexo 2 “Información de la Población Atendida”. - Anexo 3 “Diagramas de flujo de los Componentes y procesos claves”. - Anexo 4 “Gastos desglosados del programa”. - Anexo 5 “Avance de los Indicadores respecto a sus metas”. - Anexo 6 “Instrumentos de Medición del Grado de Satisfacción de la Población Atendida”
(Formato libre). - Anexo 7 “Principales Fortalezas, Oportunidades, Debilidades, Amenazas y
Recomendaciones”. - Anexo 8 “Comparación con los resultados de la Evaluación de Consistencia y Resultados
anterior” (Formato libre). - Anexo 9 “Valoración Final del programa”.
Medición de Resultados I. Resumen Ejecutivo de la Medición de Resultados II. Introducción de la Medición de Resultados III. Metodología utilizada IV. Análisis de tabulados básicos V. Análisis de Resultados
Frecuencia de uso de la Tarjeta Plástica INAPAM; Principales usos de la Tarjeta Plástica INAPAM por grandes rubros: alimentación, salud, vestido, hogar,
transporte, pago de servicios e impuestos; Satisfacción con los beneficios que le ofrece la Tarjeta Plástica INAPAM; Conocer los patrones de consumo de los bienes y servicios que pueden adquirirse de manera
preferencial mediante el uso de la Tarjeta Plástica INAPAM Satisfacción, asistencia y frecuencia de uso de servicios en los siguientes centros:
- Capacitación para el trabajo y ocupación del tiempo libre; - Centro de Atención Integral; - Culturales; - Clubes INAPAM; - Albergues y Residencias Diurnas; - El INAPAM va a tu barrio; - Empleo para AM (y de manera particular conocer el porcentaje de AM que encuentran empleo a través de este servicio), y - Educación para la salud. VI. Conclusiones de la Medición de Resultados VII. Análisis de Fortalezas, Oportunidades, Debilidades, Amenazas y Recomendaciones
248
VIII. Bibliografía y fuentes de información Anexos • Informe Metodológico para la medición de resultados • Instrumentos de campo finales (electrónico) • Bases de Datos de Trabajo de Campo. (electrónico) • Catálogo de variables del Trabajo de Campo (electrónico) • Informe del Trabajo de Campo • Otros anexos que se consideren necesarios • Presentación de resultados (ppt)
Entrega Contenido de las entregas (productos)
Primer Producto
Informe de Diseño Metodológico
Informe Metodológico de las partes de Diseño, Consistencia y medición de Resultados.
Diseño Muestral
Diseño de la Prueba Piloto
Instrumentos de Campo Preliminares
Manuales e instrumentos preliminares de capacitación de la prueba piloto
Segundo
Producto
Informe de la Prueba Piloto y Diseño Muestral Final
Informe de Resultados de la Prueba Piloto
Instrumentos de Campo Finales
Manuales e instrumentos de capacitación Finales
Diseño Muestral Final
Base de datos con la muestra de la prueba piloto (electrónico)
Tercer Producto
Informe Preliminar: Diseño y Consistencia
I. Diseño (Anexo 1)
- Apartado I. Justificación de la creación y del diseño del programa - Apartado II. Contribución a los objetivos nacionales y a los sectoriales - Apartado III. Población potencial y objetivo - Apartado IV. Matriz de Indicadores para Resultados (MIR) - Apartado V. Complementariedades y coincidencias con otros programas federales - Anexos
II. Consistencia y Orientación a Resultados (Anexo 2)
- Tema I. Planeación y Orientación a Resultados del programa - Tema II. Cobertura y Focalización del programa - Tema III. Operación del programa - Tema IV. Percepción de la Población Atendida del programa - Tema V: Resultados del programa - Anexos
Informe preliminar: Medición de resultados
249
I. Metodología utilizada II. Análisis de tabulados básicos y de resultados
Estimar la frecuencia de uso de la Tarjeta Plástica INAPAM;
Conocer los principales usos de la Tarjeta Plástica INAPAM por grandes rubros: alimentación, salud, vestido, hogar, transporte, pago de servicios e impuestos;
Satisfacción con los beneficios que le ofrece la Tarjeta Plástica INAPAM;
Conocer los patrones de consumo de los bienes y servicios que pueden adquirirse de manera preferencial mediante el uso de la Tarjeta Plástica INAPAM
Satisfacción, asistencia y frecuencia de uso de servicios en los siguientes centros: - Capacitación para el trabajo y ocupación del tiempo libre;
- Centro de Atención Integral;
- Culturales;
- Clubes INAPAM;
- Albergues y Residencias Diurnas;
- El INAPAM va a tu barrio;
- Empleo para AM (y de manera particular conocer el porcentaje de AM que encuentran empleo a través de este servicio), y
- Educación para la salud.
Anexos
Informe de Trabajo de Campo
Bases de datos de trabajo de campo (electrónico)
Catalogo de variables de trabajo de campo (electrónico)
Cuarto
Producto
Informe Final
Síntesis Ejecutiva (documento separado)
Índice General
Introducción General Capítulo de Diseño y Consistencia
I. Diseño (Anexo 1)
- Resumen Ejecutivo de la Evaluación en Materia de Diseño - Introducción de la Evaluación en Materia de Diseño I - Apartado I. Justificación de la creación y del diseño del programa - Apartado II. Contribución a los objetivos nacionales y a los sectoriales - Apartado III. Población potencial y objetivo - Apartado IV. Matriz de Indicadores para Resultados (MIR) - Apartado V. Complementariedades y coincidencias con otros programas federales - Valoración del Diseño del programa - Conclusiones de la Evaluación en Materia de Diseño - Bibliografía y fuentes de información - Anexos
II. Consistencia (Anexo 2)
- Resumen Ejecutivo de la Evaluación en Materia de Consistencia - Introducción de la Evaluación en Materia de Consistencia y Orientación a Resultados - Tema I. Planeación y Orientación a Resultados del programa - Tema II. Cobertura y Focalización del programa - Tema III. Operación del programa
250
- Tema IV. Percepción de la Población Atendida del programa - Tema V: Resultados del programa. - Conclusiones - Bibliografía y fuentes de información - Anexos
Capítulo de Medición de Resultados
I. Resumen Ejecutivo de la Medición de Resultados II. Introducción de la Medición de Resultados III. Metodología utilizada IV. Análisis de tabulados básicos V. Análisis de Resultados
Frecuencia de uso de la Tarjeta Plástica INAPAM;
Principales usos de la Tarjeta Plástica INAPAM por grandes rubros: alimentación, salud, vestido, hogar, transporte, pago de servicios e impuestos;
Satisfacción con los beneficios que le ofrece la Tarjeta Plástica INAPAM;
Conocer los patrones de consumo de los bienes y servicios que pueden adquirirse de manera preferencial mediante el uso de la Tarjeta Plástica INAPAM
Satisfacción, asistencia y frecuencia de uso de servicios en los siguientes centros: - Capacitación para el trabajo y ocupación del tiempo libre;
- Centro de Atención Integral;
- Culturales;
- Clubes INAPAM;
- Albergues y Residencias Diurnas;
- El INAPAM va a tu barrio;
- Empleo para AM (y de manera particular conocer el porcentaje de AM que encuentran empleo a través de este servicio), y
- Educación para la salud.
VI. Conclusiones de la Medición de Resultados VII. Análisis de Fortalezas, Oportunidades, Debilidades, Amenazas y Recomendaciones VIII. Bibliografía y fuentes de información
Anexos
Informe Metodológico para la medición de resultados
Instrumentos de campo finales (electrónico)
Bases de Datos de Trabajo de Campo. (electrónico)
Catálogo de variables del Trabajo de Campo (electrónico)
Informe del Trabajo de Campo
Otros anexos que se consideren necesarios
Presentación de resultados (ppt)
251
ANEXOS
Anexo 1: Modelo de Términos de Referencia para la
Evaluación en materia de Diseño15
15
Documento emitido por el CONEVAL.
252
I. OBJETIVOS DE LA EVALUACIÓN EN MATERIA DE DISEÑO
OBJETIVO GENERAL
Evaluar el diseño del Programa “Servicios a grupos con necesidades especiales (E003)”, a cargo del Instituto
Nacional de las Personas Adultas Mayores (INAPAM) con la finalidad de proveer información que retroalimente
su diseño, gestión y resultados.
OBJETIVOS ESPECÍFICOS
Analizar la justificación de la creación y diseño del Programa “Servicios a grupos con necesidades
especiales (E003)”, a cargo del INAPAM,
Identificar y analizar su vinculación con la planeación sectorial y nacional,
Analizar la consistencia entre su diseño y la normatividad aplicable e
Identificar posibles complementariedades y/o coincidencias con otras instituciones o programas
federales.
II. APARTADOS DE EVALUACIÓN Y METODOLOGÍA
La evaluación en materia de diseño se divide en cinco apartados y 21 preguntas de acuerdo con el siguiente
cuadro:
APARTADO PREGUNTAS TOTAL
Justificación de la creación y del diseño del Instituto 1 a 3 3
Contribución a los objetivos nacionales y a los sectoriales 4 a 6 3
Población potencial y objetivo 7 a 9 3
Matriz de Indicadores para Resultados (MIR) 10 a 20 11
Complementariedades y coincidencias con otras
Instituciones o programas federales 21 1
TOTAL 21 21
La evaluación se realiza mediante un análisis de gabinete con base en información proporcionada por la
dependencia o entidad responsable del Programa “Servicios a grupos con necesidades especiales (E003)” (en
adelante el Programa), así como información adicional que la institución evaluadora considere necesaria para
justificar su análisis. En este contexto, se entiende por análisis de gabinete al conjunto de actividades que
involucra el acopio, la organización y la valoración de información concentrada en registros administrativos,
bases de datos, evaluaciones internas y/o externas y documentación pública. Sin embargo, de acuerdo con las
necesidades de información y tomando en cuenta la forma de operar del INAPAM, se podrán programar y llevar
253
a cabo entrevistas con responsables del Instituto y/o personal de la unidad de evaluación y/o planeación de la
dependencia coordinadora.
III. CRITERIOS GENERALES PARA RESPONDER A LAS PREGUNTAS
Los cinco apartados incluyen preguntas específicas, de las que 16 deben ser respondidas mediante un esquema
binario (SÍ/NO) sustentando con evidencia documental y haciendo explícitos los principales argumentos
empleados en el análisis. En los casos en que la respuesta sea SÍ, se debe seleccionar uno de cuatro niveles de
respuesta definidos para cada pregunta.
Las cinco preguntas que no tienen respuestas binarias (por lo que no incluyen niveles de respuestas) se deben
responder con base en un análisis sustentado en evidencia documental y haciendo explícitos los principales
argumentos empleados en el mismo.
III.1 FORMATO DE RESPUESTA
Cada una de las preguntas debe responderse en un máximo de una cuartilla e incluir los siguientes conceptos:
a. la pregunta;
b. la respuesta binaria(SÍ/NO) o abierta;
para las respuestas binarias y en los casos en los que la respuesta sea SÍ, el nivel de respuesta
(que incluya el número y la oración), y
c. el análisis que justifique la respuesta.
III.2 CONSIDERACIONES PARA DAR RESPUESTA
Para las preguntas que deben responderse de manera binaria (SÍ/NO), se debe considerar lo siguiente:
Determinación de la respuesta binaria (SÍ/NO). Cuando el INAPAM no cuente con documentos ni
evidencias para dar respuesta a la pregunta se considera información inexistente y, por lo tanto, la
respuesta es “No”.
Si el Instituto cuenta con información para responder la pregunta, es decir, la respuesta es “Sí”, se
procede a precisar uno de cuatro niveles de respuesta, tomando en cuenta los criterios establecidos en
cada nivel.
254
Se podrá responder “No aplica” a alguna(s) de las preguntas sólo cuando las particularidades del Instituto no
permitan responder a la pregunta. De presentarse el caso, se deben explicar las causas y los motivos de por qué
“No aplica” en el espacio para la respuesta. El CONEVAL podrá solicitar que se analicen nuevamente las
preguntas en las que se haya respondido “No aplica”.
Para el total de las preguntas, el Anexo 1 incluye los siguientes cuatro aspectos que se deben considerar al
responder:
1. De manera enunciativa más no limitativa, elementos con los que debe justificar su valoración, así como la
información que se debe incluir en la respuesta o en anexos.
2. Fuentes de información mínimas a utilizar para la respuesta. Se podrán utilizar otras fuentes de
información que se consideren necesarias.
3. Congruencia entre respuestas. En caso de que la pregunta analizada tenga relación con otra(s), se señala(n)
la(s) pregunta(s) con la(s) que debe haber coherencia en la(s) repuesta(s). Lo anterior no implica, en el caso
de las preguntas con respuesta binaria, que el nivel de respuesta otorgado a las preguntas relacionadas
tenga que ser el mismo, sino que la argumentación sea consistente.
4. Los anexos que se deben incluir en el informe de evaluación son los siguientes:
Anexo 1 “Descripción General del Programa “Servicios a grupos con necesidades especiales
(E003)”, a cargo del INAPAM”.
Anexo 2 “Metodología para la cuantificación de las poblaciones potencial y objetivo” (formato
libre).
Anexo 3 “Procedimiento para la actualización de la base de datos de beneficiarios” (formato
libre).
Anexo 4 “Indicadores”
Anexo 5 “Metas del Programa “Servicios a grupos con necesidades especiales (E003)”, a cargo
del INAPAM”.
Anexo 6 “Propuesta de mejora de la Matriz de Indicadores para Resultados” (formato libre).
Anexo 7 “Complementariedad y coincidencias entre instituciones y programas federales”.
Anexo 8 “Principales fortalezas, retos, y recomendaciones” (en materia de Diseño).
Anexo 9 “Matriz de Indicadores para Resultados del Programa “Servicios a grupos con
necesidades especiales (E003)”, a cargo del INAPAM” (formato libre).
Anexo 10 “Fuentes de Información” (formato libre).
Anexo 11 “Ficha técnica con los datos generales de la instancia evaluadora y el costo de la
evaluación”.
255
IV. EVALUACIÓN
CARACTERÍSTICAS DEL PROGRAMA “SERVICIOS A GRUPOS CON NECESIDADES ESPECIALES (E003)”, A CARGO DEL INAPAM
Con base en información solicitada a los responsables del INAPAM, se debe adjuntar en el Anexo 1 “Descripción
General del Programa “Servicios a grupos con necesidades especiales (E003)”, a cargo del INAPAM”, una breve
descripción de la información reportada en un máximo de dos cuartillas. Dicha descripción debe considerar los
siguientes aspectos:
1. Identificación del Programa (nombre, siglas, dependencia y/o entidad coordinadora, año de inicio de
operación, entre otros);
2. Problema o necesidad que pretende atender;
3. Objetivos nacionales y sectoriales a los que se vincula;
4. Descripción de los objetivos del Programa, así como de los bienes y/o servicios que ofrece;
5. Identificación y cuantificación de la población potencial, objetivo y atendida;
6. Cobertura y mecanismos de focalización;
7. Presupuesto aprobado;
8. Principales metas de Fin, Propósito y Componentes, y
9. Valoración del diseño del Programa respecto a la atención del problema o necesidad.
IV.1 ANÁLISIS DE LA JUSTIFICACIÓN DE LA CREACIÓN Y DEL DISEÑO DEL PROGRAMA “SERVICIOS A GRUPOS CON NECESIDADES
ESPECIALES (E003)”, A CARGO DEL INAPAM
Con base en la identificación que la dependencia, entidad y/o la unidad responsable del Programa haya
realizado del problema o necesidad que se espera resolver con la ejecución del Programa se debe realizar un
análisis que permita contestar las siguientes preguntas:
256
1. El problema o necesidad prioritaria que busca resolver el programa está identificado en un documento
que cuenta con la siguiente información:
a) El problema o necesidad se formula como un hecho negativo o como una situación que puede ser
revertida.
b) Se define la población que tiene el problema o necesidad.
Si el programa no cuenta con documentación ni evidencias de que el problema o necesidad esté identificado, se
considera información inexistente y, por lo tanto, la respuesta es “No”.
Si cuenta con información para responder la pregunta, es decir, si la respuesta es “Sí” se debe seleccionar un
nivel según los siguientes criterios:
Nivel Criterios
1 El programa tiene identificado el problema o necesidad que busca resolver, y
El problema no cumple con las características establecidas en la pregunta.
2 El programa tiene identificado el problema o necesidad que busca resolver, y
El problema cumple con al menos una de las características establecidas en la pregunta.
3 El programa tiene identificado el problema o necesidad que busca resolver, y
El problema cumple con todas las características establecidas en la pregunta.
4
El programa tiene identificado el problema o necesidad que busca resolver, y
El problema cumple con todas las características establecidas en la pregunta, y
El programa actualiza periódicamente la información para conocer la evolución del problema.
1.1. En la respuesta se debe incluir la definición del problema y, en su caso, la propuesta de modificación o
recomendaciones de mejora. Asimismo, indique si el problema considera diferencias entre hombres y
mujeres, a fin de conocer las limitaciones y/o las oportunidades que presenta el entorno económico,
demográfico, social, cultural, político, jurídico e institucional para la promoción de la igualdad entre los
sexos.
Se considera que la información se actualiza periódicamente cuando está establecido un plazo para su
revisión y/o actualización.
1.2. Las fuentes de información mínimas a utilizar deben ser las Reglas de Operación (ROP) o documento
normativo, informes, diagnósticos, estudios, árbol de problema del programa y/o documentos utilizados
por el programa que contengan información sobre el problema o necesidad, su población, su cuantificación
y su proceso de revisión o actualización.
1.3. La respuesta a esta pregunta debe ser consistente con las respuestas de las preguntas 2, 3, 7 y 21.
257
2. Existe un diagnóstico del problema que atiende el programa que describa de manera específica:
a) Causas, efectos y características del problema.
b) Cuantificación y características de la población que presenta el problema.
c) Ubicación territorial de la población que presenta el problema.
Si el programa no cuenta con un diagnóstico del problema al que atiende, se considera información inexistente
y, por lo tanto, la respuesta es “No”.
Si cuenta con información para responder la pregunta, es decir, si la respuesta es “Sí” se debe seleccionar un
nivel según los siguientes criterios:
Nivel Criterios
1 El programa cuenta con documentos, información y/o evidencias que le permiten conocer la
situación del problema que pretende atender, y El diagnóstico no cumple con las características establecidas en la pregunta.
2 El programa cuenta con documentos, información y/o evidencias que le permiten conocer la
situación del problema que pretende atender, y El diagnóstico cumple con una de las características establecidas en la pregunta.
3 El programa cuenta con documentos, información y/o evidencias que le permiten conocer la
situación del problema que pretende atender, y El diagnóstico cumple con dos de las características establecidas en la pregunta.
4
El programa cuenta con documentos, información y/o evidencias que le permiten conocer la situación del problema que pretende atender, y
El diagnóstico cumple con todas las características establecidas en la pregunta, y El programa actualiza periódicamente el diagnóstico.
2.1. En la respuesta se deben incluir las principales causas y los efectos del problema señalados en el
diagnóstico. Adicionalmente, se valorará la vigencia del diagnóstico y, en su caso, se propondrán
sugerencias para mejorarlo.
Se considera que el diagnóstico se actualiza periódicamente cuando está establecido un plazo para su
revisión y/o actualización.
2.2. Las fuentes de información mínimas a utilizar deben ser documentos de diagnóstico y árbol de problema.
2.3. La respuesta a esta pregunta debe ser consistente con las respuestas de las preguntas 1, 3, 7 y 21.
258
3. ¿Existe justificación teórica o empírica documentada que sustente el tipo de intervención que el programa
lleva a cabo?
Si el programa no cuenta con una justificación teórica o empírica documentada que sustente el tipo de
intervención que el programa lleva a cabo, se considera información inexistente y, por lo tanto, la respuesta es
“No”.
Si cuenta con información para responder la pregunta, es decir, si la respuesta es “Sí” se debe seleccionar un
nivel según los siguientes criterios:
Nivel Criterios
1
El programa cuenta con una justificación teórica o empírica documentada que sustente el tipo de intervención que el programa lleva a cabo en la población objetivo, y
La justificación teórica o empírica documentada no es consistente con el diagnóstico del problema.
2 El programa cuenta con una justificación teórica o empírica documentada que sustente el tipo de
intervención que el programa lleva a cabo en la población objetivo, y La justificación teórica o empírica documentada es consistente con el diagnóstico del problema.
3
El programa cuenta con una justificación teórica o empírica documentada que sustente el tipo de intervención que el programa lleva a cabo en la población objetivo, y
La justificación teórica o empírica documentada es consistente con el diagnóstico del problema, y Existe(n) evidencia(s) (nacional o internacional) de los efectos positivos atribuibles a los
beneficios o los apoyos otorgados a la población objetivo.
4
El programa cuenta con una justificación teórica o empírica documentada que sustente el tipo de intervención que el programa lleva a cabo en la población objetivo, y
La justificación teórica o empírica documentada es consistente con el diagnóstico del problema, y Existe(n) evidencia(s) (nacional o internacional) de los efectos positivos atribuibles a los
beneficios o apoyos otorgados a la población objetivo, y Existe(n) evidencia(s) (nacional o internacional) de que la intervención es más eficaz para atender
la problemática que otras alternativas.
3.1. En la respuesta se debe incluir la justificación teórica o empírica, así como el estudio o el documento del
que se deriva dicha justificación. En caso de que exista evidencia nacional o internacional se debe incluir la
referencia de los estudios o de los documentos.
3.2. Las fuentes de información mínimas a utilizar deben ser documentos oficiales y/o diagnósticos.
3.3. La respuesta a esta pregunta debe ser consistente con las respuestas de las preguntas 1 y 2.
259
IV.2 ANÁLISIS DE LA CONTRIBUCIÓN DEL PROGRAMA A LOS OBJETIVOS NACIONALES Y LOS SECTORIALES 4. El Propósito del programa está vinculado con los objetivos del programa sectorial, especial o institucional
considerando que:
a) Existen conceptos comunes entre el Propósito y los objetivos del programa sectorial, especial o
institucional por ejemplo: población objetivo.
b) El logro del Propósito aporta al cumplimiento de alguna(s) de la(s) meta(s) de alguno(s) de los objetivos
del programa sectorial, especial o institucional.
Si el programa no cuenta con un documento en el que se establezca con que objetivo(s) del programa sectorial,
especial o institucional se relaciona, se considera información inexistente y, por lo tanto, la respuesta es “No”.
Si cuenta con información para responder la pregunta, es decir, si la respuesta es “Sí” se debe seleccionar un
nivel según los siguientes criterios:
Nivel Criterios
1 El programa cuenta con un documento en el que se establece la relación con objetivo(s) del
programa sectorial, especial o institucional, y
No es posible determinar vinculación con los aspectos establecidos en la pregunta.
2 El programa cuenta con un documento en el que se establece la relación con objetivo(s) del
programa sectorial, especial o institucional, y
Es posible determinar vinculación con uno de los aspectos establecidos en la pregunta.
3 El programa cuenta con un documento en el que se establece la relación con objetivo(s) del
programa sectorial, especial o institucional, y
Es posible determinar vinculación con todos los aspectos establecidos en la pregunta.
4
El programa cuenta con un documento en el que se establece la relación con objetivo(s) del programa sectorial, especial o institucional, y
Es posible determinar vinculación con todos los aspectos establecidos en la pregunta, y
El logro del propósito es suficiente para el cumplimiento de alguna(s) de la(s) meta(s) de alguno(s) de los objetivos del programa sectorial, especial o institucional.
4.1. En la respuesta se debe incluir el objetivo y el nombre del programa sectorial, especial o institucional al que
está vinculado el programa. En caso de que exista más de un objetivo o programas sectoriales, especiales e
institucionales con los que el programa se vincule, se deben incluir en la respuesta.
4.2. Las fuentes de información mínimas a utilizar deben ser los programas sectoriales, especiales y/o
institucionales relacionados con el programa, la MIR, las ROP y/o documento normativo.
4.3. La respuesta a esta pregunta debe ser consistente con las respuestas de las preguntas 5 y 6.
260
5. ¿Con cuáles ejes temáticos y objetivos del Plan Nacional de Desarrollo vigente está vinculado el objetivo
sectorial relacionado con el programa?
No procede valoración cuantitativa.
5.1. En la respuesta se deben incluir los ejes temáticos y los objetivos del Plan Nacional de Desarrollo vigente
relacionados y señalar por qué se considera que están relacionados.
5.2. Las fuentes de información mínimas a utilizar deben ser el Plan Nacional de Desarrollo vigente, el o los
programas sectoriales, especiales y/o institucionales relacionados con el programa, la MIR, las ROP y/o
documento normativo.
5.3. La respuesta a esta pregunta debe ser consistente con las respuestas de las preguntas 4 y 6.
261
6. ¿Cómo está vinculado el Propósito del programa con las Metas del Milenio?
No procede valoración cuantitativa.
6.1. En la respuesta se debe definir la vinculación de acuerdo con las siguientes definiciones:
1) Directa: El logro del Propósito es suficiente para el cumplimiento de al menos una de las Metas del
Milenio.
2) Indirecta: El logro del Propósito aporta al cumplimiento de al menos una de las Metas del Milenio.
3) Inexistente: El logro del Propósito no aporta al cumplimiento de al menos una de las Metas del Milenio.
6.2. Las fuentes de información mínimas a utilizar deben ser MIR, ROP y/o documento normativo y los Objetivos
y Metas del Milenio.
6.3. La respuesta de esta pregunta debe ser consistente con las respuestas de las preguntas 4 y 5.
262
IV.3 ANÁLISIS DE LA POBLACIÓN POTENCIAL Y OBJETIVO
DEFINICIONES DE POBLACIÓN POTENCIAL, OBJETIVO Y ATENDIDA
Se entenderá por población potencial a la población total que presenta la necesidad y/o problema que justifica
la existencia del programa y que por lo tanto pudiera ser elegible para su atención.
Se entenderá por población objetivo a la población que el programa tiene planeado o programado atender para
cubrir la población potencial, y que cumple con los criterios de elegibilidad establecidos en su normatividad.
Se entenderá por población atendida a la población beneficiada por el programa en un ejercicio fiscal.
263
7. Las poblaciones, potencial y objetivo, están definidas en documentos oficiales y/o en el diagnóstico del
problema y cuentan con la siguiente información y características:
a) Unidad de medida.
b) Están cuantificadas.
c) Metodología para su cuantificación.
d) Fuentes de información.
Si el programa no tiene un documento oficial y/o diagnóstico en que se definan las poblaciones, potencial y
objetivo, se considera información inexistente y, por lo tanto, la respuesta es “No”.
Si cuenta con información para responder la pregunta, es decir, si la respuesta es “Sí” se debe seleccionar un
nivel según los siguientes criterios:
Nivel Criterios
1 El programa tiene definidas las poblaciones (potencial y objetivo), y
Las definiciones no cumplen con las características establecidas.
2 El programa tiene definidas las poblaciones (potencial y objetivo), y
Las definiciones cumplen con al menos una de las características establecidas.
3 El programa tiene definidas las poblaciones (potencial y objetivo), y
Las definiciones cumplen todas las características establecidas.
4
El programa tiene definidas las poblaciones (potencial y objetivo), y
Las definiciones cumplen todas las características establecidas, y
Existe evidencia de que el programa actualiza (según su metodología) y utiliza las definiciones para su planeación.
7.1. En la respuesta se deben incluir las definiciones de las poblaciones potencial y objetivo, así como su
cuantificación. La metodología y fuentes de información para determinar los dos tipos de población deben
adjuntarse en el Anexo 2 “Metodología para la cuantificación de las poblaciones potencial objetivo”.
7.2. Las fuentes de información mínimas a utilizar deben ser ROP, documento oficial, diagnóstico, programa
sectorial, especial y/o institucional.
7.3. La respuesta de esta pregunta debe ser consistente con las respuestas de las preguntas 1, 2, 8 y 9.
264
8. Existe información que permita conocer quiénes reciben los apoyos del programa (padrón de
beneficiarios) que:
a) Incluya las características de los beneficiarios establecidas en su documento normativo.
b) Incluya el tipo de apoyo otorgado.
c) Esté sistematizada.
d) Cuente con mecanismos documentados para su depuración y actualización.
Si el programa no cuenta con información de los beneficiarios del programa o la información no cuenta con al
menos una de las características establecidas en la pregunta, se considera información inexistente y, por lo
tanto, la respuesta es “No”.
Si cuenta con información para responder la pregunta, es decir, si la respuesta es “Sí” se debe seleccionar un
nivel según los siguientes criterios:
Nivel Criterios
1 La información de los beneficiarios cumple con una de las características establecidas.
2 La información de los beneficiarios cumple con dos de las características establecidas.
3 La información de los beneficiarios cumple con tres de las características establecidas.
4 La información de los beneficiarios cumple todas las características establecidas.
8.1. En la respuesta se debe indicar qué información integra el padrón, así como señalar las características que
no están incluidas en el padrón y/o las que deben mejorarse.
El procedimiento para la actualización de la base de datos de los beneficiarios y la temporalidad con la que
realiza la actualización se debe adjuntar en el Anexo 3 “Procedimiento para la actualización de la base de
datos de beneficiarios”.
Se entenderá por sistematizada que la información se encuentre en bases de datos y disponible en un
sistema informático; por actualizada, que el padrón contenga los datos más recientes de acuerdo con la
periodicidad definida para el tipo de información y por depurada, que no contenga duplicidades o
beneficiarios no vigentes.
8.2. Las fuentes de información mínimas a utilizar deben ser ROP, manuales de procedimientos, base o padrón
de beneficiarios, normatividad interna aplicable al desarrollo de sistemas de información, bases de datos
y/o sistemas informativos.
8.3. La respuesta a esta pregunta debe ser consistente con las respuestas de las preguntas 7 y 9.
265
9. Si el programa recolecta información socioeconómica de sus beneficiarios, explique el procedimiento para
llevarlo a cabo, las variables que mide y la temporalidad de las mediciones.
No procede valoración cuantitativa.
9.1. En la respuesta se debe explicar el procedimiento para recolectar información de sus beneficiarios
(características socioeconómicas para personas físicas y características específicas para personas morales).
Asimismo, se debe señalar las variables que mide y la temporalidad con que realiza las mediciones. De
manera adicional, se debe señalar si se recolecta información de no beneficiarios con fines de comparación
con la población beneficiaria y especificar qué tipo de información.
9.2. Las fuentes de información mínimas a utilizar deben ser documentos oficiales, padrón de beneficiarios,
bases de datos y/o sistemas informativos.
9.3. La respuesta a esta pregunta debe ser consistente con las respuestas de las preguntas 7 y 8.
266
IV.4 EVALUACIÓN Y ANÁLISIS DE LA MATRIZ DE INDICADORES PARA RESULTADOS
De la lógica vertical de la Matriz de Indicadores para Resultados
10. Para cada uno de los Componentes de la MIR del programa existe una o un grupo de Actividades que:
a) Están claramente especificadas, es decir, no existe ambigüedad en su redacción.
b) Están ordenadas de manera cronológica.
c) Son necesarias, es decir, ninguna de las Actividades es prescindible para producir los Componentes.
d) Su realización genera junto con los supuestos en ese nivel de objetivos los Componentes.
Si el programa no cuenta con una o con un grupo de Actividades para cada Componente de la MIR, se considera
información inexistente y, por lo tanto, la respuesta es “No”.
Si cuenta con información para responder la pregunta, es decir, si la respuesta es “Sí” se debe seleccionar un
nivel según los siguientes criterios:
Nivel Criterios
1 Del 0 al 49% de las actividades cumplen con todas las características establecidas en la pregunta.
2 Del 50 al 69% de las actividades cumplen con todas las características establecidas en la pregunta.
3 Del 70 al 84% de las actividades cumplen con todas las características establecidas en la pregunta.
4 Del 85 al 100% de las actividades cumplen con todas las características establecidas en la pregunta.
10.1. En la respuesta se debe justificar por qué se considera que cumplen o no cada uno de los criterios
establecidos en la pregunta, especificando las Actividades que no cumplen y por qué. Se deben proponer
cambios en la pregunta 20.
10.2. La fuente de información mínima a utilizar debe ser la MIR.
10.3. La respuesta a esta pregunta debe ser consistente con la respuesta de la pregunta 11, 14, 15 y 20.
267
11. Los Componentes señalados en la MIR cumplen con las siguientes características:
a) Son los bienes o servicios que produce el programa.
b) Están redactados como resultados logrados, por ejemplo becas entregadas.
c) Son necesarios, es decir, ninguno de los Componentes es prescindible para producir el Propósito.
d) Su realización genera junto con los supuestos en ese nivel de objetivos el Propósito.
Si la MIR del programa no tiene establecido al menos un Componente, se considera información inexistente y,
por lo tanto, la respuesta es “No”.
Si cuenta con información para responder la pregunta, es decir, si la respuesta es “Sí” se debe seleccionar un
nivel según los siguientes criterios:
Nivel Criterios
1 Del 0 al 49% de los componentes cumplen con todas las características establecidas en la pregunta.
2 Del 50 al 69% de los componentes cumplen con todas las características establecidas en la pregunta.
3 Del 70 al 84% de los componentes cumplen con todas las características establecidas en la pregunta.
4 Del 85 al 100% de los componentes cumplen con todas las características establecidas en la pregunta.
11.1. En la respuesta se debe justificar por qué se considera que cumplen o no cada uno de los criterios
establecidos en la pregunta, especificando los Componentes que no cumplen y por qué. Se deben
proponer cambios en la pregunta 20.
11.2. Las fuentes de información mínimas a utilizar deben ser la MIR, árbol de problema y/o árbol de objetivos.
11.3. La respuesta a esta pregunta debe ser consistente con la respuesta de la pregunta 10, 12, 14, 15 y 20.
268
12. El Propósito de la MIR cuenta con las siguientes características:
a) Es consecuencia directa que se espera ocurrirá como resultado de los Componentes y los supuestos a
ese nivel de objetivos.
b) Su logro no está controlado por los responsables del programa.
c) Es único, es decir, incluye un solo objetivo.
d) Está redactado como una situación alcanzada, por ejemplo: morbilidad en la localidad reducida.
e) Incluye la población objetivo.
Si el Propósito del programa no contribuye a lograr el Fin de su MIR, se considera información inexistente y, por
lo tanto, la respuesta es “No”.
Si cuenta con información para responder la pregunta, es decir, si la respuesta es “Sí” se debe seleccionar un
nivel según los siguientes criterios:
Nivel Criterios
1 El propósito cumple con dos de las características establecidas en la pregunta.
2 El propósito cumple con tres de las características establecidas en la pregunta.
3 El propósito cumple con cuatro de las características establecidas en la pregunta.
4 El propósito cumple con todas las características establecidas en la pregunta.
12.1. En la respuesta se debe justificar por qué se considera que cumple o no cada uno de los criterios
establecidos en la pregunta, especificando los que no cumple y por qué. Se deben proponer cambios en la
pregunta 20.
12.2. La fuente de información mínima a utilizar debe ser la MIR.
12.3. La respuesta a esta pregunta debe ser consistente con las respuestas de las preguntas 11, 13, 14, 15 y 20.
269
13. El Fin de la MIR cuenta con las siguientes características:
a) Está claramente especificado, es decir, no existe ambigüedad en su redacción.
b) Es un objetivo superior al que el programa contribuye, es decir, no se espera que la ejecución del
programa sea suficiente para alcanzar el Fin.
c) Su logro no está controlado por los responsables del programa.
d) Es único, es decir, incluye un solo objetivo.
e) Está vinculado con objetivos estratégicos de la dependencia o del programa sectorial.
Si no se identifica una relación causal entre el Propósito y el Fin del programa, se considera información
inexistente y, por lo tanto, la respuesta es “No”.
Si cuenta con información para responder la pregunta, es decir, si la respuesta es “Sí” se debe seleccionar un
nivel según los siguientes criterios:
Nivel Criterios
1 El Fin cumple con dos de las características establecidas en la pregunta.
2 El Fin cumple con tres de las características establecidas en la pregunta.
3 El Fin cumple con cuatro de las características establecidas en la pregunta.
4 El Fin cumple con todas las características establecidas en la pregunta.
13.1. En la respuesta se debe justificar por qué se considera que cumple o no cada uno de los criterios
establecidos en la pregunta, especificando los que no cumple y por qué. Se deben proponer cambios en la
pregunta 20.
13.2. La fuente de información mínima a utilizar debe ser la MIR.
13.3. La respuesta a esta pregunta debe ser consistente con las respuestas de la preguntas 12, 14 y 20.
270
14. ¿En el documento normativo del programa es posible identificar el resumen narrativo de la MIR (Fin,
Propósito, Componentes y Actividades)?
Si no se identifica al menos uno de los elementos del resumen narrativo de la MIR (Fin, Propósito, Componentes
y Actividades) en el documento normativo del programa, se considera información inexistente y, por lo tanto, la
respuesta es “No”.
Si cuenta con información para responder la pregunta, es decir, si la respuesta es “Sí” se debe seleccionar un
nivel según los siguientes criterios:
Nivel Criterios
1 Algunas de las Actividades de la MIR se identifican en las ROP o documento normativo del programa.
2 Algunas de las Actividades y todos los Componentes de la MIR se identifican en las ROP o documento normativo del programa.
3 Algunas de las Actividades, todos los Componentes y el Propósito de la MIR se identifican en las ROP o documento normativo del programa.
4 Algunas de las Actividades, todos los Componentes, el Propósito y el Fin de la MIR se identifican en las ROP o documento normativo del programa.
14.1. En la respuesta se debe establecer la correspondencia entre los elementos del resumen narrativo de la
MIR y sus ROP o documento normativo; señalar los elementos en los que se identifican áreas de mejora, y
la justificación de las sugerencias.
14.2. Las fuentes de información mínimas a utilizar deben ser las ROP o documento normativo, manuales de
operación y/o MIR.
14.3. La respuesta a esta pregunta debe ser consistente con las respuestas de las preguntas 10, 11, 12 y 13.
271
De la lógica horizontal de la Matriz de Indicadores para resultados
15. En cada uno de los niveles de objetivos de la MIR del programa (Fin, Propósito, Componentes y Actividades)
existen indicadores para medir el desempeño del programa con las siguientes características:
a) Claros.
b) Relevantes.
c) Económicos.
d) Monitoreables.
e) Adecuados.
Si los indicadores del programa no cuentan con al menos una de las características descritas, se considera
información inexistente y, por lo tanto, la respuesta es “No”.
Si cuenta con información para responder la pregunta, es decir, si la respuesta es “Sí” se debe seleccionar un
nivel según los siguientes criterios:
Nivel Criterios
1 Del 0% al 49% de los indicadores del programa tienen las características establecidas.
2 Del 50% al 69% de los indicadores del programa tienen las características establecidas.
3 Del 70% al 84% de los indicadores del programa tienen las características establecidas.
4 Del 85% al 100% de los indicadores del programa tienen las características establecidas.
15.1. En la respuesta se debe indicar cuáles a nivel Fin y Propósito incumplen y se debe adjuntar el Anexo 4
“Indicadores”, con el análisis de cada uno de los indicadores de la MIR. El formato del Anexo se presenta
en la sección X. Formatos de Anexos de estos Términos de Referencia y debe entregarse en formato Excel
e impreso.
Para realizar el análisis, se deben usar las siguientes definiciones: a) Claridad: el indicador deberá ser
preciso e inequívoco; b) Relevancia: el indicador deberá reflejar una dimensión importante del logro del
objetivo; c) Economía: la información necesaria para generar el indicador deberá estar disponible a un
costo razonable; d) Monitoreable: el indicador debe poder sujetarse a una verificación independiente; y e)
Adecuado: el indicador debe aportar una base suficiente para evaluar el desempeño.
15.2. Las fuentes de información mínimas a utilizar deben ser la MIR y Fichas Técnicas de los indicadores.
15.3. La respuesta a esta pregunta debe ser consistente con las respuestas de las preguntas 10, 11, 12, 16, 17,
18, 19 y 20.
272
16. Las Fichas Técnicas de los indicadores del programa cuentan con la siguiente información:
a) Nombre.
b) Definición.
c) Método de cálculo.
d) Unidad de Medida.
e) Frecuencia de Medición.
f) Línea base.
g) Metas.
h) Comportamiento del indicador (ascendente, descendente, regular ó nominal).
Si el programa no cuenta con Fichas Técnicas de sus indicadores, se considera información inexistente y, por lo
tanto, la respuesta es “No”.
Si cuenta con información para responder la pregunta, es decir, si la respuesta es “Sí” se debe seleccionar un
nivel según los siguientes criterios:
Nivel Criterios
1 Del 0% al 49% de las Fichas Técnicas de los indicadores del programa tienen las características
establecidas.
2 Del 50% al 69% de las Fichas Técnicas de los indicadores del programa tienen las características
establecidas.
3 Del 70% al 84% de las Fichas Técnicas de los indicadores del programa tienen las características
establecidas.
4 Del 85% al 100% de las Fichas Técnicas de los indicadores del programa tienen las características
establecidas.
16.1. En la respuesta se deben explicar las áreas de mejora de las Fichas Técnicas de los indicadores.
En el Anexo 4 “Indicadores”, se debe incluir el resultado del análisis de cada ficha técnica de los
indicadores de la MIR con respecto a las propiedades señaladas en la pregunta. El formato del Anexo se
presenta en la sección X. Formatos de Anexos de estos Términos de Referencia y debe entregarse en
formato Excel e impreso.
16.2. Las fuentes de información mínimas a utilizar deben ser la MIR y Fichas Técnicas de los indicadores.
16.3. La respuesta a esta pregunta debe ser consistente con las respuestas de las preguntas 15, 17, 18 y 19.
273
17. Las metas de los indicadores de la MIR del programa tienen las siguientes características:
a) Cuentan con unidad de medida.
b) Están orientadas a impulsar el desempeño, es decir, no son laxas.
c) Son factibles de alcanzar considerando los plazos y los recursos humanos y financieros con los que
cuenta el programa.
Si ninguna de las metas del programa cumple con al menos una de las características establecidas, se considera
información inexistente y, por lo tanto, la respuesta es “No”.
Al contar con información para responder la pregunta, es decir, si la respuesta es “Sí” se deben consideran los
siguientes criterios:
Nivel Criterios
1 Del 0% al 49% de las metas de los indicadores del programa tienen las características establecidas.
2 Del 50% al 69% de las metas de los indicadores del programa tienen las características establecidas.
3 Del 70% al 84% de las metas de los indicadores del programa tienen las características establecidas.
4 Del 85% al 100% de las metas de los indicadores del programa tienen las características establecidas.
17.1. En la respuesta se debe indicar la forma en que el programa establece sus metas y la información que
utiliza para la construcción de las mismas. Las metas son del ejercicio fiscal evaluado. Las características
de cada meta deben de analizarse en una matriz que integre el cumplimiento por característica, las causas
por las que se considera no cumplen con alguna de las características y propuestas de mejora. La matriz
debe adjuntarse en el formato Anexo 5 “Metas del programa”. El formato del Anexo se presenta en la
sección X. Formatos de Anexos de estos Términos de Referencia y debe entregarse en formato Excel e
impreso.
17.2. Las fuentes de información mínimas a utilizar deben ser las ROP, la MIR, Fichas Técnicas de los
indicadores, documentos de planeación.
17.3. La respuesta a esta pregunta debe ser consistente con la respuesta de la pregunta 15,16 y 19.
274
18. Cuántos de los indicadores incluidos en la MIR tienen especificados medios de verificación con las siguientes
características:
a) Oficiales o institucionales.
b) Con un nombre que permita identificarlos.
c) Permiten reproducir el cálculo del indicador.
d) Públicos, accesibles a cualquier persona.
Si ninguno de los indicadores del programa cuenta con medios de verificación con al menos una de las
características descritas, se considera información inexistente y, por lo tanto, la respuesta es “No”.
Si cuenta con información para responder la pregunta, es decir, si la respuesta es “Sí” se debe seleccionar un
nivel según los siguientes criterios:
Nivel Criterios
1 Del 0% al 49% de los medios de verificación cumplen con las características establecidas en la pregunta.
2 Del 50% al 69% de los medios de verificación cumplen con las características establecidas en la pregunta.
3 Del 70% al 84% de los medios de verificación cumplen con las características establecidas en la pregunta.
4 Del 85% al 100% de los medios de verificación cumplen con las características establecidas en la pregunta.
18.1. En su respuesta se deben incluir las áreas de mejora de los medios de verificación de los indicadores.
18.2. Las fuentes de información mínimas a utilizar deben ser MIR y Fichas Técnicas.
18.3. La respuesta a esta pregunta debe ser consistente con las respuestas de las preguntas 15, 16, 19 y 20.
275
19. Considerando el conjunto Objetivo-Indicadores-Medios de verificación, es decir, cada renglón de la MIR del
programa es posible identificar lo siguiente:
a) Los medios de verificación son los necesarios para calcular los indicadores, es decir, ninguno es
prescindible.
b) Los medios de verificación son suficientes para calcular los indicadores.
c) Los indicadores permiten medir, directa o indirectamente, el objetivo a ese nivel.
Si no se identifica algún elemento establecido en la pregunta en ninguno de los conjuntos Objetivo-Indicadores-
Medios de Verificación se considera información inexistente y, por lo tanto, la respuesta es “No”.
Si cuenta con información para responder la pregunta, es decir, si la respuesta es “Sí” se debe seleccionar un
nivel según los siguientes criterios:
Nivel Criterios
1 Uno de los conjuntos Objetivo-Indicadores-Medios de verificación del programa tienen las características establecidas.
2 Dos de los conjuntos Objetivo-Indicadores-Medios de verificación del programa tienen las características establecidas.
3 Tres de los conjuntos Objetivo-Indicadores-Medios de verificación del programa tienen las características establecidas.
4 Todos los conjuntos Objetivo-Indicadores-Medios de verificación del programa tienen las características establecidas.
19.1. En la respuesta se debe explicar, de manera resumida, las áreas de mejora de la lógica horizontal de la
MIR por niveles de objetivos. Se entenderá por conjuntos Objetivo-Indicadores-Medios de verificación a
los siguientes:
1. Fin-Indicadores a ese nivel-Medios de Verificación de dichos indicadores.
2. Propósito-Indicadores a ese nivel-Medios de Verificación de dichos indicadores.
3. Componentes-Indicadores a ese nivel-Medios de Verificación de dichos indicadores.
4. Actividades-Indicadores a ese nivel-Medios de Verificación de dichos indicadores.
19.2. Las fuentes de información mínimas a utilizar deben ser la MIR y Fichas Técnicas.
19.3. La respuesta a esta pregunta debe ser consistente con las respuestas de las preguntas 15, 16, 17, 18 y 20.
276
Valoración final de la MIR
20. Sugiera modificaciones en la MIR del programa o incorpore los cambios que resuelvan las deficiencias
encontradas en cada uno de sus elementos a partir de sus respuestas a las preguntas de este apartado.
No procede valoración cuantitativa.
20.1. En la respuesta se debe incluir la justificación del diseño propuesto o las modificaciones sugeridas. Se
debe incluir el Anexo 6 “Propuesta de mejora de la Matriz de Indicadores para Resultados”.
De ser posible, en las propuestas de mejora se debe considerar la inclusión de indicadores desagregados
por sexo, que permitan observar los cambios en las condiciones de vida de mujeres y hombres.
20.2. Las fuentes de información mínimas a utilizar deben ser la MIR, Fichas Técnicas de los indicadores, el
diagnóstico del programa, ROP y/o documentos normativos del programa.
20.3. La respuesta a esta pregunta debe ser consistente con las respuestas de las preguntas 10, 11, 12, 13, 15,
18 y 19.
277
IV.5 ANÁLISIS DE POSIBLES COMPLEMENTARIEDADES Y COINCIDENCIAS CON OTROS PROGRAMAS FEDERALES
21. ¿Con cuáles programas federales y en qué aspectos el programa evaluado podría tener complementariedad
y/o coincidencias?
No procede valoración cuantitativa.
21.1. En la respuesta se debe incluir el análisis que considere los siguientes aspectos: a) el Propósito de los
programas, b) la definición de la población objetivo, c) los tipos de apoyo otorgados por el programa y d)
la cobertura del programa.
En el formato del Anexo 7 “Complementariedad y coincidencias entre programas federales”, se incluirán
los textos similares del programa evaluado y de los otros programas federales. Mediante su análisis
detectará los casos en que: a) los objetivos son similares y por lo tanto podrían existir coincidencias y b)
atienden a la misma población o área de enfoque pero los apoyos son diferentes y por lo tanto, pueden
ser complementarios. El formato del Anexo se presenta en la sección X. Formatos de Anexos de estos
Términos de Referencia y debe entregarse en formato Excel e impreso.
21.2. Las fuentes de información mínimas a utilizar deben ser documentos oficiales, ROP de programas
federales y MIR de programas federales.
21.3. La respuesta de esta pregunta debe ser consistente con las respuestas de las preguntas 1 y 2.
278
V. VALORACIÓN FINAL DEL DISEÑO DEL PROGRAMA
Se debe realizar una valoración general del Programa “Servicios a grupos con necesidades especiales (E003)”, a
cargo del INAPAM, utilizando las respuestas que integran cada uno de los apartados. La valoración debe de ser
de un máximo de tres cuartillas y seguir la siguiente estructura:
1. Características del Programa.
2. Justificación de la creación y diseño del Programa
3. Contribución a los objetivos nacionales y sectoriales.
4. Población potencial y objetivo.
5. Matriz de Indicadores para Resultados (MIR).
6. Complementariedades y coincidencias con otras instituciones o programas federales.
7. Conclusiones.
VI. ANÁLISIS DE FORTALEZAS, OPORTUNIDADES, DEBILIDADES Y AMENAZAS (EN MATERIA DE DISEÑO)
Se debe integrar en una sola tabla las fortalezas, oportunidades, debilidades y amenazas, especificadas por cada
apartado de la evaluación y reportadas en el Anexo 8 “Principales Fortalezas, Retos y Recomendaciones (en
materia de Diseño”), en el que se deben incluir máximo 5 fortalezas y/o oportunidades, 5 debilidades y/o
amenazas, y 5 recomendaciones por apartado de la evaluación.
El formato del Anexo se presenta en la sección VIII. Formatos de Anexos de este Anexo y debe entregarse en
formato Excel e impreso.
VII. CONCLUSIONES
Las conclusiones deben ser precisas y fundamentarse en el análisis y la evaluación realizada en cada una de sus
secciones. La extensión máxima es de dos cuartillas.
279
VIII. FORMATOS DE ANEXOS
Formato del Anexo 4 “Indicadores”
Nombre del Programa o
Instituto:
Modalidad:
Dependencia/Entidad:
Unidad Responsable:
Tipo de Evaluación:
Año de la Evaluación:
Nota. Se deben incluir todos los indicadores de cada uno de los niveles de objetivo.
Nivel de
Objetivo
Nombre del
Indicador
Método de
CálculoClaro Relevante Económico Monitoreable Adecuado Definición
Unidad de
Medida
Frecuencia de
Medición
Línea
BaseMetas
Comportamiento
del indicador
Fin Sí/No Sí/No Sí/No Sí/No Sí/No Sí/No Sí/No Sí/No Sí/No Sí/No Sí/No
Propósito Sí/No Sí/No Sí/No Sí/No Sí/No Sí/No Sí/No Sí/No Sí/No Sí/No Sí/No
Componentes Sí/No Sí/No Sí/No Sí/No Sí/No Sí/No Sí/No Sí/No Sí/No Sí/No Sí/No
Actividades Sí/No Sí/No Sí/No Sí/No Sí/No Sí/No Sí/No Sí/No Sí/No Sí/No Sí/No
280
Formato del Anexo 5 “Metas del Programa “Servicios a grupos con necesidades especiales (E003)”, a cargo
del INAPAM”
Nombre del Programa o
Instituto:
Modalidad:
Dependencia/Entidad:
Unidad Responsable:
Tipo de Evaluación:
Año de la Evaluación:
Nota. Se deben incluir todos los indicadores de cada uno de los niveles de objetivo.
Nivel de ObjetivoNombre del
IndicadorMeta
Unidad de
MedidaJustificación
Orientada a
impulsar el
desempeño
Justificación Factible Justificación
Propuesta de
Mejora de la
Meta
Fin Si/No Si/No Si/No Si/No
Propósito Si/No Si/No Si/No Si/No
Componentes Si/No Si/No Si/No Si/No
Actividades Si/No Si/No Si/No Si/No
281
Formato del Anexo 7 “Complementariedad y coincidencias entre institutos o programas federales”
Nombre del Programa o
Instituto:
Modalidad:
Dependencia/Entidad:
Unidad Responsable:
Tipo de Evaluación:
Año de la Evaluación:
Nombre del
ProgramaModalidad
Dependencia
/EntidadPropósito
Población
Objetivo
Tipo de
Apoyo
Cobertura
Geográfica
Fuentes de
Información
¿Con cuáles
programas
federales
coincide?
¿Con cuáles
programas
federales se
complementa?
Justificación
282
Formato del Anexo 8 “Principales fortalezas, retos, y recomendaciones (en materia de Diseño)”
Tema de evaluación: Diseño
Fortaleza y Oportunidad/Debilidad o amenaza
Referencia (Pregunta)
Recomendación
Fortaleza y Oportunidad
Debilidad o Amenaza
283
Formato del Anexo 11 “Ficha técnica con los datos generales de la instancia evaluadora y el costo de
la evaluación”
Concepto Datos generales
Nombre del Programa o Instituto evaluado:
Modalidad y clave presupuestal
Dependencia/Entidad:
Unidad Responsable:
Tipo de Evaluación
Nombre de la instancia evaluadora:
Nombre del coordinador de la evaluación:
Nombres de los principales colaboradores:
Nombre de la unidad administrativa
responsable de dar seguimiento a la
evaluación:
Nombre del titular de la unidad
administrativa responsable de dar
seguimiento a la evaluación:
Forma de contratación de la instancia
evaluadora:
Costo total de la evaluación:
Fuente de financiamiento:
284
Anexo 2: Modelo de Términos de Referencia para la Evaluación de Consistencia y Resultados16 (versión acotada) para el Programa “Servicios a grupos con necesidades especiales (E003)” a cargo del INAPAM
16
Documento emitido por el CONEVAL.
285
INTRODUCCIÓN
El presente Anexo contiene una versión acotada del Modelo de Términos de Referencia de la Evaluación de
Consistencia y Resultados emitido por el CONEVAL. Esta acotación se realizó porque en la Evaluación
Complementaria de Diseño, Consistencia y Medición de Resultados (2010-2011) al Programa “Servicios a grupos
con necesidades especiales (E003)”, a cargo del Instituto Nacional de las Personas Adultas Mayores (INAPAM),
se está considerando íntegramente el Modelo de Términos de Referencia para la Evaluación en materia de
Diseño, también emitido por el CONEVAL. Además, por las características particulares de este programa, algunas
preguntas del Modelo no se le aplican, considerando que no es un programa sujeto a Reglas de Operación, sino
un programa que proporciona servicios y acciones a sus beneficiarios mediante una institución: el INAPAM. Por
lo anterior, sólo se incluirán un total de 28 preguntas.
I. OBJETIVOS DE LA EVALUACIÓN EN MATERIA DE CONSISTENCIA Y RESULTADOS
OBJETIVO GENERAL
Evaluar la consistencia y orientación a resultados del Programa “Servicios a grupos con necesidades especiales
(E003)”, a cargo del Instituto Nacional de las Personas Adultas Mayores (INAPAM o Instituto) con la finalidad de
proveer información que retroalimente su diseño, gestión y resultados.
OBJETIVOS ESPECÍFICOS
Identificar si el Programa “Servicios a grupos con necesidades especiales (E003)” (en adelante el
Programa) cuenta con instrumentos de planeación y orientación hacia resultados;
Examinar si el Programa ha definido una estrategia de cobertura de mediano y de largo plazo y los
avances presentados en el ejercicio fiscal evaluado;
Analizar los principales procesos establecidos en la normatividad aplicable al Programa; así como los
sistemas de información con los que cuenta el INAPAM y sus mecanismos de rendición de cuentas;
Identificar si el Programa cuenta con instrumentos que le permitan recabar información para medir el
grado de satisfacción de sus beneficiarios y de sus resultados, y
Examinar los resultados del Programa respecto a la atención del problema para el que fue creado.
286
II. TEMAS DE EVALUACIÓN Y METODOLOGÍA
La evaluación de consistencia y resultados (versión acotada para el Programa “Servicios a grupos con
necesidades especiales (E003)”, a cargo del INAPAM) se divide en cinco temas y 28 preguntas de acuerdo con el
siguiente cuadro:
APARTADO PREGUNTAS TOTAL
Planeación y Orientación a Resultados 1-6 6
Cobertura y Focalización 7-9 3
Operación 10-23 14
Percepción de la Población Atendida 24 1
Medición de Resultados 25-28 4
TOTAL 28 28
La evaluación se realiza mediante un análisis de gabinete con base en información proporcionada por el
INAPAM, así como información adicional que la instancia evaluadora considere necesaria para justificar su
análisis. En este contexto, se entiende por análisis de gabinete al conjunto de actividades que involucra el
acopio, la organización y la valoración de información concentrada en registros administrativos, bases de datos,
evaluaciones internas y/o externas y documentación pública. Sin embargo, de acuerdo con las necesidades de
información y tomando en cuenta la forma de operar del INAPAM, se podrán programar y llevar a cabo
entrevistas con funcionarios del INAPAM o personal de la unidad de evaluación y/o planeación de la
dependencia coordinadora.
III. CRITERIOS GENERALES PARA RESPONDER A LAS PREGUNTAS
Los cinco temas incluyen preguntas específicas, de las que 18 deben ser respondidas mediante un esquema
binario (SÍ/NO) sustentando con evidencia documental y haciendo explícitos los principales argumentos
empleados en el análisis. En los casos en que la respuesta sea SÍ, se debe seleccionar uno de cuatro niveles de
respuesta definidos para cada pregunta.
287
Las 10 preguntas que no tienen respuestas binarias (por lo que no incluyen niveles de respuestas) se deben
responder con base en un análisis sustentado en evidencia documental y haciendo explícitos los principales
argumentos empleados en el mismo.
III.1 FORMATO DE RESPUESTA
Cada una de las preguntas debe responderse en un máximo de una cuartilla e incluir los siguientes conceptos:
d. la pregunta;
e. la respuesta binaria(SÍ/NO) o abierta;
para las respuestas binarias y en los casos en los que la respuesta sea “Sí”, el nivel de respuesta
(que incluya el número y la oración), y
f. el análisis que justifique la respuesta.
III.2 CONSIDERACIONES PARA DAR RESPUESTA
Para las preguntas que deben responderse de manera binaria (SÍ/NO), se debe considerar lo siguiente:
Determinación de la respuesta binaria (SÍ/NO). Cuando el INAPAM no cuente con documentos ni
evidencias para dar respuesta a la pregunta se considera información inexistente y, por lo tanto, la
respuesta es “No”.
Si el INAPAM cuenta con información para responder la pregunta, es decir, si la respuesta es “Sí”, se
procede a precisar uno de cuatro niveles de respuesta, considerando los criterios establecidos en cada
nivel.
Se podrá responder “No aplica” a alguna(s) de las preguntas sólo cuando las particularidades del Programa no
permitan responder a la pregunta. De presentarse el caso, se deben explicar las causas y los motivos de por qué
“No aplica” en el espacio para la respuesta. La DGEMPS y en su caso el CONEVAL podrá solicitar que se analicen
nuevamente las preguntas en las que se haya respondido “No aplica”.
Para el total de las preguntas, se incluyen los siguientes cuatro aspectos que se deben considerar al responder:
5. De manera enunciativa más no limitativa, elementos con los que debe justificar su valoración, así como la
información que se debe incluir en la respuesta o en anexos.
6. Fuentes de información mínimas a utilizar para la respuesta. Se podrán utilizar otras fuentes de
información que se consideren necesarias.
7. Congruencia entre respuestas. En caso de que la pregunta analizada tenga relación con otra(s), se señala(n)
la(s) pregunta(s) con la(s) que debe haber coherencia en la(s) repuesta(s). Lo anterior no implica, en el caso
288
de las preguntas con respuesta binaria, que la respuesta binaria (Sí/NO) o el nivel de respuesta otorgado a
las preguntas relacionadas tenga que ser el mismo, sino que la argumentación sea consistente.
8. Los anexos que deben incluirse en el informe de evaluación son los siguientes:
Anexo 1 “Evolución de la Cobertura”.
Anexo 2 “Información de la Población Atendida”.
Anexo 3 “Diagramas de flujo de los Componentes y procesos claves”.
Anexo 4 “Gastos desglosados del Programa”.
Anexo 5 “Avance de los Indicadores respecto a sus metas”.
Anexo 6 “Instrumentos de Medición del Grado de Satisfacción de la Población Atendida”
(Formato libre).
Anexo 7 “Principales Fortalezas, Oportunidades, Debilidades, Amenazas y Recomendaciones
(en materia de Consistencia y Orientación a Resultados)”.
Anexo 8 “Valoración Final del Programa”.
289
IV. EVALUACIÓN
IV.1 PLANEACIÓN Y ORIENTACIÓN A RESULTADOS
IV.1.1 INSTRUMENTOS DE PLANEACIÓN
1. La Unidad Responsable del programa cuenta con un plan estratégico con las siguientes características:
a) Es resultado de ejercicios de planeación institucionalizados, es decir, sigue un procedimiento
establecido en un documento.
b) Contempla el mediano y/o largo plazo.
c) Establece los resultados que quieren alcanzar, es decir, el Fin y Propósito del Programa.
d) Cuenta con indicadores para medir los avances en el logro de sus resultados.
Si el PROGRAMA no cuenta con un plan estratégico para el año que se realiza la evaluación o el plan estratégico
no tiene al menos una de las características establecidas en la pregunta, se considera información inexistente y,
por lo tanto, la respuesta es “No”.
Si cuenta con información para responder la pregunta, es decir, si la respuesta es “Sí” se debe seleccionar un
nivel según los siguientes criterios:
Nivel Criterios
1 El plan estratégico tiene una de las características establecidas.
2 El plan estratégico tiene dos de las características establecidas.
3 El plan estratégico tiene tres de las características establecidas.
4 El plan estratégico tiene todas las características establecidas.
o En la respuesta se deben presentar los objetivos establecidos en los planes y argumentar por qué se
considera que cuenta con las características. En caso de que se detecten áreas de mejora en los
planes estratégicos, se deben explicitar y proponer la forma de atenderlas. Se entenderá por
mediano plazo, que la visión del plan abarque la presente administración federal y largo plazo que
trascienda la administración federal.
o Las fuentes de información mínimas a utilizar deben ser documentos oficiales de planeación y/o
programación, sistemas o herramientas de planeación y la MIR.
290
2. El PROGRAMA cuenta con planes de trabajo anuales para alcanzar sus objetivos que:
a) Son resultado de ejercicios de planeación institucionalizados, es decir, siguen un procedimiento
establecido en un documento.
b) Son conocidos por los responsables de los principales procesos del PROGRAMA.
c) Tienen establecidas sus metas.
d) Se revisan y actualizan.
Si no existen planes de trabajo anuales para alcanzar los objetivos del PROGRAMA o los planes de trabajo
anuales existentes no tienen al menos una de las características establecidas en la pregunta, se considera
información inexistente y, por lo tanto, la respuesta es “No”.
Si cuenta con información para responder la pregunta, es decir, si la respuesta es “Sí” se debe seleccionar un
nivel según los siguientes criterios:
Nivel Criterios
1 Los planes de trabajo anuales tienen una de las características establecidas.
2 Los planes de trabajo anuales tienen dos de las características establecidas.
3 Los planes de trabajo anuales tienen tres de las características establecidas.
4 Los planes de trabajo anuales tienen todas de las características establecidas.
o En la respuesta se deben presentar los objetivos establecidos en los planes y argumentar por qué se
considera que tienen o no las características. En caso de que se detecten áreas de mejora en los planes
de trabajo, se deben explicitar y proponer la forma de atenderlas. Se entenderá por anual al ciclo fiscal
vigente, ciclo escolar o estacional.
o Las fuentes de información mínimas a utilizar deben ser documentos oficiales de planeación y/o
programación, sistemas o herramientas de planeación y la MIR.
291
IV.1.2 DE LA ORIENTACIÓN HACIA RESULTADOS Y ESQUEMAS O PROCESOS DE EVALUACIÓN
3. El PROGRAMA utiliza informes de evaluaciones externas:
a) De manera regular, es decir, uno de los elementos para la toma de decisiones sobre cambios al
PROGRAMA son los resultados de evaluaciones externas.
b) De manera institucionalizada, es decir, sigue un procedimiento establecido en un documento.
c) Para definir acciones y actividades que contribuyan a mejorar su gestión y/o sus resultados.
d) De manera consensada, participan operadores, gerentes y personal de la unidad de planeación y/o
evaluación.
Si no existe evidencia de que el PROGRAMA ha utilizado informes de evaluaciones o si no se cuenta con al
menos una de las características establecidas en la pregunta se considera información inexistente y, por lo tanto,
la respuesta es “No”.
Si cuenta con información para responder la pregunta, es decir, si la respuesta es “Sí” se debe seleccionar un
nivel según los siguientes criterios:
Nivel Criterios
1
El PROGRAMA utiliza informes de evaluación externa y tiene una de las características establecidas.
2
El PROGRAMA utiliza informes de evaluación externa y tiene dos de las características establecidas.
3
El PROGRAMA utiliza informes de evaluación externa y tiene tres de las características establecidas.
4
El PROGRAMA utiliza informes de evaluación externa y tiene todas las características establecidas.
o En la respuesta se deben señalar las evidencias de las características establecidas y de cuáles no existe
evidencia. De ser el caso, se debe señalar cómo mejoró su gestión y/o resultados a partir de
evaluaciones externas.
o Las fuentes de información mínimas a utilizar deben ser informes finales de evaluaciones externas del
PROGRAMA, documentos de trabajo, documentos institucionales y posiciones institucionales de las
evaluaciones externas generados a partir de los Mecanismos para el seguimiento de los ASM derivados
de informes y evaluaciones externas.
292
4. A partir del análisis de las evaluaciones externas realizadas al PROGRAMA y de su experiencia en la
temática ¿qué temas del PROGRAMA considera importante evaluar mediante instancias externas?
No procede valoración cuantitativa.
o En la respuesta se debe establecer una síntesis con los resultados de las principales evaluaciones
externas realizadas al PROGRAMA; de los temas evaluados y de los resultados de las evaluaciones,
considerados para sugerir los temas a ser evaluados por instancias externas y justificar el porqué de la
selección de estos temas.
o Las fuentes de información mínimas a utilizar deben ser informes finales de evaluaciones externas del
PROGRAMA, documentos de trabajo, documentos institucionales, posiciones institucionales de las
evaluaciones externas, avance a los documentos de trabajo e institucionales generados a partir de los
mecanismos para el seguimiento de los ASM derivados de informes y evaluaciones externas.
293
IV.1.3 DE LA GENERACIÓN DE INFORMACIÓN
5. El PROGRAMA recolecta información acerca de:
a) La contribución del PROGRAMA a los objetivos del programa sectorial, especial o institucional.
b) Los tipos y montos de apoyo otorgados a los beneficiarios en el tiempo.
c) Las características socioeconómicas de sus beneficiarios.
d) Las características socioeconómicas de las personas que no son beneficiarias, con fines de
comparación con la población beneficiaria.
Si el PROGRAMA no recolecta regularmente información o no cuenta con al menos uno de los aspectos
establecidos, se considera información inexistente y, por lo tanto, la respuesta es “No”.
Si cuenta con información para responder la pregunta, es decir, si la respuesta es “Sí” se debe seleccionar un
nivel según los siguientes criterios:
Nivel Criterios
1 El PROGRAMA recolecta información acerca de uno de los aspectos establecidos.
2 El PROGRAMA recolecta información acerca de dos de los aspectos establecidos.
3 El PROGRAMA recolecta información acerca de tres de los aspectos establecidos.
4 El PROGRAMA recolecta información acerca de todos de los aspectos establecidos.
o En la respuesta se debe indicar qué información recolecta el PROGRAMA y con qué frecuencia.
o Las fuentes de información mínimas son ROP o documento normativo, manuales de operación del
PROGRAMA, MIR, padrón de beneficiarios, documentos oficiales, bases de datos con información de los
beneficiarios, información de la población potencial y objetivo y/o entrevistas con funcionarios
encargados de la operación del PROGRAMA.
294
6. El PROGRAMA recolecta información para monitorear su desempeño con las siguientes características:
a) Es oportuna.
b) Es confiable, es decir, está validada por quienes las integran.
c) Está sistematizada.
d) Es pertinente respecto de su gestión, es decir, permite medir los indicadores de Actividades y
Componentes.
e) Está actualizada y disponible para dar seguimiento de manera permanente.
Si el PROGRAMA no recoleta información para monitorear su desempeño o la información no cuenta con al
menos una de las características establecidas en la pregunta se considera información inexistente y, por lo tanto,
la respuesta es “No”.
Si cuenta con información para responder la pregunta, es decir, si la respuesta es “Sí” se debe seleccionar un
nivel según los siguientes criterios:
Nivel Criterios
1 La información que recolecta el PROGRAMA cuenta con una o dos de las
características establecidas.
2 La información que recolecta el PROGRAMA cuenta con tres de las características
establecidas.
3 La información que recolecta el PROGRAMA cuenta con cuatro de las características
establecidas.
4 La información que recolecta el PROGRAMA cuenta con todas las características
establecidas.
o En la respuesta se debe señalar qué información recolecta el PROGRAMA, sus características e indicar las
áreas de oportunidad que han sido detectadas y, en su caso, incorporar la propuesta para atender las
áreas de oportunidad. Se entenderá por sistematizada que la información se encuentre en bases de
datos y disponible en un sistema informático; por actualizada, que contenga los datos más recientes de
acuerdo con la periodicidad definida para el tipo de información.
o Las fuentes de información mínimas a utilizar deben ser documentos oficiales, sistemas de información,
seguimiento del PROGRAMA y/o MIR.
295
IV.2 COBERTURA Y FOCALIZACIÓN
IV.2.1 ANÁLISIS DE COBERTURA
7. El PROGRAMA cuenta con una estrategia de cobertura documentada para atender a su población objetivo
con las siguientes características:
a) Incluye la definición de la población objetivo.
b) Especifica metas de cobertura anual.
c) Abarca un horizonte de mediano y largo plazo.
d) Es congruente con el diseño del PROGRAMA.
Si el PROGRAMA no cuenta con una estrategia de cobertura documentada para atender a su población objetivo
o la estrategia no cuenta con al menos una de las características establecidas en la pregunta se considera
información inexistente y, por lo tanto, la respuesta es “No”.
Si cuenta con información para responder la pregunta, es decir, si la respuesta es “Sí” se debe seleccionar un
nivel según los siguientes criterios:
Nivel Criterios
1 La estrategia de cobertura cuenta con una de las características establecidas.
2 La estrategia de cobertura cuenta con dos de las características establecidas.
3 La estrategia de cobertura cuenta con tres de las características establecidas.
4 La estrategia de cobertura cuenta con todas las características establecidas.
o En la respuesta se debe indicar, de manera resumida, la estrategia de cobertura para atender a la
población objetivo y, en su caso, las áreas de oportunidad detectadas y/o las características con las que
no cuenta la estrategia. Se entenderá por mediano plazo, que la visión del plan abarque la presente
administración federal y largo plazo que trascienda la administración federal.
o Las fuentes de información mínimas a utilizar deben ser, diagnóstico, documentos oficiales y/o MIR.
296
8. ¿El PROGRAMA cuenta con mecanismos para identificar a su población objetivo? En caso de contar con
éstos, especifique cuáles y qué información utiliza para hacerlo.
No procede valoración cuantitativa.
o En la respuesta se debe describir, de manera resumida, la metodología de focalización y las fuentes de
información.
o Las fuentes de información mínimas a utilizar deben ser documentos oficiales.
297
9. A partir de las definiciones de la población potencial, la población objetivo y la población atendida, ¿cuál ha
sido la cobertura del PROGRAMA?
No procede valoración cuantitativa.
o En la respuesta se debe analizar la evolución de la población atendida y su convergencia con la población
potencial, es decir, si el PROGRAMA ha logrado atender a toda la población objetivo. El análisis se debe
sustenta con información y se debe adjuntar en el Anexo 1 “Evolución de la Cobertura” y en el Anexo 2
“Información de la Población Atendida”. El formato de los Anexos se presenta en la sección VII. Formatos de
Anexos de este Anexo y debe entregarse en formato Excel e impreso.
o Las fuentes de información mínimas a utilizar deben ser ROP o documento normativo, manuales de
procedimientos, base o padrón de beneficiarios, normatividad interna aplicable al desarrollo de sistemas de
información, bases de datos y/o sistemas informativos.
298
IV.3 OPERACIÓN
IV.3.1 ANÁLISIS DE LOS PROCESOS ESTABLECIDOS EN LAS ROP O NORMATIVIDAD APLICABLE
10. Describa mediante Diagramas de Flujo el proceso general del PROGRAMA para cumplir con los bienes y los
servicios (Componentes), así como los procesos clave en la operación del PROGRAMA.
No procede valoración cuantitativa.
o En la respuesta se deben realizar los diagramas de flujo que describan tanto el proceso general, así como
los procesos clave del PROGRAMA. Se entenderá por proceso clave aquellas actividades, procedimientos o
procesos fundamentales para alcanzar los objetivos del PROGRAMA.
Ejemplos de procesos relevantes: Procedimientos para recibir, registrar y dar trámite a los apoyos; para la
selección de proyectos y/o beneficiarios; de registro y control que permiten asegurar que todos los criterios
de elegibilidad y requisitos establecidos en las ROP o documento normativo se cumplen para la selección
de proyectos y/o beneficiarios; apoyos entregados y ejecución de obras; entre otros.
Adicionalmente, se debe incluir un diagrama de flujo de los Componentes del PROGRAMA en el Anexo 3
“Diagramas de flujo de los Componentes procesos claves”.
Se debe considerar si los procesos clave coinciden con al menos una de las Actividades de la MIR.
o Las fuentes de información mínimas a utilizar deben ser Manuales de procedimientos, ROP o documentos
normativos y/o informes.
299
Solicitud de apoyos
11. ¿El PROGRAMA cuenta con información sistematizada que permite conocer la demanda total de apoyos y las
características de los solicitantes?17 (socioeconómicas en el caso de personas físicas y específicas en el caso de
personas morales)
Si el PROGRAMA no cuenta con información sistematizada de la demanda total de apoyos, se considera
información inexistente y, por lo tanto, la respuesta es “No”.
Al contar con información para responder la pregunta, es decir, si la respuesta es “Sí”, se consideran los
siguientes criterios:
Nivel Criterios
1 El PROGRAMA cuenta con información sistematizada, pero ésta no permite conocer la demanda total de apoyos ni las características de los solicitantes.
2 El PROGRAMA cuenta con información sistematizada que permite conocer la demanda total de apoyos, pero no las características de los solicitantes.
3 El PROGRAMA cuenta con información sistematizada que permite conocer la demanda total de apoyos y las características de los solicitantes.
4
El PROGRAMA cuenta con información sistematizada que permite conocer la demanda total de apoyos y las características de los solicitantes.
Existe evidencia de que la información sistematizada es valida, es decir, se utiliza como fuente de información única de la demanda total de apoyos.
o En la respuesta se debe especificar con qué información sistematizada cuenta el PROGRAMA y, en su
caso, la información faltante; y la argumentación de por qué se considera que el PROGRAMA conoce en
esa medida su demanda de apoyos y a sus solicitantes.
o Las fuentes de información mínimas a utilizar deben ser ROP o documento normativo del PROGRAMA,
cédulas de información de beneficiarios, padrón de beneficiarios, sistemas de información y/o bases de
datos.
17
Para efectos de esta evaluación se entiende por ‘Demanda Total’ a la cantidad de apoyos, servicios y acciones solicitados al INAPAM por parte de las personas Adultas Mayores de 65 años.
300
12. Los procedimientos para recibir, registrar y dar trámite a las solicitudes de apoyo cuentan con las siguientes
características:
a) Corresponden a las características de la población objetivo.
b) Existen formatos definidos.
c) Están disponibles para la población objetivo.
d) Están apegados al documento normativo del PROGRAMA.
Si el PROGRAMA no cuenta con procedimientos para recibir, registrar y dar trámite a las solicitudes de apoyo o
los procedimientos no cuentan con al menos una de las características establecidas en la pregunta, se considera
información inexistente y, por lo tanto, la respuesta es “No”.
Al contar con información para responder la pregunta, es decir, si la respuesta es “Sí”, se consideran los
siguientes criterios:
Nivel Criterios
1 El PROGRAMA cuenta con procedimientos para recibir, registrar y dar trámite a las solicitudes de
apoyo.
Los procedimientos cuentan con una de las características descritas.
2 El PROGRAMA cuenta con procedimientos para recibir, registrar y dar trámite a las solicitudes de
apoyo.
Los procedimientos cuentan con dos de las características descritas.
3 El PROGRAMA cuenta con procedimientos para recibir, registrar y dar trámite a las solicitudes de
apoyo.
Los procedimientos cuentan con tres de las características descritas.
4 El PROGRAMA cuenta con procedimientos para recibir, registrar y dar trámite a las solicitudes de
apoyo.
Los procedimientos cuentan con todas las características descritas.
o En la respuesta se deben presentar los argumentos que justifiquen los procedimientos utilizados por el
PROGRAMA para recibir, registrar y dar trámite a las solicitudes de apoyo y que cumplen con las
características descritas. Asimismo, se debe mencionar las áreas de mejora detectadas en los
procedimientos.
o Las fuentes de información mínimas a utilizar deben ser ROP o documento normativo del PROGRAMA y/o
formato(s) de solicitud de apoyo(s).
301
Selección de beneficiarios y/o proyectos
13. Los procedimientos del PROGRAMA para la selección de beneficiarios y/o proyectos tienen las siguientes
características:
a) Incluyen criterios de elegibilidad claramente especificados, es decir, no existe ambigüedad en su
redacción.
b) Están estandarizados, es decir, son utilizados por todas las instancias ejecutoras.
c) Están sistematizados.
d) Están difundidos públicamente.
Si el PROGRAMA no cuenta con procedimientos documentados para la selección de proyectos y/o beneficiarios
o los procedimientos no tienen al menos una de las características establecidas en la pregunta se considera
información inexistente y, por lo tanto, la respuesta es “No”.
Si cuenta con información para responder la pregunta, es decir, si la respuesta es “Sí” se debe seleccionar un
nivel según los siguientes criterios:
Nivel Criterios
1 Los procedimientos para la selección de beneficiarios y/o proyectos tienen una de las
características establecidas.
2 Los procedimientos para la selección de beneficiarios y/o proyectos tienen dos de las
características establecidas.
3 Los procedimientos para la selección de beneficiarios y/o proyectos tienen tres de las
características establecidas.
4 Los procedimientos para la selección de beneficiarios y/o proyectos tienen todas las
características establecidas.
o En la respuesta se deben señalar cuáles son las características establecidas que tienen los procedimientos
utilizados por el PROGRAMA para la selección de proyectos y/o beneficiarios y la evidencia de dichas
afirmaciones. Asimismo, se deben mencionar las áreas de mejora detectadas en los procedimientos y las
características que no tienen. Se entenderá por sistematizados que la información de los procesos se
encuentre en bases de datos y disponible en un sistema informático. Adicionalmente, se debe analizar si
se consideran las dificultades que podrían presentar tanto hombres como mujeres en el cumplimiento de
los requisitos a cubrir para el acceso a los bienes y/o servicios otorgados.
o Las fuentes de información mínimas a utilizar deben ser las ROP o documento normativo, manuales de
procedimientos y/o documentos oficiales.
302
Tipos de apoyos
14. Los procedimientos para otorgar los apoyos a los beneficiarios tienen las siguientes características:
a) Están estandarizados, es decir, son utilizados por todas las instancias ejecutoras.
b) Están sistematizados.
c) Están difundidos públicamente.
d) Están apegados al documento normativo del PROGRAMA.
Si el PROGRAMA no cuenta con procedimientos documentados para otorgar los apoyos a los beneficiarios o los
procedimientos no cuentan con al menos una de las características establecidas en la pregunta, se considera
información inexistente y, por lo tanto, la respuesta es “No”.
Si cuenta con información para responder la pregunta, es decir, si la respuesta es “Sí” se debe seleccionar un
nivel según los siguientes criterios:
Nivel Criterios
1 Los procedimientos para otorgar los apoyos a los beneficiarios tienen una de las
características establecidas.
2 Los procedimientos para otorgar los apoyos a los beneficiarios tienen dos de las
características establecidas.
3 Los procedimientos para otorgar los apoyos a los beneficiarios tienen tres de las
características establecidas.
4 Los procedimientos para otorgar los apoyos a los beneficiarios tienen todas las características
establecidas.
o En la respuesta se deben señalar cuáles son las características establecidas que tienen los
procedimientos utilizados por el PROGRAMA para otorgar el apoyo a los beneficiarios y la evidencia de
dichas afirmaciones. Asimismo, se deben mencionar las áreas de mejora detectadas en los
procedimientos y las características que no tienen. Se entenderá por sistematizados que la información
de los procesos se encuentre en bases de datos y disponible en un sistema informático.
o Las fuentes de información mínimas a utilizar deben ser las ROP o documento normativo, manuales de
procedimientos y/o documentos oficiales.
303
Ejecución
15. Los procedimientos de ejecución de obras y/o acciones tienen las siguientes características:
a) Están estandarizados, es decir, son utilizados por todas las instancias ejecutoras.
b) Están sistematizados.
c) Están difundidos públicamente.
d) Están apegados al documento normativo del PROGRAMA.
Si el PROGRAMA no cuenta con procedimientos de ejecución de obras y/o acciones o los procedimientos no
cuentan con al menos una de las características establecidas en la pregunta, se considera información
inexistente y, por lo tanto, la respuesta es “No”.
Si cuenta con información para responder la pregunta, es decir, si la respuesta es “Sí” se debe seleccionar un
nivel según los siguientes criterios:
Nivel Criterios
1 Los procedimientos de ejecución de obras y/o acciones tienen una de las características
establecidas.
2 Los procedimientos de ejecución de obras y/o acciones tienen dos de las características
establecidas.
3 Los procedimientos de ejecución de obras y/o acciones tienen tres de las características
establecidas.
4 Los procedimientos de ejecución de obras y/o acciones tienen todas las características
establecidas.
o En la respuesta se deben señalar cuáles son las características establecidas que tienen los mecanismos
documentados por el PROGRAMA para verificar la entrega de apoyos a beneficiarios y la evidencia de
dichas afirmaciones. Asimismo, se deben mencionar las áreas de mejora detectadas en los mecanismos
y las características que no tienen. Se entenderá por sistematizados que la información del mecanismo
se encuentre en bases de datos y disponible en un sistema informático.
o Las fuentes de información mínimas a utilizar deben ser las ROP o documento normativo, manuales de
procedimientos y/o documentos oficiales.
304
16. El PROGRAMA cuenta con mecanismos documentados para dar seguimiento a la ejecución de obras y
acciones y tienen las siguientes características:
a) Permiten identificar si las obras y/o acciones se realizan acorde a lo establecido en los documentos
normativos del PROGRAMA.
b) Están estandarizados, es decir, son utilizados por todas las instancias ejecutoras.
c) Están sistematizados.
d) Son conocidos por operadores del PROGRAMA.
Si el PROGRAMA no cuenta con mecanismos documentados para dar seguimiento a la ejecución de obras y/o
acciones o los mecanismos no tienen al menos una de las características establecidas en la pregunta se
considera información inexistente y, por lo tanto, la respuesta es “No”.
Si cuenta con información para responder la pregunta, es decir, si la respuesta es “Sí” se debe seleccionar un
nivel según los siguientes criterios:
Nivel Criterios
1 Los mecanismos para dar seguimiento a la ejecución de obras y/o acciones tienen una de las
características establecidas.
2 Los mecanismos para dar seguimiento a la ejecución de obras y/o acciones tienen dos de las
características establecidas.
3 Los mecanismos para dar seguimiento a la ejecución de obras y/o acciones tienen tres de las
características establecidas.
4 Los mecanismos para dar seguimiento a la ejecución de obras y/o acciones tienen todas las
características establecidas.
o En la respuesta se deben señalar cuáles son las características establecidas que tienen los mecanismos
documentados por el PROGRAMA para dar seguimiento a la ejecución de obras y/o acciones y la
evidencia de dichas afirmaciones. Asimismo, se deben mencionar las áreas de mejora detectadas en los
mecanismos y las características que no tienen. Se entenderá por sistematizados que la información del
mecanismo se encuentre en bases de datos y disponible en un sistema informático.
o Las fuentes de información mínimas a utilizar deben ser las ROP o documento normativo, manuales de
procedimientos y/o documentos oficiales.
305
IV.3.2 MEJORA Y SIMPLIFICACIÓN REGULATORIA
17. ¿Cuáles cambios sustantivos en el documento normativo se han hecho en los últimos tres años que han
permitido agilizar el proceso de apoyo a los solicitantes?
No procede valoración cuantitativa.
o En la respuesta se deben describir las modificaciones o implementaciones recientes en las ROP o
documento normativo, explicando el hecho o circunstancia que motivó la(s) modificación(es) y el(los)
resultado(s) provocado(s) por esto(s), que impliquen una mejora y simplificación regulatoria o de procesos
en el PROGRAMA y cuyos beneficios se presenten en términos de: reducción de tiempos, reducción de
costos de operación, reducción de cantidad de requisitos, etc.
Además de lo anterior, se debe explicar de manera resumida cuáles serían los cambios sustantivos que se
requeriría hacer a los apartados específicos de las ROP o documento normativo del PROGRAMA para
atender las áreas de mejora identificadas en esta evaluación, y mencionar si existe evidencia de los cambios
efectuados que han permitido agilizar el proceso.
o Las fuentes de información mínimas a utilizar deben ser las ROP o documento normativo y manifestación de
impacto regulatorio y comentarios a las ROP de la Comisión Federal de Mejora Regulatoria.
306
IV.3.3 ORGANIZACIÓN Y GESTIÓN
18. ¿Cuáles son los problemas que enfrenta el PROGRAMA para la transferencia de recursos a las instancias
ejecutoras y/o a los beneficiarios y, en su caso, qué estrategias ha implementado?
No procede valoración cuantitativa.
o En la respuesta se deben explicitar qué informes, sistemas o documentación fue revisada; una descripción
de los mecanismos de transferencias detallando la participación de las instancias correspondientes, la
problemática detectada, y en ese caso, la propuesta para solucionar dicha problemática.
o Las fuentes de información mínimas a utilizar deben ser las ROP o documento normativo del PROGRAMA,
informes financieros, sistemas y/o documentos institucionales.
307
IV.3.4 EFICIENCIA Y ECONOMÍA OPERATIVA DEL PROGRAMA
Eficiencia y Eficacia
19. El PROGRAMA identifica y cuantifica los gastos en los que incurre para generar los bienes y los servicios
(Componentes) que ofrece y los desglosa en los siguientes conceptos:
a) Gastos en operación: Directos e Indirectos.
b) Gastos en mantenimiento: Requeridos para mantener el estándar de calidad de los activos necesarios
para entregar los bienes o servicios a la población objetivo (unidades móviles, edificios, etc.). Considere
recursos de los capítulos 2000 y/o 3000.
c) Gastos en capital: Son los que se deben afrontar para adquirir bienes cuya duración en el PROGRAMA es
superior a un año. Considere recursos de los capítulos 5000 y/o 6000 (Ej: terrenos, construcción,
equipamiento, inversiones complementarias).
d) Gasto unitario: Gastos Totales/población atendida (Gastos totales=Gastos en operación + gastos en
mantenimiento).
Si el PROGRAMA no ha identificado ni cuantificado gastos en operación de los bienes y/o servicios que ofrece o
si no desglosa al menos uno de los conceptos establecidos, se considera información inexistente y, por lo tanto,
la respuesta es “No”.
Si cuenta con información para responder la pregunta, es decir, si la respuesta es “Sí” se debe seleccionar un
nivel según los siguientes criterios:
Nivel Criterios
1 El PROGRAMA identifica y cuantifica los gastos en operación y desglosa uno los conceptos
establecidos.
2 El PROGRAMA identifica y cuantifica los gastos en operación y desglosa dos de los conceptos
establecidos.
3 El PROGRAMA identifica y cuantifica los gastos en operación y desglosa tres de los conceptos
establecidos.
4 El PROGRAMA identifica y cuantifica los gastos en operación y desglosa todos los conceptos
establecidos.
o En la respuesta se debe explicar la metodología, las fórmulas de cuantificación, las fuentes de
información utilizadas, los gastos desglosados, y/o unitarios determinados, y las áreas de mejora
identificadas. La información se debe incluir en el Anexo 4 “Gastos desglosados del PROGRAMA”. El
formato del Anexo se presenta en la sección VII. Formatos de Anexos de este Anexo y debe entregarse
en formato Excel e impreso.
308
o Las fuentes de información mínimas a utilizar deben ser las ROP o documento normativo e información
contable.
Economía
20. ¿Cuáles son las fuentes de financiamiento para la operación del PROGRAMA y qué proporción del
presupuesto total del PROGRAMA representa cada una de las fuentes?
No procede valoración cuantitativa.
o En la respuesta se deben indicar las fuentes de financiamiento del PROGRAMA; los montos de cada una de
ellas (asignados y ejercidos), y en caso de que existan diferencias entre el presupuesto ejercido y el
asignado, se deben detallar y documentar las causas.
o Las fuentes de información mínimas a utilizar deben ser documentos oficiales.
309
IV.3.5 SISTEMATIZACIÓN DE LA INFORMACIÓN
21. Las aplicaciones informáticas o sistemas institucionales con que cuenta el PROGRAMA tienen las siguientes
características:
a) Cuentan con fuentes de información confiables y permiten verificar o validar la información
capturada.
b) Tienen establecida la periodicidad y las fechas límites para la actualización de los valores de las
variables.
c) Proporcionan información al personal involucrado en el proceso correspondiente.
d) Están integradas, es decir, no existe discrepancia entre la información de las aplicaciones o
sistemas.
Si el PROGRAMA no cuenta con aplicaciones informáticas o sistemas o las aplicaciones o sistemas no tienen al
menos una de las características establecidas se considera información inexistente y, por lo tanto, la respuesta
es “No”.
Si cuenta con información para responder la pregunta, es decir, si la respuesta es “Sí” se debe seleccionar un
nivel según los siguientes criterios:
Nivel Criterios
1 Los sistemas o aplicaciones informáticas del PROGRAMA tienen una de las características
establecidas.
2 Los sistemas o aplicaciones informáticas del PROGRAMA tienen dos de las características
establecidas.
3 Los sistemas o aplicaciones informáticas del PROGRAMA tienen tres de las características
establecidas.
4 Los sistemas o aplicaciones informáticas del PROGRAMA tienen todas las características
establecidas.
o En la respuesta se debe analizar de manera resumida el cumplimiento de las características señaladas en
la pregunta para los sistemas relacionados con la administración y operación del PROGRAMA, y se deben
comentar sobre los cambios de los últimos tres años en los sistemas del PROGRAMA.
o Las fuentes de información mínimas a utilizar deben ser bases de datos, sistemas de información y
manuales de procedimientos.
310
IV.3.6 CUMPLIMIENTO Y AVANCE EN LOS INDICADORES DE GESTIÓN Y PRODUCTOS
22. ¿Cuál es el avance de los indicadores de servicios y de gestión (Actividades y Componentes) y de resultados
(Fin y Propósito) de la MIR del PROGRAMA respecto de sus metas?
No procede valoración cuantitativa.
o En la respuesta se deben presentar los valores definitivos de los indicadores para el ejercicio fiscal en
evaluación reportados en el Portal Aplicativo de la Secretaría de Hacienda y Crédito Público (PASH) para
Cuenta Pública. Asimismo, se debe realizar una valoración por nivel de objetivo (Fin, Propósito,
Componentes y Actividades) respecto al avance de los indicadores en relación con valores alcanzados
anteriores. La información se debe incluir en el Anexo 5 “Avance de los Indicadores respecto de sus metas”.
El formato del Anexo se presenta en la sección VII. Formatos de Anexos de este Anexo y debe entregarse en
formato Excel e impreso.
o Las fuentes de información mínimas a utilizar deben ser MIR del ejercicio fiscal evaluado y anteriores,
Cuenta Pública del ejercicio fiscal evaluado y anteriores, así como informes del Portal Aplicativo de la
Secretaría de Hacienda y Crédito Público (PASH).
311
IV.3.7 RENDICIÓN DE CUENTAS Y TRANSPARENCIA
23. El PROGRAMA cuenta con mecanismos de transparencia y rendición de cuentas con las siguientes
características:
a) Las ROP o documento normativo están disponibles en la página electrónica de manera accesible, a
menos de tres clics.
b) Los resultados principales del PROGRAMA son difundidos en la página electrónica de manera
accesible, a menos de tres clics.
c) Cuenta con un teléfono o correo electrónico para informar y orientar tanto al beneficiario como al
ciudadano en general, disponible en la página electrónica, accesible a menos de tres clics.
d) El PROGRAMA no cuenta con modificación de respuesta a partir de recursos de revisión presentados
ante el Instituto Federal de Acceso a la Información Pública (IFAI).
Si el PROGRAMA no cuenta con mecanismos de transparencia y rendición de cuentas o los mecanismos no
tienen al menos una de las características establecidas en la pregunta, se considera información inexistente y,
por lo tanto, la respuesta es “No”.
Si cuenta con información para responder la pregunta, es decir, si la respuesta es “Sí” se debe seleccionar un
nivel según los siguientes criterios:
Nivel Criterios
1 Los mecanismos de transparencia y rendición de cuentas tienen una de las
características establecidas.
2 Los mecanismos de transparencia y rendición de cuentas tienen dos de las
características establecidas.
3 Los mecanismos de transparencia y rendición de cuentas tienen tres de las
características establecidas.
4 Los mecanismos de transparencia y rendición de cuentas tienen todas las características
establecidas.
o En la respuesta se deben indicar los mecanismos de transparencia existentes, medios de difusión de
dichos mecanismos y propuestas para las áreas de oportunidad identificadas. Los resultados principales
se refieren a resultados a nivel de Fin, de Propósito y/o de Componentes.
o Las fuentes de información mínimas a utilizar deben ser ROP o documento normativo del PROGRAMA,
documentos oficiales, página de Internet, así como recursos de revisión de las solicitudes de información
y las resoluciones de los recursos de revisión.
312
IV.4 PERCEPCIÓN DE LA POBLACIÓN ATENDIDA
24. El PROGRAMA cuenta con instrumentos para medir el grado de satisfacción de su población atendida con las
siguientes características:
a) Su aplicación se realiza de manera que no se induzcan las respuestas.
b) Corresponden a las características de sus beneficiarios.
c) Los resultados que arrojan son representativos.
Si el PROGRAMA no cuenta con instrumentos para medir el grado de satisfacción de su población atendida se
considera información inexistente y, por lo tanto, la respuesta es “No”.
Si cuenta con información para responder la pregunta, es decir, si la respuesta es “Sí” se debe seleccionar un
nivel según los siguientes criterios:
Nivel Criterios
1
Los instrumentos para medir el grado de satisfacción de la población atendida no tienen al menos el inciso a) de las características establecidas.
2
Los instrumentos para medir el grado de satisfacción de la población atendida tienen el inciso a) de las características establecidas.
3
Los instrumentos para medir el grado de satisfacción de la población atendida tienen el inciso a) de las características establecidas y otra de las características.
4
Los instrumentos para medir el grado de satisfacción de la población atendida tienen todas las características establecidas.
o En la respuesta se deben indicar qué características tienen los instrumentos, los resultados de los
mismos y la frecuencia de su aplicación. Adicionalmente, se debe adjuntar el Anexo 6. “Instrumentos
de Medición del Grado de Satisfacción de la Población Atendida” con las principales características de
los instrumentos.
o Las fuentes de información mínimas a utilizar deben ser estudios y/o evaluaciones (internas o
externas); metodologías e instrumentos, así como resultados de las encuestas de satisfacción aplicadas
a la población atendida.
313
IV.5 MEDICIÓN DE RESULTADOS
25. ¿Cómo documenta el PROGRAMA sus resultados a nivel de Fin y de Propósito?
a) Con indicadores de la MIR.
b) Con hallazgos de estudios o evaluaciones que no son de impacto.
c) Con información de estudios o evaluaciones rigurosas nacionales o internacionales que muestran el
impacto de programas o institutos similares.
d) Con hallazgos de evaluaciones de impacto.
No procede valoración cuantitativa.
o En la respuesta se debe señalar con qué documenta el PROGRAMA sus resultados y por qué ha utilizado
esos medios.
o Las fuentes de información mínimas a utilizar deben ser ROP o documento normativo, MIR, evaluaciones
externas y diagnóstico.
314
26. En caso de que el PROGRAMA cuente con indicadores para medir su Fin y Propósito, inciso a) de la pregunta
anterior, ¿cuáles han sido sus resultados?
Si los indicadores para medir el logro de los objetivos de Fin y de Propósito de la MIR no proporcionan
resultados se considera información inexistente y, por lo tanto, la respuesta es “No”.
Si cuenta con información para responder la pregunta, es decir, si la respuesta es “Sí” se debe seleccionar un
nivel según los siguientes criterios:
Nivel Criterios
1 No hay resultados positivos del PROGRAMA a nivel de Fin y Propósito.
2 Hay resultados positivos del PROGRAMA a nivel de Fin o de Propósito.
3 Hay resultados positivos del PROGRAMA a nivel de Fin y de Propósito.
4 Hay resultados positivos del PROGRAMA a nivel de Fin y de Propósito.
Los resultados son suficientes para señalar que el PROGRAMA cumple con el Propósito y contribuye al Fin.
o En la respuesta se deben señalar los resultados específicos identificados por indicador y argumentar, en
su caso, la suficiencia de los resultados, así como la vigencia de los mismos, es decir, si la medición se
realizó utilizando fuentes de información actualizadas.
o Las fuentes de información mínimas a utilizar deben ser ROP o documento normativo, MIR y
documentos oficiales.
315
27. En caso de que el PROGRAMA cuente con información de estudios o evaluaciones nacionales e
internacionales que muestran impacto de programas o institutos similares, dichas evaluaciones cuentan con
las siguientes características:
I. Se compara un grupo de beneficiarios con uno de no beneficiarios de características similares.
II. La(s) metodología(s) aplicadas son acordes a las características del PROGRAMA y la información
disponible, es decir, permite generar una estimación lo más libre posible de sesgos en la comparación
del grupo de beneficiarios y no beneficiarios.
III. Se utiliza información de al menos dos momentos en el tiempo.
IV. La selección de la muestra utilizada garantiza la representatividad de los resultados.
Si el PROGRAMA no cuenta con información de estudios o evaluaciones nacionales o internacionales que
muestren impacto de programas o institutos similares que tengan al menos la primera característica (comparar
un grupo de beneficiarios con uno de no beneficiarios de características similares), se considera información
inexistente y, por lo tanto, la respuesta es “No”.
Si cuenta con información para responder la pregunta, es decir, si la respuesta es “Sí” se debe seleccionar un
nivel según los siguientes criterios:
Nivel Criterios
1 La evaluación de impacto tiene la característica I.
2 La evaluación de impacto tienen las características I y II
3 La evaluación de impacto tienen las características I, II y III o las características I, II y IV.
4 La evaluación de impacto tienen todas las características establecidas.
o En la respuesta se deben indicar cuáles de las características anteriores tiene la evaluación o estudio. Se
deben señalar las razones por las cuales se considera que son programas o institutos similares y las
principales diferencias. Adicionalmente, se deben especificar las limitaciones en la comparación. Del
estudio se debe revisar la metodología utilizada, las pruebas realizadas para asegurar la comparabilidad
de los grupos, las fuentes de información y el diseño muestral de la evaluación. Se requiere señalar las
fortalezas y debilidades de la evaluación y las implicaciones que estas tienen sobre la validez de los
resultados. El evaluador deberá hacer una búsqueda y revisión exhaustiva de los estudios o evaluaciones
nacionales e internacionales que muestren impacto de programas similares.
o Las fuentes de información mínimas a utilizar deben ser evaluaciones externas de programas o institutos
similares.
316
28. En caso de que el PROGRAMA cuente con información de estudios o evaluaciones nacionales e
internacionales que muestran impacto de programas o institutos similares ¿qué resultados se han
demostrado?
No procede valoración cuantitativa.
o En la respuesta se debe indicar el impacto demostrado en programas o institutos similares, así como las
características del estudio o de la evaluación rigurosa existente. Se debe revisar la metodología utilizada, las
pruebas realizadas para asegurar la comparabilidad de los grupos, las fuentes de información y el diseño
muestral de la evaluación.
o Las fuentes de información mínimas a utilizar deben ser ROP o documento normativo, manuales de
operación del PROGRAMA, MIR, documentos oficiales y/o entrevistas con funcionarios encargados de la
operación del PROGRAMA.
317
V. ANÁLISIS DE FORTALEZAS, OPORTUNIDADES, DEBILIDADES, AMENAZAS Y RECOMENDACIONES (EN
MATERIA DE CONSISTENCIA Y ORIENTACIÓN A RESULTADOS)
Se debe integrar en una sola tabla las fortalezas, oportunidades, debilidades y amenazas, especificadas por cada
tema de la evaluación y reportadas en el Anexo 7 “Principales Fortalezas, Oportunidades, Debilidades, Amenazas
y Recomendaciones (en materia de Consistencia Orientación a Resultados)”, en el que se deben incluir
máximo 5 fortalezas y/o oportunidades, 5 debilidades y/o amenazas, y 5 recomendaciones por tema de la
evaluación.
El formato del Anexo se presenta en la Sección VII. Formatos de Anexos de este Anexo y debe entregarse en
formato Excel e impreso.
VI. CONCLUSIONES
Las conclusiones deben ser precisas y fundamentarse en el análisis y la evaluación realizada en cada una de sus
secciones. La extensión máxima es de dos cuartillas.
Adicionalmente, se debe incluir el Anexo 8 “Valoración Final del Programa” con la información de cada tema. El
formato del Anexo se presenta en la sección VII. Formatos de Anexos de este Anexo y debe entregarse en
formato Excel e impreso.
318
VII. FORMATOS DE ANEXOS
Formato del Anexo 1 “Evolución de la Cobertura”
Nombre del Programa o Instituto:
Modalidad:
Dependencia/Entidad:
Unidad Responsable:
Tipo de Evaluación:
Año de la Evaluación:
Tipo de Población Unidad de Medida
Año 1 Año 2 Año 3 Año … 2011
P. Potencial
P. Objetivo
P. Atendida
P. A x 100 % % % % % %
P. O
Nota. Se debe incluir la información para todos aquellos años disponibles.
319
Formato del Anexo 2 “Información de la Población Atendida”
Nombre del Programa o Instituto:
Modalidad:
Dependencia/Entidad:
Unidad Responsable:
Tipo de Evaluación:
Año de la Evaluación:
Fuente:____
T= Total
M= Mujeres
H= Hombres
Ámbito Geográfico T M H T M H T M H T M H T M H
Entidad Federativa Municipio Localidad
Rangos de Edad (años) y sexo Total 60-65 66 a 70 71 a 75 76 y más
320
Formato del Anexo 3 “Diagramas de flujo de los Componentes y procesos claves”
Para la elaboración de los diagramas se debe utilizar la simbología común de flujogramas, cuyos principales
símbolos son:
321
Formato del Anexo 4 " Gastos desglosados del Programa"
Para el desglose de gastos se deben considerar los siguientes conceptos:
a) Gastos en Operación:
a. Directos:
i. Gasto derivado de los subsidios monetarios y/o no monetarios entregados a la población
atendida. Considere capítulos 2000 y/o 3000.
ii. Gasto en personal para la realización del INAPAM. Considere capítulo 1000.
b. Indirectos: permiten aumentar la eficiencia; forman parte de los procesos de apoyo. Gastos en
supervisión, capacitación y/o evaluación. Considere capítulos 2000 y/o 3000.
b) Gastos en mantenimiento: Requeridos para mantener el estándar de calidad de los activos necesarios para
entregar los bienes o servicios a la población objetivo (unidades móviles, edificios, etc.). Considere recursos de los
capítulos 2000 y/o 3000.
c) Gastos en capital: Son los que se deben afrontar para adquirir bienes cuya duración en el INAPAM es superior a un
año. Considere recursos de los capítulos 5000 y/o 6000 (Ejemplo: terrenos, construcción, equipamiento,
inversiones complementarias).
d) Gasto Unitario: Gastos Totales (Gastos en operación + gastos en mantenimiento)/población atendida.
322
Formato del Anexo 5 "Avance de los Indicadores respecto de sus metas"
Nombre del Programa o Instituto:
Modalidad:
Dependencia/Entidad:
Unidad Responsable:
Tipo de Evaluación:
Año de la Evaluación:
Nota. Se deben incluir todos los indicadores de cada uno de los niveles de objetivo y se deben justificar los casos en los que los indicadores
se hayan desviado de la meta.
Nivel de
Objetivo
Nombre del
Indicador
Frecuencia de
Medición
Meta
(Año evaluado)
Valor
alcanzado
(Año
evaluado)
Avance
(%)Justificación
Fin
Propósito
Componentes
Actividades
323
Formato del Anexo 7 “Principales Fortalezas, Oportunidades, Debilidades, Amenazas y
Recomendaciones (en materia de Consistencia y Orientación a Resultados)”
Tema de evaluación:
Fortaleza y Oportunidad/Debilidad o amenaza
Referencia (Pregunta)
Recomendación
Fortaleza y Oportunidad
Debilidad o Amenaza
Nota: Se debe realizar un cuadro por cada uno de los temas de la Evaluación.
324
Formato del Anexo 8 “Valoración Final del Programa"
Tema Nivel Justificación
Planeación y Orientación a Resultados
Cobertura y Focalización
Operación
Percepción de la Población Atendida
Resultados
Valoración Final Nivel promedio del
total de Temas
Nivel= Nivel promedio por tema
Justificación= Breve descripción de las causas que motivaron el nivel por tema o el nivel total (Máximo 100 caracteres por Módulo)
Nombre del Programa o Instituto:
Modalidad:
Dependencia/Entidad:
Unidad Responsable:
Tipo de Evaluación:
Año de la Evaluación:
325
Anexo 3. Clasificación de descuentos Este anexo tiene como objetivo mostrar la clasificación utilizada para la elaboración de las encuestas de opinión
y satisfacción de los beneficios obtenidos con la Tarjeta Plástica INAPAM.
Salud
Trimestral
Medicamentos
Aparatos audiovisuales
Aparatos Ortopédicos
Análisis Médicos
Consultas Médicos de Especialidad
Consultas Médicos Generales
Consultas Médicos Geriatras
Hospitales
Anual Seguro Médico
326
Alimentación Mensual
Restaurantes
Pastelerías y Panaderías
Cafeterías
Vestido Trimestral
Ropa
Calzado
Joyería
Educación Mensual
Universidad
Cursos Técnicos
Cursos de Idiomas
327
Cuidado Personal
Mensual
Artículos de cuidado Personal
Spas y Masajes
Recreación y Cultura
Mensual
Cine y Teatro
Centros Recreativos
Clubes Deportivos
Museos
Paseos Culturales
Zonas Arqueológicas
Libros y Revistas
Vacaciones Semestral
Balneario
Hotel
Parques Recreativos
Agencia de Viajes
328
Transporte Semestral
Transporte Público
Avión
Autobús
Mudanza
Renta de Autobuses
Taxis
Utensilios doméstivos y hogar
Semestral
Electrodomésticos
Colchones
Pintura
Muebles
Marcos
Herramientas
Agencias de Decoración
329
Reparación y Manutención de
Artículos del Hogar Semestral
Reparación de Electrodomésticos
Reparación y Mantenimiento
Automotriz
Veterinarias
Servicios Financieros y Erogaciones de
Capital Anual
Servicios Jurídicos
Servicios Financieros
Membresias
Notarías
Servicios Funerarios
Pago de Predial
Pago de Impuestos
340
Anexo 5. Guía para la conducción de la sesión para los grupos de enfoque (focus groups).
Buenos días, mi nombre es Raquel Alva (presentación breve). Agradezco su participación en este grupo en el
que nos hemos reunido para platicar acerca de los servicios que brinda el INAPAM entre otras cosas. La duración
aproximada del grupo es de 1 hora y media y debido a que quiero concentrarme en sus respuestas, voy a
pedirles su autorización para grabar. La dinámica del grupo consiste en que yo voy a hacer unas preguntas y me
gustaría que todas/os participen dándome sus puntos de vista, por favor siéntanse con la confianza de hablar
libremente y en caso de que alguien de ustedes no desee identificarse con su nombre real puede usar uno
ficticio. Reitero que los comentarios e información que compartan en el grupo serán manejados
confidencialmente y los utilizaremos únicamente con fines de identificar qué propuestas podemos hacer para
mejorar los servicios que ofrece el INAPAM.
1. Comenzar con las preguntas y explorar en cada uno de los servicios las variables de satisfacción, calidad
de la atención e instalaciones:
- Centros de atención integral (CAI)
a) ¿Cuál es el servicio por el que ustedes acudieron el día de hoy al CAI? (apuntar en el
rotafolio los servicios que mencionen)
b) ¿Cómo fue la atención que recibieron por parte del personal que brinda la atención médica?
c) ¿Con qué frecuencia acuden a estos servicios?
d) ¿Cuánto tiempo tuvieron que esperar para que les brindaran el servicio? ¿Consideran que
fue adecuado el tiempo de espera?
e) ¿Qué opinan de las cuotas de recuperación que se pagan por la atención médica?
f) ¿Las instalaciones del CAI son adecuadas y funcionales para los servicios que brinda? ¿Qué
comentarios o sugerencias podrían hacer en relación a las instalaciones?
g) ¿Ustedes cuentan actualmente con otros servicios médicos? (IMSS, ISSSTE, Seguro Popular,
etc.) (ante respuesta afirmativa explorar por qué prefieren acudir a los servicios del
INAPAM)
h) ¿Qué tendría que ser diferente para que mejoren los servicios que se brindan en el CAI?
¿Qué otros servicios consideran que debería ofrecer el CAI?
- Clubes INAPAM y Centros culturales y educación para la salud
a) ¿Actualmente ustedes realizan alguna actividad física, recreativa, o están tomando algún
curso o taller a través del INAPAM?
b) ¿Cómo ha sido la atención que ustedes reciben por parte del personal que da los talleres-
cursos?
c) ¿Con qué frecuencia acuden a estos servicios?
341
d) ¿Cuánto tiempo tuvieron que esperar para que les brindaran el servicio? ¿Consideran que
fue adecuado el tiempo de espera?
e) ¿Ustedes pagan alguna cuota por los cursos talleres que toman? ¿Qué opinan de las cuotas
que pagan por estos cursos-talleres?
f) ¿Saben si hay otras instituciones en donde se puedan tomar estos mismos talleres-cursos?
¿Por qué prefieren ustedes acudir a los que imparte el INAPAM?
g) ¿Las instalaciones en las que toman los cursos-talleres son adecuadas y funcionales para las
actividades que realizan? ¿Qué comentarios o sugerencias podrían hacer en relación a las
instalaciones?
h) ¿Qué tendría que ser diferente para que mejoren los servicios que se brindan en los clubes y
centros culturales del INAPAM? ¿Qué otros cursos-talleres deberían ofrecerse?
- Credencial INAPAM
a) Todas/os ustedes cuentan con su credencial INAPAM, ¿cómo fue la atención que recibieron
al momento de tramitarla?
b) ¿Qué opinan del tiempo que tardaron en entregárselas?
c) ¿Les dieron información sobre los beneficios que obtendrían al tener su credencial? ¿Cuáles
fueron estos beneficios de los que les hablaron?
d) ¿Ustedes para qué suelen ocupar su credencial INAPAM?
e) ¿Qué otros beneficios les gustaría que incluyera la credencial INAPAM?
- Empleo para adultos mayores (bolsa de trabajo y capacitación para el trabajo)
a) ¿Alguna/o de ustedes trabaja actualmente? ¿a qué se dedican?
b) ¿A algunas/os de las personas que no trabajan actualmente les interesaría continuar
trabajando? ¿por qué?
c) ¿Ustedes han acudido alguna vez a solicitar información en la bolsa de trabajo del INAPAM?
(respuesta afirmativa continuar con las preguntas, negativa explorar otros temas
relacionados al empleo)
d) ¿Qué opinan de las ofertas laborales con las que cuenta la bolsa de trabajo del INAPAM?
¿Cuáles son los empleos que les ofrece? ¿Consideran que la oferta es adecuada o qué otro
tipo de trabajos deberían incluirse?
e) ¿Conocen cuáles cursos imparte el INAPAM para capacitarlos y que puedan adquirir algún
trabajo? ¿cuáles son estos cursos? ¿qué otros cursos deberían impartirse para capacitarlos y
que puedan continuar trabajando?
- Asesoría jurídica
a) ¿Alguna/o de ustedes ha acudido a los servicios de asesoría legal que ofrece el INAPAM? (en
caso de que si explorar si pueden y quieren compartir en que situaciones)
b) ¿Cómo fue la atención que recibieron por parte del personal que brinda la asesoría jurídica?
¿pudieron resolver sus dudas/problemas jurídicos? ¿por qué?
342
c) ¿Con qué frecuencia acuden a estos servicios?
d) ¿Cuánto tiempo tuvieron que esperar para que les brindaran el servicio? ¿Consideran que
fue adecuado el tiempo de espera?
e) ¿Qué opinan de las cuotas de recuperación que se pagan por la atención jurídica?
f) ¿Las instalaciones en donde se brinda la asesoría jurídica son adecuadas y funcionales? ¿Qué
comentarios o sugerencias podrían hacer en relación a las instalaciones?
g) ¿Ustedes saben si hay otras instituciones que brinden asesoría jurídica? En caso de que si,
¿por qué decidieron acudir a los servicios del INAPAM?
h) ¿Qué tendría que ser diferente para que mejoren los servicios de asesoría jurídica que
brindan el INAPAM?
- Albergues y residencias diurnas
a) ¿Con qué frecuencia hacen ustedes uso de los servicios de albergue-residencias diurnas?
b) ¿Cómo ha sido la atención que han recibido por parte del personal del albergue-residencia
diurna?
c) ¿Cuánto tiempo tuvieron que esperar para que les brindaran el servicio? ¿Consideran que
fue adecuado el tiempo de espera?
d) ¿Qué opinan de las cuotas de recuperación que se pagan por los servicios de albergue-
residencia diurna?
e) ¿Las instalaciones del albergue-residencia diurna son adecuadas y funcionales? ¿Qué
comentarios o sugerencias podrían hacer en relación a las instalaciones?
f) ¿Ustedes saben si hay otras instituciones que brinden los servicios de albergue-residencia
diurna? En caso de que si, ¿por qué decidieron acudir a los servicios del INAPAM?
g) ¿Qué tendría que ser diferente para que mejoren los servicios de albergue-residencia diurna
que brinda el INAPAM?
2. Además de los servicios de los que ya hemos hablado, ¿ustedes conocen otros servicios que brinde el
INAPAM? (apuntar en el rotafolio los servicios nuevos que mencionen). ¿Cuál de ellos ocupa? Y con qué
frecuencia.
3. Derechos: ¿cuáles consideran que son los derechos de las personas adultas mayores? (rotafolio) ¿cuáles
de estos derechos ejercen ustedes? ¿cómo ejercen estos derechos (cómo los hacen valer)? ¿qué
barreras han enfrentado para ejercer sus derechos?
4. Autopercepción: ustedes qué responderían ante la pregunta de ¿cómo me veo yo como adulta/o
mayor?
5. Percepción social: ¿cómo creo que las demás personas ven a los adultos mayores? ¿por qué creen que
esto es así?
Para finalizar con el grupo quiero agradecerles nuevamente su participación y asegurarles que la información y
los comentarios que hoy compartirnos nos servirán para conocer más acerca de los servicios que brinda el
INAPAM.
Top Related