Post on 09-Apr-2017
1
Lineamientos metodológicos para la construcción de indicadores de desempeño
Área de Políticas Presupuestarias y Gestión Pública ILPES/CEPALMarianela.armijo@cepal.org
CURSO INTERNACIONAL “PLANIFICACION ESTRATEGICA Y POLITICAS
PUBLICAS”
AECID/ILPES/CEPAL3 al 14 de Mayo de 2010Montevideo. Uruguay.
Contenido• Definiciones
• Contexto de los indicadores en la gestión orientada a resultados
• 10 pasos básicos para construir indicadores de desempeño
• Seleccionando los indicadores de desempeño
• Recomendaciones
Es una herramienta que entrega información cuantitativa respecto del logro o resultado de los objetivos de la institución, cubriendo aspectos cuantitativos o cualitativos
¿Para qué sirve esta información?
TOMAR DECISIONES
Indicadores de Desempeño
“Que indica o sirve para indicar”
Latín = “Indicare” = Mostrar o significar algo, conindicios y señales
Desempeño: capacidad de una institución paragestionar adecuadamente sus recursos y darcumplimiento a los objetivos y metas establecidos
Indicadores de Desempeño
UN INDICADOR ES UNA SEÑAL, UN AVISO, QUE NOS ENTREGA INFORMACIÓN
SE RELACIONA DIRECTAMENTE Y SIEMPRE CON UN OBJETIVO
Aumentar nivelde escolaridad
del país
Años promedio deescolaridad por
habitante del país
Por que es necesario construir indicadores
Es necesario definir indicadores para:
• Eficacia• Calidad• Eficiencia
PROYECTOS
PROGRAMAS
REC
UR
SOS
INSUMOS PROCESO PRODUCTOS RESULTADOS• Eficacia• Calidad• Eficiencia• Economía
• Eficacia• Calidad• Eficiencia
• Eficacia
• (Eficiencia)
Bienes
SERVICIOS
PRESUPUESTO NACIONAL
Recursos Bienes y Servicios Beneficiarios
(resultados:Intermedio - final)
Presupuesto ($)
Producción (Q)Resultados
(desde punto de vista de los beneficiarios)
Indicadores
Productos-Cobertura y focalización
-Oportunidad
-Carácterísticas de Bs. y Ss.
-Costos
Indicadores
Misión y Objetivos
Estratègicos-Intermedio
-Final
Insumos / Procesos
INSTITUCIÓN
Indicadores
Actividades-Programas de trabajo
-Programación
-Ejecución de recursos
Proceso 2 Proceso 3
Proceso 1 Proceso 4
InsumosY
Recursos
Productos Estratégicos(Bienes y Servicios)
Proceso productivo Productos Resultados
Para esto es necesario comprender la cadena de producción y resultado esperado
Objetivos de Gobierno
Ministerios Ministerios Ministerios MInisterios
EntidadesEntidades
ProgramaPrograma
Y comprender que los objetivos de la institución deben estar alineados con los Objetivos (prioridades) gubernamentales……….
OBJETIVOS
INDICADORES
Operacionalizaciónde objetivos
Agregaciónde mediciones
Ministerios Ministerios Ministerios Ministerios
Programas
EntidadesProgramas
División Divisió
nDivisión
Dpto. Dpto.
Y para que se generen los resultados esperados las Institucionesdeben tener sus objetivos, definir resultados esperados y la forma de medirlos a través de indicadores
Por eso es importante comprender el concepto y sentido de los indicadores
• Son herramientas de gestión que proveen un valor de referencia a partir del cual se puede establecer una comparación entre las metas planeadas y el desempeño logrado
• Un indicador de desempeño es una herramienta que entrega información cuantitativa respecto del logro o resultado de los objetivos de la institución
• Los indicadores de desempeño son medidas que describen cuán bien se están desarrollando los objetivos de una institución, a qué costo y con quénivel de calidad.
• En un sistema de cuenta pública orientada a resultados, se requiere datos sobre un conjunto de indicadores diferentes, que reflejan la información requerida para distintos niveles de toma de decisiones.
• Los legisladores y los Directores requieren información estratégica sobre la gestión de la institución (resultados finales e impacto), mientras que los Gerentes de Divisiones, Departamentos o Programas y sus staff requieren detalles sobre la provisión de insumos, las actividades, los productos finales y resultados intermedios
• La idea de incorporar indicadores y metas de desempeño al proceso presupuestario es disponer de información sobre los niveles de cumplimientode los objetivos planteados y resultados esperados de cada institución y enriquecer el análisis en la formulación del presupuesto y su discusión en el Congreso.
• Los indicadores y sus metas se presentan como información complementariaal Proyecto de Ley de Presupuestos, y una vez aprobado éste, las metas se vinculan con el seguimiento (monitoreo) de la ejecución.
¿QUE TIPO DE INDICADORES HAY?
Clasificación de los indicadores
• Según qué miden
(dimensiones del desempeño):
– Eficacia
– Calidad
– Eficiencia
– Economía
• Según etapa del proceso productivo:
– Insumos
– Procesos
– Productos
(bienes y servicios)
– Resultados (intermedios y finales)
EFICACIA
EFICIENCIA
ECONOMÍA
CALIDAD
PROCESOS PRODUCTO RESULTADOS
DIMENSIONES
DESEMPENO
AMBITOS DE MEDICIÓN y DIMENSIONESAMBITOS: DESDE LA CADENA DE PRODUCCION
Proceso (Actividades - productos intermedios):
Actividades vinculadas a la producción de bienes y servicios. Corresponden a las necesarias para generar los productos finalesde la institución:
procedimientos de compralicitacionesprocesos tecnológicosadministración financieraetc.
- Porcentaje del presupuesto ejercido- Porcentaje de compras de insumos efectuadas dentro del tiempo programado
Segun la Etapa del Proceso Productivo o Ambito de Medicion
Algunos ejemplos de Indicadores en el ámbito de los Procesos:
Porcentaje de ejecución del presupuesto
Porcentaje de gasto en Recursos Humanos respecto de gasto total
Porcentaje de gasto corriente respecto de gasto total
Porcentaje de productos entregados respecto de lo programado
Porcentaje de compras de insumos efectuadas dentro del tiempo programado
Porcentaje de licitaciones adjudicadas respecto de licitaciones totales
Porcentaje de ingresos propios percibidos respecto de los programados
Porcentaje de subsidios asignados
Porcentaje de familias pobres catastradas
Porcentaje de normas de aviación actualizadas
Ámbito de los Procesos productivos(Ejemplos para Actividades Centrales)
Definir aquellos procesos que son claves para la generación de los productos (bienes y/o servicios):
procedimientos de compra
Adquisición de insumos – contratación de empresas proveedoras
Licitaciones
Externalización de servicios - subcontratación de empresas que proveen los productos
procesos tecnológicos
Implementación de servicios por internet - procesos para generar productos
Producto (productos finales):
Bienes y/o servicios públicos producidos o entregados por la institución para cumplir con su misión. Está dirigido al beneficiario final, o en algunos casos, intermedio.
- Porcentaje de alumnos que reciben la beca oportunamente- Tiempo promedio de entrega de subsidios para la vivienda- Metros cuadrados construidos promedio por vivienda entregada
ÁMBITOS DE MEDICIÓN
Ámbito de los Productos:
Bienes y/o servicios proporcionados directamente a los usuarios:
Definir los requerimientos de los usuarios
Establecer las características de los productos
- Características técnicas del producto- Tiempo de entrega a los usuarios
- Cobertura (todos los niños y niñas del país)
- Focalización (niños y niñas en situación riesgo social)
- Grado de satisfacción de los usuarios
Algunos ejemplos de indicadores en el ámbito de los Productos:
Porcentaje de familias sin vivienda que reciben aportes del Estado
Porcentaje de familias pobres sin vivienda que reciben aporte del Estado respecto del total de familias sin vivienda que reciben aporte del Estado
Tiempo promedio de entrega de subsidios para la vivienda
Metros de cuadrados construidos promedio por vivienda entregada
Porcentaje de condominios construidos que cuentan con infraestructura social (lugares para reuniones, parques, plazas, juegos para niños)
Porcentaje de familias que manifiestan satisfacción con la vivienda entregada
Indicador de EFICACIA
• Mide el grado de cumplimiento de un objetivo.
• No considera los recursos asignados para ello
• Ejemplo: – Porcentaje de becas entregadas en relación a las programadas
– Reducción de la tasa de analfabetismo
“Porcentaje de cobertura en la atención de adultos mayores”
(Total de adultos mayores atendidos / Total de adultos mayores del país)*100
Adultos Mayoresdel país Adultos Mayores
atendidos
COBERTURA
Eficacia/Cobertura:
“Porcentaje de adultos mayores atendidos que se encuentran en situación de extrema pobreza”
(Total de adultos mayores atendidos que se encuentran en situación de extrema pobreza / Total de adultos mayores atendidos)*100
Adultos Mayoresdel país
Adultos Mayoresatendidos
Adultos Mayorespobres
FOCALIZACIÓN
Eficacia/Focalización:
EFICACIA (Cobertura)/Producto
Area de cultivo incluida en el Programa
Area Total del Programa de Cultivo
Dirección General de Servicios Agrícolas . Uruguay
Controles de emisiones de Buses Interurbanos
Total de Buses Inter urbanos
Subsecretaria de Transportes Chile
Reclusos con actividad industrial Total de reclusos
Dirección Nacional de Cárceles Uruguay
PORCENTAJE DE RECLUSOS INCLUIDOS EN PROGRAMA DE ACTIVIDAD INDUSTRIAL
PORCENTAJE DE AREA DE CULTIVO INCLUIDA EN EL PROGRAMA
PORCENTAJE DE COBERTURA DE CONTROL DE EMISIONES DE LOS BUSES INTERURBANOS
*100
*100
*100
Algunos ejemplos de indicadores de Eficacia (focalización)
Porcentaje de la población en situación de pobreza que recibe subsidio para agua potable
Porcentaje de niños en situación de pobreza que reciben beca estudiantil
Porcentaje de adultos mayores que reciben complemento alimenticio contra la desnutrición
Porcentaje de deportistas que acceden a programas de alto rendimiento
Porcentaje de comunas de alto riesgo cubiertas por programas especiales antidelincuencia
Indicador de EFICIENCIA
• Mide la relación entre los productos y servicios generados con respecto a los insumos o recursos utilizados.
• Aproximaciones a este concepto:– Costos de producción (costos medios, costos unitarios gastos
administrativos en relación al gasto total)
– Productividad media de los distintos factores de producción
• Ejemplos:
– Costo promedio anual por alumno atendido
– Solicitudes tramitadas por funcionario
EFICIENCIA
• Indicador de eficiencia: costo por unidad de servicio o bienes provistos; o productividad de un input,
• son útiles en evaluar los costos relativos y productividad que diferente métodos de servicio entregan o la producción de bienes.
• Los indicadores de eficiencia pueden expresarse como “costo por producto”, o “unidades por insumo”, o “costo por resultado”.
Ejemplos de Indicadores de Eficiencia
Indicador de CALIDAD• Mide atributos, capacidades o características que deben tener los bienes o servicios para satisfacer adecuadamente los objetivos del programa.
• Calidad es una dimensión de la eficacia, pero por su importancia se la distingue con nombre propio
• Ejemplos:– Grado de satisfacción de los usuarios– Tiempo de respuesta a requerimientos de los beneficiarios
CALIDAD
Calidad- Satisfacción de usuariosPorcentaje de aprobación Encuesta de opinión a los usuariosDirección Nacional de Registos
Porcentaje de reclamos/casos atendidosDirección Nacional de Topografía
Asuntos resueltos/ Número de servicios reclamadosSubsecretaria de Ministerio de Educación y Cultura
Número de servicios reclamados/número total de servicios Hospital de Montevideo
Oportunidad Accesibilidad Percepción de usuarios
Precisión
Porcentaje de respuestas a los Parlamentarios dentro de los límites acordados.
Número de localidades cubiertas por atenciones móviles
Porcentaje de aprobación excelente de los talleres de trabajo, por los participantes
Porcentaje de contratos terminados por errores
Porcentaje de reportes económicos entregados en tiempo acordado
Nº de horas que la Biblioteca estáabierta fuera de las horas de trabajo
Número de fallas reales/ Fallas programadas
Porcentaje de Población con necesidades especiales que son miembros activos de la Biblioteca
INDICADORES DE CALIDAD
Número de intervenciones con retraso/ Número de intervenciones totales
Porcentaje de contratos con uno o más errores encontrados por revisiones externas
Porcentaje de usuarios satisfechos
Nº de usuarios satisfechos/ Total usuarios encuestados
Nº de usuarios Satisfechos con el trato en la atención/ Total usuarios
Indicador de ECONOMÍA
• Mide la capacidad del programa para generar o movilizar adecuadamente los recursos financieros.
• Economía es una dimensión de la eficiencia.
• Ejemplos:
– Ingresos propios generados sobre Presupuesto Total
– Presupuesto ejercido respecto del presupuesto total
Resultado intermedio:
Es el resultado directo a lograr en la población objetivo dado el uso de los productos finales.
Es la aportación específica a la solución de un problema o necesidad.
- Porcentaje de profesoras indígenas asesoradas que aplican prácticas pedagógicas mejoradas con el enfoque de la Educación Intercultural Bilingüe
ÁMBITOS DE MEDICIÓN
Ámbito de los Resultados:Resultados intermedios
• Cambio en el comportamiento de los beneficiarios una vez que han recibido losbienes y/o servicios.
• La entrega de los bienes y/o servicios a los usuarios supone que conduce a la
• Obtención de los resultados finales.
• Constituye una aproximación a los resultados finales
Resultados finales o impacto:
Contribución a la solución de un problema o necesidad
Complejidad de medir Impacto o Resultado Final: un programa o institución por lo general contribuye a alcanzar un resultado final y se complementa con la acción de otros programas e instituciones.
ÁMBITOS DE MEDICIÓN
Resultados finales (impacto):
¿Cómo identificar el Impacto de nuestra institución?
El impacto no se produce inmediatamente y medirlo requiere de un análisis más profundo, de la definición de un conjunto de indicadores y otros instrumentos complementarios como las evaluaciones de impacto.
- Tasa de crecimiento del Sector de Tecnologías de la Información (TI)
ÁMBITOS DE MEDICIÓN
RESULTADO INTERMEDIO RESULTADO FINAL
Porcentaje de trabajadores sin calificación que egresan de un programa de capacitación técnica
Porcentaje de trabajadores sin calificación egresados de un programa de capacitación que consiguen un empleo permanente
Porcentaje de participantes egresados de programa antidrogas con actitud crítica hacia la droga
Porcentaje de personas que no reinciden después de participar en programa antidrogas
Porcentaje de familias pobres que inician una actividad empresarial con apoyo del Programa de emprendimiento
Porcentaje de familias cuyos ingresos provenientes de emprendimientos alcanzan $XX
Porcentaje de disminución de delitos xxx en regiones intervenidas criticas
Tasa de variación de delitos xxx a nivel país
Porcentaje de población objetivo vacunada contra la poliomelitis
Tasa de incidencia de la poliomielitis
¿COMO CONSTRUIMOS UN INDICADOR?
10 pasos básicos para construir indicadores
1. Establecer las definiciones estratégicas como referente para la medición
2. Establecer las áreas de desempeño relevantes a medir
3. Formular el indicador y describir la fórmula de cálculo
4. Validar los indicadores aplicando criterios técnicos
5 Recopilar los datos
6. Establecer las metas o el valor deseadodel indicador y la periodicidad de lamedición
7. Señalar la fuente de los datos o medios de verificación
8. Establecer supuestos (observaciones)
8. Evaluar: establecer referentes comparativos y establecer juicios
10. Comunicar e Informar el desempeño logrado
1. Establecer las definiciones estratégicas como referente para la medición del desempeño
• MISION
• VISION
• OBJETIVOS ESTRATEGICOS
• PRODUCTOS FINALES o ESTRATEGICOS
De las Definiciones estratégicas extraer los Factores Relevantes que deben ser medidos.
•¿Cuáles son los principales aspectos o variables claves que deben ser medidos en cada uno de los Objetivos (Misión, Objetivos Estratégicos, productos..) ?
•¿Qué ámbitos deben ser medidos?
•¿Qué dimensiones deben ser medidos?
•¿Quién utilizará la información?
•¿Qué decisiones tomará?
2. Establecer los factores relevantes, ámbitos y dimensiones de desempeño a medir…….
Factores relevantes a medir
• Se refiere las características que deseamos medir respecto al logro del objetivo.
• Ejemplo:– Objetivo:Contribuir al desarrollo de la vida familiar, comunitaria y ciudadana de las familias de escasos recursos, mediante la entrega de vivienda social ubicada en conjuntos habitacionales
Factores relevantes a medir
• Ejemplo:– Objetivo: Contribuir al desarrollo de la vida familiar, comunitaria y ciudadana de las familias de escasos recursos, mediante la entrega de vivienda social ubicada en conjuntos habitacionales
– Aspectos relevantes a medir:• Familias de escasos recursos• Vivienda social que permita desarrollar vida
familiar• Conjuntos habitacionales que permitan
desarrollar vida comunitaria y ciudadana.
EFICACIA
EFICIENCIA
ECONOMÍA
CALIDAD
PROCESOS PRODUCTO Resultados (Intermedios y Finales)
DIMENSIONES
2. Los ámbitos de medición y dimensiones atraviesan toda la cadena de producción y valor..hay que establecer qué es lo relevante
AMBITOS DE MEDICION
MisiónPrograma 731 Asuntos del TrabajoDirección General de Inspección
Mision• Tutelar el cumplimiento de la
normativa laboral, por medio de la inspección y mediación en los conflictos derivados de la relación de trabajo y a través de acciones de asesoramiento o facilitación en materia de los derechos de asociación, de salarios y de salud ocupacional, con el fin de contribuir a la equidad y armonía de las relaciones entre empleados y empleadores.
• Reduccion de conflictividad
• Éxito de las mediaciones
• Percepcion de equidad…..
Factores Relevantes
ProductosProductos1. Acciones de Inspección
Laboral en Sede
Administrativa y Judicial.
2 Servicios de asesoría,conciliación y mediación en
conflictos laborales
individuales y colectivos.
3 Servicios de registro yacreditación de las
organizaciones sociales
laborales.
4 Servicios de asesoría einformación en materia de
salarios mínimos para el
sector privado.
Factores Relevantes
Cobertura de inspeccionCosto de inspeccion
Conciliaciones por area
Tiempos de respuesta de
Asesoria
Cobertura de la acreditacion
Tiempo de respuesta
Oportunidad de la asesoria
Solicitudes respondidas
Ministerio de Vivienda y Asentamientos Humanos
Objetivos Estratégicos1. Identificar las comunidades y poblaciones meta,
prioritarias a nivel nacional, mediante la realización de estudios de campo y el manejo de bases de datos interinstitucionales; a fin de impulsar el otorgamiento del Bono Familiar de Vivienda y la canalización del crédito, a tales poblaciones, disminuyendo el déficit habitacional.
2. Diseñar y poner en marcha un Plan Nacional de Vivienda, de mediano y largo plazo, que contemple políticas y directrices (de carácter vinculante con otras instituciones del Sector) orientadas a ordenar el territorio nacional, a incrementar el desarrollo urbano y a posibilitar el acceso de los hogares, principalmente de
clase baja y media, a una vivienda adecuada y a sentamientos humanos con servicios básicos.
3. Velar por el cumplimiento de los criterios técnicos de calidad de vivienda, sobre todo de interés social, determinados por las instituciones competentes; mediante la realización de auditorías periódicas y de la supervisión al acatamiento de las recomendaciones brindadas.
Factores Relevantes• Déficit habitacional
• Focalización exitosa del otorgamiento del Bono Familiar
• Metros cuadrados por vivienda
• Servicios básicos viviendas otorgadas
• Situación social beneficiarios
• Sanciones cumplidas
• Estándares cumplidos
• Éxito de fiscalización
NOMBRE DEL PROGRAMA: Programa Reinserción Social de Reos con Penas Alternativas a la Reclusión (Programa Laboral del Medio Libre)AÑO DE INICIO DEL PROGRAMA: 1994MINISTERIO RESPONSABLE: MINISTERIO DE JUSTICIASERVICIO RESPONSABLE: GENDARMERIA DE CHILE
OBJETIVO ESTRATÉGICO AL QUE SE VINCULA EL PROGRAMA:• Asistir a la población penal, fomentando conductas, habilidades y capacidades que incrementen sus probabilidades de reinserción social e involucrará en este procesoa sus familias y a las instituciones, empresas y comunidad.• Contar con una Administración eficiente y eficaz, apoyada en sistemas de información confiables y oportunos, que permitan optimizar la gestión y el proceso de tomade decisiones.PRODUCTO ESTRATÉGICO AL QUE SE VINCULA EL PROGRAMA:Producto = AsistenciaSub Producto = Estímulo a los cambios conductuales y el desarrollo de destrezas y habilidades.Producto Especifico= Capacitación
OBJETIVO ESTRATEGICO
FACTOR RELEVANTE
INDICADOR(TIPO)
FORMULA
Contribuir a mejorar la convivenciasocial y seguridad cuidadana.
Seguridad ciudadana(reincidencia)
Porcentaje de beneficiariosreincidentes legales una vezegresados del Programa
(N° beneficiarios intervenidoscada año que reincidenlegalmente despues delegreso del programa/N° debeneficiarios intervenidoscada año)*100
OBJETIVO ESTRATEGICO FACTOR RELEVANTE
INDICADOR(TIPO)
FORMULA
Insertar laboralmente a condenados amedidas alternativas a la reclusión y salidacontrolada al medio libre.
Beneficiarios intervenidosefectivamente
Colocaciion efectiva
Desercion
Porcentaje de beneficiariosintervenidos respecto de losProgramados
Porcentaje de beneficiarioscolocados respecto de losCapacitados
Porcentaje de beneficiariosque desertan del Programa
(Número de beneficiariosintervenidos cadaaño/Número de beneficiariosprogramados cada año)*100
(N° de ficiarios colocadoscada año/N° de beneficiarioscapacitados cada año)*100
(Número de beneficiariosdesertados cada año/Númerode beneficiarios ingresados alPrograma cada
OBJETIVO ESTRATEGICO FACTOR RELEVANTE
INDICADOR(TIPO)
FORMULA
Insertar laboralmente a condenados amedidas alternativas a la reclusión y salidacontrolada al medio libre.
Exito en contratacion
Porcentaje de beneficiarioscolocados con contrato laboral oiniciación de actividadesrespecto de los colocados
(N° de beneficiarioscolocados con contrato oiniciación de actividades cadaaño/N° de beneficiarioscolocados cada año)*100
OBJETIVO ESTRATEGICO FACTOR RELEVANTE
INDICADOR(TIPO)
FORMULA
Insertar laboralmente a condenados amedidas alternativas a la reclusión y salidacontrolada al medio libre.
Remuneracion Porcentaje de beneficiarioscolocados en un trabajo queperciben una remuneraciónpromedio mensual bruta sobre elingreso mínimo
(Número de beneficiarioscolocados con un salario brutopromedio mensual sobre elingreso mínimo cadaaño/Número de beneficiarioscolocados cada año)*100
Identificar los Factores Relevantes a medir
Promover en la población en general estilos de vida activapor medio de la prácticaperiódica del ejercicio físico, el deporte y la recreación
- Estilos de vida activa de la población
-Prácticas periódica del ejercicio físico, deporte y la recreación
Porcentaje de la población objetivo que práctica alguna actividad deportiva 1 vez a laSemana
Porcentaje de la población objetivo que mejora susíndices de salud sobre línea base
OBJETIVO Factores Relevantes INDICADORES
Microempresas del sector rural con capacidades técnicas y emprendedorasconsolidadas
- Capacidades técnicas y emprededoras
-Costo del subsidio
% de incremento de Microemp participantes del programa que mejoran sus capacidades técnicas y emprendedoras, según índice de capacidades
Costo promedio de asesoría a Microempresas
EJEMPLO
EjemploEjemplo
LISTA DE FACTORES RELEVANTES A MEDIR
Definiciones estratégicas
Factores Relevantes
Misión
Objetivos estratégicos
Productos finales
Cuáles son los aspectos relevantes que deben ser medidos
Qué ámbitos se van a medirCuáles dimensiones
UNA VEZ QUE SE TIENE CLARIDAD SOBRE:
Corresponde construir cada uno de los indicadores
3. Formular el nombre del indicador y la fórmula de cálculo.
El nombre del indicador debe ser lo más ilustrativo posible de lo que se quiere medir, y la fórmula debe permitir informar sobre los parámetros o variables que se están midiendo
Nombre del indicador
• Debe ser claro, preciso y autoexplicativo• Que cualquier persona entienda qué se mide con ese
indicador• Si se usan siglas o aspectos técnicos, deben definirse en una
nota explicativa
• “Porcentaje de aeropuertos que cuentan con sistema ILS”• Nota: ILS (Instrument Landing System) es un sistema de
aterrizaje instrumental con que cuentan los aviones para aterrizar en condiciones de baja visibilidad.
Sentido de la medición
• Indicador ascendente o descendente
• Mientras más aeropuertos tenga ILS es mejor, por lo tanto, el indicador es ascendente
• En general:
• Los indicadores de cobertura, focalización, accesibilidad, cumplimiento de programas de trabajo, etc. son ascendente.
• Los indicadores de tiempos promedio de respuesta a los usuarios son descendentes.
• Los indicadores que miden capacidad de utilización de recursos son ascendentes• Los indicadores que miden errores son descendentes• Los indicadores que miden satisfacción de usuarios son ascendentes
Fórmula de cálculo
• La relación matemática de las variables deben entregar como resultado lo que se definió en el nombre
• “Porcentaje de aeropuertos que cuentan con sistema ILS”
• (Total de aeropuertos con sistema ILS / Total de aeropuertos del país) * 100
Nombre del indicador
Variables que intervienen
Fórmula del indicador
Construcción de Fórmulas
El nombre del indicador debe ser:
Autoexplicativo
Contextualizado
Por ejemplo:
“Porcentaje de solicitudes respondidas”
¿Es autoexplicativo y contextualizado?
Nombre del Indicador
“Porcentaje de solicitudes respondidas”
En la Oficina Principal de la institución
En el país
En un mes
En un año
Respecto de las solicitudes presentadas
Etc.
Nombre del Indicador
Nombre del indicador
Qué o cuál es la medición…………….universo a considerar
(contexto)
% de solicitudes respecto de las
respondidas solicitudes ingresadas
Nombre del Indicador
Porcentaje de solicitudes respondidas respecto de las solicitudes ingresadas
Variables
Variable 1: solicitudes respondidas Numerador
Variable 2: solicitudes ingresadas Denominador
RespondidasIngresadas
Indica la relación
Nombre del Indicador
Fórmula:
Numerador
Denominador
Total de solicitudes respondidas en el año t
Total de solicitudes ingresadas en el año t
* 100
* 100
Fórmula de cálculo
Tipos de fórmulas más usadas
Porcentaje (proporciones)
Tasa de variación
Razón o promedio
Índices
Fórmula de cálculo
Razón entre dos variables con una misma unidad de medida
numerador
denominador* 100 = X por ciento
Igual unidad de medida (personas, Km., solicitudes, etc.
1. Porcentajes (cobertura, focalización, etc.)
“Porcentaje de cobertura en la atención de adultos mayores”
(Total de adultos mayores atendidos / Total de adultos mayores del país)*100
Adultos Mayoresdel país Adultos Mayores
atendidos
COBERTURA
Eficacia/Cobertura:
“Porcentaje de adultos mayores atendidos que se encuentran en situación de extrema pobreza”
(Total de adultos mayores atendidos que se encuentran en situación de extrema pobreza / Total de adultos mayores atendidos)*100
Adultos Mayoresdel país
Adultos Mayoresatendidos
Adultos Mayorespobres
FOCALIZACIÓN
Eficacia/Focalización:
Razón entre una misma variable pero en periodos diferentes
variable año t variable año t – variable año t-1
Variable año t-1 variable año t-1- 1
= X por ciento
* 100 = * 100
2. Tasa de variación
Ejemplo:
Tasa de variación de las exportaciones del país
{(Total exportaciones año t / Total exportaciones año t-1) – 1*100}*100
2. Tasa de variación
{(Total exportaciones de miel año t / Total exportaciones año t-1) – 1}*100
400 TONELADAS de MIEL EXPORTADA 2009 - 375 TONELADAS de MIEL EXPORTADA 2008
x 100
1,0625 0,0625 + 6,25
400 TONELADAS de MIEL EXPORTADA 2009
375 TONELADAS de MIEL EXPORTADA 2008- 1 x 100
(total de exportaciones de miel año t – total de exportaciones en elaño t-1) / total de exportaciones en t-1 * 100
400 TONELADAS de MIEL EXPORTADA 2009
400 – 375 = 25 25/400 = 0,0625 0,0625 X 100 = 6,25
2. Tasa de variación o de cambio
{(Total exportaciones de miel año t / Total exportaciones año t-1) – 1}*100
325 TONELADAS de MIEL EXPORTADA 2009 - 450 TONELADAS de MIEL EXPORTADA 2008
x 100
0,72777 - 0,27 - 27,7%
325 TONELADAS de MIEL EXPORTADA 2009
450 TONELADAS de MIEL EXPORTADA 2008- 1 x 100
(total de exportaciones de miel año t – total de exportaciones en elaño t-1) / total de exportaciones en t-1 * 100
450 TONELADAS de MIEL EXPORTADA 2008
325 – 450 = -1,25 -1,25/325 = -0,27 -0,27 X 100 = -27,7%
2. Tasa de variación o de cambio
Relación entre dos variables con distinta unidad de medida
numerador
denominador= unidades promedio del numerador por cada unidad del denominador
3. Razón o Promedio (tiempos promedio, costos promedio, etc)
Ejemplo:
Tiempo promedio de tramitación de solicitudes
Tpo. Solicitud 1 + Tpo. Solicitud 2 + ..... + Tpo. Solicitud n
Total de solicitudes tramitadas
Sumatoria de tiempos de tramitación de cada solicitud / Total de solicitudes tramitadas = tiempo promedio por solicitud
3. Razón o Promedio (tiempos promedio, costos promedio, etc)
Ejemplo:
Promedio de alumnos por profesor de educación media
Total de alumnos de educación media en el año
Total de profesores de educación media en el año t
= Alumnos promedio por profesor
3. Razón o Promedio (tiempos promedio, costos promedio, etc)
Permiten medir la evolución de una variable en el tiempo, a partir de un valor base.
Ejemplo, Índice de Remuneraciones
Promedio anual de remuneraciones año base: 5.000
Promedio anual de remuneraciones año t: 5.350
Índice año base: (Valor año base / valor año base)*100
= (5.000 / 5.000)*100 = 100
Índice año t: (Valor año t/ valor año base)*100
= (5.350 / 5.000)*100 = 107
4. Índices
Promedio anual de remuneraciones año t+1: 5.885
Índice año t+1: (Valor año t+1/ valor año base)*100
= (5.885 / 5.000)*100 = 117,7
Valor índice:
Año t+1 = 117,7
Año t = 107,0
Año base = 100,0
4. Índices
Promedio anual de remuneraciones año n:
Índice año n = (Valor año n / valor año base)*100
4. Índices
Desagregación por Sexo
Porcentaje de personas pobres del país
Distribución de pobreza por sexo:
•(Total hombres pobres / Total personas pobres)*100
•(Total mujeres pobres / Total personas pobres)*100
Porcentaje de pobreza según sexo:
•(Hombres pobres / Total hombres)*100
•(Mujeres pobres / Total mujeres)*100
(Sumatoria de horas de primer ataque al incendio – Sumatorias hora de detección al incendio)/N°de incendios en el ámbitode CONAF))
Tiempo promedio deprimer ataque contra losincendios forestales
Programa:Bonificación Forestal. Sistema de Incentivo a la forestación y manejo sustentable de bosques. CORPORACION NACIONAL FORESTAL. Chile
Porcentaje de Superficiefavorecida conbonificación forestal en elaño t respecto a lasuperficie favorecida en elaño t-1
((Superficie favorecida con bonificación forestal en el año t/Superficiefavorecida con bonificación forestal enel año t-1)*100)
Porcentaje de la superficie de Área Natural Protegida conservada mediante el uso y aprovechamiento sustentable con respecto del total de la superficie de las Áreas Naturales susceptible de manejo sustentable
(Superficie susceptible con proyectos o prácticas sustentables en las Áreas Naturales Protegidas / total de la superficie de Área Natural Protegida suceptible de manejo sustentable) X 100
Programa de Conservación para el Desarrollo Sostenible. Comisión Nacional de Áreas Naturales ProtegidasSEMARNAT
Acciones de Combate de Incendios Forestales. CORPORACION NACIONAL FORESTAL. CHILE
Indicadores que permitan medir continuamente (año a año) variables relevantes en el cumplimiento de la misión y de interés para la ciudadanía
Tasa de escolaridadPorcentaje de recaudación de impuestosPorcentaje de vías en buen estadoPorcentaje de delitos contra la propiedadPorcentaje de plagas bajo controlPorcentaje de fallos favorablesTiempo de respuesta
4. Validar los indicadores
Relevancia: debe reflejar una dimensión importante del logro del objetivo
¿Permite verificar el logro del objetivo en un aspecto sustantivo?
Pertinente: debe ser preciso e inequívoco
¿No hay dudas respecto de qué se está midiendo?
Debe aportar una base suficiente para evaluar el desempeño
¿Es suficiente para emitir un juicio respecto del desempeño?
Costo Razonable: la información necesaria para generar el indicador debe estar disponible a un costo razonable
¿El beneficio de la información es mayor que el costo de obtenerla?
Cada indicador propuesto debe ser validado técnicamente, según los siguientes criterios:
Confiable :¿Cualquier persona puede comprobar los resultados del indicador?
Independiente: La institución o programa controla el resultado que entrega el indicador
Integración: El total de los indicadores contempla las dimensiones de desempeno necesarias
Aporte marginal: si hay más de un indicador para medir el desempeño de un objetivo, debe proveer información adicional en comparación con los otros indicadores propuestos
¿Mide aspectos no considerados en los demás indicadores?
Paso 4: Validar los Indicadores
Indicadores Relevancia Pertinencia Costo Razonable
Confiable Independiente Integracion Aporte Marginal
¿Valida?
1. Sí Sí Sí Sí Sí Sí Sí
2. Sí Sí No Sí Sí Sí No
Objetivos/Productos
Indicador Califica(si/no)
Sugerencia
Contribuir a la disminución de las enfermedades respiratorias de los habitantes de Santiago
Normas medio ambientales disminuyen riesgo de sustancias que afectan capa de ozono
Razón entre toneladasanuales de importaciones,en el año t-1, desubstancias agotadoras dela capa de ozono (clorofluor carbono) y toneladasmáximas permitidas parael año t-1
Claridad, Relevancia, Economía, Monitoreable, Adecuado (Pertinente)……
Porcentaje de días concalidadDel aire sobre la norma deMaterial particulado en el añoT respecto al número de díassobre la norma de materialparticulado de año base(1997).
Tasa de variación de las consultas de las enfermedades respiratorias en los períodos de alta contaminación.
Objetivos/Productos
Indicador Califica(si/no)
Sugerencia
Derechos de aprovechamientos de
agua tramitadosoportunamente
Porcentaje desolicitudesde Derechos deAprovechamientostramitadas
Infraestructura hidroagrícola conservada por las organizaciones de usuarios de los Distritos de Riego.
Porcentaje de la superficie conservada
Prevenir, mitigar ycontrolar la contaminaciónambiental del país entodos los componentesambientales.
Porcentaje deresiduos sólidosDomiciliariosdispuestos enRelleno Sanitario
Claridad, Relevancia, Economía, Monitoreable, Adecuado (Pertinente)……
Porcentaje de solicitudesque son tramitadas en menos de 60 días
Porcentaje de superficie conservada con participación de organizaciones de Usuarios relación al total de superficie conservada
Incluir indicadores Relacionados con Todos los componentesambientales
5. Recopilar los datos para construir los indicadores
• Información contable‐presupuestaria
• Estadísticas de producción física, cargas de trabajo del personal
• Encuestas, estudios especiales
• Benchmarking,etc
TIPOS DE INFORMACION
Para cada indicador, ¿está disponible la información en mi programa?
SÍ No
¿está en otra Entidad?
Sí No
¿el beneficio > costo de obtenerla?
Sí No
Fuentes de Información
Se mide
Se busca una proxy
6. Establecer las metas o el valor deseado del indicador y la frecuencia de la medición
• DESEMPEÑO HISTORICO
• LINEA BASE
• OBJETIVOS DEFINIDOS
• DESEMPEÑO LOGRADO EN INSTITUCIONES SIMILARES, PROCESOS O PROGRAMAS.
Metas
•• Las Metas constituyen la expresiLas Metas constituyen la expresióón n concreta y cuantificablede los de los logros que se planea alcanzar en el aque se planea alcanzar en el añño (u otro o (u otro periodo de tiempo) con relaciperiodo de tiempo) con relacióón a los objetivos n a los objetivos previamente definidos.previamente definidos.
• Sentido de la Medición:
• Ascendente (cobertura, focalización, etc.)
• Descendente (tiempos de respuesta, tasas de enfermedades, etc.)
• ¿Qué es mejor como desempeño de la institución?
Importancia de las metas para el seguimiento (monitoreo) y evaluación
Medición y evaluación
Retroalimentación
Medidas correctivas
Evaluación
• La evaluación es la comparación de los resultados obtenidos con las metas establecidas. La evaluación puede ocurrir durante el periodo de ejecución (evaluación contingente) o al finalizar dicho periodo (evaluación ex post).
Retroalimentación
• Los resultados de las evaluaciones se comunican a los encargados de cada área y a la Dirección, a fin de que estén informados respecto al grado de avance de las metas planteadas y, en caso de producirse desviaciones importantes respecto a lo programado, se acuerden las medidas correctivas que se adoptarán.
Medidas correctivas
• Las medidas correctivas pueden consistir en cambios en las áreas, cambio en las metas, nuevas asignaciones o recortes de los recursos presupuestarios, revisión de las tareas, etc.
Indicador y meta
• El resultado de la medición del indicador entrega un “valor”.
• Este valor se compara con la meta establecida para el indicador.
• La comparación permite establecer un juicio respecto del desempeño de la institución.
Ejemplo
• Indicador: Porcentaje de gastos administrativos
• Valor del indicador: 15%
• Meta del indicador: 20%
• Valor del indicador de institución similar: 10%
Juicios:
• Cumplí la meta.
• Estoy por sobre el valor de una institución similar
Requisitos de las metas
Su establecimiento debe considerar diferentes parametros(desempeño histórico, programas similares, estándares)
Deben ser posibles de cumplir por la institución con los recursos financieros, humanos, físicos y tecnológicos disponibles
Su logro debe depender de la institución (establecer supuestos)
Requisitos de las metas
Deben establecerse para ser cumplidas en un plazo determinado
Deben expresar claramente el ámbito geográfico que cubre
Deben ser conocidas y acordadas con los ejecutores de las distintas áreas (establecer los responsables por el cumplimiento)
Para establecer la meta se deben considerar diferentes parámetros
Línea base y desempeño histórico
Desempeño de instituciones similares (benchmarking)
Estándares aplicados a normas técnicas
Pasos para determinar una meta
• Identificar la línea base
• Se toma como referencia el actual desempeño
Existe?
Meta
Indicador Año t
% de alumnos 60%
egresados
¿No existe?Se construye¡¡¡
•Programas similares
•Estándar técnico
¿Qué es la línea base?
• Dato que se tomará como inicio para establecer losvalores futuros a alcanzar por el indicador, los que servirán para evaluar el grado de cumplimiento de las metas.
• Para indicadores nuevos, podría suceder que no exista un valor base, por lo cual debe ser estimado.
• Una vez realizada la primera medición, se tomará como línea de base el último dato obtenido.
¿Dónde estamos ahora?
¿Cómo hemos estado antes?
0102030405060708090
2004 2005 2006 2007
becassubsidioscréditos
¿Cuan lejos queremos y podemos llegar?
Considerar el nivel de desempeño de las metas a nivelnacional / local
• El tiempo de respuesta de la entrega de los pasaportes será el mismo en el país, en el Estado o en una determinada Región.
• Los kilómetros de vías reparadas serán un promedio nacional o en un tramo específico.
Las metas deben tener asignados responsables por su cumplimiento a nivel de la organización
• Debe quedar claramente establecido cual es la Unidad, Área, Dirección, que es responsable por el cumplimiento de la meta, aún cuando otras áreas intervengan con producción intermedia o final.
Problemas frecuentes cuando se establecen las metas
• No existen o no se construyen los medios de verificación
• Los supuestos no son pertinentes (se imputan aspectos que la institución sícontrola)
• La evaluación (el juicio sobre el desempeño no es confiable)
• Las metas estimulan un desempeño poco innovador y desafiante
Problemas frecuentes cuando se establecen las metas
• No existen datos disponibles para estimar la línea base
• La institución desconoce estándares de entidades similares
• Se desconoce la población objetivo y potencial
• Riesgo se sobre o subvalorar la meta
• No es posible evaluar respecto de las mejores prácticas (autocomplacencia)
• La meta no permite monitorear el avance hacia el cumplimientodel objetivo (y por lo tanto no se pueden tomar decisiones adecuadas)
Problemas frecuentes cuando se establecen las metas
• Subvaloracion de las metas frente a un ambiente punitivo de la evaluacion
• Trampa de la medición: se muestra como resultados (y se hace) solo lo que se puede medir
• Escasa utilidad para la toma de decisiones y mejora de la gestión
• No es posible avanzar hacia la mejora de los resultados relevantes para la organización y por ende para la ciudadanía
Frecuencia
Misión
Objetivos
estratégicos
Productos
Actividades
Frecuencia
Disminuye
Aumenta
Depende de la disponibilidad de la información (Fuente de Información) y del nivel de los objetivos que se está midiendo
• Las necesidades de uso de la información generada por los indicadores (proceso de toma de decisiones)
• Tiempo estimado en que se producirán los resultados del programa en los beneficiarios
• Disponibilidad de información cuando ésta es obtenida o proporcionada por fuentes externas
• Compromisos de cuenta pública o de informar resultados de la gestión (Secretaría de Hacienda)
Factores que inciden en la frecuencia de medición de los indicadores
7. Señalar las fuentes de datos o medios de verificación
• Registros de la institución (posibles de auditar)
• Estadísticas oficiales
• Encuestas (realizadas por entes externos)
8. Establecer Supuestos (observaciones)
Aspectos no controlables por la institución:
Deben ser muy concretos y no generales
• Variaciones del tipo de cambio, o de determinados precios pueden afectar niveles de ingresos esperados, tarifas, etc
• Aprobaciones de procesos por entes externos en la que hay probada posibilidad (norma o procedimiento externa) que puede alterar la programación)
• Flujo de recursos internacionales, etc.
Comprometo X meta siempre y cuando se cumplan los siguientes supuestos:
•Tipo de cambio no aumente más de 10%
•La solicitudes de tramitación no aumenten más de 15%
Supuestos
Ejemplos de algunos aspectos sobre los cuales establecer Supuestos
• Situación macroeconómica
• Beneficiarios usan los componentes adecuadamente
• Se cumplen las corresponsabilidades de otros actores
• Otros estados o entidades destinan los recursos para lo que está establecido
• Los recursos de prestamos internacionales son entregados al programa en el tiempo establecido
Comparar valor del indicador al final del periodo y meta establecida
Establecer No cumplimientos y Sobrecumplimientos (desviaciones)
Análizar las Causas de los resultados
Proponer Recomendaciones para corregir las desviaciones
Establecer Compromisos para implementar las recomendaciones
Definir Plazos de cumplimiento de los compromisos
Definir Responsables por el cumplimiento de compromisos
Definir Programa de Seguimiento de compromisos
9. Evaluación de los Resultados
Evaluación de los Resultados
(*): Indicadores Cumplidos, No Cumplidos o Sobrecumplidos
Indica-dores
ValorIndicador
Meta %Cumpli-miento
Resul-tado(*)
Causasdel
Resul-tado
Reco-menda-ciones
Compro-misos
Plazos Respon-sables
Breve reseña de la institución
Contexto de la medición: qué se midió y qué no
Recursos utilizados por la institución
Resultados de la gestión (logros y no logros)
Principales causas de desviaciones de resultados
Efectos de resultados negativos (en los ciudadanos, etc)
Compromisos para el periodo siguiente
10. Informar los Resultados
Recomendaciones para construir indicadores estratégicos y evitar
incentivos perversos
INDICADORES QUE INFORMAN SOBRE CUMPLIMIENTO DE DEMANDA…..POR SI SOLO NO ENTREGAN INFORMACION UTIL PARA TOMA DE DECISIONES
N°de certificados de antecedentes emitidos/ N° de certificados solicitados
Esta prestación constituye una obligación legal de ser satisfecha, dado que es un requisito insoslayable para el usuario. Cobertura garantizada
Resultado serásiempre de 100%
Aspectos relevantes de los resultados son la calidad del servicio, la oportunidad, la precisión, la disponibilidad a nivel nacional (cobertura geográfica).
Ejemplo
“Atención de emergencias”Indicador: Número de emergenciasprogramadas
Meta: 1000
Número de emergencias que se atendieron 1500En el Informe de evaluación anual
aparece como “Meta superada”
Evitar indicadores que generen incentivos perversos”
• Aumento en los porcentajes de recaudación por multas a contribuyentes evasores
Puede incentivarse a destinar mayores recursos de los necesarios a las acciones de fiscalización en áreas donde las multas sean más onerosas; desestimando otros que tienen mayor importancia desde el punto de vista de la economía, la competencia, la seguridad para los usuarios, calidad de los productos, etc.
Evitar indicadores que generen incentivos perversos”
• Porcentaje de detenciones por delitos
Puede incentivarse una acción represiva no acorde con la situación delictiva, o destinar recursos extras para la represión del delito, dejando otras acciones preventivas, etc)
Evitar indicadores que generen incentivos perversos”
• Disminución de tiempos de respuestas, sin llevar asociado una meta de calidad del producto entregado.
Número de fallos judiciales en un tiempo X., puede implicar que el juicio no se ajuste a derecho, que los fallos sean inapropiados, generando problemas de seguridad, reincidencia, etc)
TENER EN CUENTA LA INTEGRALIDAD DE LA MEDICION
INDICADOR DE EFICACIA
Población escolar en programa / población escolar total
Aumentar la cobertura del programa de raciones a un 55%de la población escolar.
Llegar a un costos promedio de $5
Alcanzar1000 calorías por ración
INDICADOR DE CALIDAD
* Calorías por ración.
* Porcentaje de aceptaciónde los escolares (encuesta)
INDICADOR DE EFICIENCIA
Costo promedio de las raciones: gasto total programa / número deraciones
CUAN BIEN LO HACEMOS QUE HACEMOS
HAY ALGUNA MEJORIA
COMO CAMBIAN LASCONDICIONES INICIALES
CUANTOS RECURSOS OCUPAMOS
INDICADORES
Costos planillaCostos unidades de productos
Número de funcionarios
Licitaciones realizadas
Actividades
Número de viviendas
Kilómetros construidos
Inspecciones realizadas
Costo por vivienda
Costo por kilómetro construido
Tiempo de respuesta inspecciones
Gasto administrativo/Gasto TotalGasto Ejecutado/Gasto programado
COMO CAMBIAN LOS COMPORTAMIENTOS DE LA VARIABLE, USUARIOS
Porcentaje de viviendas con estándares de calidad en la normal
Porcentaje de viviendas con entorno urbano mejorado
Disminución del déficit habitacionalProvincia X
Porcentaje de usuarios que reciben vivienda declaran satisfacción por calidad y entorno
TIPO
Insumos
Inptus
EficienciaCalidadEconomía
USO
INF.
Sistema de InformaciónInterna
Entidades
Contraloría
Eficacia(Cobertura, Focalización)Calidad
Eficacia (Cobertura, Focalización)EficienciaCalidad
EficaciaEficienciaCalidad
Presupuesto(ProductosFinales)
Sistema deInformación Interna(Productos Intermedios)
Presupuesto
Sistema de Información interna(Productos intermedios, Productos finales, no relacionados con O.Estratégicos)
Presupuesto
Sistema de Información Directivo
Presupuesto
Sistema de Información Directivo
ORGANISMO DE PLANIFICACION
INSUMO PROCESO PRODUCTO RESULTADOINTERMEDIO
RESULTADO
FINAL
131
Lineamientos metodológicos para la construcción de indicadores de desempeño
Área de Políticas Presupuestarias y Gestión Pública ILPES/CEPALMarianela.armijo@cepal.org
Esta presentación ha sido elaborada por la autora, con los aportes de los cursosde Roberto Jimenez (rjimenez@movistar.cl), Jorge de La Fuente
(Jorge.DelaFuente@cepal.org)