clase 10 indicadores de desempeño
TRANSCRIPT
Indicadores de desempeño en el sector público
Andrés Ricardo SchuschnyPlanificación Estratégica
Mágister en Gestión PúblicaUniversidad de Santiago de Chile
2007
En Dios nosotros confiamos, todos los demás tienen que traer datos.
Edward Demming
Aspectos conceptuales¿Por qué evaluar el desempeño?• Beneficios1. Apoya el proceso de planificación y formulación de
políticas.2. Posibilita la detección de áreas-procesos problema.3. Aumenta los niveles de transparencia.• Dificultades1. Existe ambigüedad en los objetivos que tienen que
cumplir los organismos.2. Puede haber escasa precisión acerca de quienes deben
responder por los resultados.3. Pueden no se establecerse las consecuencas del buen o
mal desempeño.
Aspectos conceptualesCuando se instaura un sistema de Indicadores deEvaluación de Desempeño es importante:• Definir el ámbito de evaluación (el universo de la
institución y las áreas a las que se dirige)• El proceso de evaluación sea claramente
comunicado (fechas, mandatos, procedimientos, informes, etc.)
• Detallar la metodología, los sistemas de información a ser desarrollados y la modalidad de uso y difusión de la evaluación hacia los actores.
Definición de indicadorUn indicador de desempeño es una medida quedescribe cuan bien se están desarrollando losobjetivos de un plan, programa o proyecto. Los indicadores tienen dos objetivos:• Función descriptiva: aporte de información
sobre el estado real de una actuación o programa.
Ej.: # de estudiantes que reciben becas.• Función valorativa: añade a lo anterior un
“juicio de valor” basado en antecedentes objetivos.
Ej.: # de becas entregadas / # alumnos carenciados.
Indicadores: Comentario• La calidad y utilidad de un indicador (en tanto
instrumento de medición de las variables asociadas al cumplimiento de objetivos) se determinan por la claridad y relevancia de las metas asociadas a él.
• Un requisito previo es el establecimiento previo de los objetivos y metas: “lo que será medido”.
• Su medición entrega un “valor” de comparación el cual está referido a alguna meta asociada.
• El indicador debe orientarse a medir aspectos clave, lo que implica tener claridad de propósitos.
Indicadores: Tipologías I• Indicadores que entreguen información de los
resultados desde el punto de vista de la actuación pública en la generación de productos:
– Insumos (¿cuántos recursos invertimos?¿Cuánto personal trabajó en el proceso?¿Cuánto dinero se dispone?)
– Procesos o actividades (¿Con qué rapidez se hace?¿Cuánto cuesta?¿cuánto se demora?)
– Productos (¿Cuántas unidades se generan? ¿Cuántos clientes a atendieron?)
– Resultados (¿Cómo están cambiando las condiciones en las que estamos invirtiendo?) Inmediatos, Intermedios y de impacto final
Indicadores: Tipologías II
Economía Eficiencia Eficacia
Costo Recursos Productos Resultados
Nivel deservicio
Utilización/satisfacción
Poblaciónobjetivo
• Economía: cuán adecuadamente son administrados los recursos usados.
• Eficiencia: cuál es la productividad de los recursos utilizados.
• Eficacia: cuál es el grado de cumplimiento de los objetivos, # de beneficiarios, # de usuarios, etc.
• Calidad: cuán oportunos y accesibles son los bs/servicios utilizados.
• Indicadores desde el punto de vista de dichas actuaciones en la dimensión de la eficiencia, eficacia, calidad y economía:
Indicadores de Economía• El concepto se refiere a la manera en que se
hace uso de los recursos financieros en pos del cumplimiento de los objetivos.
• Ejemplos:– Aumento de costos por errores en contratos– Ahorros realizados en contratos por uso de sistemas informáticos – % recursos privados obtenidos / recursos totales– % de recuperación del costo de los servicios prestados– Ingresos por ventas de servicios / gasto total
Indicadores de Eficiencia• El concepto se refiere a la relación entre la producción de algo
y el uso de sus insumos. Producir el máximo dados los insumos o usar el mínimo de insumos para producir algo.
• Indicadores clásicos: los costos unitarios, los costos medios, la productividad parcial (media).
• Ejemplos:– Costo medio de los beneficios entregados– Costo medio de las acciones de recaudación– # de fiscalizaciones / # de fiscalizadores– Costo total del programa / total de beneficiarios– # unidades inspeccionadas / # de operarios
Indicadores de Eficacia• El concepto se refiere al grado de cumplimientos de los
objetivos estratégicos planteados. Involucra:• Cobertura: es la expresión numérica del grado en que las actividades
son capaces de satisfacer la demanda. El porcentaje de cobertura de un servicio se lo compara con el máximo potencial. Se expresa en términos geográficos, o de universo potencial.
• Focalización: Se relaciona con la precisión con que las prestaciones están llegando a la población objetivo (filtraciones de demanda por errores de inclusión o exclusión).
• Capacidad de cubrir la demanda actual• Resultado final
Indicadores de Eficacia• Ejemplos:
– % de pre-escolares matriculados en programas de extensión horaria cuyas madres trabajan respecto del total de pre-escolares matriculados
– # Desempleados capacitados / Total de desempleados inscriptos en el Sistema de Reconversión Laboral
– % de proyectos ganados en fondos concursables externos– % de edificios públicos accesibles para discapacitados– # de beneficiarios / Universo de beneficiados– % de beneficiarios que desertan del programa– # de fiscalización / Universo a fiscalizar– % de reincidencia de infractores / Universo de infractores– % Mediaciones existosas / Mediaciones realizadas– % delitos aclarados / delitos denunciados
Indicadores de Calidad• El concepto se refiere a la capacidad específica
de la institución para responder rápida y directa a las necesidades de sus usuarios.
Oportunidad Accesibilidad Percepcion de los usuarios
Precisión
% de respuestas dentro de plazos acordados
# de localidades cubiertas con atención
% de aprobación excelente en los talleres realizados
% de contratos terminados por errores realizados
% de reportes entregados en tiempo y forma
# de horas funciona el servicio de atención al público
% de usuarios satisfechos con el servicio
# de fallas reales / fallas programadas
# de intervenciones con atraso/# total
% de la población con necesidades especiales
# de usuarios satisfechos / total
% contratos con uno o más errores
Integración de los Indicadores• Conviene recurrir a cuadros de mando integrales
en los que se satisfagan todas las dimensiones explícitamente:
Ámbitos de control
Dimensión de desempeño
Dimensión en la generación del producto
Economía Eficiencia Eficacia CalidadInsumos
Procesos o actividades
ProductosResultados
Construcción de IndicadoresEtapas en la construcción de sistemas de indicadores:1. Identificar y/o revisar productos y objetivos2. Identificar las dimensiones y ámbitos de desempeño.3. Establecer responsabilidades organizacionales4. Establecer referentes de comparación5. Construir fórmulas o algoritmos6. Recopilar la información necesario7. Validar los criterios técnicos 8. Analizar los resultados obtenidos9. Comunicar e informar los resultados
1. Identificación de productos y objetivos
Preguntas clave:• ¿Está identificada la misión, los productos y
usuarios?• ¿Están claros los objetivos que se debe lograr?• ¿Están estos alineados con las prioridades
estratégicas de la organización?• ¿Los objetivos están expresados en metas
mensurables?
2. Identificar las medidas de desempeño
Pregunta clave: ¿qué se mide?Ello dependerá de:• El tipo de metas que se monitorean• Las prioridades de información tanto para fines
externos como internos• Las prioridades de evaluación• Los recursos disponibles (ej. Sondeos de opinión,
encuestas, focus groups, mediciones técnicas especiales, etc.)
3. Establecer responsabilidadesSegún el tipo de tareas que desarrolla, los centros de responsabilidad:• ¿Tienen productos claramente asignables?• ¿Tienen objetivos traducidos en metas
concretas? • ¿Cuenta con la autoridad y atribuciones para
tomar decisiones necesarias para el logro de las metas ¿
• ¿Tienen recursos (humanos, materiales y financieros)?
4. Establecer referentes (benchmarking)
a) Sobre lo planeado o presupuestadob) Respecto de otras instituciones
comparables. c) Respecto de los resultados históricos
(perspectiva temporal)La frecuencia de la medición depende de:
i. El tipo de indicador (estratégicos, de gestión u operativo)
ii. Los usos del mismo (externos o internos)iii. Los costos asociados a su medición
5. Construir fórmulas o algoritmosEsta fase se realiza cuando se tenga claridadde qué dimensiones se evaluará, sobre quéproducto y en cumplimiento a qué objetivos se mide.• Razones o ratios entre dos variables
(Eficiencia: insumos/productos, Economía: costos/producto)
• Promedios simples• Promedios ponderados• Sistemas de clasificación (clustering
analysis, data mining, etc.)
6. Recopilar la información necesariaTipos de información:• Contable-financiera (relativa a costos de la
producción, ingresos, gastos, activos, etc.)• Información operacional (niveles de
producción, estadísticas operativas – km constuidos, alumnos matriculados, contratos firmados, etc.)
• Información sobre resultados o impactos (a veces requieren estudios especiales, como sondeos de opinión, focus groups, etc. )
7. Validación del indicadorCriterios de validación:• Pertinencia (debe referirse a los productos/procesos
esenciales)• Relevancia (respecto a sus objetivos)• Homogeneidad (sistema de unidades)• Independencia (no condicionado por factores
externos) • Costo • Confiabilidad• Simplicidad y comprensividad• No redundancia• Focalizado en áreas controlables• Participación (involucrar a los actores relevantes)
8. Análisis de los resultados
Este permite:• Revisar las metas que fueron definidas,
estableciendo si éstas fueron o no realistas.• Priorizar la asignación de recursos hacia
determinados productos o programas.• Justificar la asignación de mayores recursos.• Abandonar o fortalecer programas.
9. Comunicar e informar• La comunicación tiene que estar focalizada en
los aspectos claves y con mensajes simples, directos y demostrables.
• El contenido debe ser, en lo posible, educativo.• Los informes deben entregarse con cierta
periodicidad.• Debe detallar el análisis de las desviaciones,
justificando sus causas, repercusiones y responsabilidades.
Requisitos de los indicadores• Deben estar identificados con nombre claro y
auto-explicativo.• Tener un objetivo claro y que lo cuantifique.• Tener un responsable de su medición /
recopilación (metadatos)• Debe especificarse su frecuencia de medición.• Deben especificarse las fuentes consultadas.
Dificultades en la construcción de indicadores de desempeño
• Débil formulación de los objetivos estratégicos y desagregación de la metas.
• ¿Quién se hace cargo de generarlos?• ¿Cómo ponderar los resultados?• ¿Cómo medir aquello que depende de condiciones
externas?• ¿Cómo medir lo que depende del largo plazo?• ¿Cómo conseguir los datos necesarios?• No se cuenta con una unidad a cargo de la generación
de la información.• Pocas capacidades técnicas, recursos para desarrollos
y débil compromiso institucional.• El ejercicio se torna una carga burocrática para los
funcionarios que no vislumbran su utilidad.• Tendencia a medirlo todo (catástrofe de confunsión)
Para evaluar un sistema de medición hay que preguntarse:
• ¿Provee información para alcanzar objetivos estratégicos?• ¿Da un retrato del progreso y la probabilidad de lograr los
objetivos estratégicos de largo plazo?• ¿Identifica las causa centrales de las barreras al logro?• ¿Establecen prioridades en las necesidades de mejora?• ¿Guían en la determinación de las acciones requeridas
para lograr los objetivos?• ¿Alínea los procesos y tareas con el valor que estos
crean? • ¿Son fáciles de usar?• ¿Involucra a todos los miembros de la organización?
Cambio de paradigma• Se está yendo de:
– Medir el proceso y gerenciar los resultados (Aproximación de la acción correctiva e inspección)
• A:– Manejar el proceso y medir los resultados
(Aproximación preventiva)
Principales categorías en las métricas no financieras
Mejoras de calidad
Mejoras de Productividad
Ahorro de tiempos
Ahorro de costos
Medidas primarias para la mejora
de procesos
Dos premisas fundamentales• Las medidas efectivas deben ser una parte
integral de todo proceso de gestión
• “Lo que midas es lo que obtienes” (“What you measure is what you get”)
Kaplan, R. S y Norton, D. P. Harvard Business Review, enero-febro, 1992