-
Monitoreo y Evaluacin para la Gestin por Resultados
I Curso Nacional Efectividad en el Desarrollo
Angel Saz-CarranzaEl Salvador, Marzo 2006
-
La evaluacin de los resultados de la gestin pblica
No es un fin en s mismoNo es una herramienta neutral
ERGP es una herramienta de naturaleza mixta: tcnica, gerencial y poltica
-
La evaluacin de los resultados de la gestin pblica
Dimensin poltica:Uso estratgico de la informacin
Dimensin tcnica:Metodologas para la medicin
Dimensin gerencial:Una cultura orientada a resultados
-
Marco conceptual
Para qu evaluar? las mltiples funciones de la evaluacin (visin estratgica para generar valor pblico)
Qu evaluar y a qu nivel hacerlo?el alcance de la evaluacin
Qu hacer con la informacin?la relacin entre el uso de la informacin y el mejoramiento de la gestin
-
Para qu evaluar?
-
Funciones de la E&M de los resultados de la Gestin
AprendizajeSe lograron los resultados esperados? Cmo alcanzar mayores logros ? Cmo mejorar?
AsignacinSe debe re-considerar la asignacin actual? (ofrecer mas o menos recursos?)Se justifica mantener o eliminar la unidad evaluada o sus partes?
LegitimacinCumple el gobierno sus promesas? Es efectivo? Es transparente?
-
Para qu evaluar los resultados de la gestin?
XXXXResponsabilizacin y rendimiento de cuentas
XXXPlanificacin estratgica yglobal de las polticas
XX Mejoramiento de polticassectoriales y programas
XXXXAsignacin presupuestaria(racionalizacin del gasto)
XX XMejoramiento de la gestinorganizacional
ChileSCPGSCG
UruguaySEV
Costa RicaSINE
ColombiaSINERGIA
Pas
Propsito declarado
-
Dos Orientaciones
Uruguay: OPP - Oficina de Planeamiento y Presupuesto Chile: DIPRES - Division de Presupuesto, Ministerio de Finanzas
Colombia: DNP - Departamento Nacional de Planeacin Costa Rica: Mideplan -Ministerio de Planificacin
Organizado en funcin del ciclo presupuestario
Organizado en funcin del Plan Nacional de Desarrollo
Enfasis en la responsabilizacin gerencialFuncion: Aprendizaje/Asignacin
Enfasis en la responsabilizacin polticaFuncin: Aprendiza/legitimacin
ModeloPresupuesto
ModeloPlan
-
Evaluacin de los resultados de la gestin pblica para
Principal criterio de responsabilizacin:
gerencial
Principal criterio de responsabilizacin:
poltico
Democratizar:Responsabilizacin y transparencia
Relaciona el desempeo con la
asignacin del presupuesto
Relaciona el desempeo con el
desarrollo de la poltica pblica
Modernizar:El mejoramiento de la gestin
ModeloPresupuesto
ModeloPlan
Objetivos declarados
-
Debate
La rendicin de cuentas con un nfasis ms gerencial que poltico, y con nfasis en los resultados en vez de procesos puede debilitar la democraciaUna orientacin a los resultados de la gestin puede fortalecer la democracia
-
Ospina, Zaltsman y Cunill
El sistema de evaluacin de los resultados de la gestin pblica debe incentivar el inters por
Rendicin de cuentas:Enfoque poltico + gerencial
-
Ospina y Cunill
Los sistemas de evaluacin deben apuntar a los dos objetivos a la vez (modernizacin y democratizacin son compatibles)y no descuidar ninguna de las tres funciones (aprendizaje, asignacin y legitimidad) De ser as, es posible poner la eficiencia y la efectividad al servicio de la democracia
-
Repasando el segundo punto de partida
Considerando las funciones y objetivos de la Evaluacin y el Monitoreo de los resultados como herramientas para la gestin por resultados:
Qu papel cumplen la E&M en una agenda para desarrollar la efectividad en el desarrollo?
-
Qu evaluar y a qu nivel hacerlo?
El alcance de la evaluacin y el monitoreo de los resultados de la
gestin
-
La plataformaPlaneacin estratgica
a nivel gubernamental (Chile, Colombia) o a nivel organizacional (Uruguay, Costa Rica)
Misin, objetivos estratgicos, productos y clientes con indicadores respectivos (todos) Contextualizacin: (Chile, Colombia, Costa Rica)
Dentro del sector correspondiente Dentro de la poltica de gobierno
-
Qu enfocar?
Los logros, la calidad (monitoreo)Los productos, los impactos, el costo-beneficio (evaluacin)
-
y a qu nivel hacerlo?: tres niveles de anlisis
Macro (efectividad en el desarrollo)Poltica internacional, regionalPolticas pblicas nacionales (plan de desarrollo; asignacin del gasto)
Meso (efectividad en la Administracin Pblica)Sectores (salud, educacin, etc)Organizaciones y agencias pblicasProgramas y proyectos
Micro (efectividad en la prctica gerencial)Procesos intra-organizacionales Desempeo del personalControl interno
-
y a qu nivel hacerlo?Niveles de desempeo
CHILESSPG SCG(mon&eva)
URUGUAYSEV
(monitoreo)
CSTA RICASINE
(monitoreo)
COLOMBIASINERGIA
(mon&eva)Nivel
Unidad de presupuesto
Micro
ProgramasAgencias
AgenciasProgramas Agencias
Programas[agencias]
Meso
SectoresPNDPND
SectoresMacro
-
Casos:
Medicin, monitoreo, rendicin de cuentas
Monitoreo de objetivos y resultados
Evaluaciones estratgicas
Diseminacin y rendimiento de cuentas
SSPG (SEGPRES) Monitoreo de metas y objetivos
SCG (DIPRES)Monitoreo y evaluaciones
Uruguay y Costa Rica: un sistema
(de monitoreo)
Colombia: un sistema, trescomponentes
Chile:dos sistemas, muchos
componentes
-
Sistemas integrados?
Integracin verticalIntegracin horizontalIntegracin transversal
-
Terr
itorio
Secto
res
Cadena de produccion
-
Integracin vertical
Informacin y decisiones en cada nivel referenciadas a aquellas en los niveles superiores e inferioresEjemplo: Sector Salud en el Plan Nacional de Desarrollo (macro) --) Ministerio de Salud (meso) --) Centros hospitalarios (micro)
-
Integracin horizontal
Actividades, informacin y decisiones en cada nivel coordinadas con aquellas de otras unidades en el mismo nivelEjemplo macro: Sector Salud coordinado con sector educacin Ejemplo meso: Oficina de evaluacin de la organizacin coordinada con la gestin en otras unidades de la organizacin
-
Integracin transversal
El sistema de evaluacin de resultados referenciado y coordinado con otros sistemas de la administracin pblica
Sistemas de planeacinSistemas de presupuestacinSistemas de personal y servicio civilSistemas de procuracin (procurement)
-
Modelo Plan: Relacin con el Presupuesto
Desincronizacin entre planeacin, presupuestacin y evaluacinIncertidumbre presupuestal
Compromisos basados en presupuesto de inversin (Colombia)
-
Ilustracin del problema
AgostoAo 0
EneroAo 1
Posesin
XElaboracin
Plan Nacional de Desarrollo
EneroAo 2
Elaboracin de Planes
IndicativosCompromisos
de Gestin
Aprobacin Presupuesto
Vigencia 2
Aprobacin Presupuesto
Vigencia 1
-
Diagnstico
Se avanza pero hay mucho camino por recorrer en trminos de la articulacin de los sistemas de M&E con el resto de la administracin pblica
-
Integracin?Modelo Plan: Vnculos con el sistema presupuestario siguen siendo problemticos pero se esta avanzando (integracin trasversal)
Modelo Presupuesto: Poca articulacin con el proceso de las polticas pblicas (integracin vertical)
Modelos Presupuesto y Plan: Poca articulacin con personal, servicio civil, etc (integracintransversal)Poca articulacin entre evaluacin y gestin (integracin transversal)
-
Una pausa
Implicaciones de la discusin para modificar o complementar las ideas presentadas por los dos grupos?
-
Qu hacer con la informacin?
-
Qu hacer con la informacin?
Preguntas claves sobre la informacin generada:
Es confiable?Es accesible?Se consume?Produce consecuencias?
-
Es confiable la informacin?
Credibilidad de la informacin depende de:Quin decide los indicadores?Quin recoge los datos? Rigor metodolgico, problemas de medicin
Qu hay detrs de un indicador?
-
Ficha para la construccinde indicadores
Informacin GeneralNmero /nombre indicador:Responsable:Lineamiento estratgico:Objetivo Estratgico:Meta:Descripcin del indicador:
Caracterstica del IndicadorClasificacin: Impacto, Eficiencia, Eficacia, CalidadFrecuencia:Unidad de medida:
Clculo y especificaciones de datosFrmula:Fuente de datos y forma de obtencin:
Informacin sobre la actividadLnea de base (ltimo dato relevado):Desvos admitidos:Comentarios:
-
Es accesible la informacin?
Informes amigables
Publicidad
-
Se consume la informacin?Destinatarios/usuarios potenciales
Poder Ejecutivo
Ministerio de PlanificacinMinisterio de HaciendaMinisterios sectoriales (ministros)Jerarcas y funcionarios de varios niveles de gestinPresidente de la Republica Organismos de auditoria y controlOficina Nacional de Presupuesto
Poder Legislativo Parlamento
Sociedad civilOrganizacionesCiudadanos
-
Problemas
Uso limitado de la informacin para la toma de decisiones
Informacin til a nivel macro no es til a nivel meso (muy agregada)Informacin llega demasiado tarde para ser til Informacin no es confiable para ser tilNo hay incentivos formales para usar la informacin
-
Incentivos
PalosGenerar competencia entre las entidades y hacer pblicos los resultados
ZanahoriasPremios a quienes demuestren mejoras
SermonesMensajes a travs de seminarios, conferencias, afiches, etc
-
Produce consecuencias la informacin?
Una vez que se conoce y se usa la informacin, hay consecuencias reales?
Evaluacin ---) cambio?Tres posibles funciones de la evaluacin:
AprendizajeAsignacinLegitimacin
-
Desafos
Uso limitado de la informacinLos resultados son parte de la conversacin la informacin todava no afecta el aprendizaje ni la asignacin como se esperaba.
Avances tcnicos, pero la informacin aun no es confiable, accesible, usable
Falta integracin vertical y horizontal
El ciudadano es el gran ausente de los sistemas de evaluacin de los resultados de la gestin
-
Debilidades de los sistemas existentes Uso limitado de la informacin
Los resultados son parte de la conversacin la informacin todava no afecta el aprendizaje ni la asignacin ni la legitimacin como se esperaba
Avances tcnicos, pero la informacin aun no es del todo confiable, accesible, usable
Falta integracin vertical, horizontal y trasversal
A pesar del discurso, el ciudadano es el gran ausente de los sistemas de evaluacin de los resultados de la gestin
-
La gran pregunta
Cmo asegurar que los sistemas de evaluacin y monitoreo de los resultados de la gestin pblica apoyen una agenda que impulse la efectividad en el desarrollo?
Hacindolos mas efectivosVinculndolos a los grandes temas del desarrollo
-
Elementos para pensar un sistema efectivo de evaluacin de los resultados de la gestin pblica
TcnicaConceptosMtodos
-
Elementos para pensar un sistema efectivo de evaluacin de los resultados de la gestin pblica
OrientacinEvaluacin = conocimiento para la accin Axiologa (clarificacin de valores y funciones)
TcnicaConceptosMtodos
PrcticaIntervencin social/ uso de la informacinConsecuencias de la evaluacin
-
Como mejorar la prctica de la evaluacin
Asegurar buy in: Apoyo de arriba, participacin de abajoGenerar demanda Determinar expectativas realistas (evaluacin no es panacea)Amarrar al presupuesto (y a sistemas de personal)Escoger el evaluador adecuadoSatisfacer las necesidades de informacin del usuarioAsegurar la relevancia Asegurar la calidad metodolgica Comunicar los resultadosHacer seguimiento de las recomendacionesReconocer las necesidades de entrenamiento y apoyo de los interesados
-
Trabajo de grupos
Reevaluar las consideraciones en cada una de las preguntas a la luz del trabajo de las sesiones anteriores
Qu agrega?Qu revisa?Qu quita?
-
Reflexin final
Cmo puede usted, desde su rol como profesional, desde su posicin estructural e institucional, apoyar el desarrollo de un sistema efectivo de evaluacin de los resultados de la gestin en su pas?
Monitoreo y Evaluacin para la Gestin por ResultadosLa evaluacin de los resultados de la gestin pblicaLa evaluacin de los resultados de la gestin pblicaMarco conceptualPara qu evaluar?Funciones de la E&M de los resultados de la GestinPara qu evaluar los resultados de la gestin?Dos OrientacionesEvaluacin de los resultados de la gestin pblica paraDebateOspina, Zaltsman y CunillOspina y CunillRepasando el segundo punto de partidaQu evaluar y a qu nivel hacerlo?La plataformaQu enfocar?y a qu nivel hacerlo?: tres niveles de anlisisy a qu nivel hacerlo?Casos:Sistemas integrados?Integracin verticalIntegracin horizontalIntegracin transversalModelo Plan: Relacin con el PresupuestoIlustracin del problemaDiagnsticoIntegracin?Una pausaQu hacer con la informacin?Qu hacer con la informacin?Es confiable la informacin?Ficha para la construccin de indicadoresEs accesible la informacin?Se consume la informacin? Destinatarios/usuarios potencialesProblemasIncentivosProduce consecuencias la informacin?DesafosDebilidades de los sistemas existentesLa gran preguntaElementos para pensar un sistema efectivo de evaluacin de los resultados de la gestin pblicaElementos para pensar un sistema efectivo de evaluacin de los resultados de la gestin pblicaComo mejorar la prctica de la evaluacinTrabajo de gruposReflexin final