Monitoreo y Evaluacin para la Gestin por Resultados

I Curso Nacional Efectividad en el Desarrollo

Angel Saz-CarranzaEl Salvador, Marzo 2006

La evaluacin de los resultados de la gestin pblica

No es un fin en s mismoNo es una herramienta neutral

ERGP es una herramienta de naturaleza mixta: tcnica, gerencial y poltica

La evaluacin de los resultados de la gestin pblica

Dimensin poltica:Uso estratgico de la informacin

Dimensin tcnica:Metodologas para la medicin

Dimensin gerencial:Una cultura orientada a resultados

Marco conceptual

Para qu evaluar? las mltiples funciones de la evaluacin (visin estratgica para generar valor pblico)

Qu evaluar y a qu nivel hacerlo?el alcance de la evaluacin

Qu hacer con la informacin?la relacin entre el uso de la informacin y el mejoramiento de la gestin

Para qu evaluar?

Funciones de la E&M de los resultados de la Gestin

AprendizajeSe lograron los resultados esperados? Cmo alcanzar mayores logros ? Cmo mejorar?

AsignacinSe debe re-considerar la asignacin actual? (ofrecer mas o menos recursos?)Se justifica mantener o eliminar la unidad evaluada o sus partes?

LegitimacinCumple el gobierno sus promesas? Es efectivo? Es transparente?

Para qu evaluar los resultados de la gestin?

XXXXResponsabilizacin y rendimiento de cuentas

XXXPlanificacin estratgica yglobal de las polticas

XX Mejoramiento de polticassectoriales y programas

XXXXAsignacin presupuestaria(racionalizacin del gasto)

XX XMejoramiento de la gestinorganizacional

ChileSCPGSCG

UruguaySEV

Costa RicaSINE

ColombiaSINERGIA

Pas

Propsito declarado

Dos Orientaciones

Uruguay: OPP - Oficina de Planeamiento y Presupuesto Chile: DIPRES - Division de Presupuesto, Ministerio de Finanzas

Colombia: DNP - Departamento Nacional de Planeacin Costa Rica: Mideplan -Ministerio de Planificacin

Organizado en funcin del ciclo presupuestario

Organizado en funcin del Plan Nacional de Desarrollo

Enfasis en la responsabilizacin gerencialFuncion: Aprendizaje/Asignacin

Enfasis en la responsabilizacin polticaFuncin: Aprendiza/legitimacin

ModeloPresupuesto

ModeloPlan

Evaluacin de los resultados de la gestin pblica para

Principal criterio de responsabilizacin:

gerencial

Principal criterio de responsabilizacin:

poltico

Democratizar:Responsabilizacin y transparencia

Relaciona el desempeo con la

asignacin del presupuesto

Relaciona el desempeo con el

desarrollo de la poltica pblica

Modernizar:El mejoramiento de la gestin

ModeloPresupuesto

ModeloPlan

Objetivos declarados

Debate

La rendicin de cuentas con un nfasis ms gerencial que poltico, y con nfasis en los resultados en vez de procesos puede debilitar la democraciaUna orientacin a los resultados de la gestin puede fortalecer la democracia

Ospina, Zaltsman y Cunill

El sistema de evaluacin de los resultados de la gestin pblica debe incentivar el inters por

Rendicin de cuentas:Enfoque poltico + gerencial

Ospina y Cunill

Los sistemas de evaluacin deben apuntar a los dos objetivos a la vez (modernizacin y democratizacin son compatibles)y no descuidar ninguna de las tres funciones (aprendizaje, asignacin y legitimidad) De ser as, es posible poner la eficiencia y la efectividad al servicio de la democracia

Repasando el segundo punto de partida

Considerando las funciones y objetivos de la Evaluacin y el Monitoreo de los resultados como herramientas para la gestin por resultados:

Qu papel cumplen la E&M en una agenda para desarrollar la efectividad en el desarrollo?

Qu evaluar y a qu nivel hacerlo?

El alcance de la evaluacin y el monitoreo de los resultados de la

gestin

La plataformaPlaneacin estratgica

a nivel gubernamental (Chile, Colombia) o a nivel organizacional (Uruguay, Costa Rica)

Misin, objetivos estratgicos, productos y clientes con indicadores respectivos (todos) Contextualizacin: (Chile, Colombia, Costa Rica)

Dentro del sector correspondiente Dentro de la poltica de gobierno

Qu enfocar?

Los logros, la calidad (monitoreo)Los productos, los impactos, el costo-beneficio (evaluacin)

y a qu nivel hacerlo?: tres niveles de anlisis

Macro (efectividad en el desarrollo)Poltica internacional, regionalPolticas pblicas nacionales (plan de desarrollo; asignacin del gasto)

Meso (efectividad en la Administracin Pblica)Sectores (salud, educacin, etc)Organizaciones y agencias pblicasProgramas y proyectos

Micro (efectividad en la prctica gerencial)Procesos intra-organizacionales Desempeo del personalControl interno

y a qu nivel hacerlo?Niveles de desempeo

CHILESSPG SCG(mon&eva)

URUGUAYSEV

(monitoreo)

CSTA RICASINE

(monitoreo)

COLOMBIASINERGIA

(mon&eva)Nivel

Unidad de presupuesto

Micro

ProgramasAgencias

AgenciasProgramas Agencias

Programas[agencias]

Meso

SectoresPNDPND

SectoresMacro

Casos:

Medicin, monitoreo, rendicin de cuentas

Monitoreo de objetivos y resultados

Evaluaciones estratgicas

Diseminacin y rendimiento de cuentas

SSPG (SEGPRES) Monitoreo de metas y objetivos

SCG (DIPRES)Monitoreo y evaluaciones

Uruguay y Costa Rica: un sistema

(de monitoreo)

Colombia: un sistema, trescomponentes

Chile:dos sistemas, muchos

componentes

Sistemas integrados?

Integracin verticalIntegracin horizontalIntegracin transversal

Terr

itorio

Secto

res

Cadena de produccion

Integracin vertical

Informacin y decisiones en cada nivel referenciadas a aquellas en los niveles superiores e inferioresEjemplo: Sector Salud en el Plan Nacional de Desarrollo (macro) --) Ministerio de Salud (meso) --) Centros hospitalarios (micro)

Integracin horizontal

Actividades, informacin y decisiones en cada nivel coordinadas con aquellas de otras unidades en el mismo nivelEjemplo macro: Sector Salud coordinado con sector educacin Ejemplo meso: Oficina de evaluacin de la organizacin coordinada con la gestin en otras unidades de la organizacin

Integracin transversal

El sistema de evaluacin de resultados referenciado y coordinado con otros sistemas de la administracin pblica

Sistemas de planeacinSistemas de presupuestacinSistemas de personal y servicio civilSistemas de procuracin (procurement)

Modelo Plan: Relacin con el Presupuesto

Desincronizacin entre planeacin, presupuestacin y evaluacinIncertidumbre presupuestal

Compromisos basados en presupuesto de inversin (Colombia)

Ilustracin del problema

AgostoAo 0

EneroAo 1

Posesin

XElaboracin

Plan Nacional de Desarrollo

EneroAo 2

Elaboracin de Planes

IndicativosCompromisos

de Gestin

Aprobacin Presupuesto

Vigencia 2

Aprobacin Presupuesto

Vigencia 1

Diagnstico

Se avanza pero hay mucho camino por recorrer en trminos de la articulacin de los sistemas de M&E con el resto de la administracin pblica

Integracin?Modelo Plan: Vnculos con el sistema presupuestario siguen siendo problemticos pero se esta avanzando (integracin trasversal)

Modelo Presupuesto: Poca articulacin con el proceso de las polticas pblicas (integracin vertical)

Modelos Presupuesto y Plan: Poca articulacin con personal, servicio civil, etc (integracintransversal)Poca articulacin entre evaluacin y gestin (integracin transversal)

Una pausa

Implicaciones de la discusin para modificar o complementar las ideas presentadas por los dos grupos?

Qu hacer con la informacin?

Qu hacer con la informacin?

Preguntas claves sobre la informacin generada:

Es confiable?Es accesible?Se consume?Produce consecuencias?

Es confiable la informacin?

Credibilidad de la informacin depende de:Quin decide los indicadores?Quin recoge los datos? Rigor metodolgico, problemas de medicin

Qu hay detrs de un indicador?

Ficha para la construccinde indicadores

Informacin GeneralNmero /nombre indicador:Responsable:Lineamiento estratgico:Objetivo Estratgico:Meta:Descripcin del indicador:

Caracterstica del IndicadorClasificacin: Impacto, Eficiencia, Eficacia, CalidadFrecuencia:Unidad de medida:

Clculo y especificaciones de datosFrmula:Fuente de datos y forma de obtencin:

Informacin sobre la actividadLnea de base (ltimo dato relevado):Desvos admitidos:Comentarios:

Es accesible la informacin?

Informes amigables

Publicidad

Se consume la informacin?Destinatarios/usuarios potenciales

Poder Ejecutivo

Ministerio de PlanificacinMinisterio de HaciendaMinisterios sectoriales (ministros)Jerarcas y funcionarios de varios niveles de gestinPresidente de la Republica Organismos de auditoria y controlOficina Nacional de Presupuesto

Poder Legislativo Parlamento

Sociedad civilOrganizacionesCiudadanos

Problemas

Uso limitado de la informacin para la toma de decisiones

Informacin til a nivel macro no es til a nivel meso (muy agregada)Informacin llega demasiado tarde para ser til Informacin no es confiable para ser tilNo hay incentivos formales para usar la informacin

Incentivos

PalosGenerar competencia entre las entidades y hacer pblicos los resultados

ZanahoriasPremios a quienes demuestren mejoras

SermonesMensajes a travs de seminarios, conferencias, afiches, etc

Produce consecuencias la informacin?

Una vez que se conoce y se usa la informacin, hay consecuencias reales?

Evaluacin ---) cambio?Tres posibles funciones de la evaluacin:

AprendizajeAsignacinLegitimacin

Desafos

Uso limitado de la informacinLos resultados son parte de la conversacin la informacin todava no afecta el aprendizaje ni la asignacin como se esperaba.

Avances tcnicos, pero la informacin aun no es confiable, accesible, usable

Falta integracin vertical y horizontal

El ciudadano es el gran ausente de los sistemas de evaluacin de los resultados de la gestin

Debilidades de los sistemas existentes Uso limitado de la informacin

Los resultados son parte de la conversacin la informacin todava no afecta el aprendizaje ni la asignacin ni la legitimacin como se esperaba

Avances tcnicos, pero la informacin aun no es del todo confiable, accesible, usable

Falta integracin vertical, horizontal y trasversal

A pesar del discurso, el ciudadano es el gran ausente de los sistemas de evaluacin de los resultados de la gestin

La gran pregunta

Cmo asegurar que los sistemas de evaluacin y monitoreo de los resultados de la gestin pblica apoyen una agenda que impulse la efectividad en el desarrollo?

Hacindolos mas efectivosVinculndolos a los grandes temas del desarrollo

Elementos para pensar un sistema efectivo de evaluacin de los resultados de la gestin pblica

TcnicaConceptosMtodos

Elementos para pensar un sistema efectivo de evaluacin de los resultados de la gestin pblica

OrientacinEvaluacin = conocimiento para la accin Axiologa (clarificacin de valores y funciones)

TcnicaConceptosMtodos

PrcticaIntervencin social/ uso de la informacinConsecuencias de la evaluacin

Como mejorar la prctica de la evaluacin

Asegurar buy in: Apoyo de arriba, participacin de abajoGenerar demanda Determinar expectativas realistas (evaluacin no es panacea)Amarrar al presupuesto (y a sistemas de personal)Escoger el evaluador adecuadoSatisfacer las necesidades de informacin del usuarioAsegurar la relevancia Asegurar la calidad metodolgica Comunicar los resultadosHacer seguimiento de las recomendacionesReconocer las necesidades de entrenamiento y apoyo de los interesados

Trabajo de grupos

Reevaluar las consideraciones en cada una de las preguntas a la luz del trabajo de las sesiones anteriores

Qu agrega?Qu revisa?Qu quita?

Reflexin final

Cmo puede usted, desde su rol como profesional, desde su posicin estructural e institucional, apoyar el desarrollo de un sistema efectivo de evaluacin de los resultados de la gestin en su pas?

Monitoreo y Evaluacin para la Gestin por ResultadosLa evaluacin de los resultados de la gestin pblicaLa evaluacin de los resultados de la gestin pblicaMarco conceptualPara qu evaluar?Funciones de la E&M de los resultados de la GestinPara qu evaluar los resultados de la gestin?Dos OrientacionesEvaluacin de los resultados de la gestin pblica paraDebateOspina, Zaltsman y CunillOspina y CunillRepasando el segundo punto de partidaQu evaluar y a qu nivel hacerlo?La plataformaQu enfocar?y a qu nivel hacerlo?: tres niveles de anlisisy a qu nivel hacerlo?Casos:Sistemas integrados?Integracin verticalIntegracin horizontalIntegracin transversalModelo Plan: Relacin con el PresupuestoIlustracin del problemaDiagnsticoIntegracin?Una pausaQu hacer con la informacin?Qu hacer con la informacin?Es confiable la informacin?Ficha para la construccin de indicadoresEs accesible la informacin?Se consume la informacin? Destinatarios/usuarios potencialesProblemasIncentivosProduce consecuencias la informacin?DesafosDebilidades de los sistemas existentesLa gran preguntaElementos para pensar un sistema efectivo de evaluacin de los resultados de la gestin pblicaElementos para pensar un sistema efectivo de evaluacin de los resultados de la gestin pblicaComo mejorar la prctica de la evaluacinTrabajo de gruposReflexin final