fortalecimiento de las políticas públicas basadas en evidencia jalisco_plan... · está diseñado...
TRANSCRIPT
Fortalecimiento de las políticas públicas basadas en evidencia
JALISCO: PLAN DE CAPACITACIÓN PARA CUATRO HERRAMIENTAS
DE MONITOREO Y EVALUACIÓN DE PROGRAMAS PÚBLICOS
1. MARCO DE GASTO DE MEDIANO PLAZO (MGMP)
2. EVALUACIÓN DE LA CALIDAD DE INDICADORES (HECI) 3. EVALUACIÓN DE DATOS PARA SU APERTURA (HEDA)
4. CUADRO DE MANDO GUBERNAMENTAL (CMG)
Mayo 2017
Banco Mundial. Plan capacitación herramientas M&E. Estado de Jalisco, México. | 1
Índice
Índice ................................................................................................................................................................... 1
1 Introducción ................................................................................................................................................ 2
2 Plan de Capacitación: Marco de Gasto de Mediano Plazo ......................................................................... 3
2.1 Descripción de la herramienta ............................................................................................................. 3
2.2 Objetivos de la capacitación ................................................................................................................ 4
2.3 Instituciones participantes................................................................................................................... 4
2.4 Perfil de los participantes .................................................................................................................... 4
2.5 Módulos, metodología y duración de la capacitación ......................................................................... 5
2.6 Requerimientos básicos de información para iniciar entrenamiento ................................................. 6
2.7 Referencias .......................................................................................................................................... 6
2.8 Recursos ............................................................................................................................................... 6
2.9 Planificación de la capacitación ........................................................................................................... 7
3 Plan de Capacitación: Herramienta de Evaluación de la Calidad de Indicadores (HECI) ............................ 8
3.1 Descripción de la herramienta ............................................................................................................. 8
3.2 Objetivos de la capacitación ................................................................................................................ 8
3.3 Instituciones participantes................................................................................................................... 8
3.4 Perfil de los participantes .................................................................................................................... 9
3.5 Módulos, metodología y duración de la capacitación ......................................................................... 9
3.6 Requerimientos básicos de información para iniciar entrenamiento ............................................... 11
3.7 Referencias ........................................................................................................................................ 11
3.8 Recursos ............................................................................................................................................. 11
3.9 Planificación de la capacitación ......................................................................................................... 11
4 Plan de Capacitación: Herramienta de Evaluación de Datos para su Apertura (HEDA) ........................... 12
4.1 Descripción de la herramienta ........................................................................................................... 12
4.2 Objetivos de la capacitación .............................................................................................................. 12
4.3 Instituciones participantes................................................................................................................. 12
4.4 Perfil de los participantes .................................................................................................................. 12
4.5 Módulos, metodología y duración de la capacitación ....................................................................... 13
4.6 Requerimientos básicos de información para iniciar entrenamiento ............................................... 14
4.7 Referencias ........................................................................................................................................ 14
4.8 Recursos ............................................................................................................................................. 15
4.9 Planificación de la capacitación ......................................................................................................... 15
5 Plan de Capacitación: Cuadro de Mando Gubernamental ....................................................................... 16
5.1 Descripción de la herramienta ........................................................................................................... 16
5.2 Objetivos de la capacitación .............................................................................................................. 16
5.3 Instituciones participantes................................................................................................................. 16
5.4 Perfil de los participantes .................................................................................................................. 17
5.5 Módulos, metodología y duración de la capacitación ....................................................................... 17
5.6 Requerimientos básicos de información para iniciar entrenamiento ............................................... 18
5.7 Referencias ........................................................................................................................................ 19
5.8 Recursos ............................................................................................................................................. 19
5.9 Planificación de la capacitación ......................................................................................................... 19
Banco Mundial. Plan capacitación herramientas M&E. Estado de Jalisco, México. | 2
1 Introducción
Durante la realización del diagnóstico de las acciones, procesos y funciones que llevan adelante diversas
entidades públicas del Estado de Jalisco en el ámbito de Monitoreo y Evaluación (M&E) por parte del equipo del
Banco Mundial (BM) de enero a mayo del 2017, se detectó la necesidad de desarrollar herramientas de M&E
para fortalecer las acciones de monitoreo y evaluación y desarrollar capacitación para su uso adecuado.
Se identificaron bajo el liderazgo de la Subsecretaría de Planeación y Evaluación (Subseplan) y el Instituto de
Información Estadística y Geográfica del Estado de Jalisco (IIEG) cuatro herramientas específicas de M&E, sobre
una propuesta inicial de 14 (Anexo 1). Las herramientas seleccionadas son:
Marco de Gasto de Mediano Plazo (MGMP)
Herramienta de Evaluación de la Calidad de Indicadores (HECI)
Herramienta de Evaluación de Datos para su Apertura (HEDA)
Cuadro de Mando Gubernamental (CMG)
Durante los meses de enero a mayo 2017 el equipo del BM, con la consulta a los equipos técnicos de la Secretaría
de Planeación, Administración y Finanzas (SEPAF), IIEG y del Instituto Nacional de Estadística y Geografía (INEGI),
adaptó y desarrolló nuevas herramientas en estos ámbitos, las que forman la base del plan de capacitación que
se presenta en este documento. A continuación se muestra una tabla resumen de las acciones propuestas para
seguir fortaleciendo la capacidad a nivel del Estado.
Tabla 1. Resumen del Plan de Capacitación propuesto
MGMP HECI HEDA CMG
Instituciones destinatarias
Coordinación General de Gestión Gubernamental y Subsecretaría de Finanzas (Subsefin) (coordinadores técnicos), sectores prioritarios (cabezas de sector), otros sectores definidos.
Subsefin (coordinador), Subseplan, IIEG y sectores clave seleccionados.
SEPAF (Dirección General de Innovación y Gobierno Digital), IIEG (coordinadores). Instituciones clave en generar y administrar datos estadísticos y geográficos, e INEGI.
Subseplan (coordinador), Subsefin e IIEG.
Duración Aproximadamente 1 mes a tiempo parcial (incluye dedicación en sala y trabajo personal)
Aproximadamente 4 días (jornadas de 6 horas) para 15 a 20 indicadores en un sector seleccionado.
Aproximadamente 3 días para evaluar 10 conjuntos de datos.
Aproximadamente 2 meses para organizar datos de programación, ejecución y presupuestación en 20 entidades, y generar reportes iniciales.
Participantes por curso
Entre 5 y 10 personas de 3 a 4 instituciones máximo.
Entre 10 y 15 personas por sector.
15 personas máximo. Entre 10 y 15 personas de las instituciones que realicen acciones de M&E.
Perfil participantes
Funcionarios que trabajan directamente con la gestión presupuestaria, áreas de gestión estratégica, control de gestión, planificación, de evaluación y seguimiento, y Jefes de Programas.
Funcionarios de planeación y seguimiento, responsables de los archivos de datos para construir el indicador.
Funcionarios administradores de bases de datos, y responsables de sistemas de información.
Funcionarios de planeación y seguimiento, además de operadores encargados de concentrar la información estadística y que manejen bases de datos.
Modalidad de Aprendizaje
Presentación, aprender haciendo, revisión de pares, escenarios, casos (juego de roles)
Presentación, autoevaluación asistida, aprender haciendo.
Presentación plenaria, mesas de trabajo, discusión moderada, con relator o guía. Estudio de casos.
Presentación, aprender haciendo.
Recursos Instructor avalado por la Coordinación General de Gestión Gubernamental y Subsefin.
Facilitador avalado por Subsefin y/o Subseplan, sala, proyector, equipo de cómputo con software Nesstar.
Facilitador avalado por IIEG y/o SEPAF. Sala con proyector, equipo de computación para cada mesa de trabajo.
Instructor avalado por Subseplan, sala, proyector, materiales.
Banco Mundial. Plan capacitación herramientas M&E. Estado de Jalisco, México. | 3
2 Plan de Capacitación: Marco de Gasto de Mediano Plazo
2.1 Descripción de la herramienta
El Marco de Gasto de Mediano Plazo (MGMP) es una metodología que permite la presupuestación plurianual
de las instituciones públicas y de la administración pública en general. El MGMP comprende la totalidad del
ingreso y gasto, articulándolo a las prioridades de política. Se desarrolla como parte del proceso de
programación presupuestal anual y actualiza cada año de acuerdo al desarrollo de la economía y la revisión de
las políticas de gobierno. Está diseñado para mejorar el proceso decisorio y debe acompañarse de un
seguimiento de la ejecución y retroalimentación periódica. Implica incrementar el control político del
presupuesto, con mayor foco en la eficiencia institucional y menor espacio para proyectos no prioritarios.
Específicamente el MGMP apunta a los siguientes objetivos:
a) Mejorar la situación macroeconómica y fiscal.
- Contribuir a reducir los déficits, revelando oportunamente la restricción de recursos.
- Adoptar un enfoque más racional para la estabilización y el ajuste.
b) Asignación estratégica de recursos.
- Fortalecer el vínculo entre prioridades políticas y programas gubernamentales.
- Priorizar el impacto de las políticas gubernamentales.
c) Mejorar el desempeño de los programas – eficiencia técnica.
- Aumentar la predictibilidad de los recursos y por tanto mayor autonomía en la programación de
recursos.
- Gestión orientada al desempeño.
- Mayor correspondencia entre programación y ejecución.
Los beneficios de su aplicación incluyen:
Mayor claridad en los objetivos de política.
Mejor asignación inter e intrasectorial de recursos (mejoras en la calidad del gasto).
Mayor disciplina fiscal, al tomar decisiones asignativas que tienen en cuenta las restricciones de
mediano plazo.
Mayor predictibilidad en el presupuesto de las instituciones en el mediano plazo, aumentando la
eficiencia operacional.
Mayor credibilidad en la presupuestación y la planeación.
Para la implementación del MGMP, la asistencia técnica proporcionada por el Banco Mundial desarrolló
lineamientos metodológicos y una planilla en Excel que constituyen la base para la capacitación en esta
herramienta.1 Dichos lineamientos metodológicos y planilla asociada, siguen una serie de etapas generales de
la herramienta.
1 Ver documento “Marco de Gasto de Mediano Plazo: Lineamientos Metodológicos” y el libro guía MGMP (Excel) anexo a dicho documento.
Banco Mundial. Plan capacitación herramientas M&E. Estado de Jalisco, México. | 4
2.2 Objetivos de la capacitación
El objetivo de la capacitación es formar personas clave de instituciones públicas del Estado de Jalisco en la
metodología de MGMP para que en cada institución (y posteriormente sectorialmente, y a nivel estatal
‘agregado’) se puedan manejar conceptos comunes de gestión presupuestaria plurianual, su vínculo con las
prioridades políticas y los programas presupuestarios, y fortalecer la gestión del desempeño y la eficiencia
operacional. Se busca, asimismo, trabajar la consistencia de la información estratégica y operativa, y su reflejo
presupuestario y, por otro lado, la toma de decisiones presupuestarias.
Los egresados de esta capacitación serán funcionarios que tendrán el marco conceptual y las habilidades de
aplicación de la herramienta MGMP. Con ella deberían de poder vincular el presupuesto institucional,
relacionarlo con los objetivos institucionales, sectoriales y estatales, y manejar la disponibilidad presupuestaria
en función de los costos unitarios y la prioridad de los programas y metas institucionales.
2.3 Instituciones participantes
Se sugiere que las capacitaciones sobre esta herramienta sean lideradas por la Coordinación General de Gestión
Gubernamental, con el apoyo de Subsefin. En primer lugar se sugiere que participen entidades correspondientes
a los sectores más prioritarios, como son las Secretarías de Educación, Obras Públicas y Salud, o bien otras cuya
prioridad sea definida por las entidades que lideran su implementación.
Una vez estas entidades se encuentren utilizando la herramienta se puede ir capacitando a otros sectores, y
también a otras entidades de un mismo sector, con el objeto de ir armando MGMP sectoriales (que incluyan
todas las entidades de un sector).
2.4 Perfil de los participantes
Los participantes deben de ser funcionarios que trabajan directamente con la gestión presupuestaria, áreas de
gestión estratégica, áreas de control de gestión, de planificación, de evaluación y seguimiento, y jefes de
programas. Es importante que los jefes de programas (divisiones o áreas) conozcan la herramienta, al menos en
lo que tiene que ver con la relación entre proyectos, los indicadores, los presupuestos asociados, la priorización
de los proyectos y los costos asociados a sus productos.
1 2 873 4 5 6 9 10 11
UbicaciónProgramática
ContextoSectorial
MetasSectoriales
CorrespondenciaEstructura Programática y
Planes Estratégicos
Programas, Componentes,
Indicadores, Metas
PresupuestoProgramático
Detallado
PresupuestoProgramático
Agregado
Metas de ProducciónAnuales
CostosIndicativos Unitarios
PresupuestoPlurianual
EstructuraEconómica del
Presupuesto
Etapa 1 Etapa 2 Etapa 3 Etapa 4
Banco Mundial. Plan capacitación herramientas M&E. Estado de Jalisco, México. | 5
2.5 Módulos, metodología y duración de la capacitación
Se identifican cuatro etapas de capacitación para la herramienta MGMP:
Etapa 1: La primera etapa es la de conocimiento del instrumento, y sus contenidos deben incluir:
a) Por qué se utiliza el MGMP?
b) Beneficios del MGMP
c) Requisitos para la implementación del MGMP
d) Descripción de las etapas y metodología
e) Descripción de la herramienta (Libro guía excel)
Esta primera etapa se puede hacer en 2 - 4 horas, a través de una presentación de un relator o guía.
Etapa 2: La segunda etapa consiste en completar la herramienta con la información requerida, y debe incluir:
- Recopilación de la información estratégica, operativa, presupuestaria necesaria.
- Relleno de las planillas de la herramienta.
Esta segunda etapa ocurre en un momento separado de la primera. Su duración es variable dependiendo del
tamaño de la entidad (cantidad de programas), de la disponibilidad y calidad de información, de la disponibilidad
de recursos humanos para ingresar la información solicitada. Se calcula que como mínimo puede llegar a durar
pocos días, y como máximo podría llegar a durar varias semanas. La mayor parte del tiempo se dedica a recopilar
y rellenar la herramienta, aspecto que debe ser realizado por la propia institución que recibe la capacitación.
Para esta etapa se sugiere el método aprender haciendo, con el apoyo de un guía (o una entidad que conoce la
herramienta, y apoya en momentos puntuales revisando y entregando orientación).
Etapa 3: La tercera etapa es la de revisión de la consistencia de la información, y debe incluir:
- Consistencia de los planes estratégicos.
- Consistencia de los indicadores y metas (podría aquí utilizar también la HECI)
- Consistencia de los programas con los planes estratégicos.
- Consistencia de los programas, componentes, proyectos/actividades, resultados esperados.
- Consistencia de los costos.
- Consistencia de las metas.
Esta tercera etapa ocurre en un momento separado de la segunda etapa, y su duración también será variable,
dependiendo de la calidad de la consistencia de la información. Se calcula que como mínimo puede llegar a
durar un día, y como máximo cinco días hábiles. Para esta etapa, se sugiere también el método de aprender
haciendo con el apoyo de un relator/guía, para revisar temas puntuales (indicadores, metas, planes, resultados,
y su vinculación lógica). Alternativamente, se puede generar una revisión entre pares.
Etapa 4: Finalmente, la cuarta y última etapa es la de uso de la herramienta. Una vez la herramienta ha sido
cargada con información, y verificada su consistencia, se realizaría uno o varios ejercicios basados en uno o
varios escenarios que simulan situaciones reales en el que el participante tenga que tomar decisiones con base
en los planteamientos del escenario.
Esta etapa debería tomar entre uno y dos días, dependiendo de la complejidad del escenario. Se sugiere que en
esta etapa el método sea un juego de roles en el que participen diversos funcionarios de cada institución,
argumentando las diversas posturas (basadas en argumentos reales) a veces contrapuestas de las instituciones
públicas. Un guía/relator debería estar presente o alternativamente pares de instituciones.
Banco Mundial. Plan capacitación herramientas M&E. Estado de Jalisco, México. | 6
Por tanto, en la programación de la capacitación del MGMP debe tenerse en cuenta que la primera y cuarta
etapas pueden ser realizadas de forma conjunta entre varias instituciones, pero las etapas 2 y 3, son más
individuales debido a que atiende a aspectos específicos de cada institución (la etapa 2 depende de la facilidad
con que se dispone de la información, mientras que la etapa 3 depende de la calidad y consistencia de la
información)
La duración total promedio de la capacitación de MGMP puede ser de alrededor de un mes, teniendo en cuenta
que las duraciones de cada etapa son:
Etapa 1 – 2 a 4 horas (teoría)
Etapa 2 – 2 a 10 días (rellenar de información la herramienta)
Etapa 3 – 1 a 5 días (revisión de consistencia de información)
Etapa 4 – 1 a 2 días (aplicación práctica de la herramienta)
2.6 Requerimientos básicos de información para iniciar entrenamiento
Estructura programático presupuestal de la institución principal del sector bajo análisis.
Identificación de los bienes y servicios asociados a los programas presupuestales en la estructura
presupuestal de la institución seleccionada.
Identificación de los proyectos de inversión de la institución seleccionada.
Gasto ejecutado en los dos últimos años fiscales por programa, componente, proyecto y actividad.
Identificación de los principales indicadores de gestión y resultados de la institución seleccionada.
Estructura presupuestal por programas y económica.
Metas de producción para los próximos años.
Indicadores del sistema MIDE que puedan alinearse a los programas presupuestales bajo estudio.
Posición del estado en rankings nacionales relativos a los temas de interés de los programas
presupuestales.
2.7 Referencias
El principal documento de referencia para esta capacitación es el documento “Marco de Gasto de Mediano
Plazo: Lineamientos Metodológicos” y el libro guía MGMP (Excel) anexo a dicho documento, que se preparó
como resultado de la asistencia técnica del Banco Mundial al Estado de Jalisco.
Otros documentos que ofrecen información de interés relacionada con el MGMP son:
http://www.cepal.org/ilpes/panorama/documentos/informe_alejandra_vega1.pdf
http://www.worldbank.org/afr/wps/wp28.pdf (en inglés)
https://www.odi.org/sites/odi.org.uk/files/odi-assets/publications-opinion-files/2157.pdf (en inglés)
2.8 Recursos
No se requieren insumos especiales para esta capacitación. Se requiere un instructor avalado por la
Coordinación General de Gestión Gubernamental y la Subsefin, ambas de la SEPAF; una sala, un proyector,
materiales didácticos y tiempo del personal clave a capacitar.
Se podría desarrollar una comunidad (apoyada en una plataforma colaborativa, por ejemplo, en Sharepoint) en
la que los diversos responsables de gestionar la herramienta MGMP de diferentes instituciones puedan
Banco Mundial. Plan capacitación herramientas M&E. Estado de Jalisco, México. | 7
intercambiar puntos de vista, comentar problemas específicos, guardar y compartir documentación clave,
realizar consultas.
2.9 Planificación de la capacitación
Se sugiere iniciar primero la capacitación en sectores más prioritarios, como son las Secretarías de Educación,
Obras Públicas y Salud. Una vez estas entidades se encuentren utilizando la herramienta se puede ir capacitando
a otros sectores, y también a otras entidades de un mismo sector, con el objeto de ir armando MGMP sectoriales
(que incluyan todas las entidades de un sector). No se recomienda trabajar en grupos grandes, sino más bien
pequeños entre 2 y 4 instituciones por vez.
Banco Mundial. Plan capacitación herramientas M&E. Estado de Jalisco, México. | 8
3 Plan de Capacitación: Herramienta de Evaluación de la Calidad de
Indicadores (HECI)
3.1 Descripción de la herramienta
La Herramienta para la Evaluación de la Calidad de Indicadores (HECI), desarrollada por el equipo técnico del
Banco Mundial, provee un análisis rigoroso de la calidad de los indicadores al realizar una evaluación integral
en tres dimensiones: su formulación, la definición de sus metas y la calidad de los datos que utiliza.
La herramienta tiene como objetivo analizar la formulación de indicadores y metas a través de la utilización de
criterios como CREMA2 y SMART3. Asimismo, la herramienta hace una valoración rápida de las fuentes de
información utilizadas para tal fin. La herramienta se conforma por una batería de preguntas, en las cuales se
evalúan una serie de atributos del indicador.
Existe mucho interés en mejorar la oportunidad y confiabilidad de los indicadores, pero no se ha acompañado
con el desarrollo de herramientas para verificar y mantener su calidad. La HECI es la primera en su tipo al realizar
evaluaciones que incorporan elementos de la calidad de los datos que muchas veces han sido omitidos. En
particular, indicadores de alta calidad evaluados por la HECI permiten informar el presupuesto; conocer el
desempeño de programas y políticas públicas; y, rendir cuentas.
3.2 Objetivos de la capacitación
El objetivo principal es analizar la formulación de indicadores y metas a través de criterios como CREMA y
SMART, y realizar una valoración rápida de las fuentes de información utilizadas. El resultado esperado se asocia
a que la herramienta permita la evaluación integral de indicadores en tres dimensiones:
la formulación de indicadores
la definición de metas
la calidad de las fuentes de información.
También se espera que la herramienta permita contar con indicadores de calidad lo cual facilitará informar el
presupuesto, conocer el desempeño de programas y políticas públicas, rendir cuentas y brindar transparencia.
3.3 Instituciones participantes
Se recomienda capacitación para las siguientes instituciones clave del Sistema de Evaluación del Desempeño y
las acciones generales de monitoreo y evaluación:
Secretaría de Planeación, Administración y Finanzas
Subsecretaría de Finanzas
Subsecretaría de Planeación y Evaluación
2 CREMA: Acrónimo utilizado con mayor frecuencia y que ayuda a establecer indicadores adecuados, de acuerdo a los siguientes parámetros: Claro, Relevante, Económico, Monitoreable, Adecuado. Tanto CREMA como SMART son acrónimos genéricos se utiliza para guiar la formulación de indicadores y sus metas, pero existen también fuentes que manejan otras siglas y que incluyen otros criterios. 3 SMART: Acrónimo utilizado frecuentemente para establecer indicadores adecuados, considerando los siguientes parámetros: Specific (Específico); Measurable (Cuantificable); Achievable (Alcanzable); Relevant (Relevante); y Time bound (Con tiempos definidos).
Banco Mundial. Plan capacitación herramientas M&E. Estado de Jalisco, México. | 9
Instituciones del poder ejecutivo:
Sectores clave seleccionados por las instancias rectoras
También debe involucrarse y capacitarse al Instituto de Información Estadística y Geográfica del Estado de
Jalisco (IIEG), siendo institución clave en la producción y diseminación de información estadística que pueda
contribuir a la programación y planeación.
3.4 Perfil de los participantes
Se solicita la participación de la Subsefin y Subseplan, así como la consulta a IIEG e INEGI; para coordinar el
proceso de implementación, se requiere el siguiente personal:
Responsable de la preparación de las MIR y/o equipo que trabaje directamente en áreas de gestión
estratégica, planificación, evaluación y seguimiento. Es importante que se cuente con personal
directamente vinculado al Sistema de Evaluación del Desempeño y al MIDE, a efectos de lograr alinear
muy bien las cadenas de valor de las MIR.
Responsable de los archivos de datos para construir los indicadores.
Es importante contar con la presencia de ambos perfiles, ya que la HECI es una herramienta integral que evalúa
ambas dimensiones.
3.5 Módulos, metodología y duración de la capacitación
Esta capacitación se divide en seis módulos, descritos abajo.
Módulo 1. Capacitación a facilitadores. Antes de comenzar la capacitación propiamente es necesario entrenar
a facilitadores que brindarán apoyo en el llenado de la herramienta. La capacitación a facilitadores consta de
los módulos 2, 3 y 4 que debe realizarse previamente para que estos puedan asistir en el llenado los días
subsecuentes. Una vez conociendo la herramienta, el facilitador debe promover la reflexión y asegurar que se
tengan los soportes necesarios (documentos, normativa y archivos de información) para su llenado.
Tiempo requerido: aproximadamente 5 horas.
Método: ver siguientes módulos.
Módulo 2. Contexto e introducción a la calidad de indicadores. En este módulo se presenta el contexto sobre
la importancia de la evidencia para guiar el análisis y orientar las políticas y programas públicos, así como la
relevancia de la calidad de los indicadores para tal fin. Se revisan de manera teórica los conceptos para definir
la calidad de un indicador:
- Por qué son importantes los indicadores
- Calidad en la formulación (descripción de los criterios CREMA)
- Calidad en la definición de metas (descripción de los criterios SMART)
- Calidad de las fuentes de información
Tiempo requerido: presentación de 30 minutos a 1 hora.
Método: presentación plenaria con un relator o guía mediante el uso de un formato PowerPoint.
Banco Mundial. Plan capacitación herramientas M&E. Estado de Jalisco, México. | 10
Módulo 3. Presentación de la Herramienta de Evaluación de la Calidad de Indicadores (HECI). En este módulo
se presenta la herramienta por cada una de sus dimensiones cubriendo los siguientes puntos:
- Generalidades de la HECI: objetivo, participantes y material de trabajo.
- Descripción de la HECI: durante este módulo se navega la herramienta haciendo un recorrido rápido
por la batería de preguntas.
- Software Nesstar Publisher 4.0.9: para evaluar las fuentes de información se utiliza el software de
acceso libre Nesstar. El software es una herramienta para la documentación de datos, sin embargo
aquí se utilizará para identificar variables perdidas y fallas en la codificación. Por tal motivo, ésta
será sólo una mirada rápida a dicha herramienta.
Tiempo requerido: presentación de 1 – 1.5 horas.
Método: presentación plenaria con un relator o guía mediante el uso de formato PowerPoint.
Módulo 4. Aplicación de la herramienta en grupo. En esta etapa se completa la herramienta de manera grupal
para un indicador seleccionado. El objetivo de hacer un primer ejemplo en grupo es discutir las preguntas para
mostrar el tipo de reflexión que debe hacerse. El guía deberá ir moderando la discusión y concretar acuerdos
respecto a la calificación otorgada.
Tiempo requerido: depende de la discusión, pero se estima aproximadamente 2 horas para un indicador.
Método: Discusión moderada por un guía o relator.
Módulo 5. Aplicación de la herramienta a sectores clave. Durante este módulo se organizan mesas de trabajo
para aplicar la herramienta de forma simultánea con la ayuda de un facilitador en cada una de las mesas. Se
sugiere que las jornadas de trabajo y las mesas sean organizadas por indicadores prioritarios de las instituciones
a nivel temático/sectorial y no meramente institucional. Esto no es trivial ya que genera un positivo debate en
torno de la contribución de cada dependencia a una meta o resultado sectorial.
Las sesiones a nivel temático se repartirán en dos días continuos de trabajo. Es recomendable contar con dos
días, ya que la información que no se obtenga el primer día podrá ser completada en día subsecuente. En una
sesión de trabajo (de 2 días) se tiene como objetivo completar alrededor de 20 indicadores (dependiendo del
número de mesas, facilitadores, etc.).
Tiempo requerido: 4 días de trabajo por sector para un aproximado de 15 a 20 indicadores.
Método: Mesas de trabajo con facilitador por mesa.
Módulo 6. Consolidación de Resultados y análisis. Finalmente, una vez que se hayan recolectado los resultados
de todas las mesas de todos los sectores participantes, se verifica el llenado correcto de la herramienta y se
agregan los resultados para identificar áreas de oportunidad por cada dimensión (formulación, metas y datos).
Los resultados son presentados en una sesión plenaria a todos los participantes.
Tiempo requerido: presentación de 30 minutos a 1 hora.
Método: presentación plenaria con relator o guía mediante el uso de PowerPoint.
Banco Mundial. Plan capacitación herramientas M&E. Estado de Jalisco, México. | 11
3.6 Requerimientos básicos de información para iniciar entrenamiento
Toda la documentación relativa al indicador (metadatos, normativas, metodologías, etc.) en donde se
especifique la fórmula de cálculo y metas.
Fuente de datos a partir de la cual se construye el indicador (preferentemente en formato cvs). Si por
razones de confidencialidad no es posible compartir o anonimizar los datos, se solicita la estructura o
formato de archivo (encabezados y variables) con los campos vacíos.
Orientación de conceptos básicos de fuentes de información para la construcción de indicadores,
como microdatos y metadatos.
3.7 Referencias
Referencias para los criterios CREMA y SMART
Sohail Amjad (2006). Performance-based Monitoring & Evaluation for Development Outcomes: A
framework for developing countries, Pakistan. Mimeos s/f.
Lawlor, K.B., 2012. Smart goals: How the application of smart goals can contribute to achievement of
student learning outcomes. Developments in Business Simulation and Experiential Learning, 39.
Doran, G. T. (1981). "There's a S.M.A.R.T. Way to Write Management's Goals and Objectives",
Management Review, Vol. 70, Issue 11, pp. 35-36.
Referencias sobre el paquete Nesstar Publisher
Para descargar el software de acceso libre accede al siguiente link: http://www.ihsn.org/
Soporte Nesstar: http://www.nesstar.com/support/help.html
Red Nacional de Metadatos: http://www.inegi.org.mx/RDE/RDE_09/Doctos/RDE_09_Art5.pdf
3.8 Recursos
Además de una sala con proyector, se requiere que para cada mesa de trabajo se tenga un equipo de cómputo
con el software Nesstar previamente descargado e instalado.
3.9 Planificación de la capacitación
La Subsefin y la Subseplan, junto con IIEG, deben liderar el esfuerzo. La capacitación debe ir dirigida en un primer
momento a estas instituciones para que éstas puedan funcionar como facilitadores en la aplicación a sectores
prioritarios y sean estas mismas quienes capaciten al resto de las instituciones. Una vez que la herramienta sea
institucionalizada, el rol de las entidades rectoras será más de coordinación, y las propias entidades podrán
hacer la autoevaluación.
Banco Mundial. Plan capacitación herramientas M&E. Estado de Jalisco, México. | 12
4 Plan de Capacitación: Herramienta de Evaluación de Datos para su
Apertura (HEDA)
4.1 Descripción de la herramienta
La Herramienta de Evaluación de Datos para su Apertura (HEDA) es una herramienta que permite la selección y
la evaluación de los conjuntos de datos estadísticos y geográficos candidatos a la apertura a través de un Portal
de Datos Abiertos. La herramienta se basa en estándares nacionales e internacionales para evaluar y mejorar la
relevancia, el nivel de apertura y la calidad de los conjuntos de datos estadísticos y geográficos que se ponen a
disposición del público. Es en este sentido que la herramienta comprende tres dimensiones para la evaluación:
relevancia, datos abiertos y calidad.
La herramienta tiene como objetivo asegurar que los datos publicados a través del Portal de Datos Abiertos
sean relevantes, de calidad y reutilizables.
Frente a la demanda creciente de Datos Abiertos surge un interés de los gobiernos en ofrecer datos relevantes
y de calidad. La HEDA no tiene el propósito de frenar la publicación de conjuntos de datos, la herramienta está
diseñada para estandarizar un proceso de evaluación que mejore la calidad de los datos abiertos proporcionado
por dependencias de gobiernos. El impacto esperado en el uso de la HEDA incluye:
Certeza de relevancia e impacto de los conjuntos de datos y aplicaciones en la comunidad.
Retroalimentación efectiva por parte de usuarios directos.
Nivel de apertura basado en estándares internacionales.
Escalabilidad en el uso de la HEDA en dependencias a nivel estatal y nacional.
4.2 Objetivos de la capacitación
El objetivo principal es analizar la relevancia, el nivel de apertura y calidad de los conjuntos de datos candidatos
a la apertura en el Portal de Datos Abiertos.
El resultado esperado se asocia a que la herramienta permita seleccionar los conjuntos de datos relevantes, con
un nivel de apertura y calidad aceptable para su publicación. También, el análisis de los datos resulta en la
integración de un plan de mejora, con acciones a corto y mediano plazo validado por las personas involucradas
en el proceso de generación de datos.
4.3 Instituciones participantes
Se recomienda que las instituciones clave en el proceso de selección y evaluación de conjuntos de datos, como
son el IIEG y la SEPAF, se fortalezca aún más en la aplicación de la HEDA. Con base en el manejo de IIEG y de
SEPAF de la HEDA, se recomienda capacitar entidades y dependencias de la Administración pública que generan
y administran datos estadísticos y geográficos.
4.4 Perfil de los participantes
Es importante contar con la presencia de varios perfiles, ya que la HEDA es una herramienta integral que evalúa
dimensiones de calidad técnica y temática. Por tanto, se solicita la participación del siguiente personal:
Banco Mundial. Plan capacitación herramientas M&E. Estado de Jalisco, México. | 13
Técnicos responsables de los datos en las entidades.
Técnicos y profesionales con conocimientos en generación, administración, clasificación y
documentación de datos.
Técnicos con conocimientos en Sistemas de Información Geográfica.
Estadísticos.
Administradores de bases de datos.
Responsables de Tecnologías de la Información.
4.5 Módulos, metodología y duración de la capacitación
Esta capacitación se divide en seis módulos, descritos a continuación.
Módulo 1. Capacitación a facilitadores. Antes de comenzar la capacitación propiamente es necesario entrenar
a facilitadores que brindarán apoyo en el llenado de la herramienta. La capacitación a facilitadores consta de
los módulos 2, 3 y 4 que debe realizarse previamente para que estos puedan asistir en el llenado los días
subsecuentes. Una vez conociendo la herramienta, el facilitador debe promover la reflexión y asegurar que se
tengan los soportes necesarios (documentos, normativa y archivos de información) para su llenado.
Tiempo requerido: aproximadamente 3 horas.
Método: ver siguientes módulos.
Módulo 2. Contexto e introducción a los datos abiertos y buenas prácticas en preparación, publicación y
evaluación de datos abiertos. En este módulo se presenta el contexto de datos abiertos y la importancia de
contar con datos de calidad para satisfacer a la demanda. Se presentan las buenas prácticas y herramientas
nacionales e internacionales.
Tiempo requerido: presentación de 30 minutos a 1 hora.
Método: presentación plenaria con un relator o guía mediante el uso de una presentación en formato
PowerPoint.
Módulo 3. Presentación de la Herramienta de Evaluación de Datos para su Apertura (HEDA). En este módulo
se presenta la herramienta por cada uno de sus cuadros considerando:
- Flujo general de la HEDA.
- Descripción de la HEDA: durante este módulo se navega la herramienta haciendo un recorrido
rápido por la batería de preguntas.
Tiempo requerido: presentación de 1 – 1.5 horas.
Método: presentación plenaria con un relator o guía mediante el uso de un PowerPoint y de la herramienta.
Módulo 4. Aplicación de la herramienta en grupo. En esta etapa se completa la herramienta de manera grupal
para un conjunto de datos seleccionado. El objetivo de hacer un primer ejemplo en grupo es discutir las
preguntas para mostrar el tipo de reflexión que debe hacerse. El guía deberá ir moderando la discusión y
concretar acuerdos respecto a la calificación otorgada.
Tiempo requerido: depende de la discusión, pero se estima 40 minutos por conjunto de datos.
Método: Discusión moderada por un guía o relator.
Banco Mundial. Plan capacitación herramientas M&E. Estado de Jalisco, México. | 14
Módulo 5. Aplicación de la herramienta. Durante este módulo se organizan mesas de trabajo para aplicar la
herramienta de forma simultánea con la ayuda de un facilitador en cada una de las mesas. Se sugiere que las
mesas sean organizadas por instituciones para fomentar el diálogo entre las áreas productoras y
administradoras de datos. Las sesiones de trabajo se pueden repartir en dos días continuos de trabajo. Es
recomendable contar con dos días, para que la información que no pueda obtenerse el primer día pueda ser
completada el segundo día. En estas sesiones de trabajo se analizan las alertas de mejora identificadas durante
la evaluación del conjunto de datos y se definen las acciones correctivas a implementar.
Tiempo requerido: 2 días de trabajo. El tiempo de trabajo cada día se determinará en función del número de
conjuntos identificados como candidatos a la apertura en los inventarios institucionales.
Método: Mesas de trabajo con facilitador por mesa.
Módulo 6. Consolidación de Resultados y análisis. Finalmente, una vez que se hayan recolectado los resultados
de todas las mesas de todos los sectores participantes, se verifica el llenado correcto de la herramienta y se
agregan los resultados para identificar áreas de oportunidad por cada dimensión (formulación, metas y datos).
Los resultados son presentados en una sesión plenaria a todos los participantes. Esta sesión permite identificar
las problemáticas comunes en las diferentes dependencias y así asegurar el desarrollo de estrategias
gubernamentales para fortalecer el proceso de apertura de datos.
Tiempo requerido: presentación de 30 minutos a 1 hora.
Método: presentación plenaria con un relator o guía mediante el uso de PowerPoint.
4.6 Requerimientos básicos de información para iniciar entrenamiento
Identificación del responsable del conjunto de datos.
Inventario institucional de conjuntos de datos.
Toda la documentación relativa al conjunto de datos: metadatos, normativas, metodologías,
estándares, catálogos, diccionarios de datos, evidencias de impacto del conjunto de datos, análisis,
notas de prensa, documentación de aplicaciones, encuestas de satisfacción a usuarios finales.
Datos del conjunto de datos en el formato disponible.
4.7 Referencias
Datos Abiertos
Open Data Handbook. Guide, case studies and resources for government and civil society on the what, why and
how of Open Data. http://opendatahandbook.org/
Buenas prácticas
El Manual de Implementación para el acceso y publicación de DA de la Información Estadística y
Geográfica de Interés Nacional.
http://www.snieg.mx/contenidos/espanol/Normatividad/Normatividad_Vigente/Archivos_NV/Manual
_de_Implementacion_DA_02062015.pdf
Banco Mundial (2012). Guía de auto-diagnóstico de la calidad de registros administrativos a ser utilizados
con fines estadísticos. Estado de Yucatán, México.
Open Data Barometer. http://opendatabarometer.org/
Open Global Data Index. https://index.okfn.org/
Banco Mundial. Plan capacitación herramientas M&E. Estado de Jalisco, México. | 15
Referencias sobre los programas de generación de metadatos
Nesstar –Iniciativa de Documentación de Datos (DDI). Para descargar el software de acceso libre
accede a las siguientes ligas: http://www.ihsn.org/ http://www.nesstar.com/support/help.html
Norma Mexicana Técnica (NMT) para descargar el software de acceso libre accede a la siguiente liga:
http://www.inegi.org.mx/geo/contenidos/metadatos/aplicaciones_conversion.aspx
4.8 Recursos
Además de una sala con proyector, se requiere que para cada mesa de trabajo se tenga un equipo de cómputo
con los manejadores.
4.9 Planificación de la capacitación
SEPAF (Dirección General de Innovación y Gobierno Digital) e IIEG (Unidad de Tecnologías de la Información)
deben liderar el esfuerzo. La capacitación debe ir dirigida en un primer momento a estas instituciones para que
éstas puedan funcionar como facilitadores en la aplicación y sean estas mismas quienes capaciten al resto de
las instituciones. Una vez que la herramienta sea institucionalizada, las propias entidades podrán hacer la
autoevaluación.
Banco Mundial. Plan capacitación herramientas M&E. Estado de Jalisco, México. | 16
5 Plan de Capacitación: Cuadro de Mando Gubernamental
5.1 Descripción de la herramienta
El Cuadro de Mando Gubernamental (CMG) es una aproximación gerencial que sistematiza información
relevante, confiable y oportuna sobre el desempeño de los programas públicos prioritarios. Los objetivos del
cuadro de mando gubernamental son los siguientes:
Alinear recursos para el cumplimiento de metas.
Mejorar la oportunidad de intervención y focalización.
Obtener un diagnóstico rápido para decisiones inmediatas.
Mejorar la transparencia e informar a la ciudadanía los avances en la gestión pública.
En particular, el CMG permite a los rectores de políticas públicas:
Medir de manera regular el desempeño de programas presupuestarios.
Detectar síntomas en el proceso de gestión antes que se conviertan en problemas.
Favorecer la rendición de cuentas de los resultados alcanzados, y
Crear una retroalimentación continua a los directivos de los programas públicos.
5.2 Objetivos de la capacitación
En el caso del CMG, el entrenamiento en Jalisco tiene dos objetivos:
Objetivo 1: Integración de una base de datos que centralice la información necesaria para medir el avance de
los proyectos estratégicos del Gobernador con respecto a sus metas para el cierre de gobierno. Es decir, el
primer paso es crear el CMG a partir de la información disponible.
Objetivo 2: Capacitación de los funcionarios públicos responsables del monitoreo y evaluación de instituciones
clave, en el uso del CMG e interpretación de indicadores relevantes. Revisión de los conceptos de eficiencia,
eficacia, calidad y cobertura para facilitar la toma de decisiones a través de reportes periódicos que se generan
del CMG.
Los resultados esperados son que el CMG brinde un diagnóstico rápido de la situación y que éste permita la
toma rápida de decisiones preventivas y correctivas a los rectores de las políticas públicas. La información
centralizada y los reportes periódicos, permitirán dar un avance detallado al Gobernador respecto al cierre de
los proyectos estratégicos de su administración.
5.3 Instituciones participantes
Las entidades rectoras que deberán participar son:
Subsecretaría de Planeación y Evaluación, como líder de proyecto.
Subsecretaría de Finanzas, por proveer información clave para la programación, planeación y
presupuestación de los proyectos.
Sin embargo, para contar con la información necesaria se requiere la participación de las 20 dependencias que
integran los 98 proyectos estratégicos del Gobernador: Secretaría de Infraestructura y Obra Pública (SIOP),
Secretaría de Salud (SSJ), Secretaría de Desarrollo Rural (SEDER), Secretaría de Innovación, Ciencia y Tecnología
Banco Mundial. Plan capacitación herramientas M&E. Estado de Jalisco, México. | 17
(SICYT), Secretaría de Medio Ambiente y Desarrollo Territorial (SEMADET), Fiscalía General del Estado (FGE),
Secretaría de Planeación, Administración y Finanzas (SEPAF), Secretaría de Turismo (SECTURJAL), Secretaría de
Desarrollo e Integración Social (SEDIS), Secretaría de Cultura (SCJ), Secretaría de Desarrollo Económico
(SEDECO), Secretaría de Educación (SEJ), Secretaría de Movilidad (SEMOV), Sistema para el Desarrollo Integral
de la Familia (DIF), Secretaría de Trabajo y Previsión Social (STyPS), Protección Civil, Instituto Jalisciense de
Ciencias Forenses (IJCF), Contraloría del Estado de Jalisco, Instituto Jalisciense de las Mujeres (IJM) y Secretaría
de Gobierno (SGG).
5.4 Perfil de los participantes
Para el primer objetivo de conformación del CMG, el perfil de los participantes son los responsables de la
Dirección de General de Planeación, dentro de la Subseplan, en particular quienes están encargados de
coordinar y concentrar la información estadística en áreas de planeación, seguimiento y gestión de recursos.
Los participantes deben tener claridad en conceptos como entregable, proyectos, indicadores y metas.
Con el objetivo de obtener la información necesaria para alimentar al CMG, el perfil de aquellas personas para
proveer los requerimientos son funcionarios responsables de las áreas de planeación y administración de las
dependencias. De tal forma se complementa la información de planeación con los costos operativos.
Para el segundo objetivo de capacitación en el uso del CMG, el perfil de los asistentes son aquellos encargados
del seguimiento al avance de programas y proyectos en las dependencias responsables de los proyectos y
programas prioritarios de la actual administración estatal.
5.5 Módulos, metodología y duración de la capacitación
Esta capacitación se divide en tres módulos, que se describen abajo.
Módulo 1. Introducción CMG. En este módulo se presenta el instrumento y se atiende a las siguientes preguntas:
¿Qué es el cuadro de mando gubernamental?
¿De dónde se origina, influencia del control de gestión?
¿Para qué sirve?
¿Qué se requiere para su implementación?
Tiempo requerido: presentación de 1 hora.
Método: presentación.
Módulo 2. Integración del CMG
2.1 Identificación de fuentes
En este módulo se identifican las fuentes de información disponibles para integrar el CMG. Debido a que esto
depende de la coordinación con las 20 dependencias que tiene proyectos estratégicos, esta actividad consume
mucho tiempo y requiere de gran coordinación. Se recomienda establecer plazos concretos para asegurar el
avance. Una vez recopilada la información debe verificarse la calidad de la misma; es decir, además de completa
debe ser consistente en cuanto a sus metas, plazos y presupuesto. Esta fase requiere interacciones constantes
con las dependencias. Los titulares de las dependencias involucradas deberán validar la información en un plazo
asignado para ello. En caso de no haber comentarios se toma como válida la estimación. Una vez validada su
Banco Mundial. Plan capacitación herramientas M&E. Estado de Jalisco, México. | 18
calidad se integrarán las distintas fuentes en una base de datos única. Para ello, se requiere la identificación de
variables llave, utilización de catálogos de beneficiarios y armonización en los distintos campos. De ser posible
áreas informáticas pueden auxiliar en esta fase para potenciar aún más y hacer más visible y amigable la
herramienta.
2.2 Cálculo de índices de eficacia, eficiencia, cobertura e hitos de seguimiento
Una vez integrada y validada la calidad de la información en una base de datos única, se procede al cálculo de
los indicadores de eficiencia, eficacia, cobertura y la sistematización de hitos para el seguimiento de
infraestructura.
2.3 Explorar con las entidades participantes si existen estándares para evaluar la calidad de la oferta de
servicios públicos
Tiempo requerido: la duración dependerá de la disponibilidad y calidad de las fuentes de información, así como
el tiempo que se asigne para la validación pero puede tomar varias semanas.
Método: se sugiere el método aprender haciendo en donde una persona coordine a los participantes para
asegurar la armonización de los archivos de datos.
Módulo 3. Uso del CMG. Una vez integrada y validada la herramienta, se realiza una presentación con ejemplos
reales para mostrar las diferentes funciones. Previo a ello, se realiza un breve entrenamiento con una guía de
los conceptos de productividad (eficacia y eficiencia) y calidad para la interpretación de los mismos. Esta
presentación mostraría también opciones para la elaboración de reportes ejecutivos del CMG.
Tiempo: presentación de 2 horas.
Método: presentación.
5.6 Requerimientos básicos de información para iniciar entrenamiento
Reportes actuales sobre el avance de gasto y de gestión por institución y comparativos.
Estructura de la base de datos del Sistema de Evaluación del Desempeño (SED), listado de variables,
estructura de la base de datos (tablas, campos, clasificadores)
Estructura de la base de datos del MIDE Jalisco, listado de variables, estructura de la base de datos (tablas,
campos, clasificadores)
Reportes que pueden generarse con el SED y MIDE.
Información de las metas de las MIR para cada programa presupuestal.
Información de los avances de las MIR en el SED (mensual, trimestral)
Información sobre el sistema de inversión pública. Información geográfica, inversiones por localidad,
municipio, tipo de proyecto.
Clasificadores (si existen) de tipos de productos y beneficiarios para agregar información.
Información (si existe) sobre calidad de bienes y servicios o grado de satisfacción de beneficiarios.
Reportes sobre avances del PED.
Información de servicios/bienes a entregar, metas, indicadores y fuentes de información de los proyectos
estratégicos.
Banco Mundial. Plan capacitación herramientas M&E. Estado de Jalisco, México. | 19
5.7 Referencias
Kaplan S. Robert David P. Norton, (1996). The Balance Scorecard: Translating Strategy into Action. Harvard
Business School Press, USA; Robert N, Anthony (2003) Management Control Systems. McGraw Hill, USA, y Blanco
Illescas Francisco (1985) El Control como Guía de Gestión empresarial. Ed IMI, España.
Medina Giopp, Alejandro y José Mejía Lira (1993) El Control en la Implementación de la Política Pública. Ed Plaza
y Valdés, México.
Medina Giopp, Alejandro (2005) Gestión por procesos y creación de valor público. Ed, INTEC, República
Dominicana.
Operational Evaluation Department, the World Bank (2004). Monitoring & Evaluation. Some tools, methods and
approaches. Washington, D.C. Para un ejemplo de reporte ciudadano, ver el caso del Tablero de Control
Presidencial en Paraguay en la siguiente liga http://rc.stp.gov.py/
5.8 Recursos
Insumos: sala, proyectos, instructor y guías.
5.9 Planificación de la capacitación
La Subsecretaría de Planeación y Evaluación, particularmente la Dirección General de Planeación, es quien debe
de liderar el esfuerzo y concentrar la información de los proyectos estratégicos del CMG. Lo primero que debe
especificarse es el nivel de detalle con el que se desea trabajar; es decir, si se trabajará con componentes o
entregables. Esto es clave para la recolección de información y para asignar ponderadores a las unidades
mínimas con las cuales se trabaje.
La principal consideración es si la capacitación se limitará a las entidades y dependencias a cargo de los
proyectos estratégicos, o bien si se busca ampliar la cobertura del tablero a otros proyectos. En función del
alcance, se deberán programar los talleres requeridos, así como la capacitación de capacitadores.
La Subsecretaría debe establecer con claridad los conceptos a definir por las demás dependencias como la
descripción del proyecto, los entregables, metas, entre otros.
Banco Mundial. Plan capacitación herramientas M&E. Estado de Jalisco, México. | 1
Anexo 1: Propuesta inicial de herramientas de M&E
Herramientas Descripción básica Alcance
1. Plan estatal de formación en M&E
Preparación del plan de formación sobre monitoreo y evaluación de políticas y programas públicos. Comprende el propósito del plan, la audiencia y perfil del egresado. El currículo académico por sesiones, incluyendo para cada una: objetivo, temas a abordar, dinámica (estudios de caso, ejercicios, presentación, etc.), materiales sugeridos, mecanismos de evaluación. Aspectos de logística: facilitadores, aulas, aplicación de evaluaciones, etc.
Reporte técnico que define el alcance del programa de formación, requerimientos logísticos, y de facilitación. No incluye el desarrollo de los materiales didácticos de cada sesión. Entregable: plan de formación y logística de implementación.
2. Procedimiento para la distribución de cupos de formación en M&E a entidades y dependencias de la administración pública estatal y municipal
Procedimiento para definir el número de funcionarios que corresponde a cada entidad o dependencia, además de municipios, para postular al programa de formación. Definición de criterios de postulantes, así como criterios de estimación del número de postulantes por entidad, sobre criterios monto del gasto público, número de programas presupuestarios y acciones públicas, tales como total de beneficiarios, programas en la agenda de evaluación, etc.
Nota técnica y herramienta en Excel u otro procesador estadístico para la estimación de postulantes y el control de participantes para los primeros dos años de plan de formación en M&E.
3. Convenios de desempeño Es un acuerdo interinstitucional que se establece entre el órgano de coordinación global de M&E en el Estado, con una entidad pública estatal, en donde ésta se compromete públicamente a un nivel de desempeño en la entrega de bienes y servicios, y eventualmente en los resultados a alcanzar. Esta iniciativa puede iniciar con un acuerdo y establecer un plan de expansión.
Se trabajará un borrador de convenio de desempeño con una entidad sobre uno o dos de sus programas prioritarios. Se dejarán los elementos técnicos necesarios para su firma y seguimiento.
4. Documento estándar de Términos de referencia
La contratación de servicios de consultoría de M&E para consultores individuales o firmas, requiere una clara definición de los términos de referencia que determinan el alcance de los servicios. Considera aspectos como el objetivo general y objetivos específicos de los servicios a contratar, alcance, enfoque de la evaluación y actores implicados, metodología, actividades o tareas a realizar. Productos e informes a entregar, duración del servicio, recursos y facilidades a ser provistos por la entidad contratante, costos y remuneraciones entre otros.
Capacitación en elaboración de términos de referencia para la contratación de servicios de consultoría en M/E, y preparación de un modelo estándar. Se considera la normativa estatal para compras y contrataciones de servicios de consultoría. Se incluye los aspectos de supervisión sobre la implementación de los TDR.
5. Matriz para el mapeo de herramientas (MMH) de M&E actualmente utilizadas en el Estado de Jalisco.
Inventario de las herramientas identificadas en el diagnóstico de M&E, que comprende su descripción, uso secuencial, regularidad de su aplicación.
Inventario de las herramientas y análisis de su potencial duplicación, y sugerencias para la mejora de su secuencia durante el ciclo de gestión.
6. Mecanismo de seguimiento de las recomendaciones de las evaluaciones.
Mecanismos de seguimiento de las recomendaciones derivadas de las evaluaciones sobre los avances de CONEVAL y las guías de buenas prácticas para seguimiento de las evaluaciones del Grupo de Evaluación de Naciones Unidas (UNEG)
Preparación de nota técnica que defina los estándares para el seguimiento de las recomendaciones, y los arreglos mínimos organizacionales e institucionales que permitan su implementación.
20
Banco Mundial. Plan capacitación herramientas M&E. Estado de Jalisco, México. | 2
7. Nota técnica para desarrollo de encuestas rápidas de satisfacción de beneficiarios
Diseño e implementación de encuestas rápidas de satisfacción de beneficiarios a través por ejemplo de call center, para estimar a través de un reducido número de preguntas (10<) el grado de satisfacción sobre programas o servicios recibidos por los beneficiarios
Preparación de nota técnica sobre programas prioritarios para la preparación de encuestas rápidas de satisfacción de beneficiarios: Objetivo, metodología y tipo de muestreo, definición cuestionario, equipo técnico y personal requerido, método de colecta (call center, cara-cara...), procesamiento, etc.
8. Evaluación de la calidad de servicios públicos a través de registros administrativos (cumplimiento de estándares)
Aprovechamiento del análisis de los registros administrativos existentes para poder identificar el grado de cumplimiento de estándares en la oferta de servicios en base a ratios extensionistas/productores; docentes/alumnos; enfermeras/doctores; doctores/población, etc.
Reporte que verifica el grado de cumplimiento de los estándares seleccionados de un sector mediante la explotación de sus registros administrativos (preferentemente RRAA evaluados en la asistencia del BM) y recomendación para su expansión.
9. Tableros de control para el monitoreo de programas públicos
Instrumento que permite definir propuestas de reportes periódicos de monitoreo de programas púbicos sobre la base de la información existente de las MIR, sistema de inversión pública, sistemas de información administrativa y financiera, padrones de beneficiarios, entre otros. Se elabora el diseño conceptual y etapas de desarrollo.
Entregable: Diseño conceptual del tablero que genera reportes continuos de monitoreo de programas públicos, sobre la base de la sistematización de información existente y propuesta de reporte de monitoreo con datos reales, indicadores, logros, hallazgos y recomendaciones
10. Metodología de evaluación del desempeño institucional (EDI)
Metodología que permita la evaluación del desempeño a nivel institucional de la gestión pública: objetivo, estrategia, gestión de recursos humanos, M&E, gestión administrativa y financiera, información, y logros, entre otros elementos.
Propuesta de metodología de EDI basado en adaptación de modelos existentes de evaluación del desempeño institucional al contexto de Jalisco.
11. Métodos de evaluación rápida (grupos focales, entrevistas, mini encuestas)
Son evaluaciones de programas que comprende aspectos relevantes de su ciclo de gestión (planeación, programación, presupuestación, implementación, monitoreo, etc.) apoyándose mayoritariamente en información existente del tipo registros administrativos.
Propuesta de metodologías basado en adaptación de evaluaciones rápidas existentes a la realidad de Jalisco.
12. Marco de gasto de mediano plazo
Herramienta de presupuestación plurianual sobre la base de la proyección de bienes y/o servicios a producir en periodos trianuales, su estimación de gasto unitario, bajo la consideración del marco fiscal existente. Esta herramienta define también los indicadores de gestión y resultados que permiten hacer seguimiento al ejercicio presupuestal.
Capacitación sobre modelos de evaluación de marcos de gasto de mediano plazo de nivel sectorial en entidades federativas. Asistencia técnica para sentar las bases de un caso práctico en un sector que pueda expandirse.
13. Costo efectividad y diseños de evaluación de impacto
Capacitación sobre los métodos de evaluación de programas costo efectividad y evaluación de impacto
14. Mecanismos de M&E de la gestión del Poder Judicial
Análisis de eficacia, eficiencia, productividad y apego a legalidad de la gestión del Poder Judicial.
Identificación de mejores prácticas nacionales e internacionales, y recomendación de iniciativas para desarrollar en Jalisco sobre esta base.
21