tÉrminos de referencia para la evaluaciÓn de …...cada una de las respuestas a las preguntas...
TRANSCRIPT
TÉRMINOS DE REFERENCIA PARA LA
EVALUACIÓN DE CONSISTENCIA Y
RESULTADOS
Términos de Referencia para la Evaluación de Consistencia y
Resultados
1
I. INTRODUCCIÓN
Con la finalidad de facilitar la evaluación y con ello mejorar la gestión y la decisión presupuestal, el
Gobierno del Estado de Nuevo León, a través del Comité de Planeación Presupuesto y Rendición de
Cuentas (Comité PPR), integrado por la Coordinación Ejecutiva de la Administración Pública del
Estado, la Secretaría de Finanzas y Tesorería General del Estado, así como la Contraloría y
Transparencia Gubernamental, con base en los Lineamientos Generales para la Evaluación de
Programas del Estado de Nuevo León, elaboró los presentes Términos de Referencia para la
Evaluación de Consistencia y Resultados de los Programas que sean evaluados bajo esta
metodología y señalados en el Programa Anual de Evaluación 2016 , publicado en el Periódico Oficial
del Estado el 29 de Abril del presente año.
Entre los elementos más importantes que inciden directamente en la acción de gobierno, es la
transparencia y la rendición de cuentas; su orientación requiere del conocimiento de resultados
concretos, confiables y verificables de la aplicación del gasto público, de acuerdo con Artículo 134
Constitucional, la Ley Federal de Presupuesto y Responsabilidad Hacendaria, la Ley de Coordinación
Fiscal, y la Ley General de Contabilidad Gubernamental.
El presente documento describe los alcances que se esperan de una Evaluación de Consistencia y
Resultados, para con ello, proporcionar a los responsables de la administración y ejecución de los
programas evaluados, elementos sustentados que permitan llevar a cabo acciones encaminadas a
mejorar el desempeño de los mismos; así como una apreciación informada acerca de su orientación
para el logro de resultados.
En los siguientes apartados se presentan los objetivos de la evaluación, seguidos por las
responsabilidades y compromisos que deben asumir el Comité de Presupuesto para Resultados
(GpR), la Secretaría de Finanzas y Tesorería General del Estado, así como de la Instancia o
Consultora Técnica Evaluadora Externa, para concretar de manera óptima el reporte final de
evaluación requerido.
Asimismo, se describe la metodología correspondiente, el formato a utilizar para responder a las
preguntas metodológicas que la conforman y las consideraciones de respuesta, y cómo debe estar
estructurado el reporte de evaluación y sus anexos.
Términos de Referencia para la Evaluación de Consistencia y
Resultados
2
II. OBJETIVOS
2.1 Objetivo General
Evaluar la consistencia y los resultados del programa presupuestario, con el fin de proveer
información que retroalimente su diseño, su la gestión en la entrega de bienes y servicios a la
población beneficiaria, los resultados de la aplicación de los recursos públicos, y rendir cuentas a la
sociedad.
2.2 Objetivos Específicos
Analizar la lógica y congruencia en el diseño del programa, su vinculación con la planeación
sectorial y nacional, la consistencia entre el diseño y la normatividad aplicable, así como las
posibles complementariedades y/o coincidencias con otros programas federales;
Identificar si el programa cuenta con instrumentos de planeación y orientación hacia
resultados;
Verificar las acciones realizadas mediante el análisis de objetivos y el cumplimiento de metas.
Analizar y reportar la evolución de la cobertura de atención.
Analizar la evolución del ejercicio de los recursos.
Realizar un análisis interno que permita identificar las principales Fortalezas y Oportunidades,
Debilidades y Amenazas, y emitir recomendaciones pertinentes.
Identificar los hallazgos relevantes derivados de la evaluación.
Identificar los principales Aspectos Susceptibles de Mejora (ASM).
III. RESPONSABILIDADES Y COMPROMISOS
3.1 De la Secretaría de Finanzas y Tesorería General del Estado de Nuevo León:
Por acuerdo del Comité, la Secretaría de Finanzas y Tesorería General del Estado, a través de la
Dirección de Presupuesto y Control Presupuestal, ha sido designada como coordinador de los
trabajos entre la Consultora Evaluadora Externa y la Entidad o Dependencia responsable de la
ejecución de los recursos sujetos de evaluación.
Términos de Referencia para la Evaluación de Consistencia y
Resultados
3
Suministrar a la Instancia Técnica o Consultora Evaluadora Externa la documentación
entregada y validada por la Entidad o Dependencia responsable de la ejecución de los
recursos sujetos de evaluación, así como las bases de datos correspondientes.
Socializar el reporte preliminar de evaluación con la Entidad o Dependencia responsable de la
ejecución de los recursos sujetos a evaluación, para establecer una etapa de
retroalimentación entre éste y la Instancia Técnica Evaluadora.
Verificar el informe preliminar y entregar oportunamente a la Instancia Técnica o Consultora
Evaluadora Externa los comentarios que de cada revisión resulten, a fin de que sean
incorporados por el evaluador en la versión final del informe correspondiente.
3.2 Del Comité:
Verificar y validar el que cada uno de los reportes de evaluación elaborados por la Instancia o
Consultora Técnica Evaluadora Externa, cumplan con el contenido establecido en estos
Términos de Referencia.
3.3 De la Instancia o Consultora Técnica Evaluadora Externa:
La calidad del estudio y el cumplimiento puntual a estos Términos de Referencia.
Atender puntualmente las fechas señaladas en el calendario específico que forma parte del
Contrato o Convenio por la prestación de los Servicios de Evaluación.
Enviar los reportes de Evaluación tanto de manera digital al correo electrónico
[email protected], como en copia física a la Dirección de Presupuesto y
Control Presupuestal, con domicilio en calle General Mariano Escobedo 333, Zona Centro,
C.P. 64000 Monterrey, Nuevo León, mediante oficio en hoja membretada y firmada por el
representante de la Institución o Consultora Técnica Evaluadora Externa. Lo anterior conforme
al calendario de entregas especificado en el Contrato o Convenio.
La versión final de los reportes de evaluación deberán ser entregados en formato digital como
como en copia física a la Dirección de Presupuesto y Control Presupuestal, con domicilio en
calle General Mariano Escobedo 333, Zona Centro, C.P. 64000 Monterrey, Nuevo León, en
tres tantos, correspondientes: un tanto al Ente Público o Dependencia responsable de la
ejecución del recurso evaluado, y dos tantos a la Secretaría de Finanzas y Tesorería General
Términos de Referencia para la Evaluación de Consistencia y
Resultados
4
del Estado de Nuevo León, cumpliendo con las características y especificaciones que
contempla el presente documento.
IV. METODOLOGÍA
4.1 Descripción
La metodología de evaluación contenida en estos Términos de Referencia, está basada en los
emitidos por Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL); no
obstante y de acuerdo con las necesidades de información que requiere este Gobierno Estatal, fueron
adecuados algunos de los temas de análisis y sus respectivas preguntas metodológicas.
En ese sentido, dicha metodología fue diseñada para generar información útil, rigurosa y homogénea
para los Entes Públicos Estatales, de tal forma que contribuya a mejorar la toma de decisiones a nivel
directivo; esto es, a nivel estratégico y con ello, mejorar la Gestión para Resultados.
4.1.1 Características
Implica la valoración de consistencia y resultados de la ejecución de los recursos, donde se
pretende mostrar el avance en el cumplimiento de los objetivos y metas programadas,
mediante el análisis de indicadores de desempeño y con base en la información entregada por
los Entes Públicos ejecutores.
Comprende un “Análisis de Gabinete”; esto es, un análisis valorativo de la información
contenida en registros administrativos, bases de datos, evaluaciones, documentos oficiales,
documentos normativos y sistemas de información, entre otros; acopiados y enviados como
“fuentes de información” por parte de la SFyTGE, y remitida por ésta a la Instancia Técnica
Evaluadora Externa.
Para llevar a cabo el “Análisis de Gabinete”, el equipo evaluador deberá considerar como
mínimo la información proporcionada por la SFyTGE. No obstante, estos documentos son
enunciativos más no limitativos; por tanto, también se deberá consultar la información pública
dispuesta en las diferentes páginas de transparencia fiscal y gubernamental.
Términos de Referencia para la Evaluación de Consistencia y
Resultados
5
Contiene 30 preguntas metodológicas agrupadas en cinco temas, de la siguiente manera:
Tema I. Características del Programa. Incluye un resumen enfocado a las características
del Programa o recurso sujeto de evaluación, que contempla la definición, justificación,
población beneficiaria o área de enfoque de los bienes y servicios que se producen y
proveen, y la ejecución del gasto. Analiza la contribución y alineación de las acciones
realizadas, con el Plan Nacional de Desarrollo 2013-2018 y el Plan Estatal de Desarrollo
2010-2016; y analiza si existen interrelaciones, complementariedades y/o coincidencias
con otros Programas, estatales y/o federales.
Tema II. Operación. Analiza la normatividad aplicable al Programa o recurso sujeto de
evaluación, que implica los lineamientos de ejecución y operación; así como los
documentos organizacionales y de procedimientos aplicables a nivel local por parte del
Ente Público ejecutor, para la producción y entrega/recepción de los bienes y servicios a
los beneficiarios o áreas de enfoque, que se generan con los recursos.
Tema III. Evolución de la Cobertura. Analiza la evolución de la cobertura de atención entre
el año evaluado y el inmediato anterior.
Tema IV. Resultados y Ejercicio de los Recursos. Analiza el ejercicio de los recursos en
términos de eficacia y eficiencia, y el cumplimiento de resultados con base en indicadores
estratégicos.
Tema V. Seguimiento a Aspectos Susceptibles de Mejora. Identifica si el Programa fue
sujeto a evaluaciones externas y en su caso, el seguimiento a las recomendaciones
emitidas.
La respuesta a cada una de las preguntas metodológicas, independientemente de si se
antepone o no una “respuesta binaria” (Sí o No), se justifica plenamente con las referencias
correspondientes a la o las fuentes de información analizadas, mismas que se colocan al pie
de página.
Identificar los principales hallazgos derivados del análisis de cada una de las preguntas
metodológicas, en función de los objetivos y finalidades del Programa o recurso sujeto de
evaluación; e incluye la identificación de las principales fortalezas, oportunidades y retos (o
Términos de Referencia para la Evaluación de Consistencia y
Resultados
6
debilidades) identificados en cada uno de los temas evaluados, al tiempo que se emiten
recomendaciones por cada reto (o debilidad) identificados.
Refiere una conclusión general, así como por cada uno de los temas evaluados,
fundamentada en el análisis de los resultados.
Incluye un Resumen Ejecutivo, previo al documento formalizado del reporte.
Incorpora y enlista las recomendaciones específicas orientadas a mejorar la gestión y
operación de los recursos del Programa, determinadas como: “Aspectos Susceptibles de
Mejora”.
4.2 Formato de Respuesta
Cada una de las respuestas a las preguntas metodológicas de los presentes Términos de Referencia,
deberá ser respondida en su totalidad -incluyendo la justificación y el análisis- en máximo una cuartilla
por separado sin importar si en la página sobra espacio, salvo aquellas respuestas que lo requieran
debido a las tablas o cuadros solicitados como parte de éstas. Al inicio de página se escribirá la
pregunta y su número de pregunta correspondiente. Lo anterior, para dar claridad y concreción a la
evaluación. Asimismo, la respuesta deberá responderse de acuerdo con las especificaciones que se
describen a continuación.
4.2.1 Para las preguntas binarias, se deberá responder con alguna de las siguientes opciones:
Sí: cuando el Programa evaluado cuente con información o evidencia para responder la
pregunta.
No: cuando el Programa evaluado no cuente con información, evidencia para responder a la
pregunta o no se cumpla con ninguna de las características consideradas.
No aplica: cuando las particularidades del Programa no permitan responder a la pregunta. De
presentarse el caso, se deberán explicar las causas.
4.2.2 Para las preguntas de análisis descriptivo o explicativo (no binarias o que incluyen tablas
o gráficas), las respuestas se plasmarán en texto libre de manera clara y concisa.
Términos de Referencia para la Evaluación de Consistencia y
Resultados
7
4.2.3 Justificación:
La justificación de la respuesta, sea binaria (SÍ o NO), de análisis descriptivo o explicativo, deberá
hacer referencia a las fuentes de información utilizadas, colocadas como referencia al pie de página,
con letra Arial 9, párrafo sencillo y justificado. Lo anterior, para dar certeza a la respuesta.
4.3 Consideraciones de Respuesta
Cada una de las respuestas a las preguntas metodológicas deberán ser respondidas de
acuerdo al formato de respuesta establecido;
Las preguntas deberán ser respondidas en su totalidad e incluir su justificación, aunque la
respuesta haya sido “No” o “No aplica”;
De manera enunciativa más no limitativa, se deberán utilizar las fuentes de información
sugeridas en cada pregunta metodológica.
El evaluador podrá consultar información adicional que considere pertinente para aclarar o
mejorar la justificación brindada;
Se deberá cuidar en todo momento la congruencia entre las respuestas; y
En las preguntas metodológicas donde se establezca que se deba responder a un anexo, en
la respuesta se deberá hacer mención a éste e incluir una síntesis descriptiva de la
información en éstos contenida.
V. REPORTE DE EVALUACIÓN
5.1 Formato
La estructura del informe final de la evaluación, debe contener lo siguiente:
Portada con los logotipos de las dependencias que conforman el Comité PPR, el
Evaluador Externo, y la dependencia o entidad responsable del programa evaluado; el
nombre y tipo de evaluación del desempeño; así como la fecha de entrega del reporte.
Un Resumen Ejecutivo del reporte de evaluación (máximo 3 cuartillas).
●
●
El Índice de Contenido:
Introducción (máximo dos cuartillas, que incluyan el objetivo de la evaluación, los
temas evaluados y la metodología utilizada);
●
●
Términos de Referencia para la Evaluación de Consistencia y
Resultados
8
5.2 Anexos a incluir en el Reporte de Evaluación
Los Anexos a incluir en el Reporte de Evaluación son los siguientes:
El informe final se elabora con fuente Arial, tamaño 11, interlineado de 1.5, párrafo justificado,
numeración y referencias al pie de página con fuente Arial, tamaño 9, en párrafo sencillo y justificado.
Los márgenes derecho, inferior e izquierdo de la página se establecen a 2 centímetros cada uno,
quedando el margen superior en formato libre, de acuerdo con la extensión del nombre del Programa
sujeto de evaluación y los logotipos correspondientes.
Capítulo I. Características del Programa.
Capítulo II. Operación.
Capítulo III. Evolución de la Cobertura.
Capítulo IV. Resultados y Ejercicio de los Recursos.
Capítulo V. Seguimiento a los Aspectos Susceptibles de Mejora.
Capítulo VI. Conclusiones.
Anexos.
●
●
●
●
●
●
●
Anexo 1. Análisis Interno que incluye: Fortalezas y Oportunidades, Debilidades y
Recomendaciones pertinentes (Máximo cinco de cada una y en formato).
●
Anexo 2. Aspectos Susceptibles de Mejora
●
Anexo 3. Hallazgos
●
Anexo 4. Formato para la Difusión de los Resultados de las Evaluaciones (CONAC). ●
Anexo 5. Fuentes de Información (Base de datos de gabinete utilizadas para el análisis
en formato electrónico y/o impreso). ●
Términos de Referencia para la Evaluación de Consistencia y
Resultados
9
VI. CONSIDERACIONES PARA ELABORAR LAS CONCLUSIONES DE LA
EVALUACIÓN
Se deberá emitir una conclusión general así como una conclusión específica por tema evaluado. Las
conclusiones se ubican en el Capítulo VI del Reporte de evaluación, con un máximo de extensión de
dos cuartillas.
VII. ANÁLISIS INTERNO FODA
7.1 Consideraciones
Se deberán identificar y reportar un máximo de siete fortalezas y oportunidades, debilidades y
amenazas y emitir recomendaciones para cada uno de éstos, por cada tema evaluado; e incluirlo en
el Anexo 1 del reporte de evaluación correspondiente.
Para realizar el análisis, es importante definir el contenido de la siguiente forma:
• Fortalezas y Oportunidades: Elementos internos y positivos que propician la eficacia, eficiencia,
calidad en la entrega de bienes y servicios, y economía en la operación de los procesos del
Programa.
• Debilidades y Amenazas: Elementos internos que deben mejorar o sustituirse por otros, en aras de
alcanzar la eficacia, eficiencia, calidad en la entrega de bienes y servicios, y economía en la
operación de los procesos del Programa.
• Recomendaciones: Sugerencia de acciones que permitan abordar cada reto u oportunidad para
convertirlo en una fortaleza.
7.2 Formato
El formato por tema evaluado, en donde es indispensable anotar el número de pregunta metodológica
al que se haga alusión, es el siguiente:
Términos de Referencia para la Evaluación de Consistencia y
Resultados
10
Por su parte, las recomendaciones se deberán redactar de la siguiente manera:
Acción a realizar (verbo en infinitivo) + cómo realizar la acción (a través de) + objetivo de la acción
(para convertir la debilidad o reto en una fortaleza).
VIII. ASPECTOS SUSCEPTIBLES DE MEJORA
8.1 Consideraciones
Los Aspectos Susceptibles de Mejora (ASM), son los hallazgos en términos de los retos u
oportunidades, identificadas en una evaluación externa, las cuales deben ser atendidas para la
mejora de programas y proyectos.
Se basan en las recomendaciones y sugerencias señaladas por el evaluador externo, a partir de las
cuales los Entes Públicos ejecutores se comprometen a su realización para mejorar los programas.
Términos de Referencia para la Evaluación de Consistencia y
Resultados
11
Los ASM identificados deben cumplir con los siguientes criterios:
Claridad: estar expresado en forma precisa;
Relevancia: ser una aportación específica y significativa para el logro del Propósito del
Programa y de los componentes financiados con recursos del Programa;
Justificación: estar sustentado mediante la identificación de un problema público, debilidad,
oportunidad o amenaza; y
Factibilidad: ser viable de llevar a cabo, en un plazo determinado, por una o varias instancias
gubernamentales.
Asimismo, deben estar clasificados y enlistados por prioridad, de la siguiente manera:
• Aspectos específicos (AE): aquéllos cuya solución corresponde a la unidad
administrativa específica responsable del Programa (para el caso, de la ejecución del
Programa);
• Aspectos institucionales (AI): que requieren de la intervención de varias unidades
administrativas dentro de la misma dependencia o Ente Público, para su solución;
• Aspectos interinstitucionales (AID): que para su solución se deberá contar con
la participación de unidades administrativas ubicadas en otra dependencia o Ente
Público; y .
• Aspectos intergubernamentales (AIG): que demandan la intervención del
gobierno federal (aparte del Ente Público Estatal responsable de la ejecución de los
recursos del Programa) para su solución.
8.2 Formato
Los ASM se integran en el Anexo 2 del Reporte de Evaluación correspondiente, utilizando el siguiente
formato y anotando primero aquellos que son de alta priorización (a sugerencia del evaluador). No
obstante, el Ente Público deberá de decidir cuáles de éstos son viables y atendibles, y cuál es la
priorización, que desde su perspectiva, aplica:
Términos de Referencia para la Evaluación de Consistencia y
Resultados
12
IX. HALLAZGOS
9.1 Consideraciones
Con la finalidad de especificar los hallazgos en el Anexo 3 del Reporte de Evaluación, su definición es
la siguiente: “Son los resultados de la evaluación comparados con los objetivos (el general y los
específicos) de la misma”; por tanto, se enlistan de acuerdo con la siguiente ruta:
El desempeño del Programa o subsidio en cuanto al cumplimiento de objetivos y metas;
El desempeño del Programa o subsidio en cuanto a la orientación de los recursos;
El desempeño del Programa o subsidio en cuanto la evolución de la cobertura de atención;
El desempeño del Programa o subsidio en cuanto a la evolución del ejercicio de los recursos;
El desempeño del Programa o subsidio en cuanto las principales fortalezas, retos u
oportunidades y recomendaciones emitidas (la más relevante por tema analizado); y
Los aspectos susceptibles de mejora de nivel prioritario (alto) a atender.
Términos de Referencia para la Evaluación de Consistencia y
Resultados
13
9.2 Formato
Términos de Referencia para la Evaluación de Consistencia y
Resultados
14
X. FUENTES DE INFORMACIÓN
Las Fuentes de Información que componen la bitácora digital de los documentos y bases de datos
enviados por los Entes o Dependencias responsables de la ejecución de los recursos sujetos de
evaluación, se enlistan como fuentes primarias; en tanto que la información adicional que el evaluador
haya utilizado para complementar respuestas o su justificación, y que ha sido tomada de sitios
oficiales de internet, se enlista como fuentes secundarias.
Ambos listados se colocan en el Anexo 4 del Reporte de Evaluación.
XI. FORMATO PARA LA DIFUSIÓN DE LOS RESULTADOS DE LAS
EVALUACIONES (CONAC)
El siguiente formato oficial, una vez completado, deberá ubicarse como Anexo 5 en el Reporte de
Evaluación.
.
Formato para la Difusión de los Resultados de las Evaluaciones
Términos de Referencia para la Evaluación de Consistencia y
Resultados
15
Términos de Referencia para la Evaluación de Consistencia y
Resultados
16
Términos de Referencia para la Evaluación de Consistencia y
Resultados
17
Términos de Referencia para la Evaluación de Consistencia y
Resultados
18
XII. PREGUNTAS METODOLÓGICAS PARA LA EVALUACIÓN ESPECÍFICA
DE CONSISTENCIA Y RESULTADOS
Nota aclaratoria:
Para todas las preguntas y su consecuente respuesta, cuando se haga referencia al
Programa en el “Reporte de Evaluación” se deberá escribir el nombre específico de
éste, según corresponda.
Términos de Referencia para la Evaluación de Consistencia y
Resultados
19
TEMA I. CARACTERÍSTICAS DEL PROGRAMA
1. Describir las características del Programa.
Notas para el evaluador
La definición debe incluir:
a) Normatividad aplicable
b) Ente Público responsable de la ejecución de los recursos del Programa
c) Objetivo
d) Tipología de bienes y servicios financiados con recursos del Programa en el 2015
e) Población potencial, población objetivo y población atendida (o áreas de enfoque)
Tipo de Respuesta: Análisis Descriptivo
2. ¿Cuál es la contribución del Programa a los Objetivos Nacionales?
Notas para el evaluador
La contribución debe incluir el Objetivo, la principal Estrategia y las Líneas de Acción del Plan
Nacional de Desarrollo al cual está alineado el Programa.
Tipo de Respuesta: Análisis Descriptivo
3. ¿Cuál es la contribución del Programa a los Objetivos Estatales?
Notas para el evaluador
La contribución debe incluir el Objetivo, la principal Estrategia y las Líneas de Acción del Plan Estatal
de Desarrollo al cual está alineado el Programa.
Tipo de Respuesta: Análisis Descriptivo
Términos de Referencia para la Evaluación de Consistencia y
Resultados
20
4. ¿Se cuenta con un árbol de problemas donde se justifique la entrega de bienes y
servicios?
Notas para el evaluador
La justificación de la respuesta debe incluir el problema central que se resuelve.
Tipo de Respuesta: Binaria
6. ¿El destino de los recursos del Programa es el adecuado para atender el problema?
Notas para el evaluador
La justificación de la respuesta debe incluir el problema central que se resuelve con el tipo de bienes
y servicios que componen y son financiados con recursos del Programa.
Tipo de Respuesta: Binaria
7. ¿Cuáles son los objetivos estratégicos del Programa?
Notas para el evaluador
La respuesta debe incluir los objetivos de Fin, Propósito y Componentes del Programa, y los
supuestos correspondientes por nivel de desempeño; así como un análisis de la Lógica Vertical
Ascendente de la MIR Estatal del Programa.
Tipo de Respuesta: Análisis Descriptivo
TEMA II. OPERACIÓN
9. Describa la MIR y el cumplimiento a las metas asociadas a los indicadores estratégicos y de
gestión.
Notas para el evaluador
Incluir un análisis descriptivo de la parte operativa del programa señalada en la MIR Estatal, así
como la lógica vertical ascendente entre las actividades o procesos de gestión y los supuestos en
Términos de Referencia para la Evaluación de Consistencia y
Resultados
21
este nivel de desempeño del Programa, encadenados con cada componente.
Tipo de Respuesta: Análisis Descriptivo
10. ¿El programa cuenta con información sistematizada que permite conocer la demanda total de
apoyos y las características a los solicitantes? (socioeconómicas en el caso de personas físicas y
específicas en el caso de personas morales)
Notas para el evaluador
La justificación de la respuesta debe especificar con qué información sistematizada cuenta el
programa y en su caso, la información faltante; y la argumentación de por qué se considera que el
programa conoce en esa medida su demanda de apoyos y a sus solicitantes.
Tipo de Respuesta: Binaria
11. ¿Existe congruencia entre las reglas de operación y la normatividad aplicable, con a las
actividades y los componentes que se producen y entregan a los beneficiarios?
Notas para el evaluador:
La respuesta debe incluir un cuadro comparativo.
Tipo de Respuesta: Binaria
12. El programa cuenta con mecanismos documentados para verificar el procedimiento para recibir,
registrar y dar trámite a las solicitudes de apoyo con las siguientes características:
a) Son consistentes con la población objetivo.
b) Están estandarizados, es decir, son utilizados por todas las instancias ejecutoras
c) Están sistematizados
d) Están difundidos públicamente.
Notas para el evaluador
La respuesta debe señalar cuales son las características establecidas que tienen los mecanismos
Términos de Referencia para la Evaluación de Consistencia y
Resultados
22
para verificar el procedimiento para recibir, registrar y dar trámite a las solicitudes de apoyo y la
evidencia de dichas afirmaciones.
Asimismo, responder a cada uno de los incisos.
Tipo de Respuesta: Binaria
14. ¿El Ente Público ejecutor de los recursos del Programa cuenta con una estructura organizacional
que le permita entregar y/o producir los Componentes y alcanzar el logro del Propósito?
Nota para el evaluador
La justificación de la respuesta debe incluir el organigrama del ente ejecutor de los recursos del
Programa, y señalar o remarcar el área o unidad responsable de la generación y entrega de los
bienes y servicios asociados con los recursos del Programa, así como sus respectivas funciones
administrativas.
Tipo de Respuesta: Binaria
15. Los procedimientos del programa para la selección de beneficiarios, y/o proyectos tienen las
siguientes características:
a) Incluyen criterios de elegibilidad claramente específicos, es decir, no existe ambigüedad en su
redacción.
b) Están estandarizados, es decir, son utilizados por todas las instancias ejecutoras.
c) Están sistematizados.
d) Están difundidos públicamente.
Nota para el evaluador
La justificación de la respuesta debe señalar cuáles son las características establecidas que tienen
los procedimientos utilizados por el programa para la selección de proyectos y/o beneficiarios y la
evidencia de dichas afirmaciones. Asimismo, se deben mencionar las áreas de mejora detectadas en
los procedimientos y las características que no tienen.
Términos de Referencia para la Evaluación de Consistencia y
Resultados
23
Tipo de Respuesta: Binaria
TEMA III. EVOLUCIÓN DE LA COBERTURA
18. ¿El Ente Público responsable de la ejecución de los recursos del Programa cuenta con una
estrategia de cobertura documentada para atender a los beneficiarios de los bienes y servicios
generados, con las siguientes características?
a) Incluye la definición de la población objetivo;
b) Especifica metas de cobertura anual;
c) Abarca un horizonte de corto, mediano y/o largo plazo; y
d) Es congruente con el diseño y operación del Programa.
Tipo de Respuesta: binaria
19. ¿Cómo ha evolucionado la cobertura de atención a los beneficiarios de los bienes y servicios
financiados con los recursos del Programa?
Notas para el evaluador
Se deberá analizar la evolución a través del porcentaje de cobertura de atención a la población
objetivo en el 2014 y 2015; por tanto, es necesario completar la siguiente Tabla y graficar la cantidad
de beneficiarios para cada una de las Poblaciones y años de referencia como se muestra en la
siguiente gráfica de ejemplo, e incluirla como parte de la respuesta:
Términos de Referencia para la Evaluación de Consistencia y
Resultados
24
Asimismo y como parte del análisis, se deberán incluir y analizar la siguiente fórmula:
𝑉𝑎𝑟𝑖𝑎𝑐𝑖ó𝑛 𝑝𝑜𝑟𝑐𝑒𝑛𝑡𝑢𝑎𝑙 𝑎𝑛𝑢𝑎𝑙 = [(𝑃𝑜𝑏𝑙𝑎𝑐𝑖ó𝑛 𝐴𝑡𝑒𝑛𝑑𝑖𝑑𝑎 2015/𝑃𝑜𝑏𝑙𝑎𝑐𝑖ó𝑛 𝐴𝑡𝑒𝑛𝑑𝑖𝑑𝑎 2014) − 1] ∗ 100
En caso de que la población esté focalizada a personas, se deberá completar la tabla y realizar el
cálculo por el total de personas.
En caso de que parte de la población este determinada por de áreas de enfoque (localidades,
colonias, familias, entre otros) se deberá completar la tabla y realizar el cálculo de manera separada,
y explicar la situación que se observa.
PoblaciónPotencial
PoblaciónObjetivo
PoblaciónAtendida
2014 100 70 70
2015 120 75 50
0
20
40
60
80
100
120
140P
ob
lació
n
Evolución de la Cobertura del Programa
Términos de Referencia para la Evaluación de Consistencia y
Resultados
25
Tipo de Respuesta: Análisis Descriptivo y Explicativo
TEMA IV. RESULTADO Y EJERCICIO DE LOS RECURSOS
20. ¿Cuál es el resultado histórico de los indicadores de desempeño del Programa respecto a sus
metas?
Notas para el evaluador
La respuesta debe incluir una gráfica que muestre el comportamiento de los indicadores del
Programa a nivel de Fin, Propósito y Componentes de la MIR Estatal del ejercicio fiscal 2015,
respecto al del 2014.
Tipo de Respuesta: Análisis Descriptivo y Explicativo
21. En caso de aplicar, ¿Cuál es el resultado histórico de los indicadores de desempeño en la MIR
Federal del Programa?
Notas para el evaluador
La respuesta debe incluir una tabla comparativa de la MIR federal del Programa 2014 y 2015, así
como el análisis correspondiente.
Tipo de Respuesta: Binaria y Análisis Descriptivo de la tabla.
22. ¿Cuáles son los resultados alcanzados con la ejecución de los recursos del Programa, de
acuerdo con el Cumplimiento a las Metas del Programa Operativo Anual (POA)?
Términos de Referencia para la Evaluación de Consistencia y
Resultados
26
Notas para el evaluador
La respuesta debe incluir la siguiente fórmula y una gráfica del porcentaje de metas cumplidas. Se
podrá tomar como cumplida si alcanza desde el 90 al 100% de cumplimiento.
Las metas a considerar son las correspondientes a nivel de Fin, Propósito y Componentes.
% 𝑑𝑒 𝑀𝑒𝑡𝑎𝑠 𝐶𝑢𝑚𝑝𝑙𝑖𝑑𝑎𝑠 =∑ 𝑀𝑒𝑡𝑎𝑠 𝐿𝑜𝑔𝑟𝑎𝑑𝑎𝑠
∑ 𝑀𝑒𝑡𝑎𝑠 𝑃𝑟𝑜𝑔𝑟𝑎𝑚𝑎𝑑𝑎𝑠∗ 100
Tipo de Respuesta: Análisis Descriptivo y Explicativo
23. ¿Cuál es el comportamiento histórico de los recursos del Programa?
Notas para el evaluador
La respuesta debe incluir la siguiente tabla, así como el análisis respectivo.
Tipo de Respuesta: Análisis Descriptivo y Explicativo
24. ¿En qué porcentaje el Presupuesto Modificado del Programa fue devengado y ejercido?
Notas para el evaluador
La respuesta debe incluir las siguientes fórmulas, así como el análisis de su resultado.
% 𝑃𝑟𝑒𝑠𝑢𝑝𝑢𝑒𝑠𝑡𝑜 𝐷𝑒𝑣𝑒𝑛𝑔𝑎𝑑𝑜 =𝑃𝑟𝑒𝑠𝑢𝑝𝑢𝑒𝑠𝑡𝑜 𝐷𝑒𝑣𝑒𝑛𝑔𝑎𝑑𝑜
𝑃𝑟𝑒𝑠𝑢𝑝𝑢𝑒𝑠𝑡𝑜 𝑀𝑜𝑑𝑖𝑓𝑖𝑐𝑎𝑑𝑜∗ 100
Términos de Referencia para la Evaluación de Consistencia y
Resultados
27
% 𝑃𝑟𝑒𝑠𝑢𝑝𝑢𝑒𝑠𝑡𝑜 𝐸𝑗𝑒𝑟𝑐𝑖𝑑𝑜 =𝑃𝑟𝑒𝑠𝑢𝑝𝑢𝑒𝑠𝑡𝑜 𝐸𝑗𝑒𝑟𝑐𝑖𝑑𝑜
𝑃𝑟𝑒𝑠𝑢𝑝𝑢𝑒𝑠𝑡𝑜 𝑀𝑜𝑑𝑖𝑓𝑖𝑐𝑎𝑑𝑜∗ 100
Tipo de Respuesta: Análisis Explicativo
26. ¿Cuál es la relación costo-efectividad del recurso ejercido?
Notas para el evaluador
La respuesta incluye la resolución de la siguiente fórmula; la comparación del resultado con la tabla
de valores ponderados; y el análisis correspondiente.
𝐶𝑜𝑠𝑡𝑜 𝐸𝑓𝑒𝑐𝑡𝑖𝑣𝑖𝑑𝑎𝑑 =
𝑃𝑟𝑒𝑠𝑢𝑝𝑢𝑒𝑠𝑡𝑜 𝑀𝑜𝑑𝑖𝑓𝑖𝑐𝑎𝑑𝑜
𝑃𝑜𝑏𝑙𝑎𝑐𝑖ó𝑛 𝑂𝑏𝑗𝑒𝑡𝑖𝑣𝑜
𝑃𝑟𝑒𝑠𝑢𝑝𝑢𝑒𝑠𝑡𝑜 𝐸𝑗𝑒𝑟𝑐𝑖𝑑𝑜
𝑃𝑜𝑏𝑙𝑎𝑐𝑖ó𝑛 𝐴𝑡𝑒𝑛𝑑𝑖𝑑𝑎
Tabla de valores ponderados
Rechazable Débil Aceptable
Costo-
efectividad
esperado
Aceptable eficiente Muy eficiente
0 0.49 0.735 1 1.265 1.51 2
Tipo de Respuesta: Análisis Descriptivo y Explicativo
27. ¿Cuál fue el gasto esperado de acuerdo con las Metas Logradas?
Notas para el evaluador
La respuesta implica que se calcule lo que se esperaba gastar de acuerdo con el cumplimiento de
metas reportado en el “seguimiento a las metas del Programa Operativo Anual”, para lo cual se debe
Términos de Referencia para la Evaluación de Consistencia y
Resultados
28
aplicar la siguiente fórmula, misma que deberá formar parte de la respuesta.
𝐺𝑎𝑠𝑡𝑜 𝑒𝑠𝑝𝑒𝑟𝑎𝑑𝑜 𝑑𝑒 𝑎𝑐𝑢𝑒𝑟𝑑𝑜 𝑎 𝑙𝑎𝑠 𝑀𝑒𝑡𝑎𝑠 𝐿𝑜𝑔𝑟𝑎𝑑𝑎𝑠 =𝐺𝑎𝑠𝑡𝑜 𝐸𝑗𝑒𝑟𝑐𝑖𝑑𝑜 × 𝑀𝑒𝑡𝑎𝑠 𝐿𝑜𝑔𝑟𝑎𝑑𝑎𝑠 𝑒𝑛 𝑒𝑙 𝑃𝑂𝐴
𝑀𝑒𝑡𝑎𝑠 𝑃𝑟𝑜𝑔𝑟𝑎𝑚𝑎𝑑𝑎𝑠
Tipo de Respuesta: Análisis explicativo
28. ¿Cuál es el costo promedio por beneficiario atendido con los bienes y servicios financiados con
recursos del Programa?
Notas para el evaluador
Como parte de la respuesta, se debe calcular la el costo promedio por beneficiario atendido
utilizando la siguiente fórmula; y realizar el análisis correspondiente.
𝐶𝑃𝐵𝐴 =𝐺𝐼
𝑃𝐴
En donde
CPBA: Costo promedio por beneficiario atendido.
GI: Gasto de total de inversión del año evaluado.
PA: Población efectivamente atendida o beneficiada con los bienes y servicios generados con
recursos del Programa.
Tipo de Respuesta: Análisis Descriptivo y Explicativo.
TEMA V. SEGUIMIENTO A LOS ASPECTOS SUSCEPTIBLES DE MEJORA
29. Como parte de la evaluación del ejercicio 2014 del Programa ¿Fueron emitidas recomendaciones
y aspectos susceptibles de mejora?
Tipo de Respuesta: binaria
30. En caso que la respuesta a la pregunta anterior sea afirmativa ¿Existe evidencia de que las
recomendaciones fueron empleadas para mejorar el desempeño del Programa?
Términos de Referencia para la Evaluación de Consistencia y
Resultados
29
Tipo de Respuesta: binaria