tÉrminos de referencia para la evaluaciÓn de …...cada una de las respuestas a las preguntas...

30
TÉRMINOS DE REFERENCIA PARA LA EVALUACIÓN DE CONSISTENCIA Y RESULTADOS

Upload: others

Post on 26-Mar-2020

3 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: TÉRMINOS DE REFERENCIA PARA LA EVALUACIÓN DE …...Cada una de las respuestas a las preguntas metodológicas de los presentes Términos de Referencia, deberá ser respondida en su

TÉRMINOS DE REFERENCIA PARA LA

EVALUACIÓN DE CONSISTENCIA Y

RESULTADOS

Page 2: TÉRMINOS DE REFERENCIA PARA LA EVALUACIÓN DE …...Cada una de las respuestas a las preguntas metodológicas de los presentes Términos de Referencia, deberá ser respondida en su

Términos de Referencia para la Evaluación de Consistencia y

Resultados

1

I. INTRODUCCIÓN

Con la finalidad de facilitar la evaluación y con ello mejorar la gestión y la decisión presupuestal, el

Gobierno del Estado de Nuevo León, a través del Comité de Planeación Presupuesto y Rendición de

Cuentas (Comité PPR), integrado por la Coordinación Ejecutiva de la Administración Pública del

Estado, la Secretaría de Finanzas y Tesorería General del Estado, así como la Contraloría y

Transparencia Gubernamental, con base en los Lineamientos Generales para la Evaluación de

Programas del Estado de Nuevo León, elaboró los presentes Términos de Referencia para la

Evaluación de Consistencia y Resultados de los Programas que sean evaluados bajo esta

metodología y señalados en el Programa Anual de Evaluación 2016 , publicado en el Periódico Oficial

del Estado el 29 de Abril del presente año.

Entre los elementos más importantes que inciden directamente en la acción de gobierno, es la

transparencia y la rendición de cuentas; su orientación requiere del conocimiento de resultados

concretos, confiables y verificables de la aplicación del gasto público, de acuerdo con Artículo 134

Constitucional, la Ley Federal de Presupuesto y Responsabilidad Hacendaria, la Ley de Coordinación

Fiscal, y la Ley General de Contabilidad Gubernamental.

El presente documento describe los alcances que se esperan de una Evaluación de Consistencia y

Resultados, para con ello, proporcionar a los responsables de la administración y ejecución de los

programas evaluados, elementos sustentados que permitan llevar a cabo acciones encaminadas a

mejorar el desempeño de los mismos; así como una apreciación informada acerca de su orientación

para el logro de resultados.

En los siguientes apartados se presentan los objetivos de la evaluación, seguidos por las

responsabilidades y compromisos que deben asumir el Comité de Presupuesto para Resultados

(GpR), la Secretaría de Finanzas y Tesorería General del Estado, así como de la Instancia o

Consultora Técnica Evaluadora Externa, para concretar de manera óptima el reporte final de

evaluación requerido.

Asimismo, se describe la metodología correspondiente, el formato a utilizar para responder a las

preguntas metodológicas que la conforman y las consideraciones de respuesta, y cómo debe estar

estructurado el reporte de evaluación y sus anexos.

Page 3: TÉRMINOS DE REFERENCIA PARA LA EVALUACIÓN DE …...Cada una de las respuestas a las preguntas metodológicas de los presentes Términos de Referencia, deberá ser respondida en su

Términos de Referencia para la Evaluación de Consistencia y

Resultados

2

II. OBJETIVOS

2.1 Objetivo General

Evaluar la consistencia y los resultados del programa presupuestario, con el fin de proveer

información que retroalimente su diseño, su la gestión en la entrega de bienes y servicios a la

población beneficiaria, los resultados de la aplicación de los recursos públicos, y rendir cuentas a la

sociedad.

2.2 Objetivos Específicos

Analizar la lógica y congruencia en el diseño del programa, su vinculación con la planeación

sectorial y nacional, la consistencia entre el diseño y la normatividad aplicable, así como las

posibles complementariedades y/o coincidencias con otros programas federales;

Identificar si el programa cuenta con instrumentos de planeación y orientación hacia

resultados;

Verificar las acciones realizadas mediante el análisis de objetivos y el cumplimiento de metas.

Analizar y reportar la evolución de la cobertura de atención.

Analizar la evolución del ejercicio de los recursos.

Realizar un análisis interno que permita identificar las principales Fortalezas y Oportunidades,

Debilidades y Amenazas, y emitir recomendaciones pertinentes.

Identificar los hallazgos relevantes derivados de la evaluación.

Identificar los principales Aspectos Susceptibles de Mejora (ASM).

III. RESPONSABILIDADES Y COMPROMISOS

3.1 De la Secretaría de Finanzas y Tesorería General del Estado de Nuevo León:

Por acuerdo del Comité, la Secretaría de Finanzas y Tesorería General del Estado, a través de la

Dirección de Presupuesto y Control Presupuestal, ha sido designada como coordinador de los

trabajos entre la Consultora Evaluadora Externa y la Entidad o Dependencia responsable de la

ejecución de los recursos sujetos de evaluación.

Page 4: TÉRMINOS DE REFERENCIA PARA LA EVALUACIÓN DE …...Cada una de las respuestas a las preguntas metodológicas de los presentes Términos de Referencia, deberá ser respondida en su

Términos de Referencia para la Evaluación de Consistencia y

Resultados

3

Suministrar a la Instancia Técnica o Consultora Evaluadora Externa la documentación

entregada y validada por la Entidad o Dependencia responsable de la ejecución de los

recursos sujetos de evaluación, así como las bases de datos correspondientes.

Socializar el reporte preliminar de evaluación con la Entidad o Dependencia responsable de la

ejecución de los recursos sujetos a evaluación, para establecer una etapa de

retroalimentación entre éste y la Instancia Técnica Evaluadora.

Verificar el informe preliminar y entregar oportunamente a la Instancia Técnica o Consultora

Evaluadora Externa los comentarios que de cada revisión resulten, a fin de que sean

incorporados por el evaluador en la versión final del informe correspondiente.

3.2 Del Comité:

Verificar y validar el que cada uno de los reportes de evaluación elaborados por la Instancia o

Consultora Técnica Evaluadora Externa, cumplan con el contenido establecido en estos

Términos de Referencia.

3.3 De la Instancia o Consultora Técnica Evaluadora Externa:

La calidad del estudio y el cumplimiento puntual a estos Términos de Referencia.

Atender puntualmente las fechas señaladas en el calendario específico que forma parte del

Contrato o Convenio por la prestación de los Servicios de Evaluación.

Enviar los reportes de Evaluación tanto de manera digital al correo electrónico

[email protected], como en copia física a la Dirección de Presupuesto y

Control Presupuestal, con domicilio en calle General Mariano Escobedo 333, Zona Centro,

C.P. 64000 Monterrey, Nuevo León, mediante oficio en hoja membretada y firmada por el

representante de la Institución o Consultora Técnica Evaluadora Externa. Lo anterior conforme

al calendario de entregas especificado en el Contrato o Convenio.

La versión final de los reportes de evaluación deberán ser entregados en formato digital como

como en copia física a la Dirección de Presupuesto y Control Presupuestal, con domicilio en

calle General Mariano Escobedo 333, Zona Centro, C.P. 64000 Monterrey, Nuevo León, en

tres tantos, correspondientes: un tanto al Ente Público o Dependencia responsable de la

ejecución del recurso evaluado, y dos tantos a la Secretaría de Finanzas y Tesorería General

Page 5: TÉRMINOS DE REFERENCIA PARA LA EVALUACIÓN DE …...Cada una de las respuestas a las preguntas metodológicas de los presentes Términos de Referencia, deberá ser respondida en su

Términos de Referencia para la Evaluación de Consistencia y

Resultados

4

del Estado de Nuevo León, cumpliendo con las características y especificaciones que

contempla el presente documento.

IV. METODOLOGÍA

4.1 Descripción

La metodología de evaluación contenida en estos Términos de Referencia, está basada en los

emitidos por Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL); no

obstante y de acuerdo con las necesidades de información que requiere este Gobierno Estatal, fueron

adecuados algunos de los temas de análisis y sus respectivas preguntas metodológicas.

En ese sentido, dicha metodología fue diseñada para generar información útil, rigurosa y homogénea

para los Entes Públicos Estatales, de tal forma que contribuya a mejorar la toma de decisiones a nivel

directivo; esto es, a nivel estratégico y con ello, mejorar la Gestión para Resultados.

4.1.1 Características

Implica la valoración de consistencia y resultados de la ejecución de los recursos, donde se

pretende mostrar el avance en el cumplimiento de los objetivos y metas programadas,

mediante el análisis de indicadores de desempeño y con base en la información entregada por

los Entes Públicos ejecutores.

Comprende un “Análisis de Gabinete”; esto es, un análisis valorativo de la información

contenida en registros administrativos, bases de datos, evaluaciones, documentos oficiales,

documentos normativos y sistemas de información, entre otros; acopiados y enviados como

“fuentes de información” por parte de la SFyTGE, y remitida por ésta a la Instancia Técnica

Evaluadora Externa.

Para llevar a cabo el “Análisis de Gabinete”, el equipo evaluador deberá considerar como

mínimo la información proporcionada por la SFyTGE. No obstante, estos documentos son

enunciativos más no limitativos; por tanto, también se deberá consultar la información pública

dispuesta en las diferentes páginas de transparencia fiscal y gubernamental.

Page 6: TÉRMINOS DE REFERENCIA PARA LA EVALUACIÓN DE …...Cada una de las respuestas a las preguntas metodológicas de los presentes Términos de Referencia, deberá ser respondida en su

Términos de Referencia para la Evaluación de Consistencia y

Resultados

5

Contiene 30 preguntas metodológicas agrupadas en cinco temas, de la siguiente manera:

Tema I. Características del Programa. Incluye un resumen enfocado a las características

del Programa o recurso sujeto de evaluación, que contempla la definición, justificación,

población beneficiaria o área de enfoque de los bienes y servicios que se producen y

proveen, y la ejecución del gasto. Analiza la contribución y alineación de las acciones

realizadas, con el Plan Nacional de Desarrollo 2013-2018 y el Plan Estatal de Desarrollo

2010-2016; y analiza si existen interrelaciones, complementariedades y/o coincidencias

con otros Programas, estatales y/o federales.

Tema II. Operación. Analiza la normatividad aplicable al Programa o recurso sujeto de

evaluación, que implica los lineamientos de ejecución y operación; así como los

documentos organizacionales y de procedimientos aplicables a nivel local por parte del

Ente Público ejecutor, para la producción y entrega/recepción de los bienes y servicios a

los beneficiarios o áreas de enfoque, que se generan con los recursos.

Tema III. Evolución de la Cobertura. Analiza la evolución de la cobertura de atención entre

el año evaluado y el inmediato anterior.

Tema IV. Resultados y Ejercicio de los Recursos. Analiza el ejercicio de los recursos en

términos de eficacia y eficiencia, y el cumplimiento de resultados con base en indicadores

estratégicos.

Tema V. Seguimiento a Aspectos Susceptibles de Mejora. Identifica si el Programa fue

sujeto a evaluaciones externas y en su caso, el seguimiento a las recomendaciones

emitidas.

La respuesta a cada una de las preguntas metodológicas, independientemente de si se

antepone o no una “respuesta binaria” (Sí o No), se justifica plenamente con las referencias

correspondientes a la o las fuentes de información analizadas, mismas que se colocan al pie

de página.

Identificar los principales hallazgos derivados del análisis de cada una de las preguntas

metodológicas, en función de los objetivos y finalidades del Programa o recurso sujeto de

evaluación; e incluye la identificación de las principales fortalezas, oportunidades y retos (o

Page 7: TÉRMINOS DE REFERENCIA PARA LA EVALUACIÓN DE …...Cada una de las respuestas a las preguntas metodológicas de los presentes Términos de Referencia, deberá ser respondida en su

Términos de Referencia para la Evaluación de Consistencia y

Resultados

6

debilidades) identificados en cada uno de los temas evaluados, al tiempo que se emiten

recomendaciones por cada reto (o debilidad) identificados.

Refiere una conclusión general, así como por cada uno de los temas evaluados,

fundamentada en el análisis de los resultados.

Incluye un Resumen Ejecutivo, previo al documento formalizado del reporte.

Incorpora y enlista las recomendaciones específicas orientadas a mejorar la gestión y

operación de los recursos del Programa, determinadas como: “Aspectos Susceptibles de

Mejora”.

4.2 Formato de Respuesta

Cada una de las respuestas a las preguntas metodológicas de los presentes Términos de Referencia,

deberá ser respondida en su totalidad -incluyendo la justificación y el análisis- en máximo una cuartilla

por separado sin importar si en la página sobra espacio, salvo aquellas respuestas que lo requieran

debido a las tablas o cuadros solicitados como parte de éstas. Al inicio de página se escribirá la

pregunta y su número de pregunta correspondiente. Lo anterior, para dar claridad y concreción a la

evaluación. Asimismo, la respuesta deberá responderse de acuerdo con las especificaciones que se

describen a continuación.

4.2.1 Para las preguntas binarias, se deberá responder con alguna de las siguientes opciones:

Sí: cuando el Programa evaluado cuente con información o evidencia para responder la

pregunta.

No: cuando el Programa evaluado no cuente con información, evidencia para responder a la

pregunta o no se cumpla con ninguna de las características consideradas.

No aplica: cuando las particularidades del Programa no permitan responder a la pregunta. De

presentarse el caso, se deberán explicar las causas.

4.2.2 Para las preguntas de análisis descriptivo o explicativo (no binarias o que incluyen tablas

o gráficas), las respuestas se plasmarán en texto libre de manera clara y concisa.

Page 8: TÉRMINOS DE REFERENCIA PARA LA EVALUACIÓN DE …...Cada una de las respuestas a las preguntas metodológicas de los presentes Términos de Referencia, deberá ser respondida en su

Términos de Referencia para la Evaluación de Consistencia y

Resultados

7

4.2.3 Justificación:

La justificación de la respuesta, sea binaria (SÍ o NO), de análisis descriptivo o explicativo, deberá

hacer referencia a las fuentes de información utilizadas, colocadas como referencia al pie de página,

con letra Arial 9, párrafo sencillo y justificado. Lo anterior, para dar certeza a la respuesta.

4.3 Consideraciones de Respuesta

Cada una de las respuestas a las preguntas metodológicas deberán ser respondidas de

acuerdo al formato de respuesta establecido;

Las preguntas deberán ser respondidas en su totalidad e incluir su justificación, aunque la

respuesta haya sido “No” o “No aplica”;

De manera enunciativa más no limitativa, se deberán utilizar las fuentes de información

sugeridas en cada pregunta metodológica.

El evaluador podrá consultar información adicional que considere pertinente para aclarar o

mejorar la justificación brindada;

Se deberá cuidar en todo momento la congruencia entre las respuestas; y

En las preguntas metodológicas donde se establezca que se deba responder a un anexo, en

la respuesta se deberá hacer mención a éste e incluir una síntesis descriptiva de la

información en éstos contenida.

V. REPORTE DE EVALUACIÓN

5.1 Formato

La estructura del informe final de la evaluación, debe contener lo siguiente:

Portada con los logotipos de las dependencias que conforman el Comité PPR, el

Evaluador Externo, y la dependencia o entidad responsable del programa evaluado; el

nombre y tipo de evaluación del desempeño; así como la fecha de entrega del reporte.

Un Resumen Ejecutivo del reporte de evaluación (máximo 3 cuartillas).

El Índice de Contenido:

Introducción (máximo dos cuartillas, que incluyan el objetivo de la evaluación, los

temas evaluados y la metodología utilizada);

Page 9: TÉRMINOS DE REFERENCIA PARA LA EVALUACIÓN DE …...Cada una de las respuestas a las preguntas metodológicas de los presentes Términos de Referencia, deberá ser respondida en su

Términos de Referencia para la Evaluación de Consistencia y

Resultados

8

5.2 Anexos a incluir en el Reporte de Evaluación

Los Anexos a incluir en el Reporte de Evaluación son los siguientes:

El informe final se elabora con fuente Arial, tamaño 11, interlineado de 1.5, párrafo justificado,

numeración y referencias al pie de página con fuente Arial, tamaño 9, en párrafo sencillo y justificado.

Los márgenes derecho, inferior e izquierdo de la página se establecen a 2 centímetros cada uno,

quedando el margen superior en formato libre, de acuerdo con la extensión del nombre del Programa

sujeto de evaluación y los logotipos correspondientes.

Capítulo I. Características del Programa.

Capítulo II. Operación.

Capítulo III. Evolución de la Cobertura.

Capítulo IV. Resultados y Ejercicio de los Recursos.

Capítulo V. Seguimiento a los Aspectos Susceptibles de Mejora.

Capítulo VI. Conclusiones.

Anexos.

Anexo 1. Análisis Interno que incluye: Fortalezas y Oportunidades, Debilidades y

Recomendaciones pertinentes (Máximo cinco de cada una y en formato).

Anexo 2. Aspectos Susceptibles de Mejora

Anexo 3. Hallazgos

Anexo 4. Formato para la Difusión de los Resultados de las Evaluaciones (CONAC). ●

Anexo 5. Fuentes de Información (Base de datos de gabinete utilizadas para el análisis

en formato electrónico y/o impreso). ●

Page 10: TÉRMINOS DE REFERENCIA PARA LA EVALUACIÓN DE …...Cada una de las respuestas a las preguntas metodológicas de los presentes Términos de Referencia, deberá ser respondida en su

Términos de Referencia para la Evaluación de Consistencia y

Resultados

9

VI. CONSIDERACIONES PARA ELABORAR LAS CONCLUSIONES DE LA

EVALUACIÓN

Se deberá emitir una conclusión general así como una conclusión específica por tema evaluado. Las

conclusiones se ubican en el Capítulo VI del Reporte de evaluación, con un máximo de extensión de

dos cuartillas.

VII. ANÁLISIS INTERNO FODA

7.1 Consideraciones

Se deberán identificar y reportar un máximo de siete fortalezas y oportunidades, debilidades y

amenazas y emitir recomendaciones para cada uno de éstos, por cada tema evaluado; e incluirlo en

el Anexo 1 del reporte de evaluación correspondiente.

Para realizar el análisis, es importante definir el contenido de la siguiente forma:

• Fortalezas y Oportunidades: Elementos internos y positivos que propician la eficacia, eficiencia,

calidad en la entrega de bienes y servicios, y economía en la operación de los procesos del

Programa.

• Debilidades y Amenazas: Elementos internos que deben mejorar o sustituirse por otros, en aras de

alcanzar la eficacia, eficiencia, calidad en la entrega de bienes y servicios, y economía en la

operación de los procesos del Programa.

• Recomendaciones: Sugerencia de acciones que permitan abordar cada reto u oportunidad para

convertirlo en una fortaleza.

7.2 Formato

El formato por tema evaluado, en donde es indispensable anotar el número de pregunta metodológica

al que se haga alusión, es el siguiente:

Page 11: TÉRMINOS DE REFERENCIA PARA LA EVALUACIÓN DE …...Cada una de las respuestas a las preguntas metodológicas de los presentes Términos de Referencia, deberá ser respondida en su

Términos de Referencia para la Evaluación de Consistencia y

Resultados

10

Por su parte, las recomendaciones se deberán redactar de la siguiente manera:

Acción a realizar (verbo en infinitivo) + cómo realizar la acción (a través de) + objetivo de la acción

(para convertir la debilidad o reto en una fortaleza).

VIII. ASPECTOS SUSCEPTIBLES DE MEJORA

8.1 Consideraciones

Los Aspectos Susceptibles de Mejora (ASM), son los hallazgos en términos de los retos u

oportunidades, identificadas en una evaluación externa, las cuales deben ser atendidas para la

mejora de programas y proyectos.

Se basan en las recomendaciones y sugerencias señaladas por el evaluador externo, a partir de las

cuales los Entes Públicos ejecutores se comprometen a su realización para mejorar los programas.

Page 12: TÉRMINOS DE REFERENCIA PARA LA EVALUACIÓN DE …...Cada una de las respuestas a las preguntas metodológicas de los presentes Términos de Referencia, deberá ser respondida en su

Términos de Referencia para la Evaluación de Consistencia y

Resultados

11

Los ASM identificados deben cumplir con los siguientes criterios:

Claridad: estar expresado en forma precisa;

Relevancia: ser una aportación específica y significativa para el logro del Propósito del

Programa y de los componentes financiados con recursos del Programa;

Justificación: estar sustentado mediante la identificación de un problema público, debilidad,

oportunidad o amenaza; y

Factibilidad: ser viable de llevar a cabo, en un plazo determinado, por una o varias instancias

gubernamentales.

Asimismo, deben estar clasificados y enlistados por prioridad, de la siguiente manera:

• Aspectos específicos (AE): aquéllos cuya solución corresponde a la unidad

administrativa específica responsable del Programa (para el caso, de la ejecución del

Programa);

• Aspectos institucionales (AI): que requieren de la intervención de varias unidades

administrativas dentro de la misma dependencia o Ente Público, para su solución;

• Aspectos interinstitucionales (AID): que para su solución se deberá contar con

la participación de unidades administrativas ubicadas en otra dependencia o Ente

Público; y .

• Aspectos intergubernamentales (AIG): que demandan la intervención del

gobierno federal (aparte del Ente Público Estatal responsable de la ejecución de los

recursos del Programa) para su solución.

8.2 Formato

Los ASM se integran en el Anexo 2 del Reporte de Evaluación correspondiente, utilizando el siguiente

formato y anotando primero aquellos que son de alta priorización (a sugerencia del evaluador). No

obstante, el Ente Público deberá de decidir cuáles de éstos son viables y atendibles, y cuál es la

priorización, que desde su perspectiva, aplica:

Page 13: TÉRMINOS DE REFERENCIA PARA LA EVALUACIÓN DE …...Cada una de las respuestas a las preguntas metodológicas de los presentes Términos de Referencia, deberá ser respondida en su

Términos de Referencia para la Evaluación de Consistencia y

Resultados

12

IX. HALLAZGOS

9.1 Consideraciones

Con la finalidad de especificar los hallazgos en el Anexo 3 del Reporte de Evaluación, su definición es

la siguiente: “Son los resultados de la evaluación comparados con los objetivos (el general y los

específicos) de la misma”; por tanto, se enlistan de acuerdo con la siguiente ruta:

El desempeño del Programa o subsidio en cuanto al cumplimiento de objetivos y metas;

El desempeño del Programa o subsidio en cuanto a la orientación de los recursos;

El desempeño del Programa o subsidio en cuanto la evolución de la cobertura de atención;

El desempeño del Programa o subsidio en cuanto a la evolución del ejercicio de los recursos;

El desempeño del Programa o subsidio en cuanto las principales fortalezas, retos u

oportunidades y recomendaciones emitidas (la más relevante por tema analizado); y

Los aspectos susceptibles de mejora de nivel prioritario (alto) a atender.

Page 14: TÉRMINOS DE REFERENCIA PARA LA EVALUACIÓN DE …...Cada una de las respuestas a las preguntas metodológicas de los presentes Términos de Referencia, deberá ser respondida en su

Términos de Referencia para la Evaluación de Consistencia y

Resultados

13

9.2 Formato

Page 15: TÉRMINOS DE REFERENCIA PARA LA EVALUACIÓN DE …...Cada una de las respuestas a las preguntas metodológicas de los presentes Términos de Referencia, deberá ser respondida en su

Términos de Referencia para la Evaluación de Consistencia y

Resultados

14

X. FUENTES DE INFORMACIÓN

Las Fuentes de Información que componen la bitácora digital de los documentos y bases de datos

enviados por los Entes o Dependencias responsables de la ejecución de los recursos sujetos de

evaluación, se enlistan como fuentes primarias; en tanto que la información adicional que el evaluador

haya utilizado para complementar respuestas o su justificación, y que ha sido tomada de sitios

oficiales de internet, se enlista como fuentes secundarias.

Ambos listados se colocan en el Anexo 4 del Reporte de Evaluación.

XI. FORMATO PARA LA DIFUSIÓN DE LOS RESULTADOS DE LAS

EVALUACIONES (CONAC)

El siguiente formato oficial, una vez completado, deberá ubicarse como Anexo 5 en el Reporte de

Evaluación.

.

Formato para la Difusión de los Resultados de las Evaluaciones

Page 16: TÉRMINOS DE REFERENCIA PARA LA EVALUACIÓN DE …...Cada una de las respuestas a las preguntas metodológicas de los presentes Términos de Referencia, deberá ser respondida en su

Términos de Referencia para la Evaluación de Consistencia y

Resultados

15

Page 17: TÉRMINOS DE REFERENCIA PARA LA EVALUACIÓN DE …...Cada una de las respuestas a las preguntas metodológicas de los presentes Términos de Referencia, deberá ser respondida en su

Términos de Referencia para la Evaluación de Consistencia y

Resultados

16

Page 18: TÉRMINOS DE REFERENCIA PARA LA EVALUACIÓN DE …...Cada una de las respuestas a las preguntas metodológicas de los presentes Términos de Referencia, deberá ser respondida en su

Términos de Referencia para la Evaluación de Consistencia y

Resultados

17

Page 19: TÉRMINOS DE REFERENCIA PARA LA EVALUACIÓN DE …...Cada una de las respuestas a las preguntas metodológicas de los presentes Términos de Referencia, deberá ser respondida en su

Términos de Referencia para la Evaluación de Consistencia y

Resultados

18

XII. PREGUNTAS METODOLÓGICAS PARA LA EVALUACIÓN ESPECÍFICA

DE CONSISTENCIA Y RESULTADOS

Nota aclaratoria:

Para todas las preguntas y su consecuente respuesta, cuando se haga referencia al

Programa en el “Reporte de Evaluación” se deberá escribir el nombre específico de

éste, según corresponda.

Page 20: TÉRMINOS DE REFERENCIA PARA LA EVALUACIÓN DE …...Cada una de las respuestas a las preguntas metodológicas de los presentes Términos de Referencia, deberá ser respondida en su

Términos de Referencia para la Evaluación de Consistencia y

Resultados

19

TEMA I. CARACTERÍSTICAS DEL PROGRAMA

1. Describir las características del Programa.

Notas para el evaluador

La definición debe incluir:

a) Normatividad aplicable

b) Ente Público responsable de la ejecución de los recursos del Programa

c) Objetivo

d) Tipología de bienes y servicios financiados con recursos del Programa en el 2015

e) Población potencial, población objetivo y población atendida (o áreas de enfoque)

Tipo de Respuesta: Análisis Descriptivo

2. ¿Cuál es la contribución del Programa a los Objetivos Nacionales?

Notas para el evaluador

La contribución debe incluir el Objetivo, la principal Estrategia y las Líneas de Acción del Plan

Nacional de Desarrollo al cual está alineado el Programa.

Tipo de Respuesta: Análisis Descriptivo

3. ¿Cuál es la contribución del Programa a los Objetivos Estatales?

Notas para el evaluador

La contribución debe incluir el Objetivo, la principal Estrategia y las Líneas de Acción del Plan Estatal

de Desarrollo al cual está alineado el Programa.

Tipo de Respuesta: Análisis Descriptivo

Page 21: TÉRMINOS DE REFERENCIA PARA LA EVALUACIÓN DE …...Cada una de las respuestas a las preguntas metodológicas de los presentes Términos de Referencia, deberá ser respondida en su

Términos de Referencia para la Evaluación de Consistencia y

Resultados

20

4. ¿Se cuenta con un árbol de problemas donde se justifique la entrega de bienes y

servicios?

Notas para el evaluador

La justificación de la respuesta debe incluir el problema central que se resuelve.

Tipo de Respuesta: Binaria

6. ¿El destino de los recursos del Programa es el adecuado para atender el problema?

Notas para el evaluador

La justificación de la respuesta debe incluir el problema central que se resuelve con el tipo de bienes

y servicios que componen y son financiados con recursos del Programa.

Tipo de Respuesta: Binaria

7. ¿Cuáles son los objetivos estratégicos del Programa?

Notas para el evaluador

La respuesta debe incluir los objetivos de Fin, Propósito y Componentes del Programa, y los

supuestos correspondientes por nivel de desempeño; así como un análisis de la Lógica Vertical

Ascendente de la MIR Estatal del Programa.

Tipo de Respuesta: Análisis Descriptivo

TEMA II. OPERACIÓN

9. Describa la MIR y el cumplimiento a las metas asociadas a los indicadores estratégicos y de

gestión.

Notas para el evaluador

Incluir un análisis descriptivo de la parte operativa del programa señalada en la MIR Estatal, así

como la lógica vertical ascendente entre las actividades o procesos de gestión y los supuestos en

Page 22: TÉRMINOS DE REFERENCIA PARA LA EVALUACIÓN DE …...Cada una de las respuestas a las preguntas metodológicas de los presentes Términos de Referencia, deberá ser respondida en su

Términos de Referencia para la Evaluación de Consistencia y

Resultados

21

este nivel de desempeño del Programa, encadenados con cada componente.

Tipo de Respuesta: Análisis Descriptivo

10. ¿El programa cuenta con información sistematizada que permite conocer la demanda total de

apoyos y las características a los solicitantes? (socioeconómicas en el caso de personas físicas y

específicas en el caso de personas morales)

Notas para el evaluador

La justificación de la respuesta debe especificar con qué información sistematizada cuenta el

programa y en su caso, la información faltante; y la argumentación de por qué se considera que el

programa conoce en esa medida su demanda de apoyos y a sus solicitantes.

Tipo de Respuesta: Binaria

11. ¿Existe congruencia entre las reglas de operación y la normatividad aplicable, con a las

actividades y los componentes que se producen y entregan a los beneficiarios?

Notas para el evaluador:

La respuesta debe incluir un cuadro comparativo.

Tipo de Respuesta: Binaria

12. El programa cuenta con mecanismos documentados para verificar el procedimiento para recibir,

registrar y dar trámite a las solicitudes de apoyo con las siguientes características:

a) Son consistentes con la población objetivo.

b) Están estandarizados, es decir, son utilizados por todas las instancias ejecutoras

c) Están sistematizados

d) Están difundidos públicamente.

Notas para el evaluador

La respuesta debe señalar cuales son las características establecidas que tienen los mecanismos

Page 23: TÉRMINOS DE REFERENCIA PARA LA EVALUACIÓN DE …...Cada una de las respuestas a las preguntas metodológicas de los presentes Términos de Referencia, deberá ser respondida en su

Términos de Referencia para la Evaluación de Consistencia y

Resultados

22

para verificar el procedimiento para recibir, registrar y dar trámite a las solicitudes de apoyo y la

evidencia de dichas afirmaciones.

Asimismo, responder a cada uno de los incisos.

Tipo de Respuesta: Binaria

14. ¿El Ente Público ejecutor de los recursos del Programa cuenta con una estructura organizacional

que le permita entregar y/o producir los Componentes y alcanzar el logro del Propósito?

Nota para el evaluador

La justificación de la respuesta debe incluir el organigrama del ente ejecutor de los recursos del

Programa, y señalar o remarcar el área o unidad responsable de la generación y entrega de los

bienes y servicios asociados con los recursos del Programa, así como sus respectivas funciones

administrativas.

Tipo de Respuesta: Binaria

15. Los procedimientos del programa para la selección de beneficiarios, y/o proyectos tienen las

siguientes características:

a) Incluyen criterios de elegibilidad claramente específicos, es decir, no existe ambigüedad en su

redacción.

b) Están estandarizados, es decir, son utilizados por todas las instancias ejecutoras.

c) Están sistematizados.

d) Están difundidos públicamente.

Nota para el evaluador

La justificación de la respuesta debe señalar cuáles son las características establecidas que tienen

los procedimientos utilizados por el programa para la selección de proyectos y/o beneficiarios y la

evidencia de dichas afirmaciones. Asimismo, se deben mencionar las áreas de mejora detectadas en

los procedimientos y las características que no tienen.

Page 24: TÉRMINOS DE REFERENCIA PARA LA EVALUACIÓN DE …...Cada una de las respuestas a las preguntas metodológicas de los presentes Términos de Referencia, deberá ser respondida en su

Términos de Referencia para la Evaluación de Consistencia y

Resultados

23

Tipo de Respuesta: Binaria

TEMA III. EVOLUCIÓN DE LA COBERTURA

18. ¿El Ente Público responsable de la ejecución de los recursos del Programa cuenta con una

estrategia de cobertura documentada para atender a los beneficiarios de los bienes y servicios

generados, con las siguientes características?

a) Incluye la definición de la población objetivo;

b) Especifica metas de cobertura anual;

c) Abarca un horizonte de corto, mediano y/o largo plazo; y

d) Es congruente con el diseño y operación del Programa.

Tipo de Respuesta: binaria

19. ¿Cómo ha evolucionado la cobertura de atención a los beneficiarios de los bienes y servicios

financiados con los recursos del Programa?

Notas para el evaluador

Se deberá analizar la evolución a través del porcentaje de cobertura de atención a la población

objetivo en el 2014 y 2015; por tanto, es necesario completar la siguiente Tabla y graficar la cantidad

de beneficiarios para cada una de las Poblaciones y años de referencia como se muestra en la

siguiente gráfica de ejemplo, e incluirla como parte de la respuesta:

Page 25: TÉRMINOS DE REFERENCIA PARA LA EVALUACIÓN DE …...Cada una de las respuestas a las preguntas metodológicas de los presentes Términos de Referencia, deberá ser respondida en su

Términos de Referencia para la Evaluación de Consistencia y

Resultados

24

Asimismo y como parte del análisis, se deberán incluir y analizar la siguiente fórmula:

𝑉𝑎𝑟𝑖𝑎𝑐𝑖ó𝑛 𝑝𝑜𝑟𝑐𝑒𝑛𝑡𝑢𝑎𝑙 𝑎𝑛𝑢𝑎𝑙 = [(𝑃𝑜𝑏𝑙𝑎𝑐𝑖ó𝑛 𝐴𝑡𝑒𝑛𝑑𝑖𝑑𝑎 2015/𝑃𝑜𝑏𝑙𝑎𝑐𝑖ó𝑛 𝐴𝑡𝑒𝑛𝑑𝑖𝑑𝑎 2014) − 1] ∗ 100

En caso de que la población esté focalizada a personas, se deberá completar la tabla y realizar el

cálculo por el total de personas.

En caso de que parte de la población este determinada por de áreas de enfoque (localidades,

colonias, familias, entre otros) se deberá completar la tabla y realizar el cálculo de manera separada,

y explicar la situación que se observa.

PoblaciónPotencial

PoblaciónObjetivo

PoblaciónAtendida

2014 100 70 70

2015 120 75 50

0

20

40

60

80

100

120

140P

ob

lació

n

Evolución de la Cobertura del Programa

Page 26: TÉRMINOS DE REFERENCIA PARA LA EVALUACIÓN DE …...Cada una de las respuestas a las preguntas metodológicas de los presentes Términos de Referencia, deberá ser respondida en su

Términos de Referencia para la Evaluación de Consistencia y

Resultados

25

Tipo de Respuesta: Análisis Descriptivo y Explicativo

TEMA IV. RESULTADO Y EJERCICIO DE LOS RECURSOS

20. ¿Cuál es el resultado histórico de los indicadores de desempeño del Programa respecto a sus

metas?

Notas para el evaluador

La respuesta debe incluir una gráfica que muestre el comportamiento de los indicadores del

Programa a nivel de Fin, Propósito y Componentes de la MIR Estatal del ejercicio fiscal 2015,

respecto al del 2014.

Tipo de Respuesta: Análisis Descriptivo y Explicativo

21. En caso de aplicar, ¿Cuál es el resultado histórico de los indicadores de desempeño en la MIR

Federal del Programa?

Notas para el evaluador

La respuesta debe incluir una tabla comparativa de la MIR federal del Programa 2014 y 2015, así

como el análisis correspondiente.

Tipo de Respuesta: Binaria y Análisis Descriptivo de la tabla.

22. ¿Cuáles son los resultados alcanzados con la ejecución de los recursos del Programa, de

acuerdo con el Cumplimiento a las Metas del Programa Operativo Anual (POA)?

Page 27: TÉRMINOS DE REFERENCIA PARA LA EVALUACIÓN DE …...Cada una de las respuestas a las preguntas metodológicas de los presentes Términos de Referencia, deberá ser respondida en su

Términos de Referencia para la Evaluación de Consistencia y

Resultados

26

Notas para el evaluador

La respuesta debe incluir la siguiente fórmula y una gráfica del porcentaje de metas cumplidas. Se

podrá tomar como cumplida si alcanza desde el 90 al 100% de cumplimiento.

Las metas a considerar son las correspondientes a nivel de Fin, Propósito y Componentes.

% 𝑑𝑒 𝑀𝑒𝑡𝑎𝑠 𝐶𝑢𝑚𝑝𝑙𝑖𝑑𝑎𝑠 =∑ 𝑀𝑒𝑡𝑎𝑠 𝐿𝑜𝑔𝑟𝑎𝑑𝑎𝑠

∑ 𝑀𝑒𝑡𝑎𝑠 𝑃𝑟𝑜𝑔𝑟𝑎𝑚𝑎𝑑𝑎𝑠∗ 100

Tipo de Respuesta: Análisis Descriptivo y Explicativo

23. ¿Cuál es el comportamiento histórico de los recursos del Programa?

Notas para el evaluador

La respuesta debe incluir la siguiente tabla, así como el análisis respectivo.

Tipo de Respuesta: Análisis Descriptivo y Explicativo

24. ¿En qué porcentaje el Presupuesto Modificado del Programa fue devengado y ejercido?

Notas para el evaluador

La respuesta debe incluir las siguientes fórmulas, así como el análisis de su resultado.

% 𝑃𝑟𝑒𝑠𝑢𝑝𝑢𝑒𝑠𝑡𝑜 𝐷𝑒𝑣𝑒𝑛𝑔𝑎𝑑𝑜 =𝑃𝑟𝑒𝑠𝑢𝑝𝑢𝑒𝑠𝑡𝑜 𝐷𝑒𝑣𝑒𝑛𝑔𝑎𝑑𝑜

𝑃𝑟𝑒𝑠𝑢𝑝𝑢𝑒𝑠𝑡𝑜 𝑀𝑜𝑑𝑖𝑓𝑖𝑐𝑎𝑑𝑜∗ 100

Page 28: TÉRMINOS DE REFERENCIA PARA LA EVALUACIÓN DE …...Cada una de las respuestas a las preguntas metodológicas de los presentes Términos de Referencia, deberá ser respondida en su

Términos de Referencia para la Evaluación de Consistencia y

Resultados

27

% 𝑃𝑟𝑒𝑠𝑢𝑝𝑢𝑒𝑠𝑡𝑜 𝐸𝑗𝑒𝑟𝑐𝑖𝑑𝑜 =𝑃𝑟𝑒𝑠𝑢𝑝𝑢𝑒𝑠𝑡𝑜 𝐸𝑗𝑒𝑟𝑐𝑖𝑑𝑜

𝑃𝑟𝑒𝑠𝑢𝑝𝑢𝑒𝑠𝑡𝑜 𝑀𝑜𝑑𝑖𝑓𝑖𝑐𝑎𝑑𝑜∗ 100

Tipo de Respuesta: Análisis Explicativo

26. ¿Cuál es la relación costo-efectividad del recurso ejercido?

Notas para el evaluador

La respuesta incluye la resolución de la siguiente fórmula; la comparación del resultado con la tabla

de valores ponderados; y el análisis correspondiente.

𝐶𝑜𝑠𝑡𝑜 𝐸𝑓𝑒𝑐𝑡𝑖𝑣𝑖𝑑𝑎𝑑 =

𝑃𝑟𝑒𝑠𝑢𝑝𝑢𝑒𝑠𝑡𝑜 𝑀𝑜𝑑𝑖𝑓𝑖𝑐𝑎𝑑𝑜

𝑃𝑜𝑏𝑙𝑎𝑐𝑖ó𝑛 𝑂𝑏𝑗𝑒𝑡𝑖𝑣𝑜

𝑃𝑟𝑒𝑠𝑢𝑝𝑢𝑒𝑠𝑡𝑜 𝐸𝑗𝑒𝑟𝑐𝑖𝑑𝑜

𝑃𝑜𝑏𝑙𝑎𝑐𝑖ó𝑛 𝐴𝑡𝑒𝑛𝑑𝑖𝑑𝑎

Tabla de valores ponderados

Rechazable Débil Aceptable

Costo-

efectividad

esperado

Aceptable eficiente Muy eficiente

0 0.49 0.735 1 1.265 1.51 2

Tipo de Respuesta: Análisis Descriptivo y Explicativo

27. ¿Cuál fue el gasto esperado de acuerdo con las Metas Logradas?

Notas para el evaluador

La respuesta implica que se calcule lo que se esperaba gastar de acuerdo con el cumplimiento de

metas reportado en el “seguimiento a las metas del Programa Operativo Anual”, para lo cual se debe

Page 29: TÉRMINOS DE REFERENCIA PARA LA EVALUACIÓN DE …...Cada una de las respuestas a las preguntas metodológicas de los presentes Términos de Referencia, deberá ser respondida en su

Términos de Referencia para la Evaluación de Consistencia y

Resultados

28

aplicar la siguiente fórmula, misma que deberá formar parte de la respuesta.

𝐺𝑎𝑠𝑡𝑜 𝑒𝑠𝑝𝑒𝑟𝑎𝑑𝑜 𝑑𝑒 𝑎𝑐𝑢𝑒𝑟𝑑𝑜 𝑎 𝑙𝑎𝑠 𝑀𝑒𝑡𝑎𝑠 𝐿𝑜𝑔𝑟𝑎𝑑𝑎𝑠 =𝐺𝑎𝑠𝑡𝑜 𝐸𝑗𝑒𝑟𝑐𝑖𝑑𝑜 × 𝑀𝑒𝑡𝑎𝑠 𝐿𝑜𝑔𝑟𝑎𝑑𝑎𝑠 𝑒𝑛 𝑒𝑙 𝑃𝑂𝐴

𝑀𝑒𝑡𝑎𝑠 𝑃𝑟𝑜𝑔𝑟𝑎𝑚𝑎𝑑𝑎𝑠

Tipo de Respuesta: Análisis explicativo

28. ¿Cuál es el costo promedio por beneficiario atendido con los bienes y servicios financiados con

recursos del Programa?

Notas para el evaluador

Como parte de la respuesta, se debe calcular la el costo promedio por beneficiario atendido

utilizando la siguiente fórmula; y realizar el análisis correspondiente.

𝐶𝑃𝐵𝐴 =𝐺𝐼

𝑃𝐴

En donde

CPBA: Costo promedio por beneficiario atendido.

GI: Gasto de total de inversión del año evaluado.

PA: Población efectivamente atendida o beneficiada con los bienes y servicios generados con

recursos del Programa.

Tipo de Respuesta: Análisis Descriptivo y Explicativo.

TEMA V. SEGUIMIENTO A LOS ASPECTOS SUSCEPTIBLES DE MEJORA

29. Como parte de la evaluación del ejercicio 2014 del Programa ¿Fueron emitidas recomendaciones

y aspectos susceptibles de mejora?

Tipo de Respuesta: binaria

30. En caso que la respuesta a la pregunta anterior sea afirmativa ¿Existe evidencia de que las

recomendaciones fueron empleadas para mejorar el desempeño del Programa?

Page 30: TÉRMINOS DE REFERENCIA PARA LA EVALUACIÓN DE …...Cada una de las respuestas a las preguntas metodológicas de los presentes Términos de Referencia, deberá ser respondida en su

Términos de Referencia para la Evaluación de Consistencia y

Resultados

29

Tipo de Respuesta: binaria