términos de referencia para la evaluación del desempeño...

55
Secretaría de Finanzas y Administración Subsecretaría de Planeación Dirección de Evaluación Términos de Referencia para la Evaluación de Procesos de Programas Presupuestarios Ejercicio Fiscal 2016 Subsecretaría de Planeación Dirección de Evaluación

Upload: vankhuong

Post on 31-Oct-2018

216 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Términos de Referencia para la Evaluación del Desempeño ...evaluacion.puebla.gob.mx/pdf/metodologias/TdR_Est/2017/TdR... · Perfil de la instancia evaluadora ... acuerdo con las

Secretariacutea de Finanzas y Administracioacuten

Subsecretariacutea de Planeacioacuten

Direccioacuten de Evaluacioacuten

Teacuterminos de Referencia para la

Evaluacioacuten de Procesos de

Programas Presupuestarios

Ejercicio Fiscal 2016

Subsecretariacutea de Planeacioacuten

Direccioacuten de Evaluacioacuten

PAE 2017 1

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Contenido

Presentacioacuten 3

Glosario 5

Objetivo General 9

Objetivos Especiacuteficos 9

Perfil de la instancia evaluadora 10

Preguntas de investigacioacuten 12

Seccioacuten 1 Disentildeo 12

Diagnoacutestico del programa puacuteblico 12

Matriz de Indicadores para Resultados (MIR) 13

Seccioacuten 2 Procesos 15

Pertinencia de los procesos 15

Contenido del informe 33

Contenido miacutenimo del informe final de la evaluacioacuten 33

Hallazgos y resultados Pp por seccioacuten 34

Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas 35

Anexos 36

Anexo 1 ldquoDescripcioacuten General del Programardquo 36

Anexo 2 ldquoMetodologiacutea para la cuantificacioacuten de la poblacioacuten o aacuterea de enfoque potencial y

objetivordquo 36

Anexo 3 ldquoEvolucioacuten de la Coberturardquo 37

Anexo 4 ldquoPropuesta de mejora de la Matriz de Indicadores para Resultadosrdquo 38

Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesos del Pprdquo 40

Anexo 6 ldquoFichas de indicadores de atributos de los procesos del Pp (formato libre)rdquo 42

Anexo 7 ldquoDiagramas de flujo de la operacioacuten del Pprdquo 43

Anexo 8 ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales del Pprdquo 46

Anexo 9 ldquoValoracioacuten global cuantitativa ldquo 47

Seccioacuten 1 Disentildeo 47

Seccioacuten 2 Procesos 47

PAE 2017 2

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 10 ldquoSistema de monitoreo e indicadores de gestioacuten del Pp (formato libre)rdquo 49

Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de Procesos del Pprdquo 50

Anexo 12 ldquoPrincipales Fortalezas Retos y Recomendacionesrdquo 51

Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia evaluadora y el costo de la

evaluacioacutenrdquo 52

PAE 2017 3

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Presentacioacuten

El Presupuesto basado en Resultados (PbR) y el Sistema de Evaluacioacuten del Desempentildeo (SED) consiste

en que los oacuterganos puacuteblicos establezcan de manera puntual los objetivos que se alcanzaraacuten con los

recursos que se asignen a sus respectivos Programas Presupuestarios (Pp) y que el grado de

consecucioacuten de dichos objetivos pueda ser efectivamente confirmado mediante el SED

Dado que los Pp representan el mecanismo a partir del cual la Administracioacuten Puacuteblica Estatal plasma

las prioridades y directrices establecidas en el Plan Estatal de Desarrollo (PED) y en los instrumentos

de planeacioacuten que de eacuteste derivan asiacute pues de acuerdo con la Ley de Presupuesto y Gasto Puacuteblico

del Estado de Puebla el Pp es la categoriacutea programaacutetica-presupuestal que permite organizar en

forma representativa y homogeacutenea las actividades integradas y articuladas que proveen productos

(bienes y servicios) tendientes a lograr un resultado y beneficio en una poblacioacuten el cual es medido

a partir de metas e indicadores por lo anterior estos instrumentos deben de ser evaluados para

mejorar sus resultados

En este contexto la evaluacioacuten de los Pp permite la valoracioacuten objetiva del desempentildeo de los

programas y las poliacuteticas puacuteblicas a traveacutes del seguimiento y verificacioacuten del cumplimiento de metas

y objetivos con base en indicadores estrateacutegicos y de gestioacuten para

Conocer los resultados del ejercicio de los recursos y el impacto social de los programas

Identificar la eficacia eficiencia economiacutea y calidad del gasto y

Procurar una mayor productividad de los procesos gubernamentales

De este modo los procesos de mejora continua y desarrollo institucional bajo este nuevo enfoque

implican que los recursos puacuteblicos se asignen prioritariamente a los programas que generan mayores

beneficios a la poblacioacuten y que se mejoren los procesos de aquellos que no estaacuten funcionando

correctamente

Derivado de lo anterior la Direccioacuten de Evaluacioacuten de la Subsecretariacutea de Planeacioacuten en el marco de

sus atribuciones coordinaraacute las evaluaciones en materia de Procesos que se aplicaraacuten a los Pp de

acuerdo con lo establecido en el Programa Anual de Evaluacioacuten (PAE) para el Ejercicio Fiscal 2017 El

presente documento presenta las directrices que guiaraacuten dicha evaluacioacuten a fin de que dicho

proceso se integre adecuadamente al ciclo presupuestario

Es pertinente efectuar una evaluacioacuten en materia de procesos de los Pp en virtud de que resulta de

utilidad para la toma de decisiones ya que analiza si el programa lleva a cabo sus procesos

operativos de manera eficaz y eficiente y si contribuye al mejoramiento de la gestioacuten A continuacioacuten

se presentan los Pp a evaluar en materia de Procesos para el ejercicio 2016

PAE 2017 4

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para la elaboracioacuten del presente documento se tomaron como referencia el Modelo vigente de

Teacuterminos y Referencias (TdR) para la evaluacioacuten de Procesos1 que publica la Secretariacutea de Hacienda

y Creacutedito Puacuteblico (SHCP) asiacute como en el Modelo de Teacuterminos de Referencia para la Evaluacioacuten

Especiacutefica de Disentildeo y Procesos 20152 del Estado de Jalisco

El presente documento cuenta con cuatro apartados para desarrollar la evaluacioacuten de procesos en

primer lugar se muestran los objetivos de la evaluacioacuten de los Pp posteriormente se presentan cinco

preguntas de investigacioacuten que tienen como finalidad analizar el disentildeo la operacioacuten y gestioacuten del

Pp y en las que se establecen los criterios que adoptaraacute la instancia externa para dar respuesta a

dichos reactivos en tercer lugar se expone el contenido que presentaraacute el informe de la evaluacioacuten

y finalmente se presentan los formatos de anexo que se mencionan en las preguntas de

investigacioacuten

Cabe precisar que la evaluacioacuten se divide en dos secciones de anaacutelisis la primera parte consta de

tres preguntas de investigacioacuten en las que se analiza la calidad del disentildeo del Pp el desarrollo de

esta seccioacuten seraacute a partir de un anaacutelisis de gabinete En la segunda seccioacuten se abordan 2 preguntas

de investigacioacuten que permiten realizar un anaacutelisis profundo de los procesos subprocesos o

macroprocesos que integran la operacioacuten general del Pp debieacutendose integrar un Diagnoacutestico

general de los procesos y subprocesos del Pp dentro de los 30 primeros diacuteas una vez firmado el

contrato pues este diagnoacutestico es requisito indispensable para realizar posteriormente el trabajo de

campo necesario para el anaacutelisis y respuesta de la pregunta 5

1 httptransparenciapresupuestariagobmxesPTPevaluaciones en el apartado de descarga de Teacuterminos de

Referencia 2httpsepafjaliscogobmxsitessepafjaliscogobmxfilesmodelos_de_terminos_de_referencia_tdr_2015_0r

ar

Tabla 1 Programas Presupuestarios a Evaluar en materia de Procesos

No Clave ndash Nombre del Programa

1 E004 Educacioacuten Baacutesica

2 E006 Educacioacuten Superio

PAE 2017 5

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Glosario

Para efectos del presente documento se entenderaacute por

Aspectos Susceptibles de Mejora (ASM) Los hallazgos debilidades oportunidades y amenazas

identificadas como resultado de un ejercicio de evaluacioacuten

Cobertura Aacuterea de intervencioacuten del programa con respecto a las caracteriacutesticas socioeconoacutemicas

de la poblacioacuten que atenderaacute el Programa Presupuestario

Consejo Nacional de Evaluacioacuten de la Poliacutetica de Desarrollo Social (CONEVAL) instancia con

autonomiacutea teacutecnica y de gestioacuten con las atribuciones de medir la pobreza y evaluar la poliacutetica de

desarrollo social

Dependencias Las asiacute definidas en el artiacuteculo 17 de la Ley Orgaacutenica de la Administracioacuten Puacuteblica

del Estado de Puebla

Destinatario o beneficiario a las personas instituciones puacuteblicas o privadas agentes sociales o

econoacutemicos o demaacutes instancias que utilizan o reciben los componentes producidos por el Pp

Direccioacuten de Evaluacioacuten (DEV) Direccioacuten coordinadora de los procesos de evaluacioacuten suscrita a la

Subsecretariacutea de Planeacioacuten de la Secretariacutea de Finanzas y Administracioacuten del Estado de Puebla

Evaluacioacuten Anaacutelisis sistemaacutetico y objetivo de las poliacuteticas puacuteblicas los Programas Presupuestarios

(Pp) y el desempentildeo de las instituciones a fin de determinar o probar la pertinencia de los mismos

valorar sus objetivos y metas asiacute como conocer su eficiencia eficacia calidad resultados impacto y

sostenibilidad

Evaluacioacuten Especiacutefica Evaluacioacuten que se enfoca en aspectos especiacuteficos de un programa de

acuerdo con las necesidades de evaluacioacuten o la naturaleza del mismo Se realiza mediante trabajo

de gabinete yo de campo

Indicador Instrumento para medir el logro de los objetivos de los programas y referente para el

seguimiento de los avances y para la evaluacioacuten de los resultados alcanzados

Instancia evaluadora externa Equipo de evaluadores externos constituidos como personas fiacutesicas

o morales adscritos a instituciones puacuteblicas y privadas tanto nacionales como internacionales con

experiencia probada en evaluacioacuten y temas especiacuteficos requeridos para realizar alguno de los tipos

de evaluaciones externas

Liacutenea base Es el valor del indicador que se establece como punto de partida para evaluarlo y darle

seguimiento

PAE 2017 6

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Mapeo mostrar graacuteficamente por medio de siacutembolos cuaacuteles son las actividades que se llevan a

cabo dentro de una organizacioacuten o un proceso de tal manera que todo aquel que lo lea sea capaz

de comprender el alcance yo llevar a cabo el proceso

Matriz de Indicadores para Resultados (MIR) Es la herramienta que permite vincular los distintos

instrumentos para el disentildeo organizacioacuten ejecucioacuten seguimiento evaluacioacuten y mejora de los

programas resultado de un proceso de planeacioacuten realizado con base en la Metodologiacutea de Marco

Loacutegico conforme a lo sentildealado en la Guiacutea para la Construccioacuten de la Matriz de Indicadores para

Resultados

Metas Valor que permite establecer liacutemites o niveles maacuteximos de logro comunica el nivel de

desempentildeo esperado por la organizacioacuten y permite enfocarla hacia la mejora

Metodologiacutea del Marco Loacutegico (MML) Es la herramienta de planeacioacuten estrateacutegica basada en la

estructuracioacuten y solucioacuten de problemas o aacutereas de mejora que permite organizar de manera

sistemaacutetica y loacutegica los objetivos de un programa y sus relaciones de causa y efecto medios y fines

facilitar el proceso de conceptualizacioacuten y disentildeo de programas y fortalecer la vinculacioacuten de la

planeacioacuten con la programacioacuten

Monitoreo Funcioacuten continua que utiliza la recopilacioacuten sistemaacutetica de datos sobre indicadores

predefinidos para proporcionar a los administradores y a las principales partes interesadas de una

intervencioacuten para el desarrollo indicaciones sobre el avance y el logro de los objetivos asiacute como de

la utilizacioacuten de los fondos asignados

Nivel a la escala de medicioacuten de 1 a 4 establecido en los reactivos de respuesta binaria

Objetivos Son los resultados que un programa puacuteblico pretende alcanzar a traveacutes de la ejecucioacuten

de determinadas acciones pueden ser general o especiacuteficos Los objetivos especiacuteficos son un

conjunto de resultados que a su vez permiten lograr un objetivo general Los objetivos generales

reflejan el resultado que se espera lograr en teacuterminos de la atencioacuten de un problema puacuteblico y se

establecen en los distintos instrumentos de planeacioacuten de los que se valen las intervenciones

puacuteblicas

Organismos Autoacutenomos Entidad puacuteblica dotada de personalidad juriacutedica y patrimonio propios

creada por decreto para no depender del Poder Ejecutivo ni de ninguacuten otro Poder (Legislativo o

Judicial) con objeto de actuar con independencia imparcialidad y objetividad en sus funciones Para

efectos presupuestales y contables como ejecutores de gasto estaacuten obligados a cumplir con las

leyes y normatividad vigentes en las materias

Plan Estatal de Desarrollo (PED) Es el instrumento de planeacioacuten en el que se basaraacuten las

decisiones en materia de gasto e inversioacuten para la aplicacioacuten de los recursos puacuteblicos y se constituye

como el documento rector y guiacutea para la gestioacuten gubernamental

PAE 2017 7

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Poblacioacuten Atendida Poblacioacuten o aacuterea que ya fue atendida por el programa presupuestario

Poblacioacuten Objetivo Poblacioacuten o aacuterea que el programa pretende atender en un periodo dado de

tiempo pudiendo corresponder a la totalidad de la poblacioacuten potencial o a una parte de ella

Poblacioacuten Potencial Se refiere al universo global de la poblacioacuten o aacuterea referida

Poliacutetica Puacuteblica Accioacuten del Gobierno que tiene como objetivo atender ciertas necesidades de la

poblacioacuten (educacioacuten desarrollo social salud seguridad puacuteblica infraestructura comunicaciones

energiacutea etc)

Presupuesto basado en Resultados (PbR) Es un proceso basado en consideraciones objetivas

sobre los resultados esperados y alcanzados para la asignacioacuten de recursos con la finalidad de

fortalecer la calidad del disentildeo y gestioacuten de las poliacuteticas programas puacuteblicos y desempentildeo

institucional cuyo aporte sea decisivo para generar las condiciones sociales econoacutemicas y

ambientales para el desarrollo nacional sustentable

Programa Anual de Evaluaciones (PAE) Es el documento en el que se determina el tipo de

evaluacioacuten que se aplicaraacute a los programas puacuteblicos del Estado el calendario de ejecucioacuten de las

acciones de monitoreo y evaluacioacuten de los programas puacuteblicos del Estado que estaacuten en operacioacuten

asiacute como ofrecer a los responsables de la administracioacuten puacuteblica la informacioacuten que les permita

optimizar el proceso de creacioacuten de valor puacuteblico

Programa Presupuestario (Pp) Categoriacutea que permite organizar en forma representativa y

homogeacutenea las asignaciones de recursos de los programas federales y del gasto federalizado a

cargo de los ejecutores del mismo para el cumplimiento de sus objetivos y metas

Reglas de Operacioacuten del Programa (ROP) Son un conjunto de disposiciones que precisan la forma

de operar un programa con el propoacutesito de lograr los niveles esperados de eficacia eficiencia

equidad y transparencia

Secretariacutea de Hacienda y Creacutedito Puacuteblico (SHCP) dependencia del Poder Ejecutivo Federal que

tiene como misioacuten proponer dirigir y controlar la poliacutetica econoacutemica del Gobierno Federal en materia

financiera fiscal de gasto de ingresos y deuda puacuteblica con el propoacutesito de consolidar un paiacutes con

crecimiento econoacutemico de calidad

Secretariacutea de Finanzas y Administracioacuten (SFA) dependencia del Poder Ejecutivo Estatal que tiene

a su cargo las atribuciones para el despacho de los asuntos que expresamente le confiere la Ley

Orgaacutenica de la Administracioacuten Puacuteblica del Estado las demaacutes leyes reglamentos acuerdos decretos

convenios y sus anexos vigentes asiacute como las que le encomiende el Gobernador

PAE 2017 8

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Seguimiento Proceso continuo de recoleccioacuten y anaacutelisis de datos para comparar en queacute medida se

estaacute ejecutando un proyecto programa poliacutetica o recomendaciones en funcioacuten de los resultados

previstos

Teacuterminos de referencia (TdR) Documento que plantea los elementos estandarizados miacutenimos y

especiacuteficos de acuerdo con el tipo de evaluacioacuten y de programa a evaluar con base en

especificaciones teacutecnicas (perfil de los evaluadores calendario de entregas de productos etc)

objetivos de la evaluacioacuten (generales y especiacuteficos) asiacute como la normatividad aplicable

(responsabilidades alcances restricciones etc)

Unidades Responsables (UR) Cada una de las aacutereas encargadas de la evaluacioacuten de las

dependencias que forman parte de la Administracioacuten Puacuteblica Estatal

PAE 2017 9

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Objetivo General

Evaluar los procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten Superior de la

Administracioacuten Puacuteblica Estatal para el Ejercicio Fiscal 2016 con la finalidad de analizar y valorar su

operacioacuten y gestioacuten para el logro de sus metas y objetivos

Objetivos Especiacuteficos

Determinar en queacute medida los elementos del diagnoacutestico del Pp son suficientes para tener una

comprensioacuten vaacutelida del problema puacuteblico que se pretende atender

Determinar la validez de la loacutegica de intervencioacuten del Pp para atender el problema planteado a

partir de una comparacioacuten con casos nacionales o internacionales similares

Determinar en queacute medida los procesos con los que cuenta el programa puacuteblico son pertinentes

para atender el problema identificado

Analizar y valorar si la ejecucioacuten de los procesos y subprocesos o macroprocesos que integran

la gestioacuten operativa del Pp en sus distintos niveles son eficaces oportunos suficientes y

pertinentes para el logro de sus objetivos

Identificar analizar y valorar las buenas praacutecticas o las fortalezas en la operacioacuten del Pp

Identificar y proponer mejoras al Pp para el logro de sus objetivos y metas

PAE 2017 10

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Perfil de la instancia evaluadora

La instancia evaluadora debe de cubrir cuando menos los siguientes criterios

Persona fiacutesica o moral registrada ante la autoridad hacendaria competente

Acreditar la experiencia en el tema de evaluacioacuten de la gestioacuten yo poliacuteticas puacuteblicas

El Coordinador de la Evaluacioacuten cuente con maestriacutea o doctorado en ciencias sociales

ciencia poliacutetica antropologiacutea economiacutea sociologiacutea poliacuteticas puacuteblicas planeacioacuten yo

aacutereas afines a la temaacutetica de la evaluacioacuten y estar en posesioacuten del tiacutetulo universitario

con validez nacional o por universidades oficialmente reconocidas

Al menos dos antildeos de ejercicio profesional en materia de investigacioacuten

Dos antildeos de experiencia miacutenima en la realizacioacuten de actividades de evaluacioacuten interna

o externa en el sector puacuteblico o privado

Contar con referentes acadeacutemicos que demuestren su experiencia en el tema de

evaluacioacuten de poliacuteticas

Por lo que deberaacute llenar la Tabla 2 y el Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia

evaluadora y el costo de la evaluacioacutenrdquo

Tabla 2 Perfil de equipo evaluador

Cargo Requisitos

Acadeacutemicos Experiencia General

Experiencia

Especifica

Liacuteder del

equipo

evaluador

Estudios de posgrado

en ciencias sociales

econoacutemicas historia

antropologiacutea ciencia

poliacutetica administracioacuten

puacuteblica o afines

Experiencia en

evaluaciones de

programas poliacuteticas

yo investigaciones en

materia de evaluacioacuten

Experiencia en

evaluaciones en las

que se hayan

implementado

metodologiacuteas y anaacutelisis

cualitativos Que

cuente con liacuteneas de

investigacioacuten o

participacioacuten en

proyectos con temas

vinculados a los

programas a ser

evaluados

PAE 2017 11

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Tabla 2 Perfil de equipo evaluador

Cargo Requisitos

Acadeacutemicos Experiencia General

Experiencia

Especifica

Analistas

del equipo

evaluador

Se sugiere que la

instancia evaluadora

sea multidisciplinario

que cuenten con

licenciatura o estudios

de posgrado en

ciencias sociales

econoacutemicas historia

antropologiacutea ciencia

poliacutetica psicologiacutea

administracioacuten puacuteblica

o ingenieriacutea

Experiencia en

evaluaciones de

programas poliacuteticas

yo investigaciones en

materia de evaluacioacuten

Experiencia en trabajo

de campo estudios

etnograacuteficos disentildeo de

encuestas y

cuestionarios en temas

de ingenieriacutea de

procesos y en

evaluacioacuten de

programas puacuteblicos

PAE 2017 12

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Preguntas de investigacioacuten

Seccioacuten 1 Disentildeo

Diagnoacutestico del programa puacuteblico

1 iquestEl programa tiene identificado el problema y la loacutegica causal acerca de su dinaacutemica

Consideraciones

La respuesta deberaacute mostrar si el problema o necesidad para el que va dirigido el programa se

identifica como un hecho negativo el que se puede revertir o atender

Se tendraacute que identificar si se cuenta con aacuterbol de problemas (u otro elemento documentado) que

permita identificar la loacutegica causal del problema al que se busca atender juzgando la medida en que

la loacutegica causal del programa es consistente con los estudios utilizados para fundamentacioacuten de la

intervencioacuten

Se debe incluir la definicioacuten del problema o necesidad y en su caso la propuesta de modificacioacuten o

recomendaciones de mejora Asimismo se indicaraacute si el problema o necesidad considera diferencias

entre hombres y mujeres a fin de conocer las limitaciones yo las oportunidades que presenta el

entorno econoacutemico demograacutefico social cultural poliacutetico juriacutedico e institucional para la promocioacuten

de la igualdad de geacutenero

Se deberaacute que determinar si el problema identificado por el Pp tiene coincidencia con alguacuten

problema que se aborda en el PED yo en el Programa Sectorial De igual forma se deberaacute analizar

si en el aacutembito nacional o internacional se cuenta con experiencias de poliacuteticas puacuteblicas que tuvieron

o tienen como objetivo la atencioacuten del problema que se plantea atender Lo anterior sentildealando sus

logros fallos y resultados ademaacutes se solicita hacer mencioacuten sobre la incorporacioacuten de elementos

exitosos de otras estrategias en el disentildeo del programa presupuestario a evaluar

2 iquestEl programa cuenta con una identificacioacuten (cuantificacioacuten y ubicacioacuten geograacutefica) de la

poblacioacuten o aacuterea de enfoque potencial y objetivo de su intervencioacuten y eacutesta se relaciona con

la definicioacuten del problema puacuteblico que se plantea atender

Consideraciones

La instancia evaluadora deberaacute valorar la medida en que la definicioacuten del problema es traducido a

unidades concretas de personas grupos especiacuteficos o zonas geograacuteficas cuantificables y

monitoreables en referentes estadiacutesticos oficiales del estado yo federacioacuten

PAE 2017 13

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

En la respuesta se deberaacuten incluir las definiciones de la poblacioacuten o aacuterea de enfoque potencial

objetivo y atendida asiacute como su cuantificacioacuten La metodologiacutea y fuentes de informacioacuten para

determinar los tipos de poblacioacuten o aacuterea de enfoque se deben incluir en el Anexo 2 ldquoMetodologiacutea

para la cuantificacioacuten de la poblacioacuten o aacuterea de enfoque potencial y objetivordquo

Asimismo identificar si el Pp cuenta con una estrategia de cobertura institucional en que se defina

la estrategia que utilizaraacute a lo largo del tiempo para cubrir el total de su poblacioacuten o aacuterea de enfoque

potencial en caso de que no se identifique alguna estrategia el evaluador deberaacute emitir una

valoracioacuten sobre la pertinencia del disentildeo actual del Pp para alcanzar las metas de cobertura En caso

de que el disentildeo actual del Pp no permita alcanzar las metas de cobertura deberaacuten recomendarse

modificaciones concretas al disentildeo del Pp con la finalidad de que sea maacutes probable que alcance

dichas metas de cobertura

De igual forma se debe analizar la evolucioacuten de la poblacioacuten o aacuterea de enfoque atendida y su

convergencia con la poblacioacuten o aacuterea de enfoque potencial es decir si el programa ha logrado

atender a toda la poblacioacuten o aacuterea de enfoque objetivo El anaacutelisis se debe justificar y completar el

Anexo 3 ldquoEvolucioacuten de la Coberturardquo

Matriz de Indicadores para Resultados (MIR)

3 iquestLa estructura de objetivos planteada por el programa mantiene loacutegica y correspondencia

causal con el problema planteado en el diagnoacutestico

Consideraciones

Se deberaacute identificar la contribucioacuten del programa a los objetivos estrateacutegicos del Plan Estatal de

Desarrollo y de otros instrumentos de planeacioacuten de mediano y largo plazo

Se deberaacute determinar si la hipoacutetesis de intervencioacuten del programa mantiene una loacutegica causal con

la problemaacutetica que se quiere atender

Se deberaacuten analizar y valorar los elementos que componen al disentildeo del Pp (modalidad unidades

responsables propoacutesito componentes poblacioacuten o aacuterea de enfoque objetivo entre otros) y sobre

los cuales eacuteste se construye (problema puacuteblico o necesidad causas y efectos del problema situacioacuten

de la poblacioacuten o aacuterea de enfoque objetivo entre otros)

Se deberaacute valorar la MIR y verificar su loacutegica horizontal (resumen narrativo indicadores metas y

medios de verificacioacuten) y vertical asiacute como si es congruente con los elementos de diagnoacutestico

Derivado de lo anterior se elaboraraacute una propuesta de la MIR que deberaacute considerar y presentar la

Estructura Analiacutetica del Pp (aacuterbol de problemas objetivos y concentrado) Asimismo se deberaacute incluir

PAE 2017 14

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

la justificacioacuten del disentildeo propuesto o las modificaciones sugeridas y generar el Anexo 4 ldquoPropuesta

de mejora de la Matriz de Indicadores para Resultadosrdquo

Metodologiacutea de la Seccioacuten 1

Anaacutelisis de gabinete

La evaluacioacuten se realizaraacute mediante un anaacutelisis de gabinete con base en informacioacuten proporcionada

por la dependencia o unidad responsable del programa asiacute como informacioacuten adicional que la

institucioacuten evaluadora considere necesaria para justificar su anaacutelisis

En este contexto se entiende por anaacutelisis de gabinete al conjunto de actividades que involucra el

acopio la organizacioacuten y la valoracioacuten de informacioacuten concentrada en registros administrativos

bases de datos evaluaciones internas yo externas y documentacioacuten puacuteblica Sin embargo de

acuerdo con las necesidades de informacioacuten y tomando en cuenta la forma de operar de cada

programa se podraacuten programar y llevar a cabo entrevistas con responsables de los programas yo

personal de la unidad de evaluacioacuten yo planeacioacuten de la dependencia coordinadora

Valoracioacuten de disentildeo del Pp

Para cada pregunta de investigacioacuten de esta seccioacuten se deberaacute definir una valoracioacuten cuantitativa y

cualitativa que resuma la apreciacioacuten del evaluador para cada uno de los aspectos de la seccioacuten 1

con el fin de permitir obtener una valoracioacuten sinteacutetica acerca de la suficiencia de los elementos que

cumple el programa Para esto se deberaacute usar la siguiente escala likert de cinco grados

Tabla 3 Escala de Medicioacuten para la Seccioacuten 1

1 2 3 4 5

Deficiente Insuficiente Moderado Bien Suficiente

En la argumentacioacuten que presente la evaluadora se deberaacuten aportar los elementos que justifiquen

la valoracioacuten cuantitativa que se emita para cada pregunta de investigacioacuten ademaacutes de completar

el Anexo 9 ldquoValoracioacuten global cuantitativardquo de la Seccioacuten 1 de Disentildeo

PAE 2017 15

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Seccioacuten 2 Procesos

Pertinencia de los procesos

4 Diagnoacutestico general de los procesos y subprocesos del Pp

Consideraciones

La instancia evaluadora deberaacute presentar dentro de los 30 diacuteas naturales posteriores a la firma del

contrato un Diagnoacutestico General de los Procesos y Subprocesos o Macroprocesos del Pp (Producto

1) en el que se deacute cuenta de la problemaacutetica o necesidad que atiende o de la funcioacuten de gobierno

que desarrolla asiacute como del contexto y las condiciones en las que opera el Pp En este diagnoacutestico

se deben identificar los procesos y subprocesos o macroprocesos que integran la operacioacuten o

gestioacuten del Pp a partir de la normativa vigente y de las entrevistas a funcionarios de la UR realizadas

se deberaacute presentar una descripcioacuten integral con el mapa de procesos y subprocesos del Pp

A partir de este diagnoacutestico la instancia evaluadora presentaraacute para su validacioacuten a la DEV una

propuesta de los alcances y logiacutestica de la Evaluacioacuten de Procesos del Pp Asimismo el diagnoacutestico

debe estar acompantildeado de la justificacioacuten del enfoque metodoloacutegico general seleccionado para su

desarrollo

Ademaacutes en el Producto 1 se deberaacuten especificar las directrices generales y particulares que guiaraacuten

la realizacioacuten de la evaluacioacuten de procesos acordadas con la DEV y la UR del Pp por lo que la correcta

elaboracioacuten de este producto es fundamental para poder garantizar un resultado satisfactorio

En el Producto 1 ademaacutes de integrar la estrategia y plan de trabajo de campo teacutecnicas de

investigacioacuten a utilizarse disentildeo muestral e instrumentos de levantamiento de informacioacuten se

incluiraacuten dos apartados

Descripcioacuten del contexto en el que opera el Pp La instancia evaluadora deberaacute describir

los siguientes elementos del Pp todas las UR que participan en su operacioacuten o que ejercen

sus recursos los entregables que produce cada UR que participa en la operacioacuten del Pp en

el marco del mismo el problema o necesidad de poliacutetica puacuteblica identificado por el Pp

poblacioacuten o aacuterea de enfoque potencial objetivo y atendida del Pp y su cuantificacioacuten

cantidad de destinatarios por cada uno de los entregables que el Pp tuvo al cierre del uacuteltimo

ejercicio fiscal del que se tenga registro cantidad de destinatarios por cada uno de los

entregables que el Pp espera atender en el ejercicio fiscal evaluado asiacute como el contexto

organizacional y social en que se desarrolla su operacioacuten

PAE 2017 16

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Diagnoacutestico inicial de los procesos y subprocesos o macroprocesos del Pp La instancia

evaluadora deberaacute desarrollar a partir del trabajo de gabinete y de entrevistas

semiestructuradas con funcionarios de la(s) Unidad(es) Responsable(s) del Pp realizadas un

diagnoacutestico inicial de procesos del Pp en el que se identifiquen claramente los procesos y

subprocesos o macroprocesos que integran su operacioacuten o gestioacuten asiacute como las instancias

o actores que participan en ellos se deberaacute presentar una descripcioacuten integral con un mapa

de procesos y subprocesos o macroprocesos del Pp asiacute como llenar el Anexo 5 ldquoFicha de

identificacioacuten y equivalencia de procesosrdquo Las entrevistas semiestructuradas se realizaraacuten con

la finalidad de profundizar y despejar dudas sobre el mapa de los procesos y subprocesos o

macroprocesos que integran la gestioacuten operativa del Pp En esta seccioacuten la instancia

evaluadora deberaacute sentildealar cuaacuteles de los procesos y subprocesos o macroprocesos

identificados estaacuten documentados y cuaacuteles no asiacute como ndashen su casondash la normativa que los

rige por ejemplo un manual de procedimientos o de organizacioacuten lineamientos de

operacioacuten entre otros Cabe sentildealar que los procesos y subprocesos o macroprocesos que

integran la operacioacuten o gestioacuten del Pp son estructuras analiacuteticas que debe de construir la

instancia evaluadora a partir de su experiencia en el desarrollo de evaluaciones de procesos

e implementacioacuten de poliacuteticas puacuteblicas por tanto debe tenerse en cuenta que a pesar de

ser lo deseable los procesos y subprocesos o macroprocesos no necesariamente pueden

estar documentados

5 Descripcioacuten y valoracioacuten de los procesos y subprocesos del Pp

Consideraciones

Despueacutes de realizar el trabajo de campo y sistematizar la informacioacuten levantada la instancia

evaluadora deberaacute realizar la descripcioacuten y valoracioacuten de cada uno de los procesos subprocesos o

macroprocesos identificados en el Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesosrdquo

contrastando en todos los casos la evidencia documental y su ejecucioacuten en la praacutectica

Por lo anterior en esta seccioacuten se deberaacute realizar una descripcioacuten minuciosa del desarrollo y el

anaacutelisis de cada proceso y subproceso o macroproceso de acuerdo con el alcance establecido

utilizando la informacioacuten obtenida mediante el anaacutelisis de gabinete y el trabajo de campo asimismo

se deberaacute realizar una valoracioacuten integral sobre la gestioacuten de cada uno de los procesos a partir de

la gestioacuten en sus subprocesos o macroprocesos a partir de la gestioacuten de los procesos

PAE 2017 17

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

La valoracioacuten de cada proceso subproceso o macroproceso deberaacute contener la siguiente estructura

1 Descripcioacuten detallada de las actividades los elementos y los actores que integran el

desarrollo de cada proceso y subproceso o macroproceso

2 Liacutemites de cada proceso y subproceso o macroproceso asiacute como su articulacioacuten con otros

3 Insumos y recursos determinar si los insumos y los recursos disponibles son suficientes y

adecuados para la ejecucioacuten de cada proceso y subproceso o macroproceso

a Tiempo iquestel tiempo en que se ejecuta el proceso o subproceso es el adecuado acorde

a lo planificado y congruente con la normativa que aplica

b Personal iquestel personal es suficiente tiene el perfil y cuenta con la capacitacioacuten necesaria

para la ejecucioacuten del proceso o subproceso

c Recursos financieros iquestlos recursos financieros son suficientes para la ejecucioacuten del

proceso o subproceso

d Recursos materiales iquestlos recursos materiales son suficientes para la ejecucioacuten del

proceso o subproceso

e Infraestructura iquestse cuenta con la infraestructura o capacidad instalada suficiente para

la ejecucioacuten del proceso o subproceso

f Insumos tecnoloacutegicos

4 Productos iquestlos productos de cada proceso subproceso o macroproceso sirven de insumo

para ejecutar el proceso subproceso o macroproceso subsecuente

5 Sistemas de informacioacuten iquestLos sistemas de informacioacuten utilizados en la ejecucioacuten de cada

proceso subproceso o macroproceso (automatizados semiautomatizados o manuales)

funcionan como una fuente de informacioacuten uacutetil para los sistemas de monitoreo a nivel central

y para los operadores en otros niveles iquestEstos sistemas de informacioacuten automatizan algunos

procesos subprocesos o macroproceso del Pp iquestSirven como mecanismo de control interno

para el mejor de desarrollo de los procesos subprocesos o macroproceso

6 Coordinacioacuten iquestla coordinacioacuten entre los actores oacuterdenes de gobierno o dependencias

involucradas es adecuada para la ejecucioacuten del proceso subproceso o macroproceso

7 Evaluacioacuten de la pertinencia de la forma en que se ejecuta cada proceso subproceso o

macroproceso en el contexto y condiciones en que se desarrolla considerando la estructura

organizacional involucrada y la coordinacioacuten entre las unidades administrativas que

intervienen en el proceso subproceso o macroproceso

8 Identificacioacuten de las caracteriacutesticas relacionadas con la importancia estrateacutegica de cada

proceso subproceso o macroproceso

PAE 2017 18

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

9 Opinioacuten de actores (destinatarios beneficiarios usuarios clientes u operadores del Pp)

sobre la eficacia eficiencia y calidad de cada proceso subproceso o macroproceso

10 Existencia de mecanismos para conocer la satisfaccioacuten de los beneficiarios o destinatarios de

los componentes o entregables que otorga el Pp

Por otra parte en caso de que el Pp genere diversos componentes o entregables y que estos

impliquen la realizacioacuten de actividades diferentes seraacute necesario describir los procesos y

subprocesos o macroprocesos correspondientes a cada tipo de componente o entregable otorgado

En la descripcioacuten de los procesos y subprocesos o macroprocesos la instancia evaluadora de manera

coordinada con la DEV deberaacute realizar los diagramas de alto nivel y los diagramas detallados

(diagramas de flujo) que describan los procesos y subprocesos o macroprocesos del Pp Para ello se

deberaacute usar como referencia la seccioacuten ldquoVII Mapeo de procesosrdquo de la ldquoGuiacutea para la Optimizacioacuten

Estandarizacioacuten y Mejora Continua de Procesosrdquo (paacuteginas 18 a 25) elaborada por la Secretariacutea de la

Funcioacuten Puacuteblica (SFP) disponible en la siguiente direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Estos diagramas se deberaacuten elaborar de acuerdo con lo especificado en el Anexo 7 ldquoDiagramas de

flujo de la operacioacuten del Pprdquo

Metodologiacutea Seccioacuten 2

La Evaluacioacuten de Procesos del Pp se realizaraacute principalmente a partir de teacutecnicas de investigacioacuten

cualitativa como son el anaacutelisis documental la observacioacuten directa estudios de caso y multicaso

especiacuteficos entrevistas semiestructuradas y grupos focales o grupos de enfoque (focus groups)

entre otras teacutecnicas que la instancia evaluadora considere pertinentes para realizar el anaacutelisis de

gabinete y el trabajo de campo tales como la aplicacioacuten de cuestionarios de aplicacioacuten electroacutenica

o a distancia

La metodologiacutea y los instrumentos definidos asiacute como el trabajo de gabinete y de campo deberaacuten

generar evidencia empiacuterica suficiente para valorar a profundidad la forma en que se ejecutan los

procesos y subprocesos o macroprocesos que integran la operacioacuten del Pp asiacute como su contexto

institucional y organizacional

PAE 2017 19

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anaacutelisis de gabinete

Para esta seccioacuten es necesario la elaboracioacuten del diagnoacutestico de los procesos y subprocesos o

macroprocesos que integran la operacioacuten o gestioacuten del Pp la instancia evaluadora deberaacute realizar

un anaacutelisis de gabinete considerando como miacutenimo los siguientes documentos

La normativa aplicable al Pp leyes reglamentos lineamientos manuales de procedimientos

convenios contratos entre otros

Diagnoacutestico y estudios de la problemaacutetica que el Pp atiende

Diagnoacutestico del programa y estudios del marco contextual en el que opera

MIR del Pp correspondiente al ejercicio fiscal evaluado y de ejercicios anteriores que se

consideren pertinentes

Sistemas de informacioacuten automatizados semiautomatizados o manuales que apoyen a la

ejecucioacuten de los procesos y subprocesos o macroprocesos identificados del Pp

Evaluaciones externas o internas realizadas previamente al Pp

Documentos de trabajo institucionales e informes de avances de Aspectos Susceptibles de

Mejora con los que cuente el Pp

Informes de auditoriacuteas de desempentildeo o similares realizadas al Pp por la Auditoriacutea Superior

de la Federacioacuten del Estado de Puebla por la Secretariacutea de la Contraloriacutea o por cualquier

instancia fiscalizadora

Asimismo se sugiere revisar otros documentos asociados al disentildeo del Pp y a su definicioacuten de

poblacioacuten o aacuterea de enfoque potencial y objetivo asiacute como a su estrategia de integracioacuten de

destinatarios o beneficiarios de los componentes o entregables del Pp

El anaacutelisis o trabajo de gabinete deberaacute generar como resultado inicial un mapeo de los procesos y

subprocesos o macroprocesos que integran la gestioacuten operativa del Pp que constituiraacute

esencialmente el Producto 1 de la evaluacioacuten posteriormente se procesaraacute la informacioacuten recabada

en campo para la generacioacuten del informe preliminar y final de la evaluacioacuten

Alcance y enfoque de la evaluacioacuten

La instancia evaluadora deberaacute sentildealar con claridad en el informe de la evaluacioacuten cuaacuteles de los

procesos y subprocesos o macroprocesos identificados en la operacioacuten o gestioacuten del Pp se analizan

y cuaacuteles no de acuerdo con lo establecido por la Direccioacuten de Evaluacioacuten (DEV) de la Secretariacutea de

Finanzas y Administracioacuten (SFA) y la Unidad Responsable (UR) del Programa en cuestioacuten sentildealando

los elementos de anaacutelisis que justifican esta seleccioacuten y en su caso haciendo recomendaciones al

respecto

PAE 2017 20

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Un elemento que podraacute ser considerado para establecer el alcance de la evaluacioacuten es el grado de

consolidacioacuten operativa del Pp el cual podraacute determinarse a priori considerando algunos elementos

como los siguientes

1 Si existen documentos que normen los procesos y subprocesos o macroprocesos

2 Si los procesos y subprocesos o macroprocesos estaacuten estandarizados es decir si son

utilizados por todas la instancias ejecutoras de manera homogeacutenea

3 Si los procesos y subprocesos o macroprocesos estaacuten documentados y son del conocimiento

de todos los operadores

4 Si se cuenta con un sistema de monitoreo e indicadores de gestioacuten

5 Si se cuenta en los procesos y subprocesos o macroprocesos analizados con sistemas

informaacuteticos que permitan la automatizacioacuten en la ejecucioacuten de los mismos

6 Si se cuenta con mecanismos para la implementacioacuten sistemaacutetica de mejoras

Se considera que existe un mayor grado de consolidacioacuten operativa cuando existen todos los

elementos y disminuiraacute gradualmente conforme haga falta uno o maacutes de ellos hasta el menor grado

de consolidacioacuten que es cuando no existe ninguno de los elementos

El alcance de la Evaluacioacuten de Procesos del Pp implica el anaacutelisis de los procesos y subprocesos o

macroprocesos sustantivos del Pp asiacute como la respectiva priorizacioacuten de estos Se deberaacute realizar

la identificacioacuten y jerarquizacioacuten de los procesos a partir del Esquema 1 adaptaacutendolo a las

condiciones particulares del Pp3 en eacutel se observa lo siguiente

El proceso de ldquoPlaneacioacutenrdquo es el punto de partida para la implementacioacuten del Pp

posteriormente continuacutean los procesos de ldquoComunicacioacuten Interna y Externardquo ldquoSeleccioacuten de

destinatariosrdquo ldquoProduccioacuten de entregablesrdquo ldquoEntregardquo ldquoSeguimiento a destinatariosrdquo y

ldquoControlrdquo

La informacioacuten que se genera en los procesos de ldquoSeguimiento a destinatariosrdquo y ldquoControlrdquo

es un insumo directo para retroalimentar los procesos del Pp desde el de Planeacioacuten

El proceso de ldquoMonitoreordquo utiliza informacioacuten generada principalmente en los procesos de

ldquoComunicacioacutenrdquo ldquoSeleccioacuten de destinatariosrdquo ldquoProduccioacuten de entregablesrdquo ldquoEntregardquo y

ldquoSeguimiento a destinatariosrdquo a partir de ello se retroalimentan los procesos del Pp desde

la ldquoPlaneacioacutenrdquo

3 Con excepcioacuten de los procesos (con sus subprocesos) de Planeacioacuten Monitoreo y Evaluacioacuten Externa para

los cuales la instancia evaluadora uacutenicamente podraacute en caso de que lo considere pertinente agregar

subprocesos pero no suprimir subprocesos

PAE 2017 21

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

El proceso de ldquoEvaluacioacuten Externardquo requiere de informacioacuten transversal de todos los

procesos ya que se valora al Pp en su conjunto En este sentido los resultados de las

evaluaciones son un insumo para retroalimentar al Pp desde el proceso de ldquoPlaneacioacutenrdquo

Es importante sentildealar que en el Esquema 1 se muestra un modelo que es importante tomarlo en

cuenta como referencia para la identificacioacuten y definicioacuten de los procesos y subprocesos o

macroprocesos que integran la operacioacuten del Pp evaluado ademaacutes de que representa un auxiliar

en la definicioacuten del alcance y del enfoque de la Evaluacioacuten de Procesos del Pp

Esquema 1 Modelo general de procesos

Fuente Modelo de TdR para la Evaluacioacuten de Procesos Secretariacutea de Hacienda y Creacutedito Puacuteblico

A continuacioacuten se describe cada uno de los procesos que componen al modelo anterior

Planeacioacuten proceso en el que se determinan o definen el problema o necesidad aacuterbol de

problemas y objetivos poblacioacuten o aacuterea de enfoque potencial y objetivo objetivos

indicadores y metas de la MIR estrategia de cobertura plan estrateacutegico entre otros puntos

asiacute como los recursos financieros y humanos necesarios que requiere el Pp para lograr sus

objetivos En el proceso de planeacioacuten se determinan las directrices en el disentildeo e

implementacioacuten del Pp los subprocesos que lo integran son los siguientes planeacioacuten

estrateacutegica programacioacuten y presupuesto actualizacioacuten de la MIR actualizacioacuten de

normativa

PAE 2017 22

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Comunicacioacuten interna y externa proceso en el que se informan diversas caracteriacutesticas y

objetivos del Pp tanto a los actores involucrados en su funcionamiento y operacioacuten (interna)

como a su poblacioacuten o aacuterea de enfoque objetivo (externa)

Seleccioacuten de destinatarios proceso en el que se determina quieacutenes recibiraacuten los

componentes o entregables de un Pp en funcioacuten de su poblacioacuten o aacuterea de enfoque objetivo

Produccioacuten de entregables proceso en el que se elaboran los entregables o realizan los

componentes del Pp (recursos financieros o humanos apoyos bienes servicios

regulaciones documentos teacutecnicos o de planeacioacuten etc) conforme a sus documentos

normativos

Entrega proceso en el que se realiza la entrega de lo producido o generado por el Pp

(componentes o entregables) a los destinatarios o beneficiarios

Seguimiento a destinatarios actividades y mecanismos que permiten al Pp conocer coacutemo

son utilizados o aprovechados sus componentes o entregables (por sus destinatarios o

beneficiarios) para que entre otras funciones la UR del Pp identifique si se estaacute cumpliendo

con los objetivos Por ejemplo en este proceso se incluyen las actividades que un Pp

implementa para conocer el grado de satisfaccioacuten de sus destinatarios o beneficiarios

Control actividades y mecanismos implementados entre los operadores del Pp para verificar

que los diferentes procedimientos procesos y subprocesos se esteacuten ejecutando conforme a

lo planeado (control interno)

Monitoreo proceso coordinado por una unidad administrativa ajena a la operacioacuten del Pp

a traveacutes del cual se recaba registra y valida la informacioacuten sobre el avance de las metas de

los indicadores de la MIR asiacute como el seguimiento a los resultados de indicadores

adicionales a los de la MIR en caso de que se cuente con un sistema de monitoreo de gestioacuten

Los subprocesos que lo integran son los siguientes acopio de la informacioacuten para el reporte

de avances validacioacuten de informacioacuten y registro de avances primordialmente

Evaluacioacuten externa proceso coordinado por una unidad administrativa ajena a la operacioacuten

del Pp mediante el cual se define la agenda de evaluacioacuten externa del Pp se definen las

metodologiacuteas o los teacuterminos de referencia se contratan las evaluaciones externas (de

cualquier tipo) se recaba la informacioacuten que seraacute entregada a los equipos evaluadores se

realiza el seguimiento durante el desarrollo de las evaluaciones externas se aprueban los

PAE 2017 23

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

informes finales de las evaluaciones externas se notifica a las instancias correspondientes

sobre la conclusioacuten de las evaluaciones externas y se definen y realiza el seguimiento de los

Aspectos Susceptibles de Mejora (ASM)

A partir de los procesos definidos en el modelo anterior la instancia evaluadora deberaacute realizar una

equivalencia de los procesos subprocesos o macroprocesos identificados respecto a los definidos

en el modelo de acuerdo con el Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesosrdquo Cabe

mencionar que los procesos definidos en el modelo no son limitativos por lo que si la instancia

evaluadora identifica procesos subprocesos o macroprocesos adicionales deberaacute incluirlos

Disentildeo metodoloacutegico del trabajo de campo

A partir del contexto en que opera el Pp y el alcance y enfoque metodoloacutegico de la evaluacioacuten de

procesos la instancia evaluadora deberaacute desarrollar una propuesta de estrategia y plan de trabajo

de campo a seguir para la realizacioacuten de la evaluacioacuten asimismo deberaacute incluir un cronograma

detallado de actividades

La estrategia de trabajo de campo disentildeada por la instancia evaluadora deberaacute ser entregada a la

DEV para que en conjunto con la UR del Pp sea validada antes de su implementacioacuten Dicha

estrategia deberaacute contener al menos los siguientes elementos

Justificacioacuten de las teacutecnicas de investigacioacuten a utilizar

Muestra y los criterios utilizados para su seleccioacuten

Listado de los actores a entrevistar

Instrumentos de levantamiento de informacioacuten que se aplicaraacuten y

Cronograma con las actividades a desarrollar

La instancia evaluadora iniciaraacute las actividades del trabajo de campo de manera conjunta y una vez

recibido el visto bueno de la DEV

El disentildeo de la muestra y de los instrumentos para el levantamiento de informacioacuten en campo

deberaacute considerar a la totalidad de los actores que intervienen en la ejecucioacuten de los procesos y

subprocesos o macroprocesos que integran la operacioacuten o gestioacuten del Pp asiacute como a los

destinatarios o beneficiarios de los componentes o entregables del Pp independientemente de su

ubicacioacuten geograacutefica

Algunos criterios que puede utilizar la instancia evaluadora para definir una muestra que considere

la variabilidad de la operacioacuten en los diferentes contextos en que opera el Pp son los siguientes

PAE 2017 24

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

a) El desempentildeo operativo del Pp entre municipios regionalizacioacuten geograacutefica instituciones

puacuteblicas o privadas u otros aspectos que suponen una accioacuten diferenciada de los procesos

(cuando aplique)

b) Volumen de la operacioacuten del Pp

c) Esquemas normativos del Pp y el ejercicio presupuestal en los municipios instituciones

puacuteblicas o privadas u otros aspectos que suponen una accioacuten diferenciada de los procesos

en las que opera el Pp (cuando aplique) y

d) Formas de interaccioacuten del Pp con otros niveles u oacuterdenes de gobierno (cuando aplique)

Los criterios anteriores no son limitativos por lo que la instancia evaluadora podraacute proponer criterios

adicionales que considere pertinentes para la definicioacuten de la muestra para el trabajo de campo

En el disentildeo muestral la instancia evaluadora deberaacute sentildealar los funcionarios del Pp o destinatarios

a los que se les aplicaraacuten los instrumentos de levantamiento de informacioacuten con los que se realizaraacute

el trabajo de campo asiacute como la ubicacioacuten geograacutefica de los mismos

Instrumentos de levantamiento de informacioacuten

La instancia evaluadora deberaacute disentildear los instrumentos que utilizaraacute para el levantamiento de

informacioacuten durante el trabajo de campo como son (por ejemplo) los cuestionarios por tipo de

funcionario a entrevistar para el caso de entrevistas semiestructuradas los guiones a utilizar en la

realizacioacuten de grupos focales los cuestionarios de aplicacioacuten electroacutenica las guiacuteas respectivas entre

otros Para lo anterior deberaacute considerar los siguientes temas guiacutea y preguntas de referencia

Planeacioacuten (planeacioacuten estrateacutegica programacioacuten y presupuesto)

iquestQueacute se entiende por planeacioacuten estrateacutegica para los operadores del Pp

iquestCuaacuteles son las actividades o acciones de planeacioacuten estrateacutegica del Pp que se realizan

iquestLa planeacioacuten estrateacutegica es el resultado de un ejercicio institucionalizado que involucra a

los actores clave de la gestioacuten del Pp

iquestExiste un documento resultado de la planeacioacuten estrateacutegica iquestEs claro difundido y

accesible iquestEn queacute medida es utilizado para guiar la operacioacuten del Pp

iquestLa planeacioacuten estrateacutegica estaacute vinculada con el cumplimiento entrega o generacioacuten de los

componentes o entregables del Pp

iquestLa planeacioacuten estrateacutegica establece indicadores para medir los avances en las metas

establecidas iquestLas metas son factibles y estaacuten orientadas a impulsar el desempentildeo del Pp

PAE 2017 25

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

iquestQueacute se entiende por planeacioacuten operativa y cuaacuteles son las diferencias con la planeacioacuten

estrateacutegica

Comunicacioacuten interna y externa del Pp (las preguntas que apliquen)

iquestQueacute actores intervienen en la comunicacioacuten del Pp

iquestExiste una estrategia de comunicacioacuten del Pp documentada En caso afirmativo describirla

iquestLa estrategia de comunicacioacuten del Pp (documentada o no) es adecuada

iquestLos medios utilizados el lenguaje y el contenido de los mensajes son pertinentes en funcioacuten

del puacuteblico al que van dirigidos

Solicitud de los componentes o entregables del Pp (las preguntas que apliquen)

iquestExiste un proceso claro imparcial y expliacutecito por medio del cual la poblacioacuten o aacuterea de

enfoque potencial puede solicitar los componentes o entregables que otorga el Pp

iquestLos requisitos para solicitar los componentes o entregables del Pp se presentan de manera

clara y completa

iquestLos puntos de recepcioacuten de solicitudes son accesibles y suficientes (cuando aplique)

iquestExisten mecanismos estandarizados para recibir y revisar la documentacioacuten entregada asiacute

como registrar y dar traacutemite a las solicitudes (cuando aplique)

iquestSon adecuados estos mecanismos (cuando aplique) En caso de que el Pp que apoye la

realizacioacuten de proyectos iquestse brinda asesoriacutea para la presentacioacuten de los mismos de ser asiacute

iquestes pertinente esta asesoriacutea

iquestEl proceso de solicitud de los componentes o entregables que otorga el Pp se encuentra

automatizado total o parcialmente

Para esta pregunta considerar los estados de digitalizacioacuten utilizados por la Comisioacuten Intersecretarial

para el Desarrollo del Gobierno electroacutenico seguacuten una adaptacioacuten realizada a la clasificacioacuten que

hace la ONU

Estado de digitalizacioacuten 1 traacutemites y servicios que se encuentran en estado informativo

Estado de digitalizacioacuten 2 traacutemites y servicios que cuentan con interfaces de comunicacioacuten

unidireccional

Estado de digitalizacioacuten 3 traacutemites y servicios que permiten realizar transacciones y

Estado de digitalizacioacuten 4 traacutemites y servicios que el usuario puede ejecutar de principio a

fin por medio de dispositivos digitales

PAE 2017 26

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para mayor informacioacuten referirse a ldquoFigure A4 The four stages of online service developmentrdquo en

los siguientes documentos

Lineamientos relativos a la digitalizacioacuten estandarizada de traacutemites y servicios con apego en

la Estrategia Digital Nacional

httpwwwgobmxcmsuploadsattachmentfile67232ti_1_pgcm_bases_lineam_tyspdf

United Nations E-Government Survey 2014 (paacutegina 195)

httpspublicadministrationunorgegovkbportalsegovkbdocumentsun2014-surveye-

gov_complete_survey-2014pdf

Seleccioacuten de destinatarios (cuando aplique)

iquestExiste una metodologiacutea o meacutetodo para la seleccioacuten de destinatarios o beneficiarios de los

componentes o entregables del Pp iquestLa metodologiacutea utilizada cuenta con criterios de

seleccioacuten y elegibilidad claros estandarizados y sistematizados

iquestLa seleccioacuten de destinatarios o beneficiarios de los componentes o entregables del Pp es un

proceso transparente e imparcial iquestEl resultado de la seleccioacuten es puacuteblico (cuando aplique)

iquestExiste informacioacuten en una base de datos que permita conocer quieacutenes o queacute instancias

reciben los componentes o entregables del Pp iquestQueacute informacioacuten integra esta base de datos

iquestExisten mecanismos para validar y actualizar esta base de datos iquestEstos mecanismos son

pertinentes

Produccioacuten de componentes o entregables

iquestSe cuenta con los insumos suficientes para generar el volumen de componentes o

entregables que permitan al Pp atender a su poblacioacuten o aacuterea de enfoque objetivo

iquestEl Pp tiene mecanismos para estimar la produccioacuten o generacioacuten necesaria de componentes

o entregables de acuerdo con la posible demanda o requerimientos de su poblacioacuten o aacuterea

de enfoque objetivo iquestEs adecuado este mecanismo

iquestExisten mecanismos de control de calidad para la generacioacuten de los componentes o

entregables del Pp iquestEstos mecanismos son pertinentes

iquestLas actividades de generacioacuten de componentes o entregables que otorga el Pp estaacuten

estandarizadas es decir son ejecutadas de manera homogeacutenea por todas las instancias

involucradas

PAE 2017 27

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Entrega

iquestLos componentes o entregables del Pp son proporcionados conforme a las especificaciones

y de manera oportuna a los destinatarios

iquestExisten especificaciones (programas o planes de trabajo) sobre la forma en que se deben

trasladar los componentes o entregables para (por ejemplo) asegurar su adecuada recepcioacuten

en el punto de destino iquestSon adecuadas estas especificaciones respecto a normas o

lineamientos existentes (cuando aplique)

iquestLa logiacutestica de distribucioacuten se actualiza (cuando aplique) iquestExiste un periodo para dicha

actualizacioacuten iquestEn el disentildeo y actualizacioacuten de la logiacutestica se toman en cuenta los factores

geograacuteficos y climatoloacutegicos en cada regioacuten donde opera el Pp (cuando aplique)

iquestLos puntos de entrega de los componentes o entregables son cercanos a los beneficiarios

o aacuterea de enfoque a atender y son de faacutecil acceso iquestSe considera que son suficientes iquestPor

queacute

Control (las preguntas que apliquen)

iquestEl Pp cuenta con los mecanismos para verificar que los componentes o entregables se

otorguen de acuerdo con lo establecido en la normativa especiacutefica y lleguen a la poblacioacuten

o aacuterea de enfoque que deba ser beneficiada iquestEstos mecanismos son adecuados

iquestExiste de manera sistematizada un documento que deacute cuenta de los resultados de

supervisioacuten y entrega de componentes o entregables iquestEste documento es adecuado iquestLos

resultados se utilizan para implementar mejoras en la operacioacuten del Pp

iquestExisten procedimientos estandarizados que verifiquen el cumplimiento de la

corresponsabilidad u obligatoriedad por parte de los beneficiarios o destinatarios de los

componentes o entregables del Pp (cuando aplique)

Seguimiento a destinatarios

iquestEl Pp tiene mecanismos para verificar el procedimiento de seguimiento a los destinatarios o

beneficiarios que permitan identificar si los componentes o entregables generados son

utilizados de acuerdo con lo establecido iquestCoacutemo se implementa el mecanismo iquestEste

mecanismo es adecuado

iquestExisten procedimientos estandarizados que permitan verificar el cumplimiento de la

corresponsabilidad u obligatoriedad por parte del destinatario o beneficiario (cuando

aplique)

PAE 2017 28

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

En caso de que los componentes o entregables involucren la ejecucioacuten de obra o de

infraestructura iquestel Pp cuenta con un mecanismo de seguimiento o supervisioacuten que permita

identificar si se realizaron acorde a la normativa aplicable iquestEl seguimiento o supervisioacuten

considera plazos para la revisioacuten de las condiciones de la obra o la infraestructura despueacutes

de terminada la obra

iquestEl Pp tiene mecanismos para identificar si se cumple con su Propoacutesito iquestSon suficientes y

pertinentes estos mecanismos

iquestExisten mecanismos para conocer la satisfaccioacuten del destinatario o beneficiario de los

componentes o entregables del Pp respecto de los componentes que ofrece el Pp iquestSon

adecuados estos mecanismos iquestSu operacioacuten permite una aplicacioacuten imparcial y objetiva

iquestExiste evidencia para afirmar que las quejas y sugerencias que brindan los destinatarios o

beneficiarios de los componentes o entregables del Pp son utilizadas para la mejora continua

del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

En esta seccioacuten se deberaacute realizar la medicioacuten de los atributos de eficacia oportunidad suficiencia

y pertinencia de los procesos y subprocesos o macroprocesos definidos en el mapa de procesos del

Pp A continuacioacuten se definen los atributos en el marco de la evaluacioacuten de procesos

Eficacia un proceso es eficaz en la medida en que cumple con sus metas

Oportunidad un proceso es oportuno en la medida en que otorga sus productos

(componentes o entregables) o resultados en un periodo de tiempo determinado o

adecuado para el logro de sus objetivos

Suficiencia un proceso es suficiente en la medida en que produce sus resultados de forma

completa o adecuada para el logro de sus objetivos

Pertinencia un proceso es pertinente si sus actividades y productos son adecuados para

lograr tanto sus metas especiacuteficas como sus objetivos es decir si contribuyen al

mejoramiento de la gestioacuten del Pp4

4 Las actividades son adecuadas si estaacuten en funcioacuten del logro del objetivo de cada proceso Por ejemplo si se verifica que el formato de los mensajes a difundir cumpla con las caracteriacutesticas necesarias para llegar a la poblacioacuten o aacuterea de enfoque objetivo como seriacutea una mensaje de audio en la lengua indiacutegena de la localidad donde se encuentran los posibles destinatarios o beneficiarios o bien como seriacutea un mensaje dirigido a personal operativo del Pp cuyo nivel de estudios promedio pudiera complicar la comprensioacuten de lenguaje teacutecnico utilizado

PAE 2017 29

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para la medicioacuten de los atributos de los procesos y subprocesos o macroprocesos del Pp deberaacute

realizarse una revisioacuten documental (normativa aplicable MIR evaluaciones externas sistemas de

informacioacuten y registros administrativos entre otros) misma que deberaacute complementarse con el

trabajo de campo con el objetivo de identificar disentildear y calcular indicadores relacionados con

dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de informacioacuten empleadas

La informacioacuten obtenida de estos indicadores deberaacute vaciarse en fichas propuestas por la instancia

evaluadora presentadas como en el Anexo 6 ldquoFichas de indicadores de atributos de los procesos del

Pprdquo (formato libre) Estas fichas deberaacuten considerar la medicioacuten de los atributos de eficacia

suficiencia oportunidad y pertinencia correspondientes a cada proceso y subproceso o

macroproceso

Valoracioacuten de los procesos y subprocesos de la operacioacuten del Pp

Deberaacute contener una siacutentesis de los resultados encontrados en la Evaluacioacuten de Procesos del Pp

resaltando los hallazgos maacutes relevantes que se hayan detectado y que pudiesen transformarse en

ASM

La instancia evaluadora deberaacute calcular una valoracioacuten global cuantitativa sobre la operacioacuten y la

ejecucioacuten de los procesos y subprocesos o macroprocesos del Pp a partir del siguiente esquema de

puntuacioacuten5

Eficacia

- Todos los procesos (o macroprocesos) son eficaces = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es eficaz = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es eficaz = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es eficaz = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es eficaz = 1 punto

- Ninguno de los procesos (o macroprocesos) es eficaz = 0 puntos

Oportunidad

- Todos los procesos (o macroprocesos) son oportunos = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es oportuno = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es oportuno = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es oportuno = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es oportuno = 1 punto

5 La valoracioacuten cuantitativa deberaacute estar sustentada y por tanto ser consistente con lo valorado por la instancia evaluadora en el apartado de ldquoMedicioacuten de atributos de los procesos y subprocesosrdquo

PAE 2017 30

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

- Ninguno de los procesos (o macroprocesos) es oportuno = 0 puntos

Suficiencia

- Todos los procesos (o macroprocesos) son suficientes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es suficiente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es suficiente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es suficiente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es suficiente = 1 punto

- Ninguno de los procesos (o macroprocesos) es suficiente = 0 puntos

Pertinencia

- Todos los procesos (o macroprocesos) son pertinentes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es pertinente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es pertinente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es pertinente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es pertinente = 1 punto

- Ninguno de los procesos (o macroprocesos) es pertinente = 0 puntos

A partir de los puntajes asignados en los cuatro atributos anteriores esta valoracioacuten cuantitativa

global debe considerar el total de puntos posibles de obtener (5 x 4 = 20 puntos) y los puntos

obtenidos en la Evaluacioacuten de Procesos Pp (lsquoyrsquo puntos) de modo que se indique el porcentaje de

puntos obtenidos del total de puntos posibles [(lsquoyrsquo20) x 100] = valoracioacuten cuantitativa global de la

operacioacuten del Pp

La instancia evaluadora deberaacute utilizar el Anexo 9 ldquoValoracioacuten global cuantitativardquo para documentar

argumentar y sustentar cada una de las valoraciones cuantitativas sobre la operacioacuten y la ejecucioacuten

de los procesos (o macroprocesos) del Pp

Adicionalmente en este apartado se deberaacuten integrar las recomendaciones y conclusiones que se

consideren maacutes relevantes de los procesos y subprocesos o macroprocesos del Pp las cuales deben

formularse con base en los hallazgos del trabajo de campo y de gabinete El objetivo final de las

recomendaciones es proveer informacioacuten valiosa a los operadores del Pp para realizar adecuaciones

en la ejecucioacuten de los procesos y subprocesos o macroprocesos de modo que se potencie la

consecucioacuten de resultados del Pp

Las recomendaciones que se formulen como resultado de la Evaluacioacuten de Procesos del Pp deberaacuten

tener las siguientes caracteriacutesticas

Derivarse de los hallazgos de la evaluacioacuten

PAE 2017 31

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Ser concretas y factibles

Incluir un proyecto de implementacioacuten que considere los siguientes elementos

- Breve anaacutelisis de la viabilidad o factibilidad de la implementacioacuten

- Principales responsables de la implementacioacuten

- Anaacutelisis de los efectos potenciales que puede implicar la implementacioacuten tanto en la

operacioacuten del Pp como en el logro de sus objetivos

- La comparacioacuten entre la situacioacuten actual y el resultado que se espera obtener con la

implementacioacuten de la recomendacioacuten

Estar categorizadas en dos liacuteneas de accioacuten estrateacutegicas

- Consolidacioacuten

- Reingenieriacutea de procesos o subprocesos

Al respecto la instancia evaluadora debe entender por consolidacioacuten aquellas recomendaciones que

estaacuten dirigidas a perfeccionar determinados aspectos de la operacioacuten como seriacutean algunas acciones

procedimientos o estrategias del Pp asiacute como iniciativas para el fortalecimiento de los sistemas

automatizados infraestructura entre otros

Por reingenieriacutea de procesos o subprocesos se entenderaacuten aquellas recomendaciones que apuntan

a una transformacioacuten o modificacioacuten profunda o sustancial de uno o varios de los procesos y

subprocesos del Pp Para ello se deberaacute llenar el Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de

Procesos del Pprdquo y que a su vez deben derivar en acciones de consolidacioacuten para la implementacioacuten

de los procesos transformados

Adicionalmente y de conformidad con el alcance de la Evaluacioacuten de Procesos del Pp se deberaacute

presentar una propuesta para crear o fortalecer el sistema de monitoreo de gestioacuten del Pp con

indicadores a nivel de procesos y subprocesos o macroprocesos

Asimismo a partir de todo el anaacutelisis y valoraciones realizadas se deberaacute emitir un pronunciamiento

acerca de la percepcioacuten de eficiencia que la instancia evaluadora haya tenido sobre la ejecucioacuten de

los procesos y subprocesos o macroprocesos del Pp

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible o si no hipoteacuteticos en un anexo de formato libre Anexo 10 ldquoSistema de

monitoreo e indicadores de gestioacuten del Pprdquo

PAE 2017 32

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Bitaacutecora de trabajo de campo y bases de datos

La instancia evaluadora deberaacute entregar una bitaacutecora de trabajo de campo que destaque de forma

sinteacutetica entre otros puntos las principales actividades y situaciones a las que se enfrentoacute y que

podriacutean afectar los resultados de la Evaluacioacuten de Procesos del Pp

Asimismo deberaacute entregar las bases de datos generadas a partir de la aplicacioacuten de los instrumentos

de recoleccioacuten de informacioacuten y de la recopilacioacuten de informacioacuten en el trabajo de campo Las bases

de datos deberaacuten entregarse en formatos compatibles con Excel debiendo mantener la

confidencialidad de los entrevistados pero sin alterar la informacioacuten proporcionada por estos En las

bases de datos debe estar sistematizada toda la informacioacuten recabada a partir de la aplicacioacuten de

los instrumentos de levantamiento de informacioacuten y deberaacute sustentar el anaacutelisis las valoraciones los

hallazgos y las conclusiones de la evaluacioacuten

PAE 2017 33

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Contenido del informe

Contenido miacutenimo del informe final de la evaluacioacuten

Derivado del contenido generado en las secciones anteriores deberaacuten elaborarse los siguientes

apartados en el informe final de la Evaluacioacuten de Procesos del Pp

i Introduccioacuten

ii Resumen Ejecutivo

iii Marco Legal

iv Datos Generales del Programa Presupuestario (Pp)

v Criterios Teacutecnicos para la Evaluacioacuten del Programa Presupuestario correspondiente

vi Apartados de la evaluacioacuten

Seccioacuten 1 Disentildeo

Diagnoacutestico del programa puacuteblico

Matriz de Indicadores para Resultados (MIR)

Seccioacuten 2 Procesos

Pertinencia de los proceso

Diagnoacutestico general de los procesos y subprocesos del Pp

- Contexto en que opera el Pp

- Diagnoacutestico inicial de los procesos y subprocesos

Descripcioacuten y valoracioacuten de los procesos y subprocesos del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

vii Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

viii Valoracioacuten final del Pp

ix Hallazgos

x Recomendaciones clasificadas por apartado

xi Conclusiones

xii Bibliografiacutea

xiii Anexos

Anexo 1 Descripcioacuten General del Programa

Anexo 2 Metodologiacutea para la cuantificacioacuten de las poblaciones potencial y objetivo

(Formato Libre)

Anexo 3 Evolucioacuten de la Cobertura

Anexo 4 Propuesta de mejora de la Matriz de Indicadores para Resultados

Anexo 5 Ficha de identificacioacuten y equivalencia de procesos del Pp

PAE 2017 34

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 Fichas de indicadores de atributos de los procesos del Pp (Formato libre)

Anexo 7 Diagramas de flujo de la operacioacuten del Pp

Anexo 8 Propuesta de modificacioacuten a los documentos normativos o institucionales

del Pp

Anexo 9 Valoracioacuten global cuantitativardquo

Anexo 10 Sistema de monitoreo e indicadores de gestioacuten del Pp (Formato libre)

Anexo 11 Recomendaciones de la Evaluacioacuten de Procesos del Pp

Anexo 12 Principales Fortalezas Retos y Recomendaciones

Anexo 13 Ficha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacuten

En el Resumen Ejecutivo asimismo se describiraacuten los principales hallazgos y recomendaciones del

evaluador externo

Para el desarrollo de los apartados antes referidos deberaacute atender las indicaciones que se desarrollan

en las siguientes secciones

Hallazgos y resultados Pp por Seccioacuten

Se debe realizar una valoracioacuten general del programa por seccioacuten utilizando las respuestas que

integran cada uno de los apartados En esta valoracioacuten integral se deberaacute sentildealar en queacute medida la

gestioacuten operativa conduce al logro de los objetivos del Pp

Asimismo se deben sentildealar las aacutereas de mejora las buenas praacutecticas y las fortalezas detectadas en

la operacioacuten del Pp y a partir de ello la instancia evaluadora emitiraacute recomendaciones de mejora

sobre aspectos especiacuteficos de cada proceso y subproceso o macroproceso del Pp Adicionalmente

se deberaacuten identificar los problemas o limitantes tanto normativos como operativos (ldquocuellos de

botellardquo) de coordinacioacuten entre unidades administrativas y otros que hubiese en los procesos y

subprocesos o macroprocesos del Pp entendieacutendose como aquellas praacutecticas procedimientos

actividades o traacutemites que obstaculizan la operacioacuten del Pp

En este sentido se deberaacuten identificar las situaciones en las que la normativa genere complicaciones

en la gestioacuten o ineficacia en el cumplimiento de los objetivos del Pp para lo cual se deberaacute presentar

(por cada situacioacuten identificada) una propuesta de modificacioacuten a la normativa aplicable al Pp

considerando las restricciones praacutecticas que existan para su implementacioacuten asiacute como los efectos

PAE 2017 35

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

potenciales de ser implementada Los resultados de este anaacutelisis deberaacuten describirse en el Anexo 7

ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales del Pprdquo

Para la identificacioacuten y descripcioacuten de los ldquocuellos de botellardquo buenas praacutecticas y fortalezas del Pp

se consideraraacute la informacioacuten derivada del anaacutelisis de la operacioacuten del Pp asiacute como los puntos de

vista de los principales actores que intervienen en ella Este anaacutelisis deberaacute contener las causas y las

consecuencias de los ldquocuellos de botellardquo detectados sus caracteriacutesticas y naturaleza (si son

normativas o estrictamente operativas) de igual manera se deberaacute desarrollar un anaacutelisis de las

buenas praacutecticas identificadas

Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

Se debe integrar en una sola tabla las fortalezas oportunidades debilidades y amenazas

especificadas por cada apartado de la evaluacioacuten y reportarlas en el Anexo 11 ldquoPrincipales Fortalezas

Retos y Recomendacionesrdquo en el que se deben incluir las fortalezas yo oportunidades las

debilidades yo amenazas y las recomendaciones por apartado de la evaluacioacuten

PAE 2017 36

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexos

Anexo 1 ldquoDescripcioacuten General del Programardquo

El Anexo tiene formato libre sin embargo debe contener una breve descripcioacuten de las caracteriacutesticas

maacutes relevantes del Pp en un maacuteximo de dos cuartillas Dicha descripcioacuten debe considerar los

siguientes aspectos

1 Identificacioacuten del programa

11 Nombre

12 Clave de programa

13 Dependencia yo Entidad coordinadora ejecutora

14 Antildeo de inicio de operacioacuten

2 Problema o necesidad que el Pp pretende atender atenuar o resolver

3 La contribucioacuten del Pp a las Metas y objetivos estatales a los que se vincula

4 Descripcioacuten de los objetivos del Pp asiacute como de los bienes yo servicios que ofrece

(componentes)

5 Identificacioacuten y cuantificacioacuten de la poblacioacuten o aacuterea de enfoque potencial y

objetivo

6 Presupuesto aprobado para el ejercicio fiscal en curso

7 Metas de los indicadores de Fin Propoacutesito y Componentes asiacute como los de nivel

actividad que se consideren relevantes y

8 Resumen de la valoracioacuten de la pertinencia del disentildeo del Pp respecto a la atencioacuten

del problema o necesidad

Anexo 2 ldquoMetodologiacutea para la cuantificacioacuten de la poblacioacuten o aacuterea de enfoque

potencial y objetivordquo

El Anexo tiene formato libre sin embargo se debe incluir la siguiente informacioacuten

Definicioacuten de la poblacioacuten o aacuterea de enfoque potencial objetivo y atendida

Cuantificacioacuten de la poblacioacuten potencial objetiva y atendida

Hallazgos sobre el procedimiento llevado a cabo para definir y cuantificar la poblacioacuten o

aacuterea de enfoque potencial objetivo y atendida

Recomendaciones

Propuesta orientada hacia la mejora

PAE 2017 37

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 3 ldquoEvolucioacuten de la Coberturardquo

Nombre del

Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten

Antildeo de la Evaluacioacuten

Tipo de Poblacioacuten

Unidad

de

Medida

2012 2013 2014 2015 2016

P Potencial

P Objetivo

P Atendida

119927119912 times 120783120782120782

119927119926

PAE 2017 38

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 4 ldquoPropuesta de mejora de la Matriz de Indicadores para Resultadosrdquo

Derivado del anaacutelisis y valoracioacuten de la pregunta de investigacioacuten nuacutemero 3 iquestLa estructura de

objetivos planteada por el programa mantiene loacutegica y correspondencia causal con el problema

planteado en el diagnoacutestico se realizaraacute una propuesta de mejora de MIR

Fin

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Propoacutesito

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Componente 1

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

PAE 2017 39

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Componente 2 hellip

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 40

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesos del Pprdquo

Para la identificacioacuten y clasificacioacuten de los procesos del Pp se sugieren los siguientes pasos

1 Listar los procesos identificados

Comparar los procesos identificados del Pp con aquellos correspondientes al Modelo general de

procesos Colocar en el rengloacuten correspondiente el nombre de cada proceso del Pp identificado

como equivalente

2 Colocar al final de la lista aquellos procesos del Pp que no sean equivalentes con el Modelo

general de procesos

Modelo general de

procesos

Nuacutemero

de

secuencia

Procesos o subprocesos del Pp identificados por el

evaluador

(Nombre y breve descripcioacuten)

Planeacioacuten Ejemplo (Ej) Planeacioacuten Estrateacutegica

Ej Programacioacuten

Ej Presupuestacioacuten

Comunicacioacuten interna y

externa

Ej Difusioacuten Federal

Ej Difusioacuten Local

Seleccioacuten de

destinatarios

Ej Recepcioacuten de solicitudes de becas

Ej Seleccioacuten de becarios

Produccioacuten de

entregables

Entrega

Control

Seguimiento Ej Seguimiento fiacutesico y supervisioacuten en campo

Evaluacioacuten externa Ej Publicacioacuten y lectura del PAE

Ej Definicioacuten de TdR

Ej Contratacioacuten

Ej Ejecucioacuten de la evaluacioacuten externa

Monitoreo Ej Registro de avances de indicadores

Ej Revisioacuten de registros

Ej Validacioacuten de registros e integracioacuten de informes

PAE 2017 41

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Procesos identificados por el evaluador que no coinciden con el Modelo general de procesos

PAE 2017 42

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 ldquoFichas de indicadores de atributos de los procesos del Pp (formato libre)rdquo

Para la construccioacuten de este anexo deberaacute realizarse una revisioacuten documental (normativa aplicable

MIR evaluaciones externas sistemas de informacioacuten y registros administrativos entre otros) misma

que deberaacute complementarse con el trabajo de campo con el objetivo de identificar disentildear y calcular

indicadores relacionados con dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de

informacioacuten empleadas

Ademaacutes de considerar la medicioacuten de los atributos de eficacia suficiencia oportunidad y pertinencia

de cada proceso y subproceso o macroproceso

PAE 2017 43

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 7 ldquoDiagramas de flujo de la operacioacuten del Pprdquo

Para la elaboracioacuten de los diagramas de flujo deberaacute utilizarse la notacioacuten empleada en el

documento ldquoGuiacutea para la Optimizacioacuten Estandarizacioacuten y Mejora Continua de Procesosrdquo publicada

por la SFP en la direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Para el Diagrama de Alto Nivel (Diagrama PEPSU)

Ejemplo ilustrativo

PAE 2017 44

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para el Diagrama de Flujo

PAE 2017 45

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

PAE 2017 46

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 8 ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales

del Pprdquo

Tipo de

norma-

tiva

Dice

Problema

generado

(causas y

consecuencias)

Se

recomienda

decir

Efecto esperado de

aplicar la

recomendacioacuten de

cambio

Restricciones praacutecticas

que puedan existir para

su implementacioacuten

PAE 2017 47

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 9 ldquoValoracioacuten global cuantitativa ldquo

Seccioacuten 1 Disentildeo

Disentildeo Valoracioacuten Argumento o justificacioacuten

Porcentaje del

Disentildeo del Pp

(Suma de valoracioacuten alcanzada por pregunta de la seccioacuten 1 Total maacuteximo de la

valoracioacuten de todas las preguntas de la seccioacuten 1 ) x 100

Seccioacuten 2 Procesos

Proceso Eficacia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

eficaces

(Total de procesos eficaces Total de procesos del Pp) x 100

Proceso Oportunidad

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

oportunos

(Total de procesos oportunos Total de procesos del Pp) x 100

Proceso Suficiencia

(SiacuteNo) Argumento o justificacioacuten

PAE 2017 48

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Porcentaje de

procesos

suficientes

(Total de procesos suficientes Total de procesos del Pp) x 100

Proceso Pertinencia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

pertinentes

(Total de procesos pertinentes Total de procesos del Pp) x 100

NOTA Los argumentos y justificaciones del evaluador deberaacuten considerar el anaacutelisis y valoraciones de

los subprocesos de cada proceso de modo que haya consistencia entre estos elementos Asimismo el

evaluador deberaacute expresar los resultados de la valoracioacuten cuantitativa en una graacutefica tipo radial

PAE 2017 49

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 10 ldquoSistema de monitoreo e indicadores de gestioacuten del Pp (formato libre)rdquo

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible

Nombre del Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten De Procesos

Antildeo de la Evaluacioacuten 2017

Fin Justificacioacuten Propoacutesito Justificacioacuten Componente (s) Justificacioacuten

Nombre de

Indicador

Meacutetodo de Caacutelculo

Claro SiacuteNo SiacuteNo SiacuteNo

Relevante SiacuteNo SiacuteNo SiacuteNo

Econoacutemico SiacuteNo SiacuteNo SiacuteNo

Monitoreable SiacuteNo SiacuteNo SiacuteNo

Adecuado SiacuteNo SiacuteNo SiacuteNo

Definicioacuten SiacuteNo SiacuteNo SiacuteNo

Unidad de Medida SiacuteNo SiacuteNo SiacuteNo

Frecuencia de

Medicioacuten

SiacuteNo SiacuteNo SiacuteNo

Liacutenea Base SiacuteNo SiacuteNo SiacuteNo

Metas SiacuteNo SiacuteNo SiacuteNo

Comportamiento

del Indicador

SiacuteNo SiacuteNo SiacuteNo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 50

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de Procesos del Pprdquo

En este Anexo la instancia evaluadora debe valorar si la recomendacioacuten implica una consolidacioacuten o

una reingenieriacutea del proceso

A) Consolidacioacuten

Proceso Recomendaci

oacuten

Breve

anaacutelisis de

viabilidad de

la

implementa-

cioacuten

Principales

responsables

de la

implementaci

oacuten

Situacioacuten

actual

Efectos

potenciales

esperados

Medio de

verifica-

cioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

B) Reingenieriacutea de procesos

Proceso Objetivo

Breve

anaacutelisis de

viabilidad

de la

implemen-

tacioacuten

Principales

responsables

de la

implemen-

tacioacuten

Situa-

cioacuten

actual

Metas y

efectos

potenciale

s

esperados

Elabora-

cioacuten de

flujogram

a del

nuevo

proceso

Medio

de

verifi-

cacioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

NOTA El nivel de priorizacioacuten Alto Medio o Bajo se estimaraacute considerando la mejora en la operacioacuten

del Pp la viabilidad de la implementacioacuten de la recomendacioacuten asiacute como el efecto potencial que esto

pueda tener el alcance del objetivo del Pp

PAE 2017 51

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 12 ldquoPrincipales Fortalezas Retos y Recomendacionesrdquo

Capacidades Internas Factores Externos

Fortalezas

(Cualquier capacidad con la que cuenta la dependencia o

entidad que le permita aprovechar sus recursos para la

obtencioacuten de sus objetivos)

Oportunidades

(Cualquier factor externo fuera del control de la dependencia o

entidad que puede ser aprovechado para la obtencioacuten de sus

objetivos)

Debilidades

(Cualquier limitante Interna de la dependencia o entidad que

puede afectar la obtencioacuten de sus objetivos)

Amenazas

(Cualquier factor externo fuera de control de la dependencia o

entidad que pueda afectar la obtencioacuten de sus objetivos)

PAE 2017 52

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacutenrdquo

El Informe Final de la Evaluacioacuten de Procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten

Superior deberaacuten contener una ficha con los siguientes datos

Ficha Teacutecnica con los datos generales de la evaluacioacuten

Nombre o denominacioacuten de la

evaluacioacuten

[Especificar el nombre de la evaluacioacuten considerando su tipo y ejercicio

evaluado]

Nombre o denominacioacuten del

programa evaluado

[Indicar el nombre del Pp sujeto a evaluacioacuten de acuerdo con lo

establecido en el PEF sentildealando su modalidad y clave]

Unidad Responsable de la operacioacuten

del programa

[Especificar la(s) unidad(es) responsable(s) de la administracioacuten

operacioacuten y ejecucioacuten de los programas subprogramas y proyectos del

Pp evaluado correspondientes a las dependencias y entidades]

Titular de la unidad responsable de la

operacioacuten del programa

[Indicar el nombre del(a) Titular de la Unidad Responsable de la

operacioacuten del Pp]

Antildeo del Programa Anual de

Evaluacioacuten (PAE) en que fue

considerada la evaluacioacuten

[Especificar el ejercicio fiscal al que corresponde el PAE en la que fue

programada la evaluacioacuten]

Antildeo de conclusioacuten y entrega de la

evaluacioacuten

[Indicar el antildeo en que se concluyoacute la evaluacioacuten]

Tipo de evaluacioacuten [Especificar el tipo de evaluacioacuten de acuerdo con los Lineamientos de

evaluacioacuten el nombre de la evaluacioacuten y con lo establecido en el PAE]

Nombre de la instancia evaluadora [Indicar el nombre de la firma consultoriacutea u organizacioacuten que realizoacute la

evaluacioacuten]

Nombre del(a) coordinador(a)

externo(a) de la evaluacioacuten

[Especificar el nombre del(a) responsable de la coordinacioacuten de la

evaluacioacuten dla instancia evaluadora]

Nombre de los(as) principales

colaboradores(as) del(a)

coordinador(a) de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del(a)

coordinador(a) de la evaluacioacuten]

PAE 2017 53

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Unidad Administrativa responsable de

la Coordinacioacuten de la evaluacioacuten

[De acuerdo con lo sentildealado en el PAE especificar la instancia a la que

corresponde la coordinacioacuten de la evaluacioacuten pej Secretariacutea de

Finanzas y Administracioacuten (SFA) asiacute como la unidad administrativa

mediante la cual se ejerce esta funcioacuten p ej Direccioacuten de Evaluacioacuten

de la SFA (DEV)

Nombre del(a) Titular de la unidad

administrativa responsable de

coordinar la evaluacioacuten (Aacuterea de

Evaluacioacuten)

[Especificar el nombre del(a) Titular de la Unidad responsable de dar

seguimiento a la evaluacioacuten que funge como Aacuterea de Evaluacioacuten]

Nombres de los(as) servidores(as)

puacuteblicos(as) adscritos(as) a la unidad

administrativa responsable de

coordinar la evaluacioacuten que

coadyuvaron con la revisioacuten teacutecnica

de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del

titular de la unidad administrativa responsable de dar seguimiento a la

evaluacioacuten respecto de la revisioacuten teacutecnica de la misma]

Forma de contratacioacuten de la instancia

evaluadora

[Indicar el tipo de contratacioacuten dla instancia evaluadora Especificar el

tipo de procedimiento de contratacioacuten de la instancia evaluadora

consistente con los tipos de adjudicacioacuten establecidos en la Ley de

Adquisiciones Arrendamientos y Servicios del Sector Puacuteblico]

Costo total de la evaluacioacuten con IVA

incluido

[Especificar el costo total de la evaluacioacuten incluyendo el IVA (en caso

de que se haya causado) como sigue $XXX IVA incluido]

Asimismo en este anexo se deberaacute incluir una nota metodoloacutegica con la descripcioacuten de las teacutecnicas

y los modelos utilizados por el evaluador externo acompantildeada del disentildeo por muestreo

especificando los supuestos empleados y las principales caracteriacutesticas del tamantildeo y dispersioacuten de

la muestra utilizada

DIRECTORIO

Rauacutel Saacutenchez Kobashi

Secretario de la Secretariacutea de Finanzas y Administracioacuten

Francisco Fidel Teomitzi Saacutenchez

Subsecretario de Planeacioacuten

Arturo Neponuceno Crisoacutestomo

Director de Evaluacioacuten

Rodolfo de la Rosa Cabrera

Subdireccioacuten de Evaluacioacuten de Programas

Sauacutel Federico Oropeza Orea

Jefe del Departamento de Programas Estatales y Municipales

Ana Luz Guzmaacuten Figueroa

Analista del Departamento de Programas Estatales y Municipales

Marco Antonio Saacutenchez Gonzaacutelez

Analista del Departamento de Programas Estatales y Municipales

Page 2: Términos de Referencia para la Evaluación del Desempeño ...evaluacion.puebla.gob.mx/pdf/metodologias/TdR_Est/2017/TdR... · Perfil de la instancia evaluadora ... acuerdo con las

PAE 2017 1

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Contenido

Presentacioacuten 3

Glosario 5

Objetivo General 9

Objetivos Especiacuteficos 9

Perfil de la instancia evaluadora 10

Preguntas de investigacioacuten 12

Seccioacuten 1 Disentildeo 12

Diagnoacutestico del programa puacuteblico 12

Matriz de Indicadores para Resultados (MIR) 13

Seccioacuten 2 Procesos 15

Pertinencia de los procesos 15

Contenido del informe 33

Contenido miacutenimo del informe final de la evaluacioacuten 33

Hallazgos y resultados Pp por seccioacuten 34

Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas 35

Anexos 36

Anexo 1 ldquoDescripcioacuten General del Programardquo 36

Anexo 2 ldquoMetodologiacutea para la cuantificacioacuten de la poblacioacuten o aacuterea de enfoque potencial y

objetivordquo 36

Anexo 3 ldquoEvolucioacuten de la Coberturardquo 37

Anexo 4 ldquoPropuesta de mejora de la Matriz de Indicadores para Resultadosrdquo 38

Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesos del Pprdquo 40

Anexo 6 ldquoFichas de indicadores de atributos de los procesos del Pp (formato libre)rdquo 42

Anexo 7 ldquoDiagramas de flujo de la operacioacuten del Pprdquo 43

Anexo 8 ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales del Pprdquo 46

Anexo 9 ldquoValoracioacuten global cuantitativa ldquo 47

Seccioacuten 1 Disentildeo 47

Seccioacuten 2 Procesos 47

PAE 2017 2

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 10 ldquoSistema de monitoreo e indicadores de gestioacuten del Pp (formato libre)rdquo 49

Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de Procesos del Pprdquo 50

Anexo 12 ldquoPrincipales Fortalezas Retos y Recomendacionesrdquo 51

Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia evaluadora y el costo de la

evaluacioacutenrdquo 52

PAE 2017 3

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Presentacioacuten

El Presupuesto basado en Resultados (PbR) y el Sistema de Evaluacioacuten del Desempentildeo (SED) consiste

en que los oacuterganos puacuteblicos establezcan de manera puntual los objetivos que se alcanzaraacuten con los

recursos que se asignen a sus respectivos Programas Presupuestarios (Pp) y que el grado de

consecucioacuten de dichos objetivos pueda ser efectivamente confirmado mediante el SED

Dado que los Pp representan el mecanismo a partir del cual la Administracioacuten Puacuteblica Estatal plasma

las prioridades y directrices establecidas en el Plan Estatal de Desarrollo (PED) y en los instrumentos

de planeacioacuten que de eacuteste derivan asiacute pues de acuerdo con la Ley de Presupuesto y Gasto Puacuteblico

del Estado de Puebla el Pp es la categoriacutea programaacutetica-presupuestal que permite organizar en

forma representativa y homogeacutenea las actividades integradas y articuladas que proveen productos

(bienes y servicios) tendientes a lograr un resultado y beneficio en una poblacioacuten el cual es medido

a partir de metas e indicadores por lo anterior estos instrumentos deben de ser evaluados para

mejorar sus resultados

En este contexto la evaluacioacuten de los Pp permite la valoracioacuten objetiva del desempentildeo de los

programas y las poliacuteticas puacuteblicas a traveacutes del seguimiento y verificacioacuten del cumplimiento de metas

y objetivos con base en indicadores estrateacutegicos y de gestioacuten para

Conocer los resultados del ejercicio de los recursos y el impacto social de los programas

Identificar la eficacia eficiencia economiacutea y calidad del gasto y

Procurar una mayor productividad de los procesos gubernamentales

De este modo los procesos de mejora continua y desarrollo institucional bajo este nuevo enfoque

implican que los recursos puacuteblicos se asignen prioritariamente a los programas que generan mayores

beneficios a la poblacioacuten y que se mejoren los procesos de aquellos que no estaacuten funcionando

correctamente

Derivado de lo anterior la Direccioacuten de Evaluacioacuten de la Subsecretariacutea de Planeacioacuten en el marco de

sus atribuciones coordinaraacute las evaluaciones en materia de Procesos que se aplicaraacuten a los Pp de

acuerdo con lo establecido en el Programa Anual de Evaluacioacuten (PAE) para el Ejercicio Fiscal 2017 El

presente documento presenta las directrices que guiaraacuten dicha evaluacioacuten a fin de que dicho

proceso se integre adecuadamente al ciclo presupuestario

Es pertinente efectuar una evaluacioacuten en materia de procesos de los Pp en virtud de que resulta de

utilidad para la toma de decisiones ya que analiza si el programa lleva a cabo sus procesos

operativos de manera eficaz y eficiente y si contribuye al mejoramiento de la gestioacuten A continuacioacuten

se presentan los Pp a evaluar en materia de Procesos para el ejercicio 2016

PAE 2017 4

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para la elaboracioacuten del presente documento se tomaron como referencia el Modelo vigente de

Teacuterminos y Referencias (TdR) para la evaluacioacuten de Procesos1 que publica la Secretariacutea de Hacienda

y Creacutedito Puacuteblico (SHCP) asiacute como en el Modelo de Teacuterminos de Referencia para la Evaluacioacuten

Especiacutefica de Disentildeo y Procesos 20152 del Estado de Jalisco

El presente documento cuenta con cuatro apartados para desarrollar la evaluacioacuten de procesos en

primer lugar se muestran los objetivos de la evaluacioacuten de los Pp posteriormente se presentan cinco

preguntas de investigacioacuten que tienen como finalidad analizar el disentildeo la operacioacuten y gestioacuten del

Pp y en las que se establecen los criterios que adoptaraacute la instancia externa para dar respuesta a

dichos reactivos en tercer lugar se expone el contenido que presentaraacute el informe de la evaluacioacuten

y finalmente se presentan los formatos de anexo que se mencionan en las preguntas de

investigacioacuten

Cabe precisar que la evaluacioacuten se divide en dos secciones de anaacutelisis la primera parte consta de

tres preguntas de investigacioacuten en las que se analiza la calidad del disentildeo del Pp el desarrollo de

esta seccioacuten seraacute a partir de un anaacutelisis de gabinete En la segunda seccioacuten se abordan 2 preguntas

de investigacioacuten que permiten realizar un anaacutelisis profundo de los procesos subprocesos o

macroprocesos que integran la operacioacuten general del Pp debieacutendose integrar un Diagnoacutestico

general de los procesos y subprocesos del Pp dentro de los 30 primeros diacuteas una vez firmado el

contrato pues este diagnoacutestico es requisito indispensable para realizar posteriormente el trabajo de

campo necesario para el anaacutelisis y respuesta de la pregunta 5

1 httptransparenciapresupuestariagobmxesPTPevaluaciones en el apartado de descarga de Teacuterminos de

Referencia 2httpsepafjaliscogobmxsitessepafjaliscogobmxfilesmodelos_de_terminos_de_referencia_tdr_2015_0r

ar

Tabla 1 Programas Presupuestarios a Evaluar en materia de Procesos

No Clave ndash Nombre del Programa

1 E004 Educacioacuten Baacutesica

2 E006 Educacioacuten Superio

PAE 2017 5

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Glosario

Para efectos del presente documento se entenderaacute por

Aspectos Susceptibles de Mejora (ASM) Los hallazgos debilidades oportunidades y amenazas

identificadas como resultado de un ejercicio de evaluacioacuten

Cobertura Aacuterea de intervencioacuten del programa con respecto a las caracteriacutesticas socioeconoacutemicas

de la poblacioacuten que atenderaacute el Programa Presupuestario

Consejo Nacional de Evaluacioacuten de la Poliacutetica de Desarrollo Social (CONEVAL) instancia con

autonomiacutea teacutecnica y de gestioacuten con las atribuciones de medir la pobreza y evaluar la poliacutetica de

desarrollo social

Dependencias Las asiacute definidas en el artiacuteculo 17 de la Ley Orgaacutenica de la Administracioacuten Puacuteblica

del Estado de Puebla

Destinatario o beneficiario a las personas instituciones puacuteblicas o privadas agentes sociales o

econoacutemicos o demaacutes instancias que utilizan o reciben los componentes producidos por el Pp

Direccioacuten de Evaluacioacuten (DEV) Direccioacuten coordinadora de los procesos de evaluacioacuten suscrita a la

Subsecretariacutea de Planeacioacuten de la Secretariacutea de Finanzas y Administracioacuten del Estado de Puebla

Evaluacioacuten Anaacutelisis sistemaacutetico y objetivo de las poliacuteticas puacuteblicas los Programas Presupuestarios

(Pp) y el desempentildeo de las instituciones a fin de determinar o probar la pertinencia de los mismos

valorar sus objetivos y metas asiacute como conocer su eficiencia eficacia calidad resultados impacto y

sostenibilidad

Evaluacioacuten Especiacutefica Evaluacioacuten que se enfoca en aspectos especiacuteficos de un programa de

acuerdo con las necesidades de evaluacioacuten o la naturaleza del mismo Se realiza mediante trabajo

de gabinete yo de campo

Indicador Instrumento para medir el logro de los objetivos de los programas y referente para el

seguimiento de los avances y para la evaluacioacuten de los resultados alcanzados

Instancia evaluadora externa Equipo de evaluadores externos constituidos como personas fiacutesicas

o morales adscritos a instituciones puacuteblicas y privadas tanto nacionales como internacionales con

experiencia probada en evaluacioacuten y temas especiacuteficos requeridos para realizar alguno de los tipos

de evaluaciones externas

Liacutenea base Es el valor del indicador que se establece como punto de partida para evaluarlo y darle

seguimiento

PAE 2017 6

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Mapeo mostrar graacuteficamente por medio de siacutembolos cuaacuteles son las actividades que se llevan a

cabo dentro de una organizacioacuten o un proceso de tal manera que todo aquel que lo lea sea capaz

de comprender el alcance yo llevar a cabo el proceso

Matriz de Indicadores para Resultados (MIR) Es la herramienta que permite vincular los distintos

instrumentos para el disentildeo organizacioacuten ejecucioacuten seguimiento evaluacioacuten y mejora de los

programas resultado de un proceso de planeacioacuten realizado con base en la Metodologiacutea de Marco

Loacutegico conforme a lo sentildealado en la Guiacutea para la Construccioacuten de la Matriz de Indicadores para

Resultados

Metas Valor que permite establecer liacutemites o niveles maacuteximos de logro comunica el nivel de

desempentildeo esperado por la organizacioacuten y permite enfocarla hacia la mejora

Metodologiacutea del Marco Loacutegico (MML) Es la herramienta de planeacioacuten estrateacutegica basada en la

estructuracioacuten y solucioacuten de problemas o aacutereas de mejora que permite organizar de manera

sistemaacutetica y loacutegica los objetivos de un programa y sus relaciones de causa y efecto medios y fines

facilitar el proceso de conceptualizacioacuten y disentildeo de programas y fortalecer la vinculacioacuten de la

planeacioacuten con la programacioacuten

Monitoreo Funcioacuten continua que utiliza la recopilacioacuten sistemaacutetica de datos sobre indicadores

predefinidos para proporcionar a los administradores y a las principales partes interesadas de una

intervencioacuten para el desarrollo indicaciones sobre el avance y el logro de los objetivos asiacute como de

la utilizacioacuten de los fondos asignados

Nivel a la escala de medicioacuten de 1 a 4 establecido en los reactivos de respuesta binaria

Objetivos Son los resultados que un programa puacuteblico pretende alcanzar a traveacutes de la ejecucioacuten

de determinadas acciones pueden ser general o especiacuteficos Los objetivos especiacuteficos son un

conjunto de resultados que a su vez permiten lograr un objetivo general Los objetivos generales

reflejan el resultado que se espera lograr en teacuterminos de la atencioacuten de un problema puacuteblico y se

establecen en los distintos instrumentos de planeacioacuten de los que se valen las intervenciones

puacuteblicas

Organismos Autoacutenomos Entidad puacuteblica dotada de personalidad juriacutedica y patrimonio propios

creada por decreto para no depender del Poder Ejecutivo ni de ninguacuten otro Poder (Legislativo o

Judicial) con objeto de actuar con independencia imparcialidad y objetividad en sus funciones Para

efectos presupuestales y contables como ejecutores de gasto estaacuten obligados a cumplir con las

leyes y normatividad vigentes en las materias

Plan Estatal de Desarrollo (PED) Es el instrumento de planeacioacuten en el que se basaraacuten las

decisiones en materia de gasto e inversioacuten para la aplicacioacuten de los recursos puacuteblicos y se constituye

como el documento rector y guiacutea para la gestioacuten gubernamental

PAE 2017 7

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Poblacioacuten Atendida Poblacioacuten o aacuterea que ya fue atendida por el programa presupuestario

Poblacioacuten Objetivo Poblacioacuten o aacuterea que el programa pretende atender en un periodo dado de

tiempo pudiendo corresponder a la totalidad de la poblacioacuten potencial o a una parte de ella

Poblacioacuten Potencial Se refiere al universo global de la poblacioacuten o aacuterea referida

Poliacutetica Puacuteblica Accioacuten del Gobierno que tiene como objetivo atender ciertas necesidades de la

poblacioacuten (educacioacuten desarrollo social salud seguridad puacuteblica infraestructura comunicaciones

energiacutea etc)

Presupuesto basado en Resultados (PbR) Es un proceso basado en consideraciones objetivas

sobre los resultados esperados y alcanzados para la asignacioacuten de recursos con la finalidad de

fortalecer la calidad del disentildeo y gestioacuten de las poliacuteticas programas puacuteblicos y desempentildeo

institucional cuyo aporte sea decisivo para generar las condiciones sociales econoacutemicas y

ambientales para el desarrollo nacional sustentable

Programa Anual de Evaluaciones (PAE) Es el documento en el que se determina el tipo de

evaluacioacuten que se aplicaraacute a los programas puacuteblicos del Estado el calendario de ejecucioacuten de las

acciones de monitoreo y evaluacioacuten de los programas puacuteblicos del Estado que estaacuten en operacioacuten

asiacute como ofrecer a los responsables de la administracioacuten puacuteblica la informacioacuten que les permita

optimizar el proceso de creacioacuten de valor puacuteblico

Programa Presupuestario (Pp) Categoriacutea que permite organizar en forma representativa y

homogeacutenea las asignaciones de recursos de los programas federales y del gasto federalizado a

cargo de los ejecutores del mismo para el cumplimiento de sus objetivos y metas

Reglas de Operacioacuten del Programa (ROP) Son un conjunto de disposiciones que precisan la forma

de operar un programa con el propoacutesito de lograr los niveles esperados de eficacia eficiencia

equidad y transparencia

Secretariacutea de Hacienda y Creacutedito Puacuteblico (SHCP) dependencia del Poder Ejecutivo Federal que

tiene como misioacuten proponer dirigir y controlar la poliacutetica econoacutemica del Gobierno Federal en materia

financiera fiscal de gasto de ingresos y deuda puacuteblica con el propoacutesito de consolidar un paiacutes con

crecimiento econoacutemico de calidad

Secretariacutea de Finanzas y Administracioacuten (SFA) dependencia del Poder Ejecutivo Estatal que tiene

a su cargo las atribuciones para el despacho de los asuntos que expresamente le confiere la Ley

Orgaacutenica de la Administracioacuten Puacuteblica del Estado las demaacutes leyes reglamentos acuerdos decretos

convenios y sus anexos vigentes asiacute como las que le encomiende el Gobernador

PAE 2017 8

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Seguimiento Proceso continuo de recoleccioacuten y anaacutelisis de datos para comparar en queacute medida se

estaacute ejecutando un proyecto programa poliacutetica o recomendaciones en funcioacuten de los resultados

previstos

Teacuterminos de referencia (TdR) Documento que plantea los elementos estandarizados miacutenimos y

especiacuteficos de acuerdo con el tipo de evaluacioacuten y de programa a evaluar con base en

especificaciones teacutecnicas (perfil de los evaluadores calendario de entregas de productos etc)

objetivos de la evaluacioacuten (generales y especiacuteficos) asiacute como la normatividad aplicable

(responsabilidades alcances restricciones etc)

Unidades Responsables (UR) Cada una de las aacutereas encargadas de la evaluacioacuten de las

dependencias que forman parte de la Administracioacuten Puacuteblica Estatal

PAE 2017 9

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Objetivo General

Evaluar los procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten Superior de la

Administracioacuten Puacuteblica Estatal para el Ejercicio Fiscal 2016 con la finalidad de analizar y valorar su

operacioacuten y gestioacuten para el logro de sus metas y objetivos

Objetivos Especiacuteficos

Determinar en queacute medida los elementos del diagnoacutestico del Pp son suficientes para tener una

comprensioacuten vaacutelida del problema puacuteblico que se pretende atender

Determinar la validez de la loacutegica de intervencioacuten del Pp para atender el problema planteado a

partir de una comparacioacuten con casos nacionales o internacionales similares

Determinar en queacute medida los procesos con los que cuenta el programa puacuteblico son pertinentes

para atender el problema identificado

Analizar y valorar si la ejecucioacuten de los procesos y subprocesos o macroprocesos que integran

la gestioacuten operativa del Pp en sus distintos niveles son eficaces oportunos suficientes y

pertinentes para el logro de sus objetivos

Identificar analizar y valorar las buenas praacutecticas o las fortalezas en la operacioacuten del Pp

Identificar y proponer mejoras al Pp para el logro de sus objetivos y metas

PAE 2017 10

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Perfil de la instancia evaluadora

La instancia evaluadora debe de cubrir cuando menos los siguientes criterios

Persona fiacutesica o moral registrada ante la autoridad hacendaria competente

Acreditar la experiencia en el tema de evaluacioacuten de la gestioacuten yo poliacuteticas puacuteblicas

El Coordinador de la Evaluacioacuten cuente con maestriacutea o doctorado en ciencias sociales

ciencia poliacutetica antropologiacutea economiacutea sociologiacutea poliacuteticas puacuteblicas planeacioacuten yo

aacutereas afines a la temaacutetica de la evaluacioacuten y estar en posesioacuten del tiacutetulo universitario

con validez nacional o por universidades oficialmente reconocidas

Al menos dos antildeos de ejercicio profesional en materia de investigacioacuten

Dos antildeos de experiencia miacutenima en la realizacioacuten de actividades de evaluacioacuten interna

o externa en el sector puacuteblico o privado

Contar con referentes acadeacutemicos que demuestren su experiencia en el tema de

evaluacioacuten de poliacuteticas

Por lo que deberaacute llenar la Tabla 2 y el Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia

evaluadora y el costo de la evaluacioacutenrdquo

Tabla 2 Perfil de equipo evaluador

Cargo Requisitos

Acadeacutemicos Experiencia General

Experiencia

Especifica

Liacuteder del

equipo

evaluador

Estudios de posgrado

en ciencias sociales

econoacutemicas historia

antropologiacutea ciencia

poliacutetica administracioacuten

puacuteblica o afines

Experiencia en

evaluaciones de

programas poliacuteticas

yo investigaciones en

materia de evaluacioacuten

Experiencia en

evaluaciones en las

que se hayan

implementado

metodologiacuteas y anaacutelisis

cualitativos Que

cuente con liacuteneas de

investigacioacuten o

participacioacuten en

proyectos con temas

vinculados a los

programas a ser

evaluados

PAE 2017 11

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Tabla 2 Perfil de equipo evaluador

Cargo Requisitos

Acadeacutemicos Experiencia General

Experiencia

Especifica

Analistas

del equipo

evaluador

Se sugiere que la

instancia evaluadora

sea multidisciplinario

que cuenten con

licenciatura o estudios

de posgrado en

ciencias sociales

econoacutemicas historia

antropologiacutea ciencia

poliacutetica psicologiacutea

administracioacuten puacuteblica

o ingenieriacutea

Experiencia en

evaluaciones de

programas poliacuteticas

yo investigaciones en

materia de evaluacioacuten

Experiencia en trabajo

de campo estudios

etnograacuteficos disentildeo de

encuestas y

cuestionarios en temas

de ingenieriacutea de

procesos y en

evaluacioacuten de

programas puacuteblicos

PAE 2017 12

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Preguntas de investigacioacuten

Seccioacuten 1 Disentildeo

Diagnoacutestico del programa puacuteblico

1 iquestEl programa tiene identificado el problema y la loacutegica causal acerca de su dinaacutemica

Consideraciones

La respuesta deberaacute mostrar si el problema o necesidad para el que va dirigido el programa se

identifica como un hecho negativo el que se puede revertir o atender

Se tendraacute que identificar si se cuenta con aacuterbol de problemas (u otro elemento documentado) que

permita identificar la loacutegica causal del problema al que se busca atender juzgando la medida en que

la loacutegica causal del programa es consistente con los estudios utilizados para fundamentacioacuten de la

intervencioacuten

Se debe incluir la definicioacuten del problema o necesidad y en su caso la propuesta de modificacioacuten o

recomendaciones de mejora Asimismo se indicaraacute si el problema o necesidad considera diferencias

entre hombres y mujeres a fin de conocer las limitaciones yo las oportunidades que presenta el

entorno econoacutemico demograacutefico social cultural poliacutetico juriacutedico e institucional para la promocioacuten

de la igualdad de geacutenero

Se deberaacute que determinar si el problema identificado por el Pp tiene coincidencia con alguacuten

problema que se aborda en el PED yo en el Programa Sectorial De igual forma se deberaacute analizar

si en el aacutembito nacional o internacional se cuenta con experiencias de poliacuteticas puacuteblicas que tuvieron

o tienen como objetivo la atencioacuten del problema que se plantea atender Lo anterior sentildealando sus

logros fallos y resultados ademaacutes se solicita hacer mencioacuten sobre la incorporacioacuten de elementos

exitosos de otras estrategias en el disentildeo del programa presupuestario a evaluar

2 iquestEl programa cuenta con una identificacioacuten (cuantificacioacuten y ubicacioacuten geograacutefica) de la

poblacioacuten o aacuterea de enfoque potencial y objetivo de su intervencioacuten y eacutesta se relaciona con

la definicioacuten del problema puacuteblico que se plantea atender

Consideraciones

La instancia evaluadora deberaacute valorar la medida en que la definicioacuten del problema es traducido a

unidades concretas de personas grupos especiacuteficos o zonas geograacuteficas cuantificables y

monitoreables en referentes estadiacutesticos oficiales del estado yo federacioacuten

PAE 2017 13

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

En la respuesta se deberaacuten incluir las definiciones de la poblacioacuten o aacuterea de enfoque potencial

objetivo y atendida asiacute como su cuantificacioacuten La metodologiacutea y fuentes de informacioacuten para

determinar los tipos de poblacioacuten o aacuterea de enfoque se deben incluir en el Anexo 2 ldquoMetodologiacutea

para la cuantificacioacuten de la poblacioacuten o aacuterea de enfoque potencial y objetivordquo

Asimismo identificar si el Pp cuenta con una estrategia de cobertura institucional en que se defina

la estrategia que utilizaraacute a lo largo del tiempo para cubrir el total de su poblacioacuten o aacuterea de enfoque

potencial en caso de que no se identifique alguna estrategia el evaluador deberaacute emitir una

valoracioacuten sobre la pertinencia del disentildeo actual del Pp para alcanzar las metas de cobertura En caso

de que el disentildeo actual del Pp no permita alcanzar las metas de cobertura deberaacuten recomendarse

modificaciones concretas al disentildeo del Pp con la finalidad de que sea maacutes probable que alcance

dichas metas de cobertura

De igual forma se debe analizar la evolucioacuten de la poblacioacuten o aacuterea de enfoque atendida y su

convergencia con la poblacioacuten o aacuterea de enfoque potencial es decir si el programa ha logrado

atender a toda la poblacioacuten o aacuterea de enfoque objetivo El anaacutelisis se debe justificar y completar el

Anexo 3 ldquoEvolucioacuten de la Coberturardquo

Matriz de Indicadores para Resultados (MIR)

3 iquestLa estructura de objetivos planteada por el programa mantiene loacutegica y correspondencia

causal con el problema planteado en el diagnoacutestico

Consideraciones

Se deberaacute identificar la contribucioacuten del programa a los objetivos estrateacutegicos del Plan Estatal de

Desarrollo y de otros instrumentos de planeacioacuten de mediano y largo plazo

Se deberaacute determinar si la hipoacutetesis de intervencioacuten del programa mantiene una loacutegica causal con

la problemaacutetica que se quiere atender

Se deberaacuten analizar y valorar los elementos que componen al disentildeo del Pp (modalidad unidades

responsables propoacutesito componentes poblacioacuten o aacuterea de enfoque objetivo entre otros) y sobre

los cuales eacuteste se construye (problema puacuteblico o necesidad causas y efectos del problema situacioacuten

de la poblacioacuten o aacuterea de enfoque objetivo entre otros)

Se deberaacute valorar la MIR y verificar su loacutegica horizontal (resumen narrativo indicadores metas y

medios de verificacioacuten) y vertical asiacute como si es congruente con los elementos de diagnoacutestico

Derivado de lo anterior se elaboraraacute una propuesta de la MIR que deberaacute considerar y presentar la

Estructura Analiacutetica del Pp (aacuterbol de problemas objetivos y concentrado) Asimismo se deberaacute incluir

PAE 2017 14

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

la justificacioacuten del disentildeo propuesto o las modificaciones sugeridas y generar el Anexo 4 ldquoPropuesta

de mejora de la Matriz de Indicadores para Resultadosrdquo

Metodologiacutea de la Seccioacuten 1

Anaacutelisis de gabinete

La evaluacioacuten se realizaraacute mediante un anaacutelisis de gabinete con base en informacioacuten proporcionada

por la dependencia o unidad responsable del programa asiacute como informacioacuten adicional que la

institucioacuten evaluadora considere necesaria para justificar su anaacutelisis

En este contexto se entiende por anaacutelisis de gabinete al conjunto de actividades que involucra el

acopio la organizacioacuten y la valoracioacuten de informacioacuten concentrada en registros administrativos

bases de datos evaluaciones internas yo externas y documentacioacuten puacuteblica Sin embargo de

acuerdo con las necesidades de informacioacuten y tomando en cuenta la forma de operar de cada

programa se podraacuten programar y llevar a cabo entrevistas con responsables de los programas yo

personal de la unidad de evaluacioacuten yo planeacioacuten de la dependencia coordinadora

Valoracioacuten de disentildeo del Pp

Para cada pregunta de investigacioacuten de esta seccioacuten se deberaacute definir una valoracioacuten cuantitativa y

cualitativa que resuma la apreciacioacuten del evaluador para cada uno de los aspectos de la seccioacuten 1

con el fin de permitir obtener una valoracioacuten sinteacutetica acerca de la suficiencia de los elementos que

cumple el programa Para esto se deberaacute usar la siguiente escala likert de cinco grados

Tabla 3 Escala de Medicioacuten para la Seccioacuten 1

1 2 3 4 5

Deficiente Insuficiente Moderado Bien Suficiente

En la argumentacioacuten que presente la evaluadora se deberaacuten aportar los elementos que justifiquen

la valoracioacuten cuantitativa que se emita para cada pregunta de investigacioacuten ademaacutes de completar

el Anexo 9 ldquoValoracioacuten global cuantitativardquo de la Seccioacuten 1 de Disentildeo

PAE 2017 15

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Seccioacuten 2 Procesos

Pertinencia de los procesos

4 Diagnoacutestico general de los procesos y subprocesos del Pp

Consideraciones

La instancia evaluadora deberaacute presentar dentro de los 30 diacuteas naturales posteriores a la firma del

contrato un Diagnoacutestico General de los Procesos y Subprocesos o Macroprocesos del Pp (Producto

1) en el que se deacute cuenta de la problemaacutetica o necesidad que atiende o de la funcioacuten de gobierno

que desarrolla asiacute como del contexto y las condiciones en las que opera el Pp En este diagnoacutestico

se deben identificar los procesos y subprocesos o macroprocesos que integran la operacioacuten o

gestioacuten del Pp a partir de la normativa vigente y de las entrevistas a funcionarios de la UR realizadas

se deberaacute presentar una descripcioacuten integral con el mapa de procesos y subprocesos del Pp

A partir de este diagnoacutestico la instancia evaluadora presentaraacute para su validacioacuten a la DEV una

propuesta de los alcances y logiacutestica de la Evaluacioacuten de Procesos del Pp Asimismo el diagnoacutestico

debe estar acompantildeado de la justificacioacuten del enfoque metodoloacutegico general seleccionado para su

desarrollo

Ademaacutes en el Producto 1 se deberaacuten especificar las directrices generales y particulares que guiaraacuten

la realizacioacuten de la evaluacioacuten de procesos acordadas con la DEV y la UR del Pp por lo que la correcta

elaboracioacuten de este producto es fundamental para poder garantizar un resultado satisfactorio

En el Producto 1 ademaacutes de integrar la estrategia y plan de trabajo de campo teacutecnicas de

investigacioacuten a utilizarse disentildeo muestral e instrumentos de levantamiento de informacioacuten se

incluiraacuten dos apartados

Descripcioacuten del contexto en el que opera el Pp La instancia evaluadora deberaacute describir

los siguientes elementos del Pp todas las UR que participan en su operacioacuten o que ejercen

sus recursos los entregables que produce cada UR que participa en la operacioacuten del Pp en

el marco del mismo el problema o necesidad de poliacutetica puacuteblica identificado por el Pp

poblacioacuten o aacuterea de enfoque potencial objetivo y atendida del Pp y su cuantificacioacuten

cantidad de destinatarios por cada uno de los entregables que el Pp tuvo al cierre del uacuteltimo

ejercicio fiscal del que se tenga registro cantidad de destinatarios por cada uno de los

entregables que el Pp espera atender en el ejercicio fiscal evaluado asiacute como el contexto

organizacional y social en que se desarrolla su operacioacuten

PAE 2017 16

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Diagnoacutestico inicial de los procesos y subprocesos o macroprocesos del Pp La instancia

evaluadora deberaacute desarrollar a partir del trabajo de gabinete y de entrevistas

semiestructuradas con funcionarios de la(s) Unidad(es) Responsable(s) del Pp realizadas un

diagnoacutestico inicial de procesos del Pp en el que se identifiquen claramente los procesos y

subprocesos o macroprocesos que integran su operacioacuten o gestioacuten asiacute como las instancias

o actores que participan en ellos se deberaacute presentar una descripcioacuten integral con un mapa

de procesos y subprocesos o macroprocesos del Pp asiacute como llenar el Anexo 5 ldquoFicha de

identificacioacuten y equivalencia de procesosrdquo Las entrevistas semiestructuradas se realizaraacuten con

la finalidad de profundizar y despejar dudas sobre el mapa de los procesos y subprocesos o

macroprocesos que integran la gestioacuten operativa del Pp En esta seccioacuten la instancia

evaluadora deberaacute sentildealar cuaacuteles de los procesos y subprocesos o macroprocesos

identificados estaacuten documentados y cuaacuteles no asiacute como ndashen su casondash la normativa que los

rige por ejemplo un manual de procedimientos o de organizacioacuten lineamientos de

operacioacuten entre otros Cabe sentildealar que los procesos y subprocesos o macroprocesos que

integran la operacioacuten o gestioacuten del Pp son estructuras analiacuteticas que debe de construir la

instancia evaluadora a partir de su experiencia en el desarrollo de evaluaciones de procesos

e implementacioacuten de poliacuteticas puacuteblicas por tanto debe tenerse en cuenta que a pesar de

ser lo deseable los procesos y subprocesos o macroprocesos no necesariamente pueden

estar documentados

5 Descripcioacuten y valoracioacuten de los procesos y subprocesos del Pp

Consideraciones

Despueacutes de realizar el trabajo de campo y sistematizar la informacioacuten levantada la instancia

evaluadora deberaacute realizar la descripcioacuten y valoracioacuten de cada uno de los procesos subprocesos o

macroprocesos identificados en el Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesosrdquo

contrastando en todos los casos la evidencia documental y su ejecucioacuten en la praacutectica

Por lo anterior en esta seccioacuten se deberaacute realizar una descripcioacuten minuciosa del desarrollo y el

anaacutelisis de cada proceso y subproceso o macroproceso de acuerdo con el alcance establecido

utilizando la informacioacuten obtenida mediante el anaacutelisis de gabinete y el trabajo de campo asimismo

se deberaacute realizar una valoracioacuten integral sobre la gestioacuten de cada uno de los procesos a partir de

la gestioacuten en sus subprocesos o macroprocesos a partir de la gestioacuten de los procesos

PAE 2017 17

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

La valoracioacuten de cada proceso subproceso o macroproceso deberaacute contener la siguiente estructura

1 Descripcioacuten detallada de las actividades los elementos y los actores que integran el

desarrollo de cada proceso y subproceso o macroproceso

2 Liacutemites de cada proceso y subproceso o macroproceso asiacute como su articulacioacuten con otros

3 Insumos y recursos determinar si los insumos y los recursos disponibles son suficientes y

adecuados para la ejecucioacuten de cada proceso y subproceso o macroproceso

a Tiempo iquestel tiempo en que se ejecuta el proceso o subproceso es el adecuado acorde

a lo planificado y congruente con la normativa que aplica

b Personal iquestel personal es suficiente tiene el perfil y cuenta con la capacitacioacuten necesaria

para la ejecucioacuten del proceso o subproceso

c Recursos financieros iquestlos recursos financieros son suficientes para la ejecucioacuten del

proceso o subproceso

d Recursos materiales iquestlos recursos materiales son suficientes para la ejecucioacuten del

proceso o subproceso

e Infraestructura iquestse cuenta con la infraestructura o capacidad instalada suficiente para

la ejecucioacuten del proceso o subproceso

f Insumos tecnoloacutegicos

4 Productos iquestlos productos de cada proceso subproceso o macroproceso sirven de insumo

para ejecutar el proceso subproceso o macroproceso subsecuente

5 Sistemas de informacioacuten iquestLos sistemas de informacioacuten utilizados en la ejecucioacuten de cada

proceso subproceso o macroproceso (automatizados semiautomatizados o manuales)

funcionan como una fuente de informacioacuten uacutetil para los sistemas de monitoreo a nivel central

y para los operadores en otros niveles iquestEstos sistemas de informacioacuten automatizan algunos

procesos subprocesos o macroproceso del Pp iquestSirven como mecanismo de control interno

para el mejor de desarrollo de los procesos subprocesos o macroproceso

6 Coordinacioacuten iquestla coordinacioacuten entre los actores oacuterdenes de gobierno o dependencias

involucradas es adecuada para la ejecucioacuten del proceso subproceso o macroproceso

7 Evaluacioacuten de la pertinencia de la forma en que se ejecuta cada proceso subproceso o

macroproceso en el contexto y condiciones en que se desarrolla considerando la estructura

organizacional involucrada y la coordinacioacuten entre las unidades administrativas que

intervienen en el proceso subproceso o macroproceso

8 Identificacioacuten de las caracteriacutesticas relacionadas con la importancia estrateacutegica de cada

proceso subproceso o macroproceso

PAE 2017 18

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

9 Opinioacuten de actores (destinatarios beneficiarios usuarios clientes u operadores del Pp)

sobre la eficacia eficiencia y calidad de cada proceso subproceso o macroproceso

10 Existencia de mecanismos para conocer la satisfaccioacuten de los beneficiarios o destinatarios de

los componentes o entregables que otorga el Pp

Por otra parte en caso de que el Pp genere diversos componentes o entregables y que estos

impliquen la realizacioacuten de actividades diferentes seraacute necesario describir los procesos y

subprocesos o macroprocesos correspondientes a cada tipo de componente o entregable otorgado

En la descripcioacuten de los procesos y subprocesos o macroprocesos la instancia evaluadora de manera

coordinada con la DEV deberaacute realizar los diagramas de alto nivel y los diagramas detallados

(diagramas de flujo) que describan los procesos y subprocesos o macroprocesos del Pp Para ello se

deberaacute usar como referencia la seccioacuten ldquoVII Mapeo de procesosrdquo de la ldquoGuiacutea para la Optimizacioacuten

Estandarizacioacuten y Mejora Continua de Procesosrdquo (paacuteginas 18 a 25) elaborada por la Secretariacutea de la

Funcioacuten Puacuteblica (SFP) disponible en la siguiente direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Estos diagramas se deberaacuten elaborar de acuerdo con lo especificado en el Anexo 7 ldquoDiagramas de

flujo de la operacioacuten del Pprdquo

Metodologiacutea Seccioacuten 2

La Evaluacioacuten de Procesos del Pp se realizaraacute principalmente a partir de teacutecnicas de investigacioacuten

cualitativa como son el anaacutelisis documental la observacioacuten directa estudios de caso y multicaso

especiacuteficos entrevistas semiestructuradas y grupos focales o grupos de enfoque (focus groups)

entre otras teacutecnicas que la instancia evaluadora considere pertinentes para realizar el anaacutelisis de

gabinete y el trabajo de campo tales como la aplicacioacuten de cuestionarios de aplicacioacuten electroacutenica

o a distancia

La metodologiacutea y los instrumentos definidos asiacute como el trabajo de gabinete y de campo deberaacuten

generar evidencia empiacuterica suficiente para valorar a profundidad la forma en que se ejecutan los

procesos y subprocesos o macroprocesos que integran la operacioacuten del Pp asiacute como su contexto

institucional y organizacional

PAE 2017 19

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anaacutelisis de gabinete

Para esta seccioacuten es necesario la elaboracioacuten del diagnoacutestico de los procesos y subprocesos o

macroprocesos que integran la operacioacuten o gestioacuten del Pp la instancia evaluadora deberaacute realizar

un anaacutelisis de gabinete considerando como miacutenimo los siguientes documentos

La normativa aplicable al Pp leyes reglamentos lineamientos manuales de procedimientos

convenios contratos entre otros

Diagnoacutestico y estudios de la problemaacutetica que el Pp atiende

Diagnoacutestico del programa y estudios del marco contextual en el que opera

MIR del Pp correspondiente al ejercicio fiscal evaluado y de ejercicios anteriores que se

consideren pertinentes

Sistemas de informacioacuten automatizados semiautomatizados o manuales que apoyen a la

ejecucioacuten de los procesos y subprocesos o macroprocesos identificados del Pp

Evaluaciones externas o internas realizadas previamente al Pp

Documentos de trabajo institucionales e informes de avances de Aspectos Susceptibles de

Mejora con los que cuente el Pp

Informes de auditoriacuteas de desempentildeo o similares realizadas al Pp por la Auditoriacutea Superior

de la Federacioacuten del Estado de Puebla por la Secretariacutea de la Contraloriacutea o por cualquier

instancia fiscalizadora

Asimismo se sugiere revisar otros documentos asociados al disentildeo del Pp y a su definicioacuten de

poblacioacuten o aacuterea de enfoque potencial y objetivo asiacute como a su estrategia de integracioacuten de

destinatarios o beneficiarios de los componentes o entregables del Pp

El anaacutelisis o trabajo de gabinete deberaacute generar como resultado inicial un mapeo de los procesos y

subprocesos o macroprocesos que integran la gestioacuten operativa del Pp que constituiraacute

esencialmente el Producto 1 de la evaluacioacuten posteriormente se procesaraacute la informacioacuten recabada

en campo para la generacioacuten del informe preliminar y final de la evaluacioacuten

Alcance y enfoque de la evaluacioacuten

La instancia evaluadora deberaacute sentildealar con claridad en el informe de la evaluacioacuten cuaacuteles de los

procesos y subprocesos o macroprocesos identificados en la operacioacuten o gestioacuten del Pp se analizan

y cuaacuteles no de acuerdo con lo establecido por la Direccioacuten de Evaluacioacuten (DEV) de la Secretariacutea de

Finanzas y Administracioacuten (SFA) y la Unidad Responsable (UR) del Programa en cuestioacuten sentildealando

los elementos de anaacutelisis que justifican esta seleccioacuten y en su caso haciendo recomendaciones al

respecto

PAE 2017 20

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Un elemento que podraacute ser considerado para establecer el alcance de la evaluacioacuten es el grado de

consolidacioacuten operativa del Pp el cual podraacute determinarse a priori considerando algunos elementos

como los siguientes

1 Si existen documentos que normen los procesos y subprocesos o macroprocesos

2 Si los procesos y subprocesos o macroprocesos estaacuten estandarizados es decir si son

utilizados por todas la instancias ejecutoras de manera homogeacutenea

3 Si los procesos y subprocesos o macroprocesos estaacuten documentados y son del conocimiento

de todos los operadores

4 Si se cuenta con un sistema de monitoreo e indicadores de gestioacuten

5 Si se cuenta en los procesos y subprocesos o macroprocesos analizados con sistemas

informaacuteticos que permitan la automatizacioacuten en la ejecucioacuten de los mismos

6 Si se cuenta con mecanismos para la implementacioacuten sistemaacutetica de mejoras

Se considera que existe un mayor grado de consolidacioacuten operativa cuando existen todos los

elementos y disminuiraacute gradualmente conforme haga falta uno o maacutes de ellos hasta el menor grado

de consolidacioacuten que es cuando no existe ninguno de los elementos

El alcance de la Evaluacioacuten de Procesos del Pp implica el anaacutelisis de los procesos y subprocesos o

macroprocesos sustantivos del Pp asiacute como la respectiva priorizacioacuten de estos Se deberaacute realizar

la identificacioacuten y jerarquizacioacuten de los procesos a partir del Esquema 1 adaptaacutendolo a las

condiciones particulares del Pp3 en eacutel se observa lo siguiente

El proceso de ldquoPlaneacioacutenrdquo es el punto de partida para la implementacioacuten del Pp

posteriormente continuacutean los procesos de ldquoComunicacioacuten Interna y Externardquo ldquoSeleccioacuten de

destinatariosrdquo ldquoProduccioacuten de entregablesrdquo ldquoEntregardquo ldquoSeguimiento a destinatariosrdquo y

ldquoControlrdquo

La informacioacuten que se genera en los procesos de ldquoSeguimiento a destinatariosrdquo y ldquoControlrdquo

es un insumo directo para retroalimentar los procesos del Pp desde el de Planeacioacuten

El proceso de ldquoMonitoreordquo utiliza informacioacuten generada principalmente en los procesos de

ldquoComunicacioacutenrdquo ldquoSeleccioacuten de destinatariosrdquo ldquoProduccioacuten de entregablesrdquo ldquoEntregardquo y

ldquoSeguimiento a destinatariosrdquo a partir de ello se retroalimentan los procesos del Pp desde

la ldquoPlaneacioacutenrdquo

3 Con excepcioacuten de los procesos (con sus subprocesos) de Planeacioacuten Monitoreo y Evaluacioacuten Externa para

los cuales la instancia evaluadora uacutenicamente podraacute en caso de que lo considere pertinente agregar

subprocesos pero no suprimir subprocesos

PAE 2017 21

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

El proceso de ldquoEvaluacioacuten Externardquo requiere de informacioacuten transversal de todos los

procesos ya que se valora al Pp en su conjunto En este sentido los resultados de las

evaluaciones son un insumo para retroalimentar al Pp desde el proceso de ldquoPlaneacioacutenrdquo

Es importante sentildealar que en el Esquema 1 se muestra un modelo que es importante tomarlo en

cuenta como referencia para la identificacioacuten y definicioacuten de los procesos y subprocesos o

macroprocesos que integran la operacioacuten del Pp evaluado ademaacutes de que representa un auxiliar

en la definicioacuten del alcance y del enfoque de la Evaluacioacuten de Procesos del Pp

Esquema 1 Modelo general de procesos

Fuente Modelo de TdR para la Evaluacioacuten de Procesos Secretariacutea de Hacienda y Creacutedito Puacuteblico

A continuacioacuten se describe cada uno de los procesos que componen al modelo anterior

Planeacioacuten proceso en el que se determinan o definen el problema o necesidad aacuterbol de

problemas y objetivos poblacioacuten o aacuterea de enfoque potencial y objetivo objetivos

indicadores y metas de la MIR estrategia de cobertura plan estrateacutegico entre otros puntos

asiacute como los recursos financieros y humanos necesarios que requiere el Pp para lograr sus

objetivos En el proceso de planeacioacuten se determinan las directrices en el disentildeo e

implementacioacuten del Pp los subprocesos que lo integran son los siguientes planeacioacuten

estrateacutegica programacioacuten y presupuesto actualizacioacuten de la MIR actualizacioacuten de

normativa

PAE 2017 22

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Comunicacioacuten interna y externa proceso en el que se informan diversas caracteriacutesticas y

objetivos del Pp tanto a los actores involucrados en su funcionamiento y operacioacuten (interna)

como a su poblacioacuten o aacuterea de enfoque objetivo (externa)

Seleccioacuten de destinatarios proceso en el que se determina quieacutenes recibiraacuten los

componentes o entregables de un Pp en funcioacuten de su poblacioacuten o aacuterea de enfoque objetivo

Produccioacuten de entregables proceso en el que se elaboran los entregables o realizan los

componentes del Pp (recursos financieros o humanos apoyos bienes servicios

regulaciones documentos teacutecnicos o de planeacioacuten etc) conforme a sus documentos

normativos

Entrega proceso en el que se realiza la entrega de lo producido o generado por el Pp

(componentes o entregables) a los destinatarios o beneficiarios

Seguimiento a destinatarios actividades y mecanismos que permiten al Pp conocer coacutemo

son utilizados o aprovechados sus componentes o entregables (por sus destinatarios o

beneficiarios) para que entre otras funciones la UR del Pp identifique si se estaacute cumpliendo

con los objetivos Por ejemplo en este proceso se incluyen las actividades que un Pp

implementa para conocer el grado de satisfaccioacuten de sus destinatarios o beneficiarios

Control actividades y mecanismos implementados entre los operadores del Pp para verificar

que los diferentes procedimientos procesos y subprocesos se esteacuten ejecutando conforme a

lo planeado (control interno)

Monitoreo proceso coordinado por una unidad administrativa ajena a la operacioacuten del Pp

a traveacutes del cual se recaba registra y valida la informacioacuten sobre el avance de las metas de

los indicadores de la MIR asiacute como el seguimiento a los resultados de indicadores

adicionales a los de la MIR en caso de que se cuente con un sistema de monitoreo de gestioacuten

Los subprocesos que lo integran son los siguientes acopio de la informacioacuten para el reporte

de avances validacioacuten de informacioacuten y registro de avances primordialmente

Evaluacioacuten externa proceso coordinado por una unidad administrativa ajena a la operacioacuten

del Pp mediante el cual se define la agenda de evaluacioacuten externa del Pp se definen las

metodologiacuteas o los teacuterminos de referencia se contratan las evaluaciones externas (de

cualquier tipo) se recaba la informacioacuten que seraacute entregada a los equipos evaluadores se

realiza el seguimiento durante el desarrollo de las evaluaciones externas se aprueban los

PAE 2017 23

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

informes finales de las evaluaciones externas se notifica a las instancias correspondientes

sobre la conclusioacuten de las evaluaciones externas y se definen y realiza el seguimiento de los

Aspectos Susceptibles de Mejora (ASM)

A partir de los procesos definidos en el modelo anterior la instancia evaluadora deberaacute realizar una

equivalencia de los procesos subprocesos o macroprocesos identificados respecto a los definidos

en el modelo de acuerdo con el Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesosrdquo Cabe

mencionar que los procesos definidos en el modelo no son limitativos por lo que si la instancia

evaluadora identifica procesos subprocesos o macroprocesos adicionales deberaacute incluirlos

Disentildeo metodoloacutegico del trabajo de campo

A partir del contexto en que opera el Pp y el alcance y enfoque metodoloacutegico de la evaluacioacuten de

procesos la instancia evaluadora deberaacute desarrollar una propuesta de estrategia y plan de trabajo

de campo a seguir para la realizacioacuten de la evaluacioacuten asimismo deberaacute incluir un cronograma

detallado de actividades

La estrategia de trabajo de campo disentildeada por la instancia evaluadora deberaacute ser entregada a la

DEV para que en conjunto con la UR del Pp sea validada antes de su implementacioacuten Dicha

estrategia deberaacute contener al menos los siguientes elementos

Justificacioacuten de las teacutecnicas de investigacioacuten a utilizar

Muestra y los criterios utilizados para su seleccioacuten

Listado de los actores a entrevistar

Instrumentos de levantamiento de informacioacuten que se aplicaraacuten y

Cronograma con las actividades a desarrollar

La instancia evaluadora iniciaraacute las actividades del trabajo de campo de manera conjunta y una vez

recibido el visto bueno de la DEV

El disentildeo de la muestra y de los instrumentos para el levantamiento de informacioacuten en campo

deberaacute considerar a la totalidad de los actores que intervienen en la ejecucioacuten de los procesos y

subprocesos o macroprocesos que integran la operacioacuten o gestioacuten del Pp asiacute como a los

destinatarios o beneficiarios de los componentes o entregables del Pp independientemente de su

ubicacioacuten geograacutefica

Algunos criterios que puede utilizar la instancia evaluadora para definir una muestra que considere

la variabilidad de la operacioacuten en los diferentes contextos en que opera el Pp son los siguientes

PAE 2017 24

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

a) El desempentildeo operativo del Pp entre municipios regionalizacioacuten geograacutefica instituciones

puacuteblicas o privadas u otros aspectos que suponen una accioacuten diferenciada de los procesos

(cuando aplique)

b) Volumen de la operacioacuten del Pp

c) Esquemas normativos del Pp y el ejercicio presupuestal en los municipios instituciones

puacuteblicas o privadas u otros aspectos que suponen una accioacuten diferenciada de los procesos

en las que opera el Pp (cuando aplique) y

d) Formas de interaccioacuten del Pp con otros niveles u oacuterdenes de gobierno (cuando aplique)

Los criterios anteriores no son limitativos por lo que la instancia evaluadora podraacute proponer criterios

adicionales que considere pertinentes para la definicioacuten de la muestra para el trabajo de campo

En el disentildeo muestral la instancia evaluadora deberaacute sentildealar los funcionarios del Pp o destinatarios

a los que se les aplicaraacuten los instrumentos de levantamiento de informacioacuten con los que se realizaraacute

el trabajo de campo asiacute como la ubicacioacuten geograacutefica de los mismos

Instrumentos de levantamiento de informacioacuten

La instancia evaluadora deberaacute disentildear los instrumentos que utilizaraacute para el levantamiento de

informacioacuten durante el trabajo de campo como son (por ejemplo) los cuestionarios por tipo de

funcionario a entrevistar para el caso de entrevistas semiestructuradas los guiones a utilizar en la

realizacioacuten de grupos focales los cuestionarios de aplicacioacuten electroacutenica las guiacuteas respectivas entre

otros Para lo anterior deberaacute considerar los siguientes temas guiacutea y preguntas de referencia

Planeacioacuten (planeacioacuten estrateacutegica programacioacuten y presupuesto)

iquestQueacute se entiende por planeacioacuten estrateacutegica para los operadores del Pp

iquestCuaacuteles son las actividades o acciones de planeacioacuten estrateacutegica del Pp que se realizan

iquestLa planeacioacuten estrateacutegica es el resultado de un ejercicio institucionalizado que involucra a

los actores clave de la gestioacuten del Pp

iquestExiste un documento resultado de la planeacioacuten estrateacutegica iquestEs claro difundido y

accesible iquestEn queacute medida es utilizado para guiar la operacioacuten del Pp

iquestLa planeacioacuten estrateacutegica estaacute vinculada con el cumplimiento entrega o generacioacuten de los

componentes o entregables del Pp

iquestLa planeacioacuten estrateacutegica establece indicadores para medir los avances en las metas

establecidas iquestLas metas son factibles y estaacuten orientadas a impulsar el desempentildeo del Pp

PAE 2017 25

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

iquestQueacute se entiende por planeacioacuten operativa y cuaacuteles son las diferencias con la planeacioacuten

estrateacutegica

Comunicacioacuten interna y externa del Pp (las preguntas que apliquen)

iquestQueacute actores intervienen en la comunicacioacuten del Pp

iquestExiste una estrategia de comunicacioacuten del Pp documentada En caso afirmativo describirla

iquestLa estrategia de comunicacioacuten del Pp (documentada o no) es adecuada

iquestLos medios utilizados el lenguaje y el contenido de los mensajes son pertinentes en funcioacuten

del puacuteblico al que van dirigidos

Solicitud de los componentes o entregables del Pp (las preguntas que apliquen)

iquestExiste un proceso claro imparcial y expliacutecito por medio del cual la poblacioacuten o aacuterea de

enfoque potencial puede solicitar los componentes o entregables que otorga el Pp

iquestLos requisitos para solicitar los componentes o entregables del Pp se presentan de manera

clara y completa

iquestLos puntos de recepcioacuten de solicitudes son accesibles y suficientes (cuando aplique)

iquestExisten mecanismos estandarizados para recibir y revisar la documentacioacuten entregada asiacute

como registrar y dar traacutemite a las solicitudes (cuando aplique)

iquestSon adecuados estos mecanismos (cuando aplique) En caso de que el Pp que apoye la

realizacioacuten de proyectos iquestse brinda asesoriacutea para la presentacioacuten de los mismos de ser asiacute

iquestes pertinente esta asesoriacutea

iquestEl proceso de solicitud de los componentes o entregables que otorga el Pp se encuentra

automatizado total o parcialmente

Para esta pregunta considerar los estados de digitalizacioacuten utilizados por la Comisioacuten Intersecretarial

para el Desarrollo del Gobierno electroacutenico seguacuten una adaptacioacuten realizada a la clasificacioacuten que

hace la ONU

Estado de digitalizacioacuten 1 traacutemites y servicios que se encuentran en estado informativo

Estado de digitalizacioacuten 2 traacutemites y servicios que cuentan con interfaces de comunicacioacuten

unidireccional

Estado de digitalizacioacuten 3 traacutemites y servicios que permiten realizar transacciones y

Estado de digitalizacioacuten 4 traacutemites y servicios que el usuario puede ejecutar de principio a

fin por medio de dispositivos digitales

PAE 2017 26

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para mayor informacioacuten referirse a ldquoFigure A4 The four stages of online service developmentrdquo en

los siguientes documentos

Lineamientos relativos a la digitalizacioacuten estandarizada de traacutemites y servicios con apego en

la Estrategia Digital Nacional

httpwwwgobmxcmsuploadsattachmentfile67232ti_1_pgcm_bases_lineam_tyspdf

United Nations E-Government Survey 2014 (paacutegina 195)

httpspublicadministrationunorgegovkbportalsegovkbdocumentsun2014-surveye-

gov_complete_survey-2014pdf

Seleccioacuten de destinatarios (cuando aplique)

iquestExiste una metodologiacutea o meacutetodo para la seleccioacuten de destinatarios o beneficiarios de los

componentes o entregables del Pp iquestLa metodologiacutea utilizada cuenta con criterios de

seleccioacuten y elegibilidad claros estandarizados y sistematizados

iquestLa seleccioacuten de destinatarios o beneficiarios de los componentes o entregables del Pp es un

proceso transparente e imparcial iquestEl resultado de la seleccioacuten es puacuteblico (cuando aplique)

iquestExiste informacioacuten en una base de datos que permita conocer quieacutenes o queacute instancias

reciben los componentes o entregables del Pp iquestQueacute informacioacuten integra esta base de datos

iquestExisten mecanismos para validar y actualizar esta base de datos iquestEstos mecanismos son

pertinentes

Produccioacuten de componentes o entregables

iquestSe cuenta con los insumos suficientes para generar el volumen de componentes o

entregables que permitan al Pp atender a su poblacioacuten o aacuterea de enfoque objetivo

iquestEl Pp tiene mecanismos para estimar la produccioacuten o generacioacuten necesaria de componentes

o entregables de acuerdo con la posible demanda o requerimientos de su poblacioacuten o aacuterea

de enfoque objetivo iquestEs adecuado este mecanismo

iquestExisten mecanismos de control de calidad para la generacioacuten de los componentes o

entregables del Pp iquestEstos mecanismos son pertinentes

iquestLas actividades de generacioacuten de componentes o entregables que otorga el Pp estaacuten

estandarizadas es decir son ejecutadas de manera homogeacutenea por todas las instancias

involucradas

PAE 2017 27

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Entrega

iquestLos componentes o entregables del Pp son proporcionados conforme a las especificaciones

y de manera oportuna a los destinatarios

iquestExisten especificaciones (programas o planes de trabajo) sobre la forma en que se deben

trasladar los componentes o entregables para (por ejemplo) asegurar su adecuada recepcioacuten

en el punto de destino iquestSon adecuadas estas especificaciones respecto a normas o

lineamientos existentes (cuando aplique)

iquestLa logiacutestica de distribucioacuten se actualiza (cuando aplique) iquestExiste un periodo para dicha

actualizacioacuten iquestEn el disentildeo y actualizacioacuten de la logiacutestica se toman en cuenta los factores

geograacuteficos y climatoloacutegicos en cada regioacuten donde opera el Pp (cuando aplique)

iquestLos puntos de entrega de los componentes o entregables son cercanos a los beneficiarios

o aacuterea de enfoque a atender y son de faacutecil acceso iquestSe considera que son suficientes iquestPor

queacute

Control (las preguntas que apliquen)

iquestEl Pp cuenta con los mecanismos para verificar que los componentes o entregables se

otorguen de acuerdo con lo establecido en la normativa especiacutefica y lleguen a la poblacioacuten

o aacuterea de enfoque que deba ser beneficiada iquestEstos mecanismos son adecuados

iquestExiste de manera sistematizada un documento que deacute cuenta de los resultados de

supervisioacuten y entrega de componentes o entregables iquestEste documento es adecuado iquestLos

resultados se utilizan para implementar mejoras en la operacioacuten del Pp

iquestExisten procedimientos estandarizados que verifiquen el cumplimiento de la

corresponsabilidad u obligatoriedad por parte de los beneficiarios o destinatarios de los

componentes o entregables del Pp (cuando aplique)

Seguimiento a destinatarios

iquestEl Pp tiene mecanismos para verificar el procedimiento de seguimiento a los destinatarios o

beneficiarios que permitan identificar si los componentes o entregables generados son

utilizados de acuerdo con lo establecido iquestCoacutemo se implementa el mecanismo iquestEste

mecanismo es adecuado

iquestExisten procedimientos estandarizados que permitan verificar el cumplimiento de la

corresponsabilidad u obligatoriedad por parte del destinatario o beneficiario (cuando

aplique)

PAE 2017 28

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

En caso de que los componentes o entregables involucren la ejecucioacuten de obra o de

infraestructura iquestel Pp cuenta con un mecanismo de seguimiento o supervisioacuten que permita

identificar si se realizaron acorde a la normativa aplicable iquestEl seguimiento o supervisioacuten

considera plazos para la revisioacuten de las condiciones de la obra o la infraestructura despueacutes

de terminada la obra

iquestEl Pp tiene mecanismos para identificar si se cumple con su Propoacutesito iquestSon suficientes y

pertinentes estos mecanismos

iquestExisten mecanismos para conocer la satisfaccioacuten del destinatario o beneficiario de los

componentes o entregables del Pp respecto de los componentes que ofrece el Pp iquestSon

adecuados estos mecanismos iquestSu operacioacuten permite una aplicacioacuten imparcial y objetiva

iquestExiste evidencia para afirmar que las quejas y sugerencias que brindan los destinatarios o

beneficiarios de los componentes o entregables del Pp son utilizadas para la mejora continua

del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

En esta seccioacuten se deberaacute realizar la medicioacuten de los atributos de eficacia oportunidad suficiencia

y pertinencia de los procesos y subprocesos o macroprocesos definidos en el mapa de procesos del

Pp A continuacioacuten se definen los atributos en el marco de la evaluacioacuten de procesos

Eficacia un proceso es eficaz en la medida en que cumple con sus metas

Oportunidad un proceso es oportuno en la medida en que otorga sus productos

(componentes o entregables) o resultados en un periodo de tiempo determinado o

adecuado para el logro de sus objetivos

Suficiencia un proceso es suficiente en la medida en que produce sus resultados de forma

completa o adecuada para el logro de sus objetivos

Pertinencia un proceso es pertinente si sus actividades y productos son adecuados para

lograr tanto sus metas especiacuteficas como sus objetivos es decir si contribuyen al

mejoramiento de la gestioacuten del Pp4

4 Las actividades son adecuadas si estaacuten en funcioacuten del logro del objetivo de cada proceso Por ejemplo si se verifica que el formato de los mensajes a difundir cumpla con las caracteriacutesticas necesarias para llegar a la poblacioacuten o aacuterea de enfoque objetivo como seriacutea una mensaje de audio en la lengua indiacutegena de la localidad donde se encuentran los posibles destinatarios o beneficiarios o bien como seriacutea un mensaje dirigido a personal operativo del Pp cuyo nivel de estudios promedio pudiera complicar la comprensioacuten de lenguaje teacutecnico utilizado

PAE 2017 29

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para la medicioacuten de los atributos de los procesos y subprocesos o macroprocesos del Pp deberaacute

realizarse una revisioacuten documental (normativa aplicable MIR evaluaciones externas sistemas de

informacioacuten y registros administrativos entre otros) misma que deberaacute complementarse con el

trabajo de campo con el objetivo de identificar disentildear y calcular indicadores relacionados con

dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de informacioacuten empleadas

La informacioacuten obtenida de estos indicadores deberaacute vaciarse en fichas propuestas por la instancia

evaluadora presentadas como en el Anexo 6 ldquoFichas de indicadores de atributos de los procesos del

Pprdquo (formato libre) Estas fichas deberaacuten considerar la medicioacuten de los atributos de eficacia

suficiencia oportunidad y pertinencia correspondientes a cada proceso y subproceso o

macroproceso

Valoracioacuten de los procesos y subprocesos de la operacioacuten del Pp

Deberaacute contener una siacutentesis de los resultados encontrados en la Evaluacioacuten de Procesos del Pp

resaltando los hallazgos maacutes relevantes que se hayan detectado y que pudiesen transformarse en

ASM

La instancia evaluadora deberaacute calcular una valoracioacuten global cuantitativa sobre la operacioacuten y la

ejecucioacuten de los procesos y subprocesos o macroprocesos del Pp a partir del siguiente esquema de

puntuacioacuten5

Eficacia

- Todos los procesos (o macroprocesos) son eficaces = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es eficaz = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es eficaz = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es eficaz = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es eficaz = 1 punto

- Ninguno de los procesos (o macroprocesos) es eficaz = 0 puntos

Oportunidad

- Todos los procesos (o macroprocesos) son oportunos = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es oportuno = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es oportuno = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es oportuno = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es oportuno = 1 punto

5 La valoracioacuten cuantitativa deberaacute estar sustentada y por tanto ser consistente con lo valorado por la instancia evaluadora en el apartado de ldquoMedicioacuten de atributos de los procesos y subprocesosrdquo

PAE 2017 30

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

- Ninguno de los procesos (o macroprocesos) es oportuno = 0 puntos

Suficiencia

- Todos los procesos (o macroprocesos) son suficientes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es suficiente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es suficiente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es suficiente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es suficiente = 1 punto

- Ninguno de los procesos (o macroprocesos) es suficiente = 0 puntos

Pertinencia

- Todos los procesos (o macroprocesos) son pertinentes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es pertinente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es pertinente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es pertinente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es pertinente = 1 punto

- Ninguno de los procesos (o macroprocesos) es pertinente = 0 puntos

A partir de los puntajes asignados en los cuatro atributos anteriores esta valoracioacuten cuantitativa

global debe considerar el total de puntos posibles de obtener (5 x 4 = 20 puntos) y los puntos

obtenidos en la Evaluacioacuten de Procesos Pp (lsquoyrsquo puntos) de modo que se indique el porcentaje de

puntos obtenidos del total de puntos posibles [(lsquoyrsquo20) x 100] = valoracioacuten cuantitativa global de la

operacioacuten del Pp

La instancia evaluadora deberaacute utilizar el Anexo 9 ldquoValoracioacuten global cuantitativardquo para documentar

argumentar y sustentar cada una de las valoraciones cuantitativas sobre la operacioacuten y la ejecucioacuten

de los procesos (o macroprocesos) del Pp

Adicionalmente en este apartado se deberaacuten integrar las recomendaciones y conclusiones que se

consideren maacutes relevantes de los procesos y subprocesos o macroprocesos del Pp las cuales deben

formularse con base en los hallazgos del trabajo de campo y de gabinete El objetivo final de las

recomendaciones es proveer informacioacuten valiosa a los operadores del Pp para realizar adecuaciones

en la ejecucioacuten de los procesos y subprocesos o macroprocesos de modo que se potencie la

consecucioacuten de resultados del Pp

Las recomendaciones que se formulen como resultado de la Evaluacioacuten de Procesos del Pp deberaacuten

tener las siguientes caracteriacutesticas

Derivarse de los hallazgos de la evaluacioacuten

PAE 2017 31

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Ser concretas y factibles

Incluir un proyecto de implementacioacuten que considere los siguientes elementos

- Breve anaacutelisis de la viabilidad o factibilidad de la implementacioacuten

- Principales responsables de la implementacioacuten

- Anaacutelisis de los efectos potenciales que puede implicar la implementacioacuten tanto en la

operacioacuten del Pp como en el logro de sus objetivos

- La comparacioacuten entre la situacioacuten actual y el resultado que se espera obtener con la

implementacioacuten de la recomendacioacuten

Estar categorizadas en dos liacuteneas de accioacuten estrateacutegicas

- Consolidacioacuten

- Reingenieriacutea de procesos o subprocesos

Al respecto la instancia evaluadora debe entender por consolidacioacuten aquellas recomendaciones que

estaacuten dirigidas a perfeccionar determinados aspectos de la operacioacuten como seriacutean algunas acciones

procedimientos o estrategias del Pp asiacute como iniciativas para el fortalecimiento de los sistemas

automatizados infraestructura entre otros

Por reingenieriacutea de procesos o subprocesos se entenderaacuten aquellas recomendaciones que apuntan

a una transformacioacuten o modificacioacuten profunda o sustancial de uno o varios de los procesos y

subprocesos del Pp Para ello se deberaacute llenar el Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de

Procesos del Pprdquo y que a su vez deben derivar en acciones de consolidacioacuten para la implementacioacuten

de los procesos transformados

Adicionalmente y de conformidad con el alcance de la Evaluacioacuten de Procesos del Pp se deberaacute

presentar una propuesta para crear o fortalecer el sistema de monitoreo de gestioacuten del Pp con

indicadores a nivel de procesos y subprocesos o macroprocesos

Asimismo a partir de todo el anaacutelisis y valoraciones realizadas se deberaacute emitir un pronunciamiento

acerca de la percepcioacuten de eficiencia que la instancia evaluadora haya tenido sobre la ejecucioacuten de

los procesos y subprocesos o macroprocesos del Pp

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible o si no hipoteacuteticos en un anexo de formato libre Anexo 10 ldquoSistema de

monitoreo e indicadores de gestioacuten del Pprdquo

PAE 2017 32

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Bitaacutecora de trabajo de campo y bases de datos

La instancia evaluadora deberaacute entregar una bitaacutecora de trabajo de campo que destaque de forma

sinteacutetica entre otros puntos las principales actividades y situaciones a las que se enfrentoacute y que

podriacutean afectar los resultados de la Evaluacioacuten de Procesos del Pp

Asimismo deberaacute entregar las bases de datos generadas a partir de la aplicacioacuten de los instrumentos

de recoleccioacuten de informacioacuten y de la recopilacioacuten de informacioacuten en el trabajo de campo Las bases

de datos deberaacuten entregarse en formatos compatibles con Excel debiendo mantener la

confidencialidad de los entrevistados pero sin alterar la informacioacuten proporcionada por estos En las

bases de datos debe estar sistematizada toda la informacioacuten recabada a partir de la aplicacioacuten de

los instrumentos de levantamiento de informacioacuten y deberaacute sustentar el anaacutelisis las valoraciones los

hallazgos y las conclusiones de la evaluacioacuten

PAE 2017 33

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Contenido del informe

Contenido miacutenimo del informe final de la evaluacioacuten

Derivado del contenido generado en las secciones anteriores deberaacuten elaborarse los siguientes

apartados en el informe final de la Evaluacioacuten de Procesos del Pp

i Introduccioacuten

ii Resumen Ejecutivo

iii Marco Legal

iv Datos Generales del Programa Presupuestario (Pp)

v Criterios Teacutecnicos para la Evaluacioacuten del Programa Presupuestario correspondiente

vi Apartados de la evaluacioacuten

Seccioacuten 1 Disentildeo

Diagnoacutestico del programa puacuteblico

Matriz de Indicadores para Resultados (MIR)

Seccioacuten 2 Procesos

Pertinencia de los proceso

Diagnoacutestico general de los procesos y subprocesos del Pp

- Contexto en que opera el Pp

- Diagnoacutestico inicial de los procesos y subprocesos

Descripcioacuten y valoracioacuten de los procesos y subprocesos del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

vii Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

viii Valoracioacuten final del Pp

ix Hallazgos

x Recomendaciones clasificadas por apartado

xi Conclusiones

xii Bibliografiacutea

xiii Anexos

Anexo 1 Descripcioacuten General del Programa

Anexo 2 Metodologiacutea para la cuantificacioacuten de las poblaciones potencial y objetivo

(Formato Libre)

Anexo 3 Evolucioacuten de la Cobertura

Anexo 4 Propuesta de mejora de la Matriz de Indicadores para Resultados

Anexo 5 Ficha de identificacioacuten y equivalencia de procesos del Pp

PAE 2017 34

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 Fichas de indicadores de atributos de los procesos del Pp (Formato libre)

Anexo 7 Diagramas de flujo de la operacioacuten del Pp

Anexo 8 Propuesta de modificacioacuten a los documentos normativos o institucionales

del Pp

Anexo 9 Valoracioacuten global cuantitativardquo

Anexo 10 Sistema de monitoreo e indicadores de gestioacuten del Pp (Formato libre)

Anexo 11 Recomendaciones de la Evaluacioacuten de Procesos del Pp

Anexo 12 Principales Fortalezas Retos y Recomendaciones

Anexo 13 Ficha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacuten

En el Resumen Ejecutivo asimismo se describiraacuten los principales hallazgos y recomendaciones del

evaluador externo

Para el desarrollo de los apartados antes referidos deberaacute atender las indicaciones que se desarrollan

en las siguientes secciones

Hallazgos y resultados Pp por Seccioacuten

Se debe realizar una valoracioacuten general del programa por seccioacuten utilizando las respuestas que

integran cada uno de los apartados En esta valoracioacuten integral se deberaacute sentildealar en queacute medida la

gestioacuten operativa conduce al logro de los objetivos del Pp

Asimismo se deben sentildealar las aacutereas de mejora las buenas praacutecticas y las fortalezas detectadas en

la operacioacuten del Pp y a partir de ello la instancia evaluadora emitiraacute recomendaciones de mejora

sobre aspectos especiacuteficos de cada proceso y subproceso o macroproceso del Pp Adicionalmente

se deberaacuten identificar los problemas o limitantes tanto normativos como operativos (ldquocuellos de

botellardquo) de coordinacioacuten entre unidades administrativas y otros que hubiese en los procesos y

subprocesos o macroprocesos del Pp entendieacutendose como aquellas praacutecticas procedimientos

actividades o traacutemites que obstaculizan la operacioacuten del Pp

En este sentido se deberaacuten identificar las situaciones en las que la normativa genere complicaciones

en la gestioacuten o ineficacia en el cumplimiento de los objetivos del Pp para lo cual se deberaacute presentar

(por cada situacioacuten identificada) una propuesta de modificacioacuten a la normativa aplicable al Pp

considerando las restricciones praacutecticas que existan para su implementacioacuten asiacute como los efectos

PAE 2017 35

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

potenciales de ser implementada Los resultados de este anaacutelisis deberaacuten describirse en el Anexo 7

ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales del Pprdquo

Para la identificacioacuten y descripcioacuten de los ldquocuellos de botellardquo buenas praacutecticas y fortalezas del Pp

se consideraraacute la informacioacuten derivada del anaacutelisis de la operacioacuten del Pp asiacute como los puntos de

vista de los principales actores que intervienen en ella Este anaacutelisis deberaacute contener las causas y las

consecuencias de los ldquocuellos de botellardquo detectados sus caracteriacutesticas y naturaleza (si son

normativas o estrictamente operativas) de igual manera se deberaacute desarrollar un anaacutelisis de las

buenas praacutecticas identificadas

Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

Se debe integrar en una sola tabla las fortalezas oportunidades debilidades y amenazas

especificadas por cada apartado de la evaluacioacuten y reportarlas en el Anexo 11 ldquoPrincipales Fortalezas

Retos y Recomendacionesrdquo en el que se deben incluir las fortalezas yo oportunidades las

debilidades yo amenazas y las recomendaciones por apartado de la evaluacioacuten

PAE 2017 36

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexos

Anexo 1 ldquoDescripcioacuten General del Programardquo

El Anexo tiene formato libre sin embargo debe contener una breve descripcioacuten de las caracteriacutesticas

maacutes relevantes del Pp en un maacuteximo de dos cuartillas Dicha descripcioacuten debe considerar los

siguientes aspectos

1 Identificacioacuten del programa

11 Nombre

12 Clave de programa

13 Dependencia yo Entidad coordinadora ejecutora

14 Antildeo de inicio de operacioacuten

2 Problema o necesidad que el Pp pretende atender atenuar o resolver

3 La contribucioacuten del Pp a las Metas y objetivos estatales a los que se vincula

4 Descripcioacuten de los objetivos del Pp asiacute como de los bienes yo servicios que ofrece

(componentes)

5 Identificacioacuten y cuantificacioacuten de la poblacioacuten o aacuterea de enfoque potencial y

objetivo

6 Presupuesto aprobado para el ejercicio fiscal en curso

7 Metas de los indicadores de Fin Propoacutesito y Componentes asiacute como los de nivel

actividad que se consideren relevantes y

8 Resumen de la valoracioacuten de la pertinencia del disentildeo del Pp respecto a la atencioacuten

del problema o necesidad

Anexo 2 ldquoMetodologiacutea para la cuantificacioacuten de la poblacioacuten o aacuterea de enfoque

potencial y objetivordquo

El Anexo tiene formato libre sin embargo se debe incluir la siguiente informacioacuten

Definicioacuten de la poblacioacuten o aacuterea de enfoque potencial objetivo y atendida

Cuantificacioacuten de la poblacioacuten potencial objetiva y atendida

Hallazgos sobre el procedimiento llevado a cabo para definir y cuantificar la poblacioacuten o

aacuterea de enfoque potencial objetivo y atendida

Recomendaciones

Propuesta orientada hacia la mejora

PAE 2017 37

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 3 ldquoEvolucioacuten de la Coberturardquo

Nombre del

Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten

Antildeo de la Evaluacioacuten

Tipo de Poblacioacuten

Unidad

de

Medida

2012 2013 2014 2015 2016

P Potencial

P Objetivo

P Atendida

119927119912 times 120783120782120782

119927119926

PAE 2017 38

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 4 ldquoPropuesta de mejora de la Matriz de Indicadores para Resultadosrdquo

Derivado del anaacutelisis y valoracioacuten de la pregunta de investigacioacuten nuacutemero 3 iquestLa estructura de

objetivos planteada por el programa mantiene loacutegica y correspondencia causal con el problema

planteado en el diagnoacutestico se realizaraacute una propuesta de mejora de MIR

Fin

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Propoacutesito

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Componente 1

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

PAE 2017 39

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Componente 2 hellip

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 40

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesos del Pprdquo

Para la identificacioacuten y clasificacioacuten de los procesos del Pp se sugieren los siguientes pasos

1 Listar los procesos identificados

Comparar los procesos identificados del Pp con aquellos correspondientes al Modelo general de

procesos Colocar en el rengloacuten correspondiente el nombre de cada proceso del Pp identificado

como equivalente

2 Colocar al final de la lista aquellos procesos del Pp que no sean equivalentes con el Modelo

general de procesos

Modelo general de

procesos

Nuacutemero

de

secuencia

Procesos o subprocesos del Pp identificados por el

evaluador

(Nombre y breve descripcioacuten)

Planeacioacuten Ejemplo (Ej) Planeacioacuten Estrateacutegica

Ej Programacioacuten

Ej Presupuestacioacuten

Comunicacioacuten interna y

externa

Ej Difusioacuten Federal

Ej Difusioacuten Local

Seleccioacuten de

destinatarios

Ej Recepcioacuten de solicitudes de becas

Ej Seleccioacuten de becarios

Produccioacuten de

entregables

Entrega

Control

Seguimiento Ej Seguimiento fiacutesico y supervisioacuten en campo

Evaluacioacuten externa Ej Publicacioacuten y lectura del PAE

Ej Definicioacuten de TdR

Ej Contratacioacuten

Ej Ejecucioacuten de la evaluacioacuten externa

Monitoreo Ej Registro de avances de indicadores

Ej Revisioacuten de registros

Ej Validacioacuten de registros e integracioacuten de informes

PAE 2017 41

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Procesos identificados por el evaluador que no coinciden con el Modelo general de procesos

PAE 2017 42

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 ldquoFichas de indicadores de atributos de los procesos del Pp (formato libre)rdquo

Para la construccioacuten de este anexo deberaacute realizarse una revisioacuten documental (normativa aplicable

MIR evaluaciones externas sistemas de informacioacuten y registros administrativos entre otros) misma

que deberaacute complementarse con el trabajo de campo con el objetivo de identificar disentildear y calcular

indicadores relacionados con dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de

informacioacuten empleadas

Ademaacutes de considerar la medicioacuten de los atributos de eficacia suficiencia oportunidad y pertinencia

de cada proceso y subproceso o macroproceso

PAE 2017 43

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 7 ldquoDiagramas de flujo de la operacioacuten del Pprdquo

Para la elaboracioacuten de los diagramas de flujo deberaacute utilizarse la notacioacuten empleada en el

documento ldquoGuiacutea para la Optimizacioacuten Estandarizacioacuten y Mejora Continua de Procesosrdquo publicada

por la SFP en la direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Para el Diagrama de Alto Nivel (Diagrama PEPSU)

Ejemplo ilustrativo

PAE 2017 44

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para el Diagrama de Flujo

PAE 2017 45

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

PAE 2017 46

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 8 ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales

del Pprdquo

Tipo de

norma-

tiva

Dice

Problema

generado

(causas y

consecuencias)

Se

recomienda

decir

Efecto esperado de

aplicar la

recomendacioacuten de

cambio

Restricciones praacutecticas

que puedan existir para

su implementacioacuten

PAE 2017 47

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 9 ldquoValoracioacuten global cuantitativa ldquo

Seccioacuten 1 Disentildeo

Disentildeo Valoracioacuten Argumento o justificacioacuten

Porcentaje del

Disentildeo del Pp

(Suma de valoracioacuten alcanzada por pregunta de la seccioacuten 1 Total maacuteximo de la

valoracioacuten de todas las preguntas de la seccioacuten 1 ) x 100

Seccioacuten 2 Procesos

Proceso Eficacia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

eficaces

(Total de procesos eficaces Total de procesos del Pp) x 100

Proceso Oportunidad

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

oportunos

(Total de procesos oportunos Total de procesos del Pp) x 100

Proceso Suficiencia

(SiacuteNo) Argumento o justificacioacuten

PAE 2017 48

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Porcentaje de

procesos

suficientes

(Total de procesos suficientes Total de procesos del Pp) x 100

Proceso Pertinencia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

pertinentes

(Total de procesos pertinentes Total de procesos del Pp) x 100

NOTA Los argumentos y justificaciones del evaluador deberaacuten considerar el anaacutelisis y valoraciones de

los subprocesos de cada proceso de modo que haya consistencia entre estos elementos Asimismo el

evaluador deberaacute expresar los resultados de la valoracioacuten cuantitativa en una graacutefica tipo radial

PAE 2017 49

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 10 ldquoSistema de monitoreo e indicadores de gestioacuten del Pp (formato libre)rdquo

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible

Nombre del Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten De Procesos

Antildeo de la Evaluacioacuten 2017

Fin Justificacioacuten Propoacutesito Justificacioacuten Componente (s) Justificacioacuten

Nombre de

Indicador

Meacutetodo de Caacutelculo

Claro SiacuteNo SiacuteNo SiacuteNo

Relevante SiacuteNo SiacuteNo SiacuteNo

Econoacutemico SiacuteNo SiacuteNo SiacuteNo

Monitoreable SiacuteNo SiacuteNo SiacuteNo

Adecuado SiacuteNo SiacuteNo SiacuteNo

Definicioacuten SiacuteNo SiacuteNo SiacuteNo

Unidad de Medida SiacuteNo SiacuteNo SiacuteNo

Frecuencia de

Medicioacuten

SiacuteNo SiacuteNo SiacuteNo

Liacutenea Base SiacuteNo SiacuteNo SiacuteNo

Metas SiacuteNo SiacuteNo SiacuteNo

Comportamiento

del Indicador

SiacuteNo SiacuteNo SiacuteNo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 50

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de Procesos del Pprdquo

En este Anexo la instancia evaluadora debe valorar si la recomendacioacuten implica una consolidacioacuten o

una reingenieriacutea del proceso

A) Consolidacioacuten

Proceso Recomendaci

oacuten

Breve

anaacutelisis de

viabilidad de

la

implementa-

cioacuten

Principales

responsables

de la

implementaci

oacuten

Situacioacuten

actual

Efectos

potenciales

esperados

Medio de

verifica-

cioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

B) Reingenieriacutea de procesos

Proceso Objetivo

Breve

anaacutelisis de

viabilidad

de la

implemen-

tacioacuten

Principales

responsables

de la

implemen-

tacioacuten

Situa-

cioacuten

actual

Metas y

efectos

potenciale

s

esperados

Elabora-

cioacuten de

flujogram

a del

nuevo

proceso

Medio

de

verifi-

cacioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

NOTA El nivel de priorizacioacuten Alto Medio o Bajo se estimaraacute considerando la mejora en la operacioacuten

del Pp la viabilidad de la implementacioacuten de la recomendacioacuten asiacute como el efecto potencial que esto

pueda tener el alcance del objetivo del Pp

PAE 2017 51

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 12 ldquoPrincipales Fortalezas Retos y Recomendacionesrdquo

Capacidades Internas Factores Externos

Fortalezas

(Cualquier capacidad con la que cuenta la dependencia o

entidad que le permita aprovechar sus recursos para la

obtencioacuten de sus objetivos)

Oportunidades

(Cualquier factor externo fuera del control de la dependencia o

entidad que puede ser aprovechado para la obtencioacuten de sus

objetivos)

Debilidades

(Cualquier limitante Interna de la dependencia o entidad que

puede afectar la obtencioacuten de sus objetivos)

Amenazas

(Cualquier factor externo fuera de control de la dependencia o

entidad que pueda afectar la obtencioacuten de sus objetivos)

PAE 2017 52

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacutenrdquo

El Informe Final de la Evaluacioacuten de Procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten

Superior deberaacuten contener una ficha con los siguientes datos

Ficha Teacutecnica con los datos generales de la evaluacioacuten

Nombre o denominacioacuten de la

evaluacioacuten

[Especificar el nombre de la evaluacioacuten considerando su tipo y ejercicio

evaluado]

Nombre o denominacioacuten del

programa evaluado

[Indicar el nombre del Pp sujeto a evaluacioacuten de acuerdo con lo

establecido en el PEF sentildealando su modalidad y clave]

Unidad Responsable de la operacioacuten

del programa

[Especificar la(s) unidad(es) responsable(s) de la administracioacuten

operacioacuten y ejecucioacuten de los programas subprogramas y proyectos del

Pp evaluado correspondientes a las dependencias y entidades]

Titular de la unidad responsable de la

operacioacuten del programa

[Indicar el nombre del(a) Titular de la Unidad Responsable de la

operacioacuten del Pp]

Antildeo del Programa Anual de

Evaluacioacuten (PAE) en que fue

considerada la evaluacioacuten

[Especificar el ejercicio fiscal al que corresponde el PAE en la que fue

programada la evaluacioacuten]

Antildeo de conclusioacuten y entrega de la

evaluacioacuten

[Indicar el antildeo en que se concluyoacute la evaluacioacuten]

Tipo de evaluacioacuten [Especificar el tipo de evaluacioacuten de acuerdo con los Lineamientos de

evaluacioacuten el nombre de la evaluacioacuten y con lo establecido en el PAE]

Nombre de la instancia evaluadora [Indicar el nombre de la firma consultoriacutea u organizacioacuten que realizoacute la

evaluacioacuten]

Nombre del(a) coordinador(a)

externo(a) de la evaluacioacuten

[Especificar el nombre del(a) responsable de la coordinacioacuten de la

evaluacioacuten dla instancia evaluadora]

Nombre de los(as) principales

colaboradores(as) del(a)

coordinador(a) de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del(a)

coordinador(a) de la evaluacioacuten]

PAE 2017 53

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Unidad Administrativa responsable de

la Coordinacioacuten de la evaluacioacuten

[De acuerdo con lo sentildealado en el PAE especificar la instancia a la que

corresponde la coordinacioacuten de la evaluacioacuten pej Secretariacutea de

Finanzas y Administracioacuten (SFA) asiacute como la unidad administrativa

mediante la cual se ejerce esta funcioacuten p ej Direccioacuten de Evaluacioacuten

de la SFA (DEV)

Nombre del(a) Titular de la unidad

administrativa responsable de

coordinar la evaluacioacuten (Aacuterea de

Evaluacioacuten)

[Especificar el nombre del(a) Titular de la Unidad responsable de dar

seguimiento a la evaluacioacuten que funge como Aacuterea de Evaluacioacuten]

Nombres de los(as) servidores(as)

puacuteblicos(as) adscritos(as) a la unidad

administrativa responsable de

coordinar la evaluacioacuten que

coadyuvaron con la revisioacuten teacutecnica

de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del

titular de la unidad administrativa responsable de dar seguimiento a la

evaluacioacuten respecto de la revisioacuten teacutecnica de la misma]

Forma de contratacioacuten de la instancia

evaluadora

[Indicar el tipo de contratacioacuten dla instancia evaluadora Especificar el

tipo de procedimiento de contratacioacuten de la instancia evaluadora

consistente con los tipos de adjudicacioacuten establecidos en la Ley de

Adquisiciones Arrendamientos y Servicios del Sector Puacuteblico]

Costo total de la evaluacioacuten con IVA

incluido

[Especificar el costo total de la evaluacioacuten incluyendo el IVA (en caso

de que se haya causado) como sigue $XXX IVA incluido]

Asimismo en este anexo se deberaacute incluir una nota metodoloacutegica con la descripcioacuten de las teacutecnicas

y los modelos utilizados por el evaluador externo acompantildeada del disentildeo por muestreo

especificando los supuestos empleados y las principales caracteriacutesticas del tamantildeo y dispersioacuten de

la muestra utilizada

DIRECTORIO

Rauacutel Saacutenchez Kobashi

Secretario de la Secretariacutea de Finanzas y Administracioacuten

Francisco Fidel Teomitzi Saacutenchez

Subsecretario de Planeacioacuten

Arturo Neponuceno Crisoacutestomo

Director de Evaluacioacuten

Rodolfo de la Rosa Cabrera

Subdireccioacuten de Evaluacioacuten de Programas

Sauacutel Federico Oropeza Orea

Jefe del Departamento de Programas Estatales y Municipales

Ana Luz Guzmaacuten Figueroa

Analista del Departamento de Programas Estatales y Municipales

Marco Antonio Saacutenchez Gonzaacutelez

Analista del Departamento de Programas Estatales y Municipales

Page 3: Términos de Referencia para la Evaluación del Desempeño ...evaluacion.puebla.gob.mx/pdf/metodologias/TdR_Est/2017/TdR... · Perfil de la instancia evaluadora ... acuerdo con las

PAE 2017 2

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 10 ldquoSistema de monitoreo e indicadores de gestioacuten del Pp (formato libre)rdquo 49

Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de Procesos del Pprdquo 50

Anexo 12 ldquoPrincipales Fortalezas Retos y Recomendacionesrdquo 51

Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia evaluadora y el costo de la

evaluacioacutenrdquo 52

PAE 2017 3

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Presentacioacuten

El Presupuesto basado en Resultados (PbR) y el Sistema de Evaluacioacuten del Desempentildeo (SED) consiste

en que los oacuterganos puacuteblicos establezcan de manera puntual los objetivos que se alcanzaraacuten con los

recursos que se asignen a sus respectivos Programas Presupuestarios (Pp) y que el grado de

consecucioacuten de dichos objetivos pueda ser efectivamente confirmado mediante el SED

Dado que los Pp representan el mecanismo a partir del cual la Administracioacuten Puacuteblica Estatal plasma

las prioridades y directrices establecidas en el Plan Estatal de Desarrollo (PED) y en los instrumentos

de planeacioacuten que de eacuteste derivan asiacute pues de acuerdo con la Ley de Presupuesto y Gasto Puacuteblico

del Estado de Puebla el Pp es la categoriacutea programaacutetica-presupuestal que permite organizar en

forma representativa y homogeacutenea las actividades integradas y articuladas que proveen productos

(bienes y servicios) tendientes a lograr un resultado y beneficio en una poblacioacuten el cual es medido

a partir de metas e indicadores por lo anterior estos instrumentos deben de ser evaluados para

mejorar sus resultados

En este contexto la evaluacioacuten de los Pp permite la valoracioacuten objetiva del desempentildeo de los

programas y las poliacuteticas puacuteblicas a traveacutes del seguimiento y verificacioacuten del cumplimiento de metas

y objetivos con base en indicadores estrateacutegicos y de gestioacuten para

Conocer los resultados del ejercicio de los recursos y el impacto social de los programas

Identificar la eficacia eficiencia economiacutea y calidad del gasto y

Procurar una mayor productividad de los procesos gubernamentales

De este modo los procesos de mejora continua y desarrollo institucional bajo este nuevo enfoque

implican que los recursos puacuteblicos se asignen prioritariamente a los programas que generan mayores

beneficios a la poblacioacuten y que se mejoren los procesos de aquellos que no estaacuten funcionando

correctamente

Derivado de lo anterior la Direccioacuten de Evaluacioacuten de la Subsecretariacutea de Planeacioacuten en el marco de

sus atribuciones coordinaraacute las evaluaciones en materia de Procesos que se aplicaraacuten a los Pp de

acuerdo con lo establecido en el Programa Anual de Evaluacioacuten (PAE) para el Ejercicio Fiscal 2017 El

presente documento presenta las directrices que guiaraacuten dicha evaluacioacuten a fin de que dicho

proceso se integre adecuadamente al ciclo presupuestario

Es pertinente efectuar una evaluacioacuten en materia de procesos de los Pp en virtud de que resulta de

utilidad para la toma de decisiones ya que analiza si el programa lleva a cabo sus procesos

operativos de manera eficaz y eficiente y si contribuye al mejoramiento de la gestioacuten A continuacioacuten

se presentan los Pp a evaluar en materia de Procesos para el ejercicio 2016

PAE 2017 4

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para la elaboracioacuten del presente documento se tomaron como referencia el Modelo vigente de

Teacuterminos y Referencias (TdR) para la evaluacioacuten de Procesos1 que publica la Secretariacutea de Hacienda

y Creacutedito Puacuteblico (SHCP) asiacute como en el Modelo de Teacuterminos de Referencia para la Evaluacioacuten

Especiacutefica de Disentildeo y Procesos 20152 del Estado de Jalisco

El presente documento cuenta con cuatro apartados para desarrollar la evaluacioacuten de procesos en

primer lugar se muestran los objetivos de la evaluacioacuten de los Pp posteriormente se presentan cinco

preguntas de investigacioacuten que tienen como finalidad analizar el disentildeo la operacioacuten y gestioacuten del

Pp y en las que se establecen los criterios que adoptaraacute la instancia externa para dar respuesta a

dichos reactivos en tercer lugar se expone el contenido que presentaraacute el informe de la evaluacioacuten

y finalmente se presentan los formatos de anexo que se mencionan en las preguntas de

investigacioacuten

Cabe precisar que la evaluacioacuten se divide en dos secciones de anaacutelisis la primera parte consta de

tres preguntas de investigacioacuten en las que se analiza la calidad del disentildeo del Pp el desarrollo de

esta seccioacuten seraacute a partir de un anaacutelisis de gabinete En la segunda seccioacuten se abordan 2 preguntas

de investigacioacuten que permiten realizar un anaacutelisis profundo de los procesos subprocesos o

macroprocesos que integran la operacioacuten general del Pp debieacutendose integrar un Diagnoacutestico

general de los procesos y subprocesos del Pp dentro de los 30 primeros diacuteas una vez firmado el

contrato pues este diagnoacutestico es requisito indispensable para realizar posteriormente el trabajo de

campo necesario para el anaacutelisis y respuesta de la pregunta 5

1 httptransparenciapresupuestariagobmxesPTPevaluaciones en el apartado de descarga de Teacuterminos de

Referencia 2httpsepafjaliscogobmxsitessepafjaliscogobmxfilesmodelos_de_terminos_de_referencia_tdr_2015_0r

ar

Tabla 1 Programas Presupuestarios a Evaluar en materia de Procesos

No Clave ndash Nombre del Programa

1 E004 Educacioacuten Baacutesica

2 E006 Educacioacuten Superio

PAE 2017 5

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Glosario

Para efectos del presente documento se entenderaacute por

Aspectos Susceptibles de Mejora (ASM) Los hallazgos debilidades oportunidades y amenazas

identificadas como resultado de un ejercicio de evaluacioacuten

Cobertura Aacuterea de intervencioacuten del programa con respecto a las caracteriacutesticas socioeconoacutemicas

de la poblacioacuten que atenderaacute el Programa Presupuestario

Consejo Nacional de Evaluacioacuten de la Poliacutetica de Desarrollo Social (CONEVAL) instancia con

autonomiacutea teacutecnica y de gestioacuten con las atribuciones de medir la pobreza y evaluar la poliacutetica de

desarrollo social

Dependencias Las asiacute definidas en el artiacuteculo 17 de la Ley Orgaacutenica de la Administracioacuten Puacuteblica

del Estado de Puebla

Destinatario o beneficiario a las personas instituciones puacuteblicas o privadas agentes sociales o

econoacutemicos o demaacutes instancias que utilizan o reciben los componentes producidos por el Pp

Direccioacuten de Evaluacioacuten (DEV) Direccioacuten coordinadora de los procesos de evaluacioacuten suscrita a la

Subsecretariacutea de Planeacioacuten de la Secretariacutea de Finanzas y Administracioacuten del Estado de Puebla

Evaluacioacuten Anaacutelisis sistemaacutetico y objetivo de las poliacuteticas puacuteblicas los Programas Presupuestarios

(Pp) y el desempentildeo de las instituciones a fin de determinar o probar la pertinencia de los mismos

valorar sus objetivos y metas asiacute como conocer su eficiencia eficacia calidad resultados impacto y

sostenibilidad

Evaluacioacuten Especiacutefica Evaluacioacuten que se enfoca en aspectos especiacuteficos de un programa de

acuerdo con las necesidades de evaluacioacuten o la naturaleza del mismo Se realiza mediante trabajo

de gabinete yo de campo

Indicador Instrumento para medir el logro de los objetivos de los programas y referente para el

seguimiento de los avances y para la evaluacioacuten de los resultados alcanzados

Instancia evaluadora externa Equipo de evaluadores externos constituidos como personas fiacutesicas

o morales adscritos a instituciones puacuteblicas y privadas tanto nacionales como internacionales con

experiencia probada en evaluacioacuten y temas especiacuteficos requeridos para realizar alguno de los tipos

de evaluaciones externas

Liacutenea base Es el valor del indicador que se establece como punto de partida para evaluarlo y darle

seguimiento

PAE 2017 6

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Mapeo mostrar graacuteficamente por medio de siacutembolos cuaacuteles son las actividades que se llevan a

cabo dentro de una organizacioacuten o un proceso de tal manera que todo aquel que lo lea sea capaz

de comprender el alcance yo llevar a cabo el proceso

Matriz de Indicadores para Resultados (MIR) Es la herramienta que permite vincular los distintos

instrumentos para el disentildeo organizacioacuten ejecucioacuten seguimiento evaluacioacuten y mejora de los

programas resultado de un proceso de planeacioacuten realizado con base en la Metodologiacutea de Marco

Loacutegico conforme a lo sentildealado en la Guiacutea para la Construccioacuten de la Matriz de Indicadores para

Resultados

Metas Valor que permite establecer liacutemites o niveles maacuteximos de logro comunica el nivel de

desempentildeo esperado por la organizacioacuten y permite enfocarla hacia la mejora

Metodologiacutea del Marco Loacutegico (MML) Es la herramienta de planeacioacuten estrateacutegica basada en la

estructuracioacuten y solucioacuten de problemas o aacutereas de mejora que permite organizar de manera

sistemaacutetica y loacutegica los objetivos de un programa y sus relaciones de causa y efecto medios y fines

facilitar el proceso de conceptualizacioacuten y disentildeo de programas y fortalecer la vinculacioacuten de la

planeacioacuten con la programacioacuten

Monitoreo Funcioacuten continua que utiliza la recopilacioacuten sistemaacutetica de datos sobre indicadores

predefinidos para proporcionar a los administradores y a las principales partes interesadas de una

intervencioacuten para el desarrollo indicaciones sobre el avance y el logro de los objetivos asiacute como de

la utilizacioacuten de los fondos asignados

Nivel a la escala de medicioacuten de 1 a 4 establecido en los reactivos de respuesta binaria

Objetivos Son los resultados que un programa puacuteblico pretende alcanzar a traveacutes de la ejecucioacuten

de determinadas acciones pueden ser general o especiacuteficos Los objetivos especiacuteficos son un

conjunto de resultados que a su vez permiten lograr un objetivo general Los objetivos generales

reflejan el resultado que se espera lograr en teacuterminos de la atencioacuten de un problema puacuteblico y se

establecen en los distintos instrumentos de planeacioacuten de los que se valen las intervenciones

puacuteblicas

Organismos Autoacutenomos Entidad puacuteblica dotada de personalidad juriacutedica y patrimonio propios

creada por decreto para no depender del Poder Ejecutivo ni de ninguacuten otro Poder (Legislativo o

Judicial) con objeto de actuar con independencia imparcialidad y objetividad en sus funciones Para

efectos presupuestales y contables como ejecutores de gasto estaacuten obligados a cumplir con las

leyes y normatividad vigentes en las materias

Plan Estatal de Desarrollo (PED) Es el instrumento de planeacioacuten en el que se basaraacuten las

decisiones en materia de gasto e inversioacuten para la aplicacioacuten de los recursos puacuteblicos y se constituye

como el documento rector y guiacutea para la gestioacuten gubernamental

PAE 2017 7

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Poblacioacuten Atendida Poblacioacuten o aacuterea que ya fue atendida por el programa presupuestario

Poblacioacuten Objetivo Poblacioacuten o aacuterea que el programa pretende atender en un periodo dado de

tiempo pudiendo corresponder a la totalidad de la poblacioacuten potencial o a una parte de ella

Poblacioacuten Potencial Se refiere al universo global de la poblacioacuten o aacuterea referida

Poliacutetica Puacuteblica Accioacuten del Gobierno que tiene como objetivo atender ciertas necesidades de la

poblacioacuten (educacioacuten desarrollo social salud seguridad puacuteblica infraestructura comunicaciones

energiacutea etc)

Presupuesto basado en Resultados (PbR) Es un proceso basado en consideraciones objetivas

sobre los resultados esperados y alcanzados para la asignacioacuten de recursos con la finalidad de

fortalecer la calidad del disentildeo y gestioacuten de las poliacuteticas programas puacuteblicos y desempentildeo

institucional cuyo aporte sea decisivo para generar las condiciones sociales econoacutemicas y

ambientales para el desarrollo nacional sustentable

Programa Anual de Evaluaciones (PAE) Es el documento en el que se determina el tipo de

evaluacioacuten que se aplicaraacute a los programas puacuteblicos del Estado el calendario de ejecucioacuten de las

acciones de monitoreo y evaluacioacuten de los programas puacuteblicos del Estado que estaacuten en operacioacuten

asiacute como ofrecer a los responsables de la administracioacuten puacuteblica la informacioacuten que les permita

optimizar el proceso de creacioacuten de valor puacuteblico

Programa Presupuestario (Pp) Categoriacutea que permite organizar en forma representativa y

homogeacutenea las asignaciones de recursos de los programas federales y del gasto federalizado a

cargo de los ejecutores del mismo para el cumplimiento de sus objetivos y metas

Reglas de Operacioacuten del Programa (ROP) Son un conjunto de disposiciones que precisan la forma

de operar un programa con el propoacutesito de lograr los niveles esperados de eficacia eficiencia

equidad y transparencia

Secretariacutea de Hacienda y Creacutedito Puacuteblico (SHCP) dependencia del Poder Ejecutivo Federal que

tiene como misioacuten proponer dirigir y controlar la poliacutetica econoacutemica del Gobierno Federal en materia

financiera fiscal de gasto de ingresos y deuda puacuteblica con el propoacutesito de consolidar un paiacutes con

crecimiento econoacutemico de calidad

Secretariacutea de Finanzas y Administracioacuten (SFA) dependencia del Poder Ejecutivo Estatal que tiene

a su cargo las atribuciones para el despacho de los asuntos que expresamente le confiere la Ley

Orgaacutenica de la Administracioacuten Puacuteblica del Estado las demaacutes leyes reglamentos acuerdos decretos

convenios y sus anexos vigentes asiacute como las que le encomiende el Gobernador

PAE 2017 8

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Seguimiento Proceso continuo de recoleccioacuten y anaacutelisis de datos para comparar en queacute medida se

estaacute ejecutando un proyecto programa poliacutetica o recomendaciones en funcioacuten de los resultados

previstos

Teacuterminos de referencia (TdR) Documento que plantea los elementos estandarizados miacutenimos y

especiacuteficos de acuerdo con el tipo de evaluacioacuten y de programa a evaluar con base en

especificaciones teacutecnicas (perfil de los evaluadores calendario de entregas de productos etc)

objetivos de la evaluacioacuten (generales y especiacuteficos) asiacute como la normatividad aplicable

(responsabilidades alcances restricciones etc)

Unidades Responsables (UR) Cada una de las aacutereas encargadas de la evaluacioacuten de las

dependencias que forman parte de la Administracioacuten Puacuteblica Estatal

PAE 2017 9

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Objetivo General

Evaluar los procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten Superior de la

Administracioacuten Puacuteblica Estatal para el Ejercicio Fiscal 2016 con la finalidad de analizar y valorar su

operacioacuten y gestioacuten para el logro de sus metas y objetivos

Objetivos Especiacuteficos

Determinar en queacute medida los elementos del diagnoacutestico del Pp son suficientes para tener una

comprensioacuten vaacutelida del problema puacuteblico que se pretende atender

Determinar la validez de la loacutegica de intervencioacuten del Pp para atender el problema planteado a

partir de una comparacioacuten con casos nacionales o internacionales similares

Determinar en queacute medida los procesos con los que cuenta el programa puacuteblico son pertinentes

para atender el problema identificado

Analizar y valorar si la ejecucioacuten de los procesos y subprocesos o macroprocesos que integran

la gestioacuten operativa del Pp en sus distintos niveles son eficaces oportunos suficientes y

pertinentes para el logro de sus objetivos

Identificar analizar y valorar las buenas praacutecticas o las fortalezas en la operacioacuten del Pp

Identificar y proponer mejoras al Pp para el logro de sus objetivos y metas

PAE 2017 10

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Perfil de la instancia evaluadora

La instancia evaluadora debe de cubrir cuando menos los siguientes criterios

Persona fiacutesica o moral registrada ante la autoridad hacendaria competente

Acreditar la experiencia en el tema de evaluacioacuten de la gestioacuten yo poliacuteticas puacuteblicas

El Coordinador de la Evaluacioacuten cuente con maestriacutea o doctorado en ciencias sociales

ciencia poliacutetica antropologiacutea economiacutea sociologiacutea poliacuteticas puacuteblicas planeacioacuten yo

aacutereas afines a la temaacutetica de la evaluacioacuten y estar en posesioacuten del tiacutetulo universitario

con validez nacional o por universidades oficialmente reconocidas

Al menos dos antildeos de ejercicio profesional en materia de investigacioacuten

Dos antildeos de experiencia miacutenima en la realizacioacuten de actividades de evaluacioacuten interna

o externa en el sector puacuteblico o privado

Contar con referentes acadeacutemicos que demuestren su experiencia en el tema de

evaluacioacuten de poliacuteticas

Por lo que deberaacute llenar la Tabla 2 y el Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia

evaluadora y el costo de la evaluacioacutenrdquo

Tabla 2 Perfil de equipo evaluador

Cargo Requisitos

Acadeacutemicos Experiencia General

Experiencia

Especifica

Liacuteder del

equipo

evaluador

Estudios de posgrado

en ciencias sociales

econoacutemicas historia

antropologiacutea ciencia

poliacutetica administracioacuten

puacuteblica o afines

Experiencia en

evaluaciones de

programas poliacuteticas

yo investigaciones en

materia de evaluacioacuten

Experiencia en

evaluaciones en las

que se hayan

implementado

metodologiacuteas y anaacutelisis

cualitativos Que

cuente con liacuteneas de

investigacioacuten o

participacioacuten en

proyectos con temas

vinculados a los

programas a ser

evaluados

PAE 2017 11

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Tabla 2 Perfil de equipo evaluador

Cargo Requisitos

Acadeacutemicos Experiencia General

Experiencia

Especifica

Analistas

del equipo

evaluador

Se sugiere que la

instancia evaluadora

sea multidisciplinario

que cuenten con

licenciatura o estudios

de posgrado en

ciencias sociales

econoacutemicas historia

antropologiacutea ciencia

poliacutetica psicologiacutea

administracioacuten puacuteblica

o ingenieriacutea

Experiencia en

evaluaciones de

programas poliacuteticas

yo investigaciones en

materia de evaluacioacuten

Experiencia en trabajo

de campo estudios

etnograacuteficos disentildeo de

encuestas y

cuestionarios en temas

de ingenieriacutea de

procesos y en

evaluacioacuten de

programas puacuteblicos

PAE 2017 12

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Preguntas de investigacioacuten

Seccioacuten 1 Disentildeo

Diagnoacutestico del programa puacuteblico

1 iquestEl programa tiene identificado el problema y la loacutegica causal acerca de su dinaacutemica

Consideraciones

La respuesta deberaacute mostrar si el problema o necesidad para el que va dirigido el programa se

identifica como un hecho negativo el que se puede revertir o atender

Se tendraacute que identificar si se cuenta con aacuterbol de problemas (u otro elemento documentado) que

permita identificar la loacutegica causal del problema al que se busca atender juzgando la medida en que

la loacutegica causal del programa es consistente con los estudios utilizados para fundamentacioacuten de la

intervencioacuten

Se debe incluir la definicioacuten del problema o necesidad y en su caso la propuesta de modificacioacuten o

recomendaciones de mejora Asimismo se indicaraacute si el problema o necesidad considera diferencias

entre hombres y mujeres a fin de conocer las limitaciones yo las oportunidades que presenta el

entorno econoacutemico demograacutefico social cultural poliacutetico juriacutedico e institucional para la promocioacuten

de la igualdad de geacutenero

Se deberaacute que determinar si el problema identificado por el Pp tiene coincidencia con alguacuten

problema que se aborda en el PED yo en el Programa Sectorial De igual forma se deberaacute analizar

si en el aacutembito nacional o internacional se cuenta con experiencias de poliacuteticas puacuteblicas que tuvieron

o tienen como objetivo la atencioacuten del problema que se plantea atender Lo anterior sentildealando sus

logros fallos y resultados ademaacutes se solicita hacer mencioacuten sobre la incorporacioacuten de elementos

exitosos de otras estrategias en el disentildeo del programa presupuestario a evaluar

2 iquestEl programa cuenta con una identificacioacuten (cuantificacioacuten y ubicacioacuten geograacutefica) de la

poblacioacuten o aacuterea de enfoque potencial y objetivo de su intervencioacuten y eacutesta se relaciona con

la definicioacuten del problema puacuteblico que se plantea atender

Consideraciones

La instancia evaluadora deberaacute valorar la medida en que la definicioacuten del problema es traducido a

unidades concretas de personas grupos especiacuteficos o zonas geograacuteficas cuantificables y

monitoreables en referentes estadiacutesticos oficiales del estado yo federacioacuten

PAE 2017 13

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

En la respuesta se deberaacuten incluir las definiciones de la poblacioacuten o aacuterea de enfoque potencial

objetivo y atendida asiacute como su cuantificacioacuten La metodologiacutea y fuentes de informacioacuten para

determinar los tipos de poblacioacuten o aacuterea de enfoque se deben incluir en el Anexo 2 ldquoMetodologiacutea

para la cuantificacioacuten de la poblacioacuten o aacuterea de enfoque potencial y objetivordquo

Asimismo identificar si el Pp cuenta con una estrategia de cobertura institucional en que se defina

la estrategia que utilizaraacute a lo largo del tiempo para cubrir el total de su poblacioacuten o aacuterea de enfoque

potencial en caso de que no se identifique alguna estrategia el evaluador deberaacute emitir una

valoracioacuten sobre la pertinencia del disentildeo actual del Pp para alcanzar las metas de cobertura En caso

de que el disentildeo actual del Pp no permita alcanzar las metas de cobertura deberaacuten recomendarse

modificaciones concretas al disentildeo del Pp con la finalidad de que sea maacutes probable que alcance

dichas metas de cobertura

De igual forma se debe analizar la evolucioacuten de la poblacioacuten o aacuterea de enfoque atendida y su

convergencia con la poblacioacuten o aacuterea de enfoque potencial es decir si el programa ha logrado

atender a toda la poblacioacuten o aacuterea de enfoque objetivo El anaacutelisis se debe justificar y completar el

Anexo 3 ldquoEvolucioacuten de la Coberturardquo

Matriz de Indicadores para Resultados (MIR)

3 iquestLa estructura de objetivos planteada por el programa mantiene loacutegica y correspondencia

causal con el problema planteado en el diagnoacutestico

Consideraciones

Se deberaacute identificar la contribucioacuten del programa a los objetivos estrateacutegicos del Plan Estatal de

Desarrollo y de otros instrumentos de planeacioacuten de mediano y largo plazo

Se deberaacute determinar si la hipoacutetesis de intervencioacuten del programa mantiene una loacutegica causal con

la problemaacutetica que se quiere atender

Se deberaacuten analizar y valorar los elementos que componen al disentildeo del Pp (modalidad unidades

responsables propoacutesito componentes poblacioacuten o aacuterea de enfoque objetivo entre otros) y sobre

los cuales eacuteste se construye (problema puacuteblico o necesidad causas y efectos del problema situacioacuten

de la poblacioacuten o aacuterea de enfoque objetivo entre otros)

Se deberaacute valorar la MIR y verificar su loacutegica horizontal (resumen narrativo indicadores metas y

medios de verificacioacuten) y vertical asiacute como si es congruente con los elementos de diagnoacutestico

Derivado de lo anterior se elaboraraacute una propuesta de la MIR que deberaacute considerar y presentar la

Estructura Analiacutetica del Pp (aacuterbol de problemas objetivos y concentrado) Asimismo se deberaacute incluir

PAE 2017 14

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

la justificacioacuten del disentildeo propuesto o las modificaciones sugeridas y generar el Anexo 4 ldquoPropuesta

de mejora de la Matriz de Indicadores para Resultadosrdquo

Metodologiacutea de la Seccioacuten 1

Anaacutelisis de gabinete

La evaluacioacuten se realizaraacute mediante un anaacutelisis de gabinete con base en informacioacuten proporcionada

por la dependencia o unidad responsable del programa asiacute como informacioacuten adicional que la

institucioacuten evaluadora considere necesaria para justificar su anaacutelisis

En este contexto se entiende por anaacutelisis de gabinete al conjunto de actividades que involucra el

acopio la organizacioacuten y la valoracioacuten de informacioacuten concentrada en registros administrativos

bases de datos evaluaciones internas yo externas y documentacioacuten puacuteblica Sin embargo de

acuerdo con las necesidades de informacioacuten y tomando en cuenta la forma de operar de cada

programa se podraacuten programar y llevar a cabo entrevistas con responsables de los programas yo

personal de la unidad de evaluacioacuten yo planeacioacuten de la dependencia coordinadora

Valoracioacuten de disentildeo del Pp

Para cada pregunta de investigacioacuten de esta seccioacuten se deberaacute definir una valoracioacuten cuantitativa y

cualitativa que resuma la apreciacioacuten del evaluador para cada uno de los aspectos de la seccioacuten 1

con el fin de permitir obtener una valoracioacuten sinteacutetica acerca de la suficiencia de los elementos que

cumple el programa Para esto se deberaacute usar la siguiente escala likert de cinco grados

Tabla 3 Escala de Medicioacuten para la Seccioacuten 1

1 2 3 4 5

Deficiente Insuficiente Moderado Bien Suficiente

En la argumentacioacuten que presente la evaluadora se deberaacuten aportar los elementos que justifiquen

la valoracioacuten cuantitativa que se emita para cada pregunta de investigacioacuten ademaacutes de completar

el Anexo 9 ldquoValoracioacuten global cuantitativardquo de la Seccioacuten 1 de Disentildeo

PAE 2017 15

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Seccioacuten 2 Procesos

Pertinencia de los procesos

4 Diagnoacutestico general de los procesos y subprocesos del Pp

Consideraciones

La instancia evaluadora deberaacute presentar dentro de los 30 diacuteas naturales posteriores a la firma del

contrato un Diagnoacutestico General de los Procesos y Subprocesos o Macroprocesos del Pp (Producto

1) en el que se deacute cuenta de la problemaacutetica o necesidad que atiende o de la funcioacuten de gobierno

que desarrolla asiacute como del contexto y las condiciones en las que opera el Pp En este diagnoacutestico

se deben identificar los procesos y subprocesos o macroprocesos que integran la operacioacuten o

gestioacuten del Pp a partir de la normativa vigente y de las entrevistas a funcionarios de la UR realizadas

se deberaacute presentar una descripcioacuten integral con el mapa de procesos y subprocesos del Pp

A partir de este diagnoacutestico la instancia evaluadora presentaraacute para su validacioacuten a la DEV una

propuesta de los alcances y logiacutestica de la Evaluacioacuten de Procesos del Pp Asimismo el diagnoacutestico

debe estar acompantildeado de la justificacioacuten del enfoque metodoloacutegico general seleccionado para su

desarrollo

Ademaacutes en el Producto 1 se deberaacuten especificar las directrices generales y particulares que guiaraacuten

la realizacioacuten de la evaluacioacuten de procesos acordadas con la DEV y la UR del Pp por lo que la correcta

elaboracioacuten de este producto es fundamental para poder garantizar un resultado satisfactorio

En el Producto 1 ademaacutes de integrar la estrategia y plan de trabajo de campo teacutecnicas de

investigacioacuten a utilizarse disentildeo muestral e instrumentos de levantamiento de informacioacuten se

incluiraacuten dos apartados

Descripcioacuten del contexto en el que opera el Pp La instancia evaluadora deberaacute describir

los siguientes elementos del Pp todas las UR que participan en su operacioacuten o que ejercen

sus recursos los entregables que produce cada UR que participa en la operacioacuten del Pp en

el marco del mismo el problema o necesidad de poliacutetica puacuteblica identificado por el Pp

poblacioacuten o aacuterea de enfoque potencial objetivo y atendida del Pp y su cuantificacioacuten

cantidad de destinatarios por cada uno de los entregables que el Pp tuvo al cierre del uacuteltimo

ejercicio fiscal del que se tenga registro cantidad de destinatarios por cada uno de los

entregables que el Pp espera atender en el ejercicio fiscal evaluado asiacute como el contexto

organizacional y social en que se desarrolla su operacioacuten

PAE 2017 16

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Diagnoacutestico inicial de los procesos y subprocesos o macroprocesos del Pp La instancia

evaluadora deberaacute desarrollar a partir del trabajo de gabinete y de entrevistas

semiestructuradas con funcionarios de la(s) Unidad(es) Responsable(s) del Pp realizadas un

diagnoacutestico inicial de procesos del Pp en el que se identifiquen claramente los procesos y

subprocesos o macroprocesos que integran su operacioacuten o gestioacuten asiacute como las instancias

o actores que participan en ellos se deberaacute presentar una descripcioacuten integral con un mapa

de procesos y subprocesos o macroprocesos del Pp asiacute como llenar el Anexo 5 ldquoFicha de

identificacioacuten y equivalencia de procesosrdquo Las entrevistas semiestructuradas se realizaraacuten con

la finalidad de profundizar y despejar dudas sobre el mapa de los procesos y subprocesos o

macroprocesos que integran la gestioacuten operativa del Pp En esta seccioacuten la instancia

evaluadora deberaacute sentildealar cuaacuteles de los procesos y subprocesos o macroprocesos

identificados estaacuten documentados y cuaacuteles no asiacute como ndashen su casondash la normativa que los

rige por ejemplo un manual de procedimientos o de organizacioacuten lineamientos de

operacioacuten entre otros Cabe sentildealar que los procesos y subprocesos o macroprocesos que

integran la operacioacuten o gestioacuten del Pp son estructuras analiacuteticas que debe de construir la

instancia evaluadora a partir de su experiencia en el desarrollo de evaluaciones de procesos

e implementacioacuten de poliacuteticas puacuteblicas por tanto debe tenerse en cuenta que a pesar de

ser lo deseable los procesos y subprocesos o macroprocesos no necesariamente pueden

estar documentados

5 Descripcioacuten y valoracioacuten de los procesos y subprocesos del Pp

Consideraciones

Despueacutes de realizar el trabajo de campo y sistematizar la informacioacuten levantada la instancia

evaluadora deberaacute realizar la descripcioacuten y valoracioacuten de cada uno de los procesos subprocesos o

macroprocesos identificados en el Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesosrdquo

contrastando en todos los casos la evidencia documental y su ejecucioacuten en la praacutectica

Por lo anterior en esta seccioacuten se deberaacute realizar una descripcioacuten minuciosa del desarrollo y el

anaacutelisis de cada proceso y subproceso o macroproceso de acuerdo con el alcance establecido

utilizando la informacioacuten obtenida mediante el anaacutelisis de gabinete y el trabajo de campo asimismo

se deberaacute realizar una valoracioacuten integral sobre la gestioacuten de cada uno de los procesos a partir de

la gestioacuten en sus subprocesos o macroprocesos a partir de la gestioacuten de los procesos

PAE 2017 17

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

La valoracioacuten de cada proceso subproceso o macroproceso deberaacute contener la siguiente estructura

1 Descripcioacuten detallada de las actividades los elementos y los actores que integran el

desarrollo de cada proceso y subproceso o macroproceso

2 Liacutemites de cada proceso y subproceso o macroproceso asiacute como su articulacioacuten con otros

3 Insumos y recursos determinar si los insumos y los recursos disponibles son suficientes y

adecuados para la ejecucioacuten de cada proceso y subproceso o macroproceso

a Tiempo iquestel tiempo en que se ejecuta el proceso o subproceso es el adecuado acorde

a lo planificado y congruente con la normativa que aplica

b Personal iquestel personal es suficiente tiene el perfil y cuenta con la capacitacioacuten necesaria

para la ejecucioacuten del proceso o subproceso

c Recursos financieros iquestlos recursos financieros son suficientes para la ejecucioacuten del

proceso o subproceso

d Recursos materiales iquestlos recursos materiales son suficientes para la ejecucioacuten del

proceso o subproceso

e Infraestructura iquestse cuenta con la infraestructura o capacidad instalada suficiente para

la ejecucioacuten del proceso o subproceso

f Insumos tecnoloacutegicos

4 Productos iquestlos productos de cada proceso subproceso o macroproceso sirven de insumo

para ejecutar el proceso subproceso o macroproceso subsecuente

5 Sistemas de informacioacuten iquestLos sistemas de informacioacuten utilizados en la ejecucioacuten de cada

proceso subproceso o macroproceso (automatizados semiautomatizados o manuales)

funcionan como una fuente de informacioacuten uacutetil para los sistemas de monitoreo a nivel central

y para los operadores en otros niveles iquestEstos sistemas de informacioacuten automatizan algunos

procesos subprocesos o macroproceso del Pp iquestSirven como mecanismo de control interno

para el mejor de desarrollo de los procesos subprocesos o macroproceso

6 Coordinacioacuten iquestla coordinacioacuten entre los actores oacuterdenes de gobierno o dependencias

involucradas es adecuada para la ejecucioacuten del proceso subproceso o macroproceso

7 Evaluacioacuten de la pertinencia de la forma en que se ejecuta cada proceso subproceso o

macroproceso en el contexto y condiciones en que se desarrolla considerando la estructura

organizacional involucrada y la coordinacioacuten entre las unidades administrativas que

intervienen en el proceso subproceso o macroproceso

8 Identificacioacuten de las caracteriacutesticas relacionadas con la importancia estrateacutegica de cada

proceso subproceso o macroproceso

PAE 2017 18

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

9 Opinioacuten de actores (destinatarios beneficiarios usuarios clientes u operadores del Pp)

sobre la eficacia eficiencia y calidad de cada proceso subproceso o macroproceso

10 Existencia de mecanismos para conocer la satisfaccioacuten de los beneficiarios o destinatarios de

los componentes o entregables que otorga el Pp

Por otra parte en caso de que el Pp genere diversos componentes o entregables y que estos

impliquen la realizacioacuten de actividades diferentes seraacute necesario describir los procesos y

subprocesos o macroprocesos correspondientes a cada tipo de componente o entregable otorgado

En la descripcioacuten de los procesos y subprocesos o macroprocesos la instancia evaluadora de manera

coordinada con la DEV deberaacute realizar los diagramas de alto nivel y los diagramas detallados

(diagramas de flujo) que describan los procesos y subprocesos o macroprocesos del Pp Para ello se

deberaacute usar como referencia la seccioacuten ldquoVII Mapeo de procesosrdquo de la ldquoGuiacutea para la Optimizacioacuten

Estandarizacioacuten y Mejora Continua de Procesosrdquo (paacuteginas 18 a 25) elaborada por la Secretariacutea de la

Funcioacuten Puacuteblica (SFP) disponible en la siguiente direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Estos diagramas se deberaacuten elaborar de acuerdo con lo especificado en el Anexo 7 ldquoDiagramas de

flujo de la operacioacuten del Pprdquo

Metodologiacutea Seccioacuten 2

La Evaluacioacuten de Procesos del Pp se realizaraacute principalmente a partir de teacutecnicas de investigacioacuten

cualitativa como son el anaacutelisis documental la observacioacuten directa estudios de caso y multicaso

especiacuteficos entrevistas semiestructuradas y grupos focales o grupos de enfoque (focus groups)

entre otras teacutecnicas que la instancia evaluadora considere pertinentes para realizar el anaacutelisis de

gabinete y el trabajo de campo tales como la aplicacioacuten de cuestionarios de aplicacioacuten electroacutenica

o a distancia

La metodologiacutea y los instrumentos definidos asiacute como el trabajo de gabinete y de campo deberaacuten

generar evidencia empiacuterica suficiente para valorar a profundidad la forma en que se ejecutan los

procesos y subprocesos o macroprocesos que integran la operacioacuten del Pp asiacute como su contexto

institucional y organizacional

PAE 2017 19

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anaacutelisis de gabinete

Para esta seccioacuten es necesario la elaboracioacuten del diagnoacutestico de los procesos y subprocesos o

macroprocesos que integran la operacioacuten o gestioacuten del Pp la instancia evaluadora deberaacute realizar

un anaacutelisis de gabinete considerando como miacutenimo los siguientes documentos

La normativa aplicable al Pp leyes reglamentos lineamientos manuales de procedimientos

convenios contratos entre otros

Diagnoacutestico y estudios de la problemaacutetica que el Pp atiende

Diagnoacutestico del programa y estudios del marco contextual en el que opera

MIR del Pp correspondiente al ejercicio fiscal evaluado y de ejercicios anteriores que se

consideren pertinentes

Sistemas de informacioacuten automatizados semiautomatizados o manuales que apoyen a la

ejecucioacuten de los procesos y subprocesos o macroprocesos identificados del Pp

Evaluaciones externas o internas realizadas previamente al Pp

Documentos de trabajo institucionales e informes de avances de Aspectos Susceptibles de

Mejora con los que cuente el Pp

Informes de auditoriacuteas de desempentildeo o similares realizadas al Pp por la Auditoriacutea Superior

de la Federacioacuten del Estado de Puebla por la Secretariacutea de la Contraloriacutea o por cualquier

instancia fiscalizadora

Asimismo se sugiere revisar otros documentos asociados al disentildeo del Pp y a su definicioacuten de

poblacioacuten o aacuterea de enfoque potencial y objetivo asiacute como a su estrategia de integracioacuten de

destinatarios o beneficiarios de los componentes o entregables del Pp

El anaacutelisis o trabajo de gabinete deberaacute generar como resultado inicial un mapeo de los procesos y

subprocesos o macroprocesos que integran la gestioacuten operativa del Pp que constituiraacute

esencialmente el Producto 1 de la evaluacioacuten posteriormente se procesaraacute la informacioacuten recabada

en campo para la generacioacuten del informe preliminar y final de la evaluacioacuten

Alcance y enfoque de la evaluacioacuten

La instancia evaluadora deberaacute sentildealar con claridad en el informe de la evaluacioacuten cuaacuteles de los

procesos y subprocesos o macroprocesos identificados en la operacioacuten o gestioacuten del Pp se analizan

y cuaacuteles no de acuerdo con lo establecido por la Direccioacuten de Evaluacioacuten (DEV) de la Secretariacutea de

Finanzas y Administracioacuten (SFA) y la Unidad Responsable (UR) del Programa en cuestioacuten sentildealando

los elementos de anaacutelisis que justifican esta seleccioacuten y en su caso haciendo recomendaciones al

respecto

PAE 2017 20

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Un elemento que podraacute ser considerado para establecer el alcance de la evaluacioacuten es el grado de

consolidacioacuten operativa del Pp el cual podraacute determinarse a priori considerando algunos elementos

como los siguientes

1 Si existen documentos que normen los procesos y subprocesos o macroprocesos

2 Si los procesos y subprocesos o macroprocesos estaacuten estandarizados es decir si son

utilizados por todas la instancias ejecutoras de manera homogeacutenea

3 Si los procesos y subprocesos o macroprocesos estaacuten documentados y son del conocimiento

de todos los operadores

4 Si se cuenta con un sistema de monitoreo e indicadores de gestioacuten

5 Si se cuenta en los procesos y subprocesos o macroprocesos analizados con sistemas

informaacuteticos que permitan la automatizacioacuten en la ejecucioacuten de los mismos

6 Si se cuenta con mecanismos para la implementacioacuten sistemaacutetica de mejoras

Se considera que existe un mayor grado de consolidacioacuten operativa cuando existen todos los

elementos y disminuiraacute gradualmente conforme haga falta uno o maacutes de ellos hasta el menor grado

de consolidacioacuten que es cuando no existe ninguno de los elementos

El alcance de la Evaluacioacuten de Procesos del Pp implica el anaacutelisis de los procesos y subprocesos o

macroprocesos sustantivos del Pp asiacute como la respectiva priorizacioacuten de estos Se deberaacute realizar

la identificacioacuten y jerarquizacioacuten de los procesos a partir del Esquema 1 adaptaacutendolo a las

condiciones particulares del Pp3 en eacutel se observa lo siguiente

El proceso de ldquoPlaneacioacutenrdquo es el punto de partida para la implementacioacuten del Pp

posteriormente continuacutean los procesos de ldquoComunicacioacuten Interna y Externardquo ldquoSeleccioacuten de

destinatariosrdquo ldquoProduccioacuten de entregablesrdquo ldquoEntregardquo ldquoSeguimiento a destinatariosrdquo y

ldquoControlrdquo

La informacioacuten que se genera en los procesos de ldquoSeguimiento a destinatariosrdquo y ldquoControlrdquo

es un insumo directo para retroalimentar los procesos del Pp desde el de Planeacioacuten

El proceso de ldquoMonitoreordquo utiliza informacioacuten generada principalmente en los procesos de

ldquoComunicacioacutenrdquo ldquoSeleccioacuten de destinatariosrdquo ldquoProduccioacuten de entregablesrdquo ldquoEntregardquo y

ldquoSeguimiento a destinatariosrdquo a partir de ello se retroalimentan los procesos del Pp desde

la ldquoPlaneacioacutenrdquo

3 Con excepcioacuten de los procesos (con sus subprocesos) de Planeacioacuten Monitoreo y Evaluacioacuten Externa para

los cuales la instancia evaluadora uacutenicamente podraacute en caso de que lo considere pertinente agregar

subprocesos pero no suprimir subprocesos

PAE 2017 21

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

El proceso de ldquoEvaluacioacuten Externardquo requiere de informacioacuten transversal de todos los

procesos ya que se valora al Pp en su conjunto En este sentido los resultados de las

evaluaciones son un insumo para retroalimentar al Pp desde el proceso de ldquoPlaneacioacutenrdquo

Es importante sentildealar que en el Esquema 1 se muestra un modelo que es importante tomarlo en

cuenta como referencia para la identificacioacuten y definicioacuten de los procesos y subprocesos o

macroprocesos que integran la operacioacuten del Pp evaluado ademaacutes de que representa un auxiliar

en la definicioacuten del alcance y del enfoque de la Evaluacioacuten de Procesos del Pp

Esquema 1 Modelo general de procesos

Fuente Modelo de TdR para la Evaluacioacuten de Procesos Secretariacutea de Hacienda y Creacutedito Puacuteblico

A continuacioacuten se describe cada uno de los procesos que componen al modelo anterior

Planeacioacuten proceso en el que se determinan o definen el problema o necesidad aacuterbol de

problemas y objetivos poblacioacuten o aacuterea de enfoque potencial y objetivo objetivos

indicadores y metas de la MIR estrategia de cobertura plan estrateacutegico entre otros puntos

asiacute como los recursos financieros y humanos necesarios que requiere el Pp para lograr sus

objetivos En el proceso de planeacioacuten se determinan las directrices en el disentildeo e

implementacioacuten del Pp los subprocesos que lo integran son los siguientes planeacioacuten

estrateacutegica programacioacuten y presupuesto actualizacioacuten de la MIR actualizacioacuten de

normativa

PAE 2017 22

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Comunicacioacuten interna y externa proceso en el que se informan diversas caracteriacutesticas y

objetivos del Pp tanto a los actores involucrados en su funcionamiento y operacioacuten (interna)

como a su poblacioacuten o aacuterea de enfoque objetivo (externa)

Seleccioacuten de destinatarios proceso en el que se determina quieacutenes recibiraacuten los

componentes o entregables de un Pp en funcioacuten de su poblacioacuten o aacuterea de enfoque objetivo

Produccioacuten de entregables proceso en el que se elaboran los entregables o realizan los

componentes del Pp (recursos financieros o humanos apoyos bienes servicios

regulaciones documentos teacutecnicos o de planeacioacuten etc) conforme a sus documentos

normativos

Entrega proceso en el que se realiza la entrega de lo producido o generado por el Pp

(componentes o entregables) a los destinatarios o beneficiarios

Seguimiento a destinatarios actividades y mecanismos que permiten al Pp conocer coacutemo

son utilizados o aprovechados sus componentes o entregables (por sus destinatarios o

beneficiarios) para que entre otras funciones la UR del Pp identifique si se estaacute cumpliendo

con los objetivos Por ejemplo en este proceso se incluyen las actividades que un Pp

implementa para conocer el grado de satisfaccioacuten de sus destinatarios o beneficiarios

Control actividades y mecanismos implementados entre los operadores del Pp para verificar

que los diferentes procedimientos procesos y subprocesos se esteacuten ejecutando conforme a

lo planeado (control interno)

Monitoreo proceso coordinado por una unidad administrativa ajena a la operacioacuten del Pp

a traveacutes del cual se recaba registra y valida la informacioacuten sobre el avance de las metas de

los indicadores de la MIR asiacute como el seguimiento a los resultados de indicadores

adicionales a los de la MIR en caso de que se cuente con un sistema de monitoreo de gestioacuten

Los subprocesos que lo integran son los siguientes acopio de la informacioacuten para el reporte

de avances validacioacuten de informacioacuten y registro de avances primordialmente

Evaluacioacuten externa proceso coordinado por una unidad administrativa ajena a la operacioacuten

del Pp mediante el cual se define la agenda de evaluacioacuten externa del Pp se definen las

metodologiacuteas o los teacuterminos de referencia se contratan las evaluaciones externas (de

cualquier tipo) se recaba la informacioacuten que seraacute entregada a los equipos evaluadores se

realiza el seguimiento durante el desarrollo de las evaluaciones externas se aprueban los

PAE 2017 23

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

informes finales de las evaluaciones externas se notifica a las instancias correspondientes

sobre la conclusioacuten de las evaluaciones externas y se definen y realiza el seguimiento de los

Aspectos Susceptibles de Mejora (ASM)

A partir de los procesos definidos en el modelo anterior la instancia evaluadora deberaacute realizar una

equivalencia de los procesos subprocesos o macroprocesos identificados respecto a los definidos

en el modelo de acuerdo con el Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesosrdquo Cabe

mencionar que los procesos definidos en el modelo no son limitativos por lo que si la instancia

evaluadora identifica procesos subprocesos o macroprocesos adicionales deberaacute incluirlos

Disentildeo metodoloacutegico del trabajo de campo

A partir del contexto en que opera el Pp y el alcance y enfoque metodoloacutegico de la evaluacioacuten de

procesos la instancia evaluadora deberaacute desarrollar una propuesta de estrategia y plan de trabajo

de campo a seguir para la realizacioacuten de la evaluacioacuten asimismo deberaacute incluir un cronograma

detallado de actividades

La estrategia de trabajo de campo disentildeada por la instancia evaluadora deberaacute ser entregada a la

DEV para que en conjunto con la UR del Pp sea validada antes de su implementacioacuten Dicha

estrategia deberaacute contener al menos los siguientes elementos

Justificacioacuten de las teacutecnicas de investigacioacuten a utilizar

Muestra y los criterios utilizados para su seleccioacuten

Listado de los actores a entrevistar

Instrumentos de levantamiento de informacioacuten que se aplicaraacuten y

Cronograma con las actividades a desarrollar

La instancia evaluadora iniciaraacute las actividades del trabajo de campo de manera conjunta y una vez

recibido el visto bueno de la DEV

El disentildeo de la muestra y de los instrumentos para el levantamiento de informacioacuten en campo

deberaacute considerar a la totalidad de los actores que intervienen en la ejecucioacuten de los procesos y

subprocesos o macroprocesos que integran la operacioacuten o gestioacuten del Pp asiacute como a los

destinatarios o beneficiarios de los componentes o entregables del Pp independientemente de su

ubicacioacuten geograacutefica

Algunos criterios que puede utilizar la instancia evaluadora para definir una muestra que considere

la variabilidad de la operacioacuten en los diferentes contextos en que opera el Pp son los siguientes

PAE 2017 24

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

a) El desempentildeo operativo del Pp entre municipios regionalizacioacuten geograacutefica instituciones

puacuteblicas o privadas u otros aspectos que suponen una accioacuten diferenciada de los procesos

(cuando aplique)

b) Volumen de la operacioacuten del Pp

c) Esquemas normativos del Pp y el ejercicio presupuestal en los municipios instituciones

puacuteblicas o privadas u otros aspectos que suponen una accioacuten diferenciada de los procesos

en las que opera el Pp (cuando aplique) y

d) Formas de interaccioacuten del Pp con otros niveles u oacuterdenes de gobierno (cuando aplique)

Los criterios anteriores no son limitativos por lo que la instancia evaluadora podraacute proponer criterios

adicionales que considere pertinentes para la definicioacuten de la muestra para el trabajo de campo

En el disentildeo muestral la instancia evaluadora deberaacute sentildealar los funcionarios del Pp o destinatarios

a los que se les aplicaraacuten los instrumentos de levantamiento de informacioacuten con los que se realizaraacute

el trabajo de campo asiacute como la ubicacioacuten geograacutefica de los mismos

Instrumentos de levantamiento de informacioacuten

La instancia evaluadora deberaacute disentildear los instrumentos que utilizaraacute para el levantamiento de

informacioacuten durante el trabajo de campo como son (por ejemplo) los cuestionarios por tipo de

funcionario a entrevistar para el caso de entrevistas semiestructuradas los guiones a utilizar en la

realizacioacuten de grupos focales los cuestionarios de aplicacioacuten electroacutenica las guiacuteas respectivas entre

otros Para lo anterior deberaacute considerar los siguientes temas guiacutea y preguntas de referencia

Planeacioacuten (planeacioacuten estrateacutegica programacioacuten y presupuesto)

iquestQueacute se entiende por planeacioacuten estrateacutegica para los operadores del Pp

iquestCuaacuteles son las actividades o acciones de planeacioacuten estrateacutegica del Pp que se realizan

iquestLa planeacioacuten estrateacutegica es el resultado de un ejercicio institucionalizado que involucra a

los actores clave de la gestioacuten del Pp

iquestExiste un documento resultado de la planeacioacuten estrateacutegica iquestEs claro difundido y

accesible iquestEn queacute medida es utilizado para guiar la operacioacuten del Pp

iquestLa planeacioacuten estrateacutegica estaacute vinculada con el cumplimiento entrega o generacioacuten de los

componentes o entregables del Pp

iquestLa planeacioacuten estrateacutegica establece indicadores para medir los avances en las metas

establecidas iquestLas metas son factibles y estaacuten orientadas a impulsar el desempentildeo del Pp

PAE 2017 25

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

iquestQueacute se entiende por planeacioacuten operativa y cuaacuteles son las diferencias con la planeacioacuten

estrateacutegica

Comunicacioacuten interna y externa del Pp (las preguntas que apliquen)

iquestQueacute actores intervienen en la comunicacioacuten del Pp

iquestExiste una estrategia de comunicacioacuten del Pp documentada En caso afirmativo describirla

iquestLa estrategia de comunicacioacuten del Pp (documentada o no) es adecuada

iquestLos medios utilizados el lenguaje y el contenido de los mensajes son pertinentes en funcioacuten

del puacuteblico al que van dirigidos

Solicitud de los componentes o entregables del Pp (las preguntas que apliquen)

iquestExiste un proceso claro imparcial y expliacutecito por medio del cual la poblacioacuten o aacuterea de

enfoque potencial puede solicitar los componentes o entregables que otorga el Pp

iquestLos requisitos para solicitar los componentes o entregables del Pp se presentan de manera

clara y completa

iquestLos puntos de recepcioacuten de solicitudes son accesibles y suficientes (cuando aplique)

iquestExisten mecanismos estandarizados para recibir y revisar la documentacioacuten entregada asiacute

como registrar y dar traacutemite a las solicitudes (cuando aplique)

iquestSon adecuados estos mecanismos (cuando aplique) En caso de que el Pp que apoye la

realizacioacuten de proyectos iquestse brinda asesoriacutea para la presentacioacuten de los mismos de ser asiacute

iquestes pertinente esta asesoriacutea

iquestEl proceso de solicitud de los componentes o entregables que otorga el Pp se encuentra

automatizado total o parcialmente

Para esta pregunta considerar los estados de digitalizacioacuten utilizados por la Comisioacuten Intersecretarial

para el Desarrollo del Gobierno electroacutenico seguacuten una adaptacioacuten realizada a la clasificacioacuten que

hace la ONU

Estado de digitalizacioacuten 1 traacutemites y servicios que se encuentran en estado informativo

Estado de digitalizacioacuten 2 traacutemites y servicios que cuentan con interfaces de comunicacioacuten

unidireccional

Estado de digitalizacioacuten 3 traacutemites y servicios que permiten realizar transacciones y

Estado de digitalizacioacuten 4 traacutemites y servicios que el usuario puede ejecutar de principio a

fin por medio de dispositivos digitales

PAE 2017 26

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para mayor informacioacuten referirse a ldquoFigure A4 The four stages of online service developmentrdquo en

los siguientes documentos

Lineamientos relativos a la digitalizacioacuten estandarizada de traacutemites y servicios con apego en

la Estrategia Digital Nacional

httpwwwgobmxcmsuploadsattachmentfile67232ti_1_pgcm_bases_lineam_tyspdf

United Nations E-Government Survey 2014 (paacutegina 195)

httpspublicadministrationunorgegovkbportalsegovkbdocumentsun2014-surveye-

gov_complete_survey-2014pdf

Seleccioacuten de destinatarios (cuando aplique)

iquestExiste una metodologiacutea o meacutetodo para la seleccioacuten de destinatarios o beneficiarios de los

componentes o entregables del Pp iquestLa metodologiacutea utilizada cuenta con criterios de

seleccioacuten y elegibilidad claros estandarizados y sistematizados

iquestLa seleccioacuten de destinatarios o beneficiarios de los componentes o entregables del Pp es un

proceso transparente e imparcial iquestEl resultado de la seleccioacuten es puacuteblico (cuando aplique)

iquestExiste informacioacuten en una base de datos que permita conocer quieacutenes o queacute instancias

reciben los componentes o entregables del Pp iquestQueacute informacioacuten integra esta base de datos

iquestExisten mecanismos para validar y actualizar esta base de datos iquestEstos mecanismos son

pertinentes

Produccioacuten de componentes o entregables

iquestSe cuenta con los insumos suficientes para generar el volumen de componentes o

entregables que permitan al Pp atender a su poblacioacuten o aacuterea de enfoque objetivo

iquestEl Pp tiene mecanismos para estimar la produccioacuten o generacioacuten necesaria de componentes

o entregables de acuerdo con la posible demanda o requerimientos de su poblacioacuten o aacuterea

de enfoque objetivo iquestEs adecuado este mecanismo

iquestExisten mecanismos de control de calidad para la generacioacuten de los componentes o

entregables del Pp iquestEstos mecanismos son pertinentes

iquestLas actividades de generacioacuten de componentes o entregables que otorga el Pp estaacuten

estandarizadas es decir son ejecutadas de manera homogeacutenea por todas las instancias

involucradas

PAE 2017 27

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Entrega

iquestLos componentes o entregables del Pp son proporcionados conforme a las especificaciones

y de manera oportuna a los destinatarios

iquestExisten especificaciones (programas o planes de trabajo) sobre la forma en que se deben

trasladar los componentes o entregables para (por ejemplo) asegurar su adecuada recepcioacuten

en el punto de destino iquestSon adecuadas estas especificaciones respecto a normas o

lineamientos existentes (cuando aplique)

iquestLa logiacutestica de distribucioacuten se actualiza (cuando aplique) iquestExiste un periodo para dicha

actualizacioacuten iquestEn el disentildeo y actualizacioacuten de la logiacutestica se toman en cuenta los factores

geograacuteficos y climatoloacutegicos en cada regioacuten donde opera el Pp (cuando aplique)

iquestLos puntos de entrega de los componentes o entregables son cercanos a los beneficiarios

o aacuterea de enfoque a atender y son de faacutecil acceso iquestSe considera que son suficientes iquestPor

queacute

Control (las preguntas que apliquen)

iquestEl Pp cuenta con los mecanismos para verificar que los componentes o entregables se

otorguen de acuerdo con lo establecido en la normativa especiacutefica y lleguen a la poblacioacuten

o aacuterea de enfoque que deba ser beneficiada iquestEstos mecanismos son adecuados

iquestExiste de manera sistematizada un documento que deacute cuenta de los resultados de

supervisioacuten y entrega de componentes o entregables iquestEste documento es adecuado iquestLos

resultados se utilizan para implementar mejoras en la operacioacuten del Pp

iquestExisten procedimientos estandarizados que verifiquen el cumplimiento de la

corresponsabilidad u obligatoriedad por parte de los beneficiarios o destinatarios de los

componentes o entregables del Pp (cuando aplique)

Seguimiento a destinatarios

iquestEl Pp tiene mecanismos para verificar el procedimiento de seguimiento a los destinatarios o

beneficiarios que permitan identificar si los componentes o entregables generados son

utilizados de acuerdo con lo establecido iquestCoacutemo se implementa el mecanismo iquestEste

mecanismo es adecuado

iquestExisten procedimientos estandarizados que permitan verificar el cumplimiento de la

corresponsabilidad u obligatoriedad por parte del destinatario o beneficiario (cuando

aplique)

PAE 2017 28

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

En caso de que los componentes o entregables involucren la ejecucioacuten de obra o de

infraestructura iquestel Pp cuenta con un mecanismo de seguimiento o supervisioacuten que permita

identificar si se realizaron acorde a la normativa aplicable iquestEl seguimiento o supervisioacuten

considera plazos para la revisioacuten de las condiciones de la obra o la infraestructura despueacutes

de terminada la obra

iquestEl Pp tiene mecanismos para identificar si se cumple con su Propoacutesito iquestSon suficientes y

pertinentes estos mecanismos

iquestExisten mecanismos para conocer la satisfaccioacuten del destinatario o beneficiario de los

componentes o entregables del Pp respecto de los componentes que ofrece el Pp iquestSon

adecuados estos mecanismos iquestSu operacioacuten permite una aplicacioacuten imparcial y objetiva

iquestExiste evidencia para afirmar que las quejas y sugerencias que brindan los destinatarios o

beneficiarios de los componentes o entregables del Pp son utilizadas para la mejora continua

del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

En esta seccioacuten se deberaacute realizar la medicioacuten de los atributos de eficacia oportunidad suficiencia

y pertinencia de los procesos y subprocesos o macroprocesos definidos en el mapa de procesos del

Pp A continuacioacuten se definen los atributos en el marco de la evaluacioacuten de procesos

Eficacia un proceso es eficaz en la medida en que cumple con sus metas

Oportunidad un proceso es oportuno en la medida en que otorga sus productos

(componentes o entregables) o resultados en un periodo de tiempo determinado o

adecuado para el logro de sus objetivos

Suficiencia un proceso es suficiente en la medida en que produce sus resultados de forma

completa o adecuada para el logro de sus objetivos

Pertinencia un proceso es pertinente si sus actividades y productos son adecuados para

lograr tanto sus metas especiacuteficas como sus objetivos es decir si contribuyen al

mejoramiento de la gestioacuten del Pp4

4 Las actividades son adecuadas si estaacuten en funcioacuten del logro del objetivo de cada proceso Por ejemplo si se verifica que el formato de los mensajes a difundir cumpla con las caracteriacutesticas necesarias para llegar a la poblacioacuten o aacuterea de enfoque objetivo como seriacutea una mensaje de audio en la lengua indiacutegena de la localidad donde se encuentran los posibles destinatarios o beneficiarios o bien como seriacutea un mensaje dirigido a personal operativo del Pp cuyo nivel de estudios promedio pudiera complicar la comprensioacuten de lenguaje teacutecnico utilizado

PAE 2017 29

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para la medicioacuten de los atributos de los procesos y subprocesos o macroprocesos del Pp deberaacute

realizarse una revisioacuten documental (normativa aplicable MIR evaluaciones externas sistemas de

informacioacuten y registros administrativos entre otros) misma que deberaacute complementarse con el

trabajo de campo con el objetivo de identificar disentildear y calcular indicadores relacionados con

dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de informacioacuten empleadas

La informacioacuten obtenida de estos indicadores deberaacute vaciarse en fichas propuestas por la instancia

evaluadora presentadas como en el Anexo 6 ldquoFichas de indicadores de atributos de los procesos del

Pprdquo (formato libre) Estas fichas deberaacuten considerar la medicioacuten de los atributos de eficacia

suficiencia oportunidad y pertinencia correspondientes a cada proceso y subproceso o

macroproceso

Valoracioacuten de los procesos y subprocesos de la operacioacuten del Pp

Deberaacute contener una siacutentesis de los resultados encontrados en la Evaluacioacuten de Procesos del Pp

resaltando los hallazgos maacutes relevantes que se hayan detectado y que pudiesen transformarse en

ASM

La instancia evaluadora deberaacute calcular una valoracioacuten global cuantitativa sobre la operacioacuten y la

ejecucioacuten de los procesos y subprocesos o macroprocesos del Pp a partir del siguiente esquema de

puntuacioacuten5

Eficacia

- Todos los procesos (o macroprocesos) son eficaces = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es eficaz = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es eficaz = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es eficaz = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es eficaz = 1 punto

- Ninguno de los procesos (o macroprocesos) es eficaz = 0 puntos

Oportunidad

- Todos los procesos (o macroprocesos) son oportunos = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es oportuno = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es oportuno = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es oportuno = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es oportuno = 1 punto

5 La valoracioacuten cuantitativa deberaacute estar sustentada y por tanto ser consistente con lo valorado por la instancia evaluadora en el apartado de ldquoMedicioacuten de atributos de los procesos y subprocesosrdquo

PAE 2017 30

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

- Ninguno de los procesos (o macroprocesos) es oportuno = 0 puntos

Suficiencia

- Todos los procesos (o macroprocesos) son suficientes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es suficiente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es suficiente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es suficiente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es suficiente = 1 punto

- Ninguno de los procesos (o macroprocesos) es suficiente = 0 puntos

Pertinencia

- Todos los procesos (o macroprocesos) son pertinentes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es pertinente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es pertinente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es pertinente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es pertinente = 1 punto

- Ninguno de los procesos (o macroprocesos) es pertinente = 0 puntos

A partir de los puntajes asignados en los cuatro atributos anteriores esta valoracioacuten cuantitativa

global debe considerar el total de puntos posibles de obtener (5 x 4 = 20 puntos) y los puntos

obtenidos en la Evaluacioacuten de Procesos Pp (lsquoyrsquo puntos) de modo que se indique el porcentaje de

puntos obtenidos del total de puntos posibles [(lsquoyrsquo20) x 100] = valoracioacuten cuantitativa global de la

operacioacuten del Pp

La instancia evaluadora deberaacute utilizar el Anexo 9 ldquoValoracioacuten global cuantitativardquo para documentar

argumentar y sustentar cada una de las valoraciones cuantitativas sobre la operacioacuten y la ejecucioacuten

de los procesos (o macroprocesos) del Pp

Adicionalmente en este apartado se deberaacuten integrar las recomendaciones y conclusiones que se

consideren maacutes relevantes de los procesos y subprocesos o macroprocesos del Pp las cuales deben

formularse con base en los hallazgos del trabajo de campo y de gabinete El objetivo final de las

recomendaciones es proveer informacioacuten valiosa a los operadores del Pp para realizar adecuaciones

en la ejecucioacuten de los procesos y subprocesos o macroprocesos de modo que se potencie la

consecucioacuten de resultados del Pp

Las recomendaciones que se formulen como resultado de la Evaluacioacuten de Procesos del Pp deberaacuten

tener las siguientes caracteriacutesticas

Derivarse de los hallazgos de la evaluacioacuten

PAE 2017 31

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Ser concretas y factibles

Incluir un proyecto de implementacioacuten que considere los siguientes elementos

- Breve anaacutelisis de la viabilidad o factibilidad de la implementacioacuten

- Principales responsables de la implementacioacuten

- Anaacutelisis de los efectos potenciales que puede implicar la implementacioacuten tanto en la

operacioacuten del Pp como en el logro de sus objetivos

- La comparacioacuten entre la situacioacuten actual y el resultado que se espera obtener con la

implementacioacuten de la recomendacioacuten

Estar categorizadas en dos liacuteneas de accioacuten estrateacutegicas

- Consolidacioacuten

- Reingenieriacutea de procesos o subprocesos

Al respecto la instancia evaluadora debe entender por consolidacioacuten aquellas recomendaciones que

estaacuten dirigidas a perfeccionar determinados aspectos de la operacioacuten como seriacutean algunas acciones

procedimientos o estrategias del Pp asiacute como iniciativas para el fortalecimiento de los sistemas

automatizados infraestructura entre otros

Por reingenieriacutea de procesos o subprocesos se entenderaacuten aquellas recomendaciones que apuntan

a una transformacioacuten o modificacioacuten profunda o sustancial de uno o varios de los procesos y

subprocesos del Pp Para ello se deberaacute llenar el Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de

Procesos del Pprdquo y que a su vez deben derivar en acciones de consolidacioacuten para la implementacioacuten

de los procesos transformados

Adicionalmente y de conformidad con el alcance de la Evaluacioacuten de Procesos del Pp se deberaacute

presentar una propuesta para crear o fortalecer el sistema de monitoreo de gestioacuten del Pp con

indicadores a nivel de procesos y subprocesos o macroprocesos

Asimismo a partir de todo el anaacutelisis y valoraciones realizadas se deberaacute emitir un pronunciamiento

acerca de la percepcioacuten de eficiencia que la instancia evaluadora haya tenido sobre la ejecucioacuten de

los procesos y subprocesos o macroprocesos del Pp

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible o si no hipoteacuteticos en un anexo de formato libre Anexo 10 ldquoSistema de

monitoreo e indicadores de gestioacuten del Pprdquo

PAE 2017 32

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Bitaacutecora de trabajo de campo y bases de datos

La instancia evaluadora deberaacute entregar una bitaacutecora de trabajo de campo que destaque de forma

sinteacutetica entre otros puntos las principales actividades y situaciones a las que se enfrentoacute y que

podriacutean afectar los resultados de la Evaluacioacuten de Procesos del Pp

Asimismo deberaacute entregar las bases de datos generadas a partir de la aplicacioacuten de los instrumentos

de recoleccioacuten de informacioacuten y de la recopilacioacuten de informacioacuten en el trabajo de campo Las bases

de datos deberaacuten entregarse en formatos compatibles con Excel debiendo mantener la

confidencialidad de los entrevistados pero sin alterar la informacioacuten proporcionada por estos En las

bases de datos debe estar sistematizada toda la informacioacuten recabada a partir de la aplicacioacuten de

los instrumentos de levantamiento de informacioacuten y deberaacute sustentar el anaacutelisis las valoraciones los

hallazgos y las conclusiones de la evaluacioacuten

PAE 2017 33

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Contenido del informe

Contenido miacutenimo del informe final de la evaluacioacuten

Derivado del contenido generado en las secciones anteriores deberaacuten elaborarse los siguientes

apartados en el informe final de la Evaluacioacuten de Procesos del Pp

i Introduccioacuten

ii Resumen Ejecutivo

iii Marco Legal

iv Datos Generales del Programa Presupuestario (Pp)

v Criterios Teacutecnicos para la Evaluacioacuten del Programa Presupuestario correspondiente

vi Apartados de la evaluacioacuten

Seccioacuten 1 Disentildeo

Diagnoacutestico del programa puacuteblico

Matriz de Indicadores para Resultados (MIR)

Seccioacuten 2 Procesos

Pertinencia de los proceso

Diagnoacutestico general de los procesos y subprocesos del Pp

- Contexto en que opera el Pp

- Diagnoacutestico inicial de los procesos y subprocesos

Descripcioacuten y valoracioacuten de los procesos y subprocesos del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

vii Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

viii Valoracioacuten final del Pp

ix Hallazgos

x Recomendaciones clasificadas por apartado

xi Conclusiones

xii Bibliografiacutea

xiii Anexos

Anexo 1 Descripcioacuten General del Programa

Anexo 2 Metodologiacutea para la cuantificacioacuten de las poblaciones potencial y objetivo

(Formato Libre)

Anexo 3 Evolucioacuten de la Cobertura

Anexo 4 Propuesta de mejora de la Matriz de Indicadores para Resultados

Anexo 5 Ficha de identificacioacuten y equivalencia de procesos del Pp

PAE 2017 34

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 Fichas de indicadores de atributos de los procesos del Pp (Formato libre)

Anexo 7 Diagramas de flujo de la operacioacuten del Pp

Anexo 8 Propuesta de modificacioacuten a los documentos normativos o institucionales

del Pp

Anexo 9 Valoracioacuten global cuantitativardquo

Anexo 10 Sistema de monitoreo e indicadores de gestioacuten del Pp (Formato libre)

Anexo 11 Recomendaciones de la Evaluacioacuten de Procesos del Pp

Anexo 12 Principales Fortalezas Retos y Recomendaciones

Anexo 13 Ficha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacuten

En el Resumen Ejecutivo asimismo se describiraacuten los principales hallazgos y recomendaciones del

evaluador externo

Para el desarrollo de los apartados antes referidos deberaacute atender las indicaciones que se desarrollan

en las siguientes secciones

Hallazgos y resultados Pp por Seccioacuten

Se debe realizar una valoracioacuten general del programa por seccioacuten utilizando las respuestas que

integran cada uno de los apartados En esta valoracioacuten integral se deberaacute sentildealar en queacute medida la

gestioacuten operativa conduce al logro de los objetivos del Pp

Asimismo se deben sentildealar las aacutereas de mejora las buenas praacutecticas y las fortalezas detectadas en

la operacioacuten del Pp y a partir de ello la instancia evaluadora emitiraacute recomendaciones de mejora

sobre aspectos especiacuteficos de cada proceso y subproceso o macroproceso del Pp Adicionalmente

se deberaacuten identificar los problemas o limitantes tanto normativos como operativos (ldquocuellos de

botellardquo) de coordinacioacuten entre unidades administrativas y otros que hubiese en los procesos y

subprocesos o macroprocesos del Pp entendieacutendose como aquellas praacutecticas procedimientos

actividades o traacutemites que obstaculizan la operacioacuten del Pp

En este sentido se deberaacuten identificar las situaciones en las que la normativa genere complicaciones

en la gestioacuten o ineficacia en el cumplimiento de los objetivos del Pp para lo cual se deberaacute presentar

(por cada situacioacuten identificada) una propuesta de modificacioacuten a la normativa aplicable al Pp

considerando las restricciones praacutecticas que existan para su implementacioacuten asiacute como los efectos

PAE 2017 35

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

potenciales de ser implementada Los resultados de este anaacutelisis deberaacuten describirse en el Anexo 7

ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales del Pprdquo

Para la identificacioacuten y descripcioacuten de los ldquocuellos de botellardquo buenas praacutecticas y fortalezas del Pp

se consideraraacute la informacioacuten derivada del anaacutelisis de la operacioacuten del Pp asiacute como los puntos de

vista de los principales actores que intervienen en ella Este anaacutelisis deberaacute contener las causas y las

consecuencias de los ldquocuellos de botellardquo detectados sus caracteriacutesticas y naturaleza (si son

normativas o estrictamente operativas) de igual manera se deberaacute desarrollar un anaacutelisis de las

buenas praacutecticas identificadas

Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

Se debe integrar en una sola tabla las fortalezas oportunidades debilidades y amenazas

especificadas por cada apartado de la evaluacioacuten y reportarlas en el Anexo 11 ldquoPrincipales Fortalezas

Retos y Recomendacionesrdquo en el que se deben incluir las fortalezas yo oportunidades las

debilidades yo amenazas y las recomendaciones por apartado de la evaluacioacuten

PAE 2017 36

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexos

Anexo 1 ldquoDescripcioacuten General del Programardquo

El Anexo tiene formato libre sin embargo debe contener una breve descripcioacuten de las caracteriacutesticas

maacutes relevantes del Pp en un maacuteximo de dos cuartillas Dicha descripcioacuten debe considerar los

siguientes aspectos

1 Identificacioacuten del programa

11 Nombre

12 Clave de programa

13 Dependencia yo Entidad coordinadora ejecutora

14 Antildeo de inicio de operacioacuten

2 Problema o necesidad que el Pp pretende atender atenuar o resolver

3 La contribucioacuten del Pp a las Metas y objetivos estatales a los que se vincula

4 Descripcioacuten de los objetivos del Pp asiacute como de los bienes yo servicios que ofrece

(componentes)

5 Identificacioacuten y cuantificacioacuten de la poblacioacuten o aacuterea de enfoque potencial y

objetivo

6 Presupuesto aprobado para el ejercicio fiscal en curso

7 Metas de los indicadores de Fin Propoacutesito y Componentes asiacute como los de nivel

actividad que se consideren relevantes y

8 Resumen de la valoracioacuten de la pertinencia del disentildeo del Pp respecto a la atencioacuten

del problema o necesidad

Anexo 2 ldquoMetodologiacutea para la cuantificacioacuten de la poblacioacuten o aacuterea de enfoque

potencial y objetivordquo

El Anexo tiene formato libre sin embargo se debe incluir la siguiente informacioacuten

Definicioacuten de la poblacioacuten o aacuterea de enfoque potencial objetivo y atendida

Cuantificacioacuten de la poblacioacuten potencial objetiva y atendida

Hallazgos sobre el procedimiento llevado a cabo para definir y cuantificar la poblacioacuten o

aacuterea de enfoque potencial objetivo y atendida

Recomendaciones

Propuesta orientada hacia la mejora

PAE 2017 37

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 3 ldquoEvolucioacuten de la Coberturardquo

Nombre del

Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten

Antildeo de la Evaluacioacuten

Tipo de Poblacioacuten

Unidad

de

Medida

2012 2013 2014 2015 2016

P Potencial

P Objetivo

P Atendida

119927119912 times 120783120782120782

119927119926

PAE 2017 38

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 4 ldquoPropuesta de mejora de la Matriz de Indicadores para Resultadosrdquo

Derivado del anaacutelisis y valoracioacuten de la pregunta de investigacioacuten nuacutemero 3 iquestLa estructura de

objetivos planteada por el programa mantiene loacutegica y correspondencia causal con el problema

planteado en el diagnoacutestico se realizaraacute una propuesta de mejora de MIR

Fin

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Propoacutesito

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Componente 1

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

PAE 2017 39

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Componente 2 hellip

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 40

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesos del Pprdquo

Para la identificacioacuten y clasificacioacuten de los procesos del Pp se sugieren los siguientes pasos

1 Listar los procesos identificados

Comparar los procesos identificados del Pp con aquellos correspondientes al Modelo general de

procesos Colocar en el rengloacuten correspondiente el nombre de cada proceso del Pp identificado

como equivalente

2 Colocar al final de la lista aquellos procesos del Pp que no sean equivalentes con el Modelo

general de procesos

Modelo general de

procesos

Nuacutemero

de

secuencia

Procesos o subprocesos del Pp identificados por el

evaluador

(Nombre y breve descripcioacuten)

Planeacioacuten Ejemplo (Ej) Planeacioacuten Estrateacutegica

Ej Programacioacuten

Ej Presupuestacioacuten

Comunicacioacuten interna y

externa

Ej Difusioacuten Federal

Ej Difusioacuten Local

Seleccioacuten de

destinatarios

Ej Recepcioacuten de solicitudes de becas

Ej Seleccioacuten de becarios

Produccioacuten de

entregables

Entrega

Control

Seguimiento Ej Seguimiento fiacutesico y supervisioacuten en campo

Evaluacioacuten externa Ej Publicacioacuten y lectura del PAE

Ej Definicioacuten de TdR

Ej Contratacioacuten

Ej Ejecucioacuten de la evaluacioacuten externa

Monitoreo Ej Registro de avances de indicadores

Ej Revisioacuten de registros

Ej Validacioacuten de registros e integracioacuten de informes

PAE 2017 41

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Procesos identificados por el evaluador que no coinciden con el Modelo general de procesos

PAE 2017 42

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 ldquoFichas de indicadores de atributos de los procesos del Pp (formato libre)rdquo

Para la construccioacuten de este anexo deberaacute realizarse una revisioacuten documental (normativa aplicable

MIR evaluaciones externas sistemas de informacioacuten y registros administrativos entre otros) misma

que deberaacute complementarse con el trabajo de campo con el objetivo de identificar disentildear y calcular

indicadores relacionados con dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de

informacioacuten empleadas

Ademaacutes de considerar la medicioacuten de los atributos de eficacia suficiencia oportunidad y pertinencia

de cada proceso y subproceso o macroproceso

PAE 2017 43

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 7 ldquoDiagramas de flujo de la operacioacuten del Pprdquo

Para la elaboracioacuten de los diagramas de flujo deberaacute utilizarse la notacioacuten empleada en el

documento ldquoGuiacutea para la Optimizacioacuten Estandarizacioacuten y Mejora Continua de Procesosrdquo publicada

por la SFP en la direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Para el Diagrama de Alto Nivel (Diagrama PEPSU)

Ejemplo ilustrativo

PAE 2017 44

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para el Diagrama de Flujo

PAE 2017 45

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

PAE 2017 46

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 8 ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales

del Pprdquo

Tipo de

norma-

tiva

Dice

Problema

generado

(causas y

consecuencias)

Se

recomienda

decir

Efecto esperado de

aplicar la

recomendacioacuten de

cambio

Restricciones praacutecticas

que puedan existir para

su implementacioacuten

PAE 2017 47

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 9 ldquoValoracioacuten global cuantitativa ldquo

Seccioacuten 1 Disentildeo

Disentildeo Valoracioacuten Argumento o justificacioacuten

Porcentaje del

Disentildeo del Pp

(Suma de valoracioacuten alcanzada por pregunta de la seccioacuten 1 Total maacuteximo de la

valoracioacuten de todas las preguntas de la seccioacuten 1 ) x 100

Seccioacuten 2 Procesos

Proceso Eficacia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

eficaces

(Total de procesos eficaces Total de procesos del Pp) x 100

Proceso Oportunidad

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

oportunos

(Total de procesos oportunos Total de procesos del Pp) x 100

Proceso Suficiencia

(SiacuteNo) Argumento o justificacioacuten

PAE 2017 48

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Porcentaje de

procesos

suficientes

(Total de procesos suficientes Total de procesos del Pp) x 100

Proceso Pertinencia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

pertinentes

(Total de procesos pertinentes Total de procesos del Pp) x 100

NOTA Los argumentos y justificaciones del evaluador deberaacuten considerar el anaacutelisis y valoraciones de

los subprocesos de cada proceso de modo que haya consistencia entre estos elementos Asimismo el

evaluador deberaacute expresar los resultados de la valoracioacuten cuantitativa en una graacutefica tipo radial

PAE 2017 49

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 10 ldquoSistema de monitoreo e indicadores de gestioacuten del Pp (formato libre)rdquo

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible

Nombre del Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten De Procesos

Antildeo de la Evaluacioacuten 2017

Fin Justificacioacuten Propoacutesito Justificacioacuten Componente (s) Justificacioacuten

Nombre de

Indicador

Meacutetodo de Caacutelculo

Claro SiacuteNo SiacuteNo SiacuteNo

Relevante SiacuteNo SiacuteNo SiacuteNo

Econoacutemico SiacuteNo SiacuteNo SiacuteNo

Monitoreable SiacuteNo SiacuteNo SiacuteNo

Adecuado SiacuteNo SiacuteNo SiacuteNo

Definicioacuten SiacuteNo SiacuteNo SiacuteNo

Unidad de Medida SiacuteNo SiacuteNo SiacuteNo

Frecuencia de

Medicioacuten

SiacuteNo SiacuteNo SiacuteNo

Liacutenea Base SiacuteNo SiacuteNo SiacuteNo

Metas SiacuteNo SiacuteNo SiacuteNo

Comportamiento

del Indicador

SiacuteNo SiacuteNo SiacuteNo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 50

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de Procesos del Pprdquo

En este Anexo la instancia evaluadora debe valorar si la recomendacioacuten implica una consolidacioacuten o

una reingenieriacutea del proceso

A) Consolidacioacuten

Proceso Recomendaci

oacuten

Breve

anaacutelisis de

viabilidad de

la

implementa-

cioacuten

Principales

responsables

de la

implementaci

oacuten

Situacioacuten

actual

Efectos

potenciales

esperados

Medio de

verifica-

cioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

B) Reingenieriacutea de procesos

Proceso Objetivo

Breve

anaacutelisis de

viabilidad

de la

implemen-

tacioacuten

Principales

responsables

de la

implemen-

tacioacuten

Situa-

cioacuten

actual

Metas y

efectos

potenciale

s

esperados

Elabora-

cioacuten de

flujogram

a del

nuevo

proceso

Medio

de

verifi-

cacioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

NOTA El nivel de priorizacioacuten Alto Medio o Bajo se estimaraacute considerando la mejora en la operacioacuten

del Pp la viabilidad de la implementacioacuten de la recomendacioacuten asiacute como el efecto potencial que esto

pueda tener el alcance del objetivo del Pp

PAE 2017 51

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 12 ldquoPrincipales Fortalezas Retos y Recomendacionesrdquo

Capacidades Internas Factores Externos

Fortalezas

(Cualquier capacidad con la que cuenta la dependencia o

entidad que le permita aprovechar sus recursos para la

obtencioacuten de sus objetivos)

Oportunidades

(Cualquier factor externo fuera del control de la dependencia o

entidad que puede ser aprovechado para la obtencioacuten de sus

objetivos)

Debilidades

(Cualquier limitante Interna de la dependencia o entidad que

puede afectar la obtencioacuten de sus objetivos)

Amenazas

(Cualquier factor externo fuera de control de la dependencia o

entidad que pueda afectar la obtencioacuten de sus objetivos)

PAE 2017 52

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacutenrdquo

El Informe Final de la Evaluacioacuten de Procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten

Superior deberaacuten contener una ficha con los siguientes datos

Ficha Teacutecnica con los datos generales de la evaluacioacuten

Nombre o denominacioacuten de la

evaluacioacuten

[Especificar el nombre de la evaluacioacuten considerando su tipo y ejercicio

evaluado]

Nombre o denominacioacuten del

programa evaluado

[Indicar el nombre del Pp sujeto a evaluacioacuten de acuerdo con lo

establecido en el PEF sentildealando su modalidad y clave]

Unidad Responsable de la operacioacuten

del programa

[Especificar la(s) unidad(es) responsable(s) de la administracioacuten

operacioacuten y ejecucioacuten de los programas subprogramas y proyectos del

Pp evaluado correspondientes a las dependencias y entidades]

Titular de la unidad responsable de la

operacioacuten del programa

[Indicar el nombre del(a) Titular de la Unidad Responsable de la

operacioacuten del Pp]

Antildeo del Programa Anual de

Evaluacioacuten (PAE) en que fue

considerada la evaluacioacuten

[Especificar el ejercicio fiscal al que corresponde el PAE en la que fue

programada la evaluacioacuten]

Antildeo de conclusioacuten y entrega de la

evaluacioacuten

[Indicar el antildeo en que se concluyoacute la evaluacioacuten]

Tipo de evaluacioacuten [Especificar el tipo de evaluacioacuten de acuerdo con los Lineamientos de

evaluacioacuten el nombre de la evaluacioacuten y con lo establecido en el PAE]

Nombre de la instancia evaluadora [Indicar el nombre de la firma consultoriacutea u organizacioacuten que realizoacute la

evaluacioacuten]

Nombre del(a) coordinador(a)

externo(a) de la evaluacioacuten

[Especificar el nombre del(a) responsable de la coordinacioacuten de la

evaluacioacuten dla instancia evaluadora]

Nombre de los(as) principales

colaboradores(as) del(a)

coordinador(a) de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del(a)

coordinador(a) de la evaluacioacuten]

PAE 2017 53

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Unidad Administrativa responsable de

la Coordinacioacuten de la evaluacioacuten

[De acuerdo con lo sentildealado en el PAE especificar la instancia a la que

corresponde la coordinacioacuten de la evaluacioacuten pej Secretariacutea de

Finanzas y Administracioacuten (SFA) asiacute como la unidad administrativa

mediante la cual se ejerce esta funcioacuten p ej Direccioacuten de Evaluacioacuten

de la SFA (DEV)

Nombre del(a) Titular de la unidad

administrativa responsable de

coordinar la evaluacioacuten (Aacuterea de

Evaluacioacuten)

[Especificar el nombre del(a) Titular de la Unidad responsable de dar

seguimiento a la evaluacioacuten que funge como Aacuterea de Evaluacioacuten]

Nombres de los(as) servidores(as)

puacuteblicos(as) adscritos(as) a la unidad

administrativa responsable de

coordinar la evaluacioacuten que

coadyuvaron con la revisioacuten teacutecnica

de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del

titular de la unidad administrativa responsable de dar seguimiento a la

evaluacioacuten respecto de la revisioacuten teacutecnica de la misma]

Forma de contratacioacuten de la instancia

evaluadora

[Indicar el tipo de contratacioacuten dla instancia evaluadora Especificar el

tipo de procedimiento de contratacioacuten de la instancia evaluadora

consistente con los tipos de adjudicacioacuten establecidos en la Ley de

Adquisiciones Arrendamientos y Servicios del Sector Puacuteblico]

Costo total de la evaluacioacuten con IVA

incluido

[Especificar el costo total de la evaluacioacuten incluyendo el IVA (en caso

de que se haya causado) como sigue $XXX IVA incluido]

Asimismo en este anexo se deberaacute incluir una nota metodoloacutegica con la descripcioacuten de las teacutecnicas

y los modelos utilizados por el evaluador externo acompantildeada del disentildeo por muestreo

especificando los supuestos empleados y las principales caracteriacutesticas del tamantildeo y dispersioacuten de

la muestra utilizada

DIRECTORIO

Rauacutel Saacutenchez Kobashi

Secretario de la Secretariacutea de Finanzas y Administracioacuten

Francisco Fidel Teomitzi Saacutenchez

Subsecretario de Planeacioacuten

Arturo Neponuceno Crisoacutestomo

Director de Evaluacioacuten

Rodolfo de la Rosa Cabrera

Subdireccioacuten de Evaluacioacuten de Programas

Sauacutel Federico Oropeza Orea

Jefe del Departamento de Programas Estatales y Municipales

Ana Luz Guzmaacuten Figueroa

Analista del Departamento de Programas Estatales y Municipales

Marco Antonio Saacutenchez Gonzaacutelez

Analista del Departamento de Programas Estatales y Municipales

Page 4: Términos de Referencia para la Evaluación del Desempeño ...evaluacion.puebla.gob.mx/pdf/metodologias/TdR_Est/2017/TdR... · Perfil de la instancia evaluadora ... acuerdo con las

PAE 2017 3

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Presentacioacuten

El Presupuesto basado en Resultados (PbR) y el Sistema de Evaluacioacuten del Desempentildeo (SED) consiste

en que los oacuterganos puacuteblicos establezcan de manera puntual los objetivos que se alcanzaraacuten con los

recursos que se asignen a sus respectivos Programas Presupuestarios (Pp) y que el grado de

consecucioacuten de dichos objetivos pueda ser efectivamente confirmado mediante el SED

Dado que los Pp representan el mecanismo a partir del cual la Administracioacuten Puacuteblica Estatal plasma

las prioridades y directrices establecidas en el Plan Estatal de Desarrollo (PED) y en los instrumentos

de planeacioacuten que de eacuteste derivan asiacute pues de acuerdo con la Ley de Presupuesto y Gasto Puacuteblico

del Estado de Puebla el Pp es la categoriacutea programaacutetica-presupuestal que permite organizar en

forma representativa y homogeacutenea las actividades integradas y articuladas que proveen productos

(bienes y servicios) tendientes a lograr un resultado y beneficio en una poblacioacuten el cual es medido

a partir de metas e indicadores por lo anterior estos instrumentos deben de ser evaluados para

mejorar sus resultados

En este contexto la evaluacioacuten de los Pp permite la valoracioacuten objetiva del desempentildeo de los

programas y las poliacuteticas puacuteblicas a traveacutes del seguimiento y verificacioacuten del cumplimiento de metas

y objetivos con base en indicadores estrateacutegicos y de gestioacuten para

Conocer los resultados del ejercicio de los recursos y el impacto social de los programas

Identificar la eficacia eficiencia economiacutea y calidad del gasto y

Procurar una mayor productividad de los procesos gubernamentales

De este modo los procesos de mejora continua y desarrollo institucional bajo este nuevo enfoque

implican que los recursos puacuteblicos se asignen prioritariamente a los programas que generan mayores

beneficios a la poblacioacuten y que se mejoren los procesos de aquellos que no estaacuten funcionando

correctamente

Derivado de lo anterior la Direccioacuten de Evaluacioacuten de la Subsecretariacutea de Planeacioacuten en el marco de

sus atribuciones coordinaraacute las evaluaciones en materia de Procesos que se aplicaraacuten a los Pp de

acuerdo con lo establecido en el Programa Anual de Evaluacioacuten (PAE) para el Ejercicio Fiscal 2017 El

presente documento presenta las directrices que guiaraacuten dicha evaluacioacuten a fin de que dicho

proceso se integre adecuadamente al ciclo presupuestario

Es pertinente efectuar una evaluacioacuten en materia de procesos de los Pp en virtud de que resulta de

utilidad para la toma de decisiones ya que analiza si el programa lleva a cabo sus procesos

operativos de manera eficaz y eficiente y si contribuye al mejoramiento de la gestioacuten A continuacioacuten

se presentan los Pp a evaluar en materia de Procesos para el ejercicio 2016

PAE 2017 4

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para la elaboracioacuten del presente documento se tomaron como referencia el Modelo vigente de

Teacuterminos y Referencias (TdR) para la evaluacioacuten de Procesos1 que publica la Secretariacutea de Hacienda

y Creacutedito Puacuteblico (SHCP) asiacute como en el Modelo de Teacuterminos de Referencia para la Evaluacioacuten

Especiacutefica de Disentildeo y Procesos 20152 del Estado de Jalisco

El presente documento cuenta con cuatro apartados para desarrollar la evaluacioacuten de procesos en

primer lugar se muestran los objetivos de la evaluacioacuten de los Pp posteriormente se presentan cinco

preguntas de investigacioacuten que tienen como finalidad analizar el disentildeo la operacioacuten y gestioacuten del

Pp y en las que se establecen los criterios que adoptaraacute la instancia externa para dar respuesta a

dichos reactivos en tercer lugar se expone el contenido que presentaraacute el informe de la evaluacioacuten

y finalmente se presentan los formatos de anexo que se mencionan en las preguntas de

investigacioacuten

Cabe precisar que la evaluacioacuten se divide en dos secciones de anaacutelisis la primera parte consta de

tres preguntas de investigacioacuten en las que se analiza la calidad del disentildeo del Pp el desarrollo de

esta seccioacuten seraacute a partir de un anaacutelisis de gabinete En la segunda seccioacuten se abordan 2 preguntas

de investigacioacuten que permiten realizar un anaacutelisis profundo de los procesos subprocesos o

macroprocesos que integran la operacioacuten general del Pp debieacutendose integrar un Diagnoacutestico

general de los procesos y subprocesos del Pp dentro de los 30 primeros diacuteas una vez firmado el

contrato pues este diagnoacutestico es requisito indispensable para realizar posteriormente el trabajo de

campo necesario para el anaacutelisis y respuesta de la pregunta 5

1 httptransparenciapresupuestariagobmxesPTPevaluaciones en el apartado de descarga de Teacuterminos de

Referencia 2httpsepafjaliscogobmxsitessepafjaliscogobmxfilesmodelos_de_terminos_de_referencia_tdr_2015_0r

ar

Tabla 1 Programas Presupuestarios a Evaluar en materia de Procesos

No Clave ndash Nombre del Programa

1 E004 Educacioacuten Baacutesica

2 E006 Educacioacuten Superio

PAE 2017 5

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Glosario

Para efectos del presente documento se entenderaacute por

Aspectos Susceptibles de Mejora (ASM) Los hallazgos debilidades oportunidades y amenazas

identificadas como resultado de un ejercicio de evaluacioacuten

Cobertura Aacuterea de intervencioacuten del programa con respecto a las caracteriacutesticas socioeconoacutemicas

de la poblacioacuten que atenderaacute el Programa Presupuestario

Consejo Nacional de Evaluacioacuten de la Poliacutetica de Desarrollo Social (CONEVAL) instancia con

autonomiacutea teacutecnica y de gestioacuten con las atribuciones de medir la pobreza y evaluar la poliacutetica de

desarrollo social

Dependencias Las asiacute definidas en el artiacuteculo 17 de la Ley Orgaacutenica de la Administracioacuten Puacuteblica

del Estado de Puebla

Destinatario o beneficiario a las personas instituciones puacuteblicas o privadas agentes sociales o

econoacutemicos o demaacutes instancias que utilizan o reciben los componentes producidos por el Pp

Direccioacuten de Evaluacioacuten (DEV) Direccioacuten coordinadora de los procesos de evaluacioacuten suscrita a la

Subsecretariacutea de Planeacioacuten de la Secretariacutea de Finanzas y Administracioacuten del Estado de Puebla

Evaluacioacuten Anaacutelisis sistemaacutetico y objetivo de las poliacuteticas puacuteblicas los Programas Presupuestarios

(Pp) y el desempentildeo de las instituciones a fin de determinar o probar la pertinencia de los mismos

valorar sus objetivos y metas asiacute como conocer su eficiencia eficacia calidad resultados impacto y

sostenibilidad

Evaluacioacuten Especiacutefica Evaluacioacuten que se enfoca en aspectos especiacuteficos de un programa de

acuerdo con las necesidades de evaluacioacuten o la naturaleza del mismo Se realiza mediante trabajo

de gabinete yo de campo

Indicador Instrumento para medir el logro de los objetivos de los programas y referente para el

seguimiento de los avances y para la evaluacioacuten de los resultados alcanzados

Instancia evaluadora externa Equipo de evaluadores externos constituidos como personas fiacutesicas

o morales adscritos a instituciones puacuteblicas y privadas tanto nacionales como internacionales con

experiencia probada en evaluacioacuten y temas especiacuteficos requeridos para realizar alguno de los tipos

de evaluaciones externas

Liacutenea base Es el valor del indicador que se establece como punto de partida para evaluarlo y darle

seguimiento

PAE 2017 6

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Mapeo mostrar graacuteficamente por medio de siacutembolos cuaacuteles son las actividades que se llevan a

cabo dentro de una organizacioacuten o un proceso de tal manera que todo aquel que lo lea sea capaz

de comprender el alcance yo llevar a cabo el proceso

Matriz de Indicadores para Resultados (MIR) Es la herramienta que permite vincular los distintos

instrumentos para el disentildeo organizacioacuten ejecucioacuten seguimiento evaluacioacuten y mejora de los

programas resultado de un proceso de planeacioacuten realizado con base en la Metodologiacutea de Marco

Loacutegico conforme a lo sentildealado en la Guiacutea para la Construccioacuten de la Matriz de Indicadores para

Resultados

Metas Valor que permite establecer liacutemites o niveles maacuteximos de logro comunica el nivel de

desempentildeo esperado por la organizacioacuten y permite enfocarla hacia la mejora

Metodologiacutea del Marco Loacutegico (MML) Es la herramienta de planeacioacuten estrateacutegica basada en la

estructuracioacuten y solucioacuten de problemas o aacutereas de mejora que permite organizar de manera

sistemaacutetica y loacutegica los objetivos de un programa y sus relaciones de causa y efecto medios y fines

facilitar el proceso de conceptualizacioacuten y disentildeo de programas y fortalecer la vinculacioacuten de la

planeacioacuten con la programacioacuten

Monitoreo Funcioacuten continua que utiliza la recopilacioacuten sistemaacutetica de datos sobre indicadores

predefinidos para proporcionar a los administradores y a las principales partes interesadas de una

intervencioacuten para el desarrollo indicaciones sobre el avance y el logro de los objetivos asiacute como de

la utilizacioacuten de los fondos asignados

Nivel a la escala de medicioacuten de 1 a 4 establecido en los reactivos de respuesta binaria

Objetivos Son los resultados que un programa puacuteblico pretende alcanzar a traveacutes de la ejecucioacuten

de determinadas acciones pueden ser general o especiacuteficos Los objetivos especiacuteficos son un

conjunto de resultados que a su vez permiten lograr un objetivo general Los objetivos generales

reflejan el resultado que se espera lograr en teacuterminos de la atencioacuten de un problema puacuteblico y se

establecen en los distintos instrumentos de planeacioacuten de los que se valen las intervenciones

puacuteblicas

Organismos Autoacutenomos Entidad puacuteblica dotada de personalidad juriacutedica y patrimonio propios

creada por decreto para no depender del Poder Ejecutivo ni de ninguacuten otro Poder (Legislativo o

Judicial) con objeto de actuar con independencia imparcialidad y objetividad en sus funciones Para

efectos presupuestales y contables como ejecutores de gasto estaacuten obligados a cumplir con las

leyes y normatividad vigentes en las materias

Plan Estatal de Desarrollo (PED) Es el instrumento de planeacioacuten en el que se basaraacuten las

decisiones en materia de gasto e inversioacuten para la aplicacioacuten de los recursos puacuteblicos y se constituye

como el documento rector y guiacutea para la gestioacuten gubernamental

PAE 2017 7

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Poblacioacuten Atendida Poblacioacuten o aacuterea que ya fue atendida por el programa presupuestario

Poblacioacuten Objetivo Poblacioacuten o aacuterea que el programa pretende atender en un periodo dado de

tiempo pudiendo corresponder a la totalidad de la poblacioacuten potencial o a una parte de ella

Poblacioacuten Potencial Se refiere al universo global de la poblacioacuten o aacuterea referida

Poliacutetica Puacuteblica Accioacuten del Gobierno que tiene como objetivo atender ciertas necesidades de la

poblacioacuten (educacioacuten desarrollo social salud seguridad puacuteblica infraestructura comunicaciones

energiacutea etc)

Presupuesto basado en Resultados (PbR) Es un proceso basado en consideraciones objetivas

sobre los resultados esperados y alcanzados para la asignacioacuten de recursos con la finalidad de

fortalecer la calidad del disentildeo y gestioacuten de las poliacuteticas programas puacuteblicos y desempentildeo

institucional cuyo aporte sea decisivo para generar las condiciones sociales econoacutemicas y

ambientales para el desarrollo nacional sustentable

Programa Anual de Evaluaciones (PAE) Es el documento en el que se determina el tipo de

evaluacioacuten que se aplicaraacute a los programas puacuteblicos del Estado el calendario de ejecucioacuten de las

acciones de monitoreo y evaluacioacuten de los programas puacuteblicos del Estado que estaacuten en operacioacuten

asiacute como ofrecer a los responsables de la administracioacuten puacuteblica la informacioacuten que les permita

optimizar el proceso de creacioacuten de valor puacuteblico

Programa Presupuestario (Pp) Categoriacutea que permite organizar en forma representativa y

homogeacutenea las asignaciones de recursos de los programas federales y del gasto federalizado a

cargo de los ejecutores del mismo para el cumplimiento de sus objetivos y metas

Reglas de Operacioacuten del Programa (ROP) Son un conjunto de disposiciones que precisan la forma

de operar un programa con el propoacutesito de lograr los niveles esperados de eficacia eficiencia

equidad y transparencia

Secretariacutea de Hacienda y Creacutedito Puacuteblico (SHCP) dependencia del Poder Ejecutivo Federal que

tiene como misioacuten proponer dirigir y controlar la poliacutetica econoacutemica del Gobierno Federal en materia

financiera fiscal de gasto de ingresos y deuda puacuteblica con el propoacutesito de consolidar un paiacutes con

crecimiento econoacutemico de calidad

Secretariacutea de Finanzas y Administracioacuten (SFA) dependencia del Poder Ejecutivo Estatal que tiene

a su cargo las atribuciones para el despacho de los asuntos que expresamente le confiere la Ley

Orgaacutenica de la Administracioacuten Puacuteblica del Estado las demaacutes leyes reglamentos acuerdos decretos

convenios y sus anexos vigentes asiacute como las que le encomiende el Gobernador

PAE 2017 8

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Seguimiento Proceso continuo de recoleccioacuten y anaacutelisis de datos para comparar en queacute medida se

estaacute ejecutando un proyecto programa poliacutetica o recomendaciones en funcioacuten de los resultados

previstos

Teacuterminos de referencia (TdR) Documento que plantea los elementos estandarizados miacutenimos y

especiacuteficos de acuerdo con el tipo de evaluacioacuten y de programa a evaluar con base en

especificaciones teacutecnicas (perfil de los evaluadores calendario de entregas de productos etc)

objetivos de la evaluacioacuten (generales y especiacuteficos) asiacute como la normatividad aplicable

(responsabilidades alcances restricciones etc)

Unidades Responsables (UR) Cada una de las aacutereas encargadas de la evaluacioacuten de las

dependencias que forman parte de la Administracioacuten Puacuteblica Estatal

PAE 2017 9

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Objetivo General

Evaluar los procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten Superior de la

Administracioacuten Puacuteblica Estatal para el Ejercicio Fiscal 2016 con la finalidad de analizar y valorar su

operacioacuten y gestioacuten para el logro de sus metas y objetivos

Objetivos Especiacuteficos

Determinar en queacute medida los elementos del diagnoacutestico del Pp son suficientes para tener una

comprensioacuten vaacutelida del problema puacuteblico que se pretende atender

Determinar la validez de la loacutegica de intervencioacuten del Pp para atender el problema planteado a

partir de una comparacioacuten con casos nacionales o internacionales similares

Determinar en queacute medida los procesos con los que cuenta el programa puacuteblico son pertinentes

para atender el problema identificado

Analizar y valorar si la ejecucioacuten de los procesos y subprocesos o macroprocesos que integran

la gestioacuten operativa del Pp en sus distintos niveles son eficaces oportunos suficientes y

pertinentes para el logro de sus objetivos

Identificar analizar y valorar las buenas praacutecticas o las fortalezas en la operacioacuten del Pp

Identificar y proponer mejoras al Pp para el logro de sus objetivos y metas

PAE 2017 10

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Perfil de la instancia evaluadora

La instancia evaluadora debe de cubrir cuando menos los siguientes criterios

Persona fiacutesica o moral registrada ante la autoridad hacendaria competente

Acreditar la experiencia en el tema de evaluacioacuten de la gestioacuten yo poliacuteticas puacuteblicas

El Coordinador de la Evaluacioacuten cuente con maestriacutea o doctorado en ciencias sociales

ciencia poliacutetica antropologiacutea economiacutea sociologiacutea poliacuteticas puacuteblicas planeacioacuten yo

aacutereas afines a la temaacutetica de la evaluacioacuten y estar en posesioacuten del tiacutetulo universitario

con validez nacional o por universidades oficialmente reconocidas

Al menos dos antildeos de ejercicio profesional en materia de investigacioacuten

Dos antildeos de experiencia miacutenima en la realizacioacuten de actividades de evaluacioacuten interna

o externa en el sector puacuteblico o privado

Contar con referentes acadeacutemicos que demuestren su experiencia en el tema de

evaluacioacuten de poliacuteticas

Por lo que deberaacute llenar la Tabla 2 y el Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia

evaluadora y el costo de la evaluacioacutenrdquo

Tabla 2 Perfil de equipo evaluador

Cargo Requisitos

Acadeacutemicos Experiencia General

Experiencia

Especifica

Liacuteder del

equipo

evaluador

Estudios de posgrado

en ciencias sociales

econoacutemicas historia

antropologiacutea ciencia

poliacutetica administracioacuten

puacuteblica o afines

Experiencia en

evaluaciones de

programas poliacuteticas

yo investigaciones en

materia de evaluacioacuten

Experiencia en

evaluaciones en las

que se hayan

implementado

metodologiacuteas y anaacutelisis

cualitativos Que

cuente con liacuteneas de

investigacioacuten o

participacioacuten en

proyectos con temas

vinculados a los

programas a ser

evaluados

PAE 2017 11

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Tabla 2 Perfil de equipo evaluador

Cargo Requisitos

Acadeacutemicos Experiencia General

Experiencia

Especifica

Analistas

del equipo

evaluador

Se sugiere que la

instancia evaluadora

sea multidisciplinario

que cuenten con

licenciatura o estudios

de posgrado en

ciencias sociales

econoacutemicas historia

antropologiacutea ciencia

poliacutetica psicologiacutea

administracioacuten puacuteblica

o ingenieriacutea

Experiencia en

evaluaciones de

programas poliacuteticas

yo investigaciones en

materia de evaluacioacuten

Experiencia en trabajo

de campo estudios

etnograacuteficos disentildeo de

encuestas y

cuestionarios en temas

de ingenieriacutea de

procesos y en

evaluacioacuten de

programas puacuteblicos

PAE 2017 12

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Preguntas de investigacioacuten

Seccioacuten 1 Disentildeo

Diagnoacutestico del programa puacuteblico

1 iquestEl programa tiene identificado el problema y la loacutegica causal acerca de su dinaacutemica

Consideraciones

La respuesta deberaacute mostrar si el problema o necesidad para el que va dirigido el programa se

identifica como un hecho negativo el que se puede revertir o atender

Se tendraacute que identificar si se cuenta con aacuterbol de problemas (u otro elemento documentado) que

permita identificar la loacutegica causal del problema al que se busca atender juzgando la medida en que

la loacutegica causal del programa es consistente con los estudios utilizados para fundamentacioacuten de la

intervencioacuten

Se debe incluir la definicioacuten del problema o necesidad y en su caso la propuesta de modificacioacuten o

recomendaciones de mejora Asimismo se indicaraacute si el problema o necesidad considera diferencias

entre hombres y mujeres a fin de conocer las limitaciones yo las oportunidades que presenta el

entorno econoacutemico demograacutefico social cultural poliacutetico juriacutedico e institucional para la promocioacuten

de la igualdad de geacutenero

Se deberaacute que determinar si el problema identificado por el Pp tiene coincidencia con alguacuten

problema que se aborda en el PED yo en el Programa Sectorial De igual forma se deberaacute analizar

si en el aacutembito nacional o internacional se cuenta con experiencias de poliacuteticas puacuteblicas que tuvieron

o tienen como objetivo la atencioacuten del problema que se plantea atender Lo anterior sentildealando sus

logros fallos y resultados ademaacutes se solicita hacer mencioacuten sobre la incorporacioacuten de elementos

exitosos de otras estrategias en el disentildeo del programa presupuestario a evaluar

2 iquestEl programa cuenta con una identificacioacuten (cuantificacioacuten y ubicacioacuten geograacutefica) de la

poblacioacuten o aacuterea de enfoque potencial y objetivo de su intervencioacuten y eacutesta se relaciona con

la definicioacuten del problema puacuteblico que se plantea atender

Consideraciones

La instancia evaluadora deberaacute valorar la medida en que la definicioacuten del problema es traducido a

unidades concretas de personas grupos especiacuteficos o zonas geograacuteficas cuantificables y

monitoreables en referentes estadiacutesticos oficiales del estado yo federacioacuten

PAE 2017 13

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

En la respuesta se deberaacuten incluir las definiciones de la poblacioacuten o aacuterea de enfoque potencial

objetivo y atendida asiacute como su cuantificacioacuten La metodologiacutea y fuentes de informacioacuten para

determinar los tipos de poblacioacuten o aacuterea de enfoque se deben incluir en el Anexo 2 ldquoMetodologiacutea

para la cuantificacioacuten de la poblacioacuten o aacuterea de enfoque potencial y objetivordquo

Asimismo identificar si el Pp cuenta con una estrategia de cobertura institucional en que se defina

la estrategia que utilizaraacute a lo largo del tiempo para cubrir el total de su poblacioacuten o aacuterea de enfoque

potencial en caso de que no se identifique alguna estrategia el evaluador deberaacute emitir una

valoracioacuten sobre la pertinencia del disentildeo actual del Pp para alcanzar las metas de cobertura En caso

de que el disentildeo actual del Pp no permita alcanzar las metas de cobertura deberaacuten recomendarse

modificaciones concretas al disentildeo del Pp con la finalidad de que sea maacutes probable que alcance

dichas metas de cobertura

De igual forma se debe analizar la evolucioacuten de la poblacioacuten o aacuterea de enfoque atendida y su

convergencia con la poblacioacuten o aacuterea de enfoque potencial es decir si el programa ha logrado

atender a toda la poblacioacuten o aacuterea de enfoque objetivo El anaacutelisis se debe justificar y completar el

Anexo 3 ldquoEvolucioacuten de la Coberturardquo

Matriz de Indicadores para Resultados (MIR)

3 iquestLa estructura de objetivos planteada por el programa mantiene loacutegica y correspondencia

causal con el problema planteado en el diagnoacutestico

Consideraciones

Se deberaacute identificar la contribucioacuten del programa a los objetivos estrateacutegicos del Plan Estatal de

Desarrollo y de otros instrumentos de planeacioacuten de mediano y largo plazo

Se deberaacute determinar si la hipoacutetesis de intervencioacuten del programa mantiene una loacutegica causal con

la problemaacutetica que se quiere atender

Se deberaacuten analizar y valorar los elementos que componen al disentildeo del Pp (modalidad unidades

responsables propoacutesito componentes poblacioacuten o aacuterea de enfoque objetivo entre otros) y sobre

los cuales eacuteste se construye (problema puacuteblico o necesidad causas y efectos del problema situacioacuten

de la poblacioacuten o aacuterea de enfoque objetivo entre otros)

Se deberaacute valorar la MIR y verificar su loacutegica horizontal (resumen narrativo indicadores metas y

medios de verificacioacuten) y vertical asiacute como si es congruente con los elementos de diagnoacutestico

Derivado de lo anterior se elaboraraacute una propuesta de la MIR que deberaacute considerar y presentar la

Estructura Analiacutetica del Pp (aacuterbol de problemas objetivos y concentrado) Asimismo se deberaacute incluir

PAE 2017 14

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

la justificacioacuten del disentildeo propuesto o las modificaciones sugeridas y generar el Anexo 4 ldquoPropuesta

de mejora de la Matriz de Indicadores para Resultadosrdquo

Metodologiacutea de la Seccioacuten 1

Anaacutelisis de gabinete

La evaluacioacuten se realizaraacute mediante un anaacutelisis de gabinete con base en informacioacuten proporcionada

por la dependencia o unidad responsable del programa asiacute como informacioacuten adicional que la

institucioacuten evaluadora considere necesaria para justificar su anaacutelisis

En este contexto se entiende por anaacutelisis de gabinete al conjunto de actividades que involucra el

acopio la organizacioacuten y la valoracioacuten de informacioacuten concentrada en registros administrativos

bases de datos evaluaciones internas yo externas y documentacioacuten puacuteblica Sin embargo de

acuerdo con las necesidades de informacioacuten y tomando en cuenta la forma de operar de cada

programa se podraacuten programar y llevar a cabo entrevistas con responsables de los programas yo

personal de la unidad de evaluacioacuten yo planeacioacuten de la dependencia coordinadora

Valoracioacuten de disentildeo del Pp

Para cada pregunta de investigacioacuten de esta seccioacuten se deberaacute definir una valoracioacuten cuantitativa y

cualitativa que resuma la apreciacioacuten del evaluador para cada uno de los aspectos de la seccioacuten 1

con el fin de permitir obtener una valoracioacuten sinteacutetica acerca de la suficiencia de los elementos que

cumple el programa Para esto se deberaacute usar la siguiente escala likert de cinco grados

Tabla 3 Escala de Medicioacuten para la Seccioacuten 1

1 2 3 4 5

Deficiente Insuficiente Moderado Bien Suficiente

En la argumentacioacuten que presente la evaluadora se deberaacuten aportar los elementos que justifiquen

la valoracioacuten cuantitativa que se emita para cada pregunta de investigacioacuten ademaacutes de completar

el Anexo 9 ldquoValoracioacuten global cuantitativardquo de la Seccioacuten 1 de Disentildeo

PAE 2017 15

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Seccioacuten 2 Procesos

Pertinencia de los procesos

4 Diagnoacutestico general de los procesos y subprocesos del Pp

Consideraciones

La instancia evaluadora deberaacute presentar dentro de los 30 diacuteas naturales posteriores a la firma del

contrato un Diagnoacutestico General de los Procesos y Subprocesos o Macroprocesos del Pp (Producto

1) en el que se deacute cuenta de la problemaacutetica o necesidad que atiende o de la funcioacuten de gobierno

que desarrolla asiacute como del contexto y las condiciones en las que opera el Pp En este diagnoacutestico

se deben identificar los procesos y subprocesos o macroprocesos que integran la operacioacuten o

gestioacuten del Pp a partir de la normativa vigente y de las entrevistas a funcionarios de la UR realizadas

se deberaacute presentar una descripcioacuten integral con el mapa de procesos y subprocesos del Pp

A partir de este diagnoacutestico la instancia evaluadora presentaraacute para su validacioacuten a la DEV una

propuesta de los alcances y logiacutestica de la Evaluacioacuten de Procesos del Pp Asimismo el diagnoacutestico

debe estar acompantildeado de la justificacioacuten del enfoque metodoloacutegico general seleccionado para su

desarrollo

Ademaacutes en el Producto 1 se deberaacuten especificar las directrices generales y particulares que guiaraacuten

la realizacioacuten de la evaluacioacuten de procesos acordadas con la DEV y la UR del Pp por lo que la correcta

elaboracioacuten de este producto es fundamental para poder garantizar un resultado satisfactorio

En el Producto 1 ademaacutes de integrar la estrategia y plan de trabajo de campo teacutecnicas de

investigacioacuten a utilizarse disentildeo muestral e instrumentos de levantamiento de informacioacuten se

incluiraacuten dos apartados

Descripcioacuten del contexto en el que opera el Pp La instancia evaluadora deberaacute describir

los siguientes elementos del Pp todas las UR que participan en su operacioacuten o que ejercen

sus recursos los entregables que produce cada UR que participa en la operacioacuten del Pp en

el marco del mismo el problema o necesidad de poliacutetica puacuteblica identificado por el Pp

poblacioacuten o aacuterea de enfoque potencial objetivo y atendida del Pp y su cuantificacioacuten

cantidad de destinatarios por cada uno de los entregables que el Pp tuvo al cierre del uacuteltimo

ejercicio fiscal del que se tenga registro cantidad de destinatarios por cada uno de los

entregables que el Pp espera atender en el ejercicio fiscal evaluado asiacute como el contexto

organizacional y social en que se desarrolla su operacioacuten

PAE 2017 16

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Diagnoacutestico inicial de los procesos y subprocesos o macroprocesos del Pp La instancia

evaluadora deberaacute desarrollar a partir del trabajo de gabinete y de entrevistas

semiestructuradas con funcionarios de la(s) Unidad(es) Responsable(s) del Pp realizadas un

diagnoacutestico inicial de procesos del Pp en el que se identifiquen claramente los procesos y

subprocesos o macroprocesos que integran su operacioacuten o gestioacuten asiacute como las instancias

o actores que participan en ellos se deberaacute presentar una descripcioacuten integral con un mapa

de procesos y subprocesos o macroprocesos del Pp asiacute como llenar el Anexo 5 ldquoFicha de

identificacioacuten y equivalencia de procesosrdquo Las entrevistas semiestructuradas se realizaraacuten con

la finalidad de profundizar y despejar dudas sobre el mapa de los procesos y subprocesos o

macroprocesos que integran la gestioacuten operativa del Pp En esta seccioacuten la instancia

evaluadora deberaacute sentildealar cuaacuteles de los procesos y subprocesos o macroprocesos

identificados estaacuten documentados y cuaacuteles no asiacute como ndashen su casondash la normativa que los

rige por ejemplo un manual de procedimientos o de organizacioacuten lineamientos de

operacioacuten entre otros Cabe sentildealar que los procesos y subprocesos o macroprocesos que

integran la operacioacuten o gestioacuten del Pp son estructuras analiacuteticas que debe de construir la

instancia evaluadora a partir de su experiencia en el desarrollo de evaluaciones de procesos

e implementacioacuten de poliacuteticas puacuteblicas por tanto debe tenerse en cuenta que a pesar de

ser lo deseable los procesos y subprocesos o macroprocesos no necesariamente pueden

estar documentados

5 Descripcioacuten y valoracioacuten de los procesos y subprocesos del Pp

Consideraciones

Despueacutes de realizar el trabajo de campo y sistematizar la informacioacuten levantada la instancia

evaluadora deberaacute realizar la descripcioacuten y valoracioacuten de cada uno de los procesos subprocesos o

macroprocesos identificados en el Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesosrdquo

contrastando en todos los casos la evidencia documental y su ejecucioacuten en la praacutectica

Por lo anterior en esta seccioacuten se deberaacute realizar una descripcioacuten minuciosa del desarrollo y el

anaacutelisis de cada proceso y subproceso o macroproceso de acuerdo con el alcance establecido

utilizando la informacioacuten obtenida mediante el anaacutelisis de gabinete y el trabajo de campo asimismo

se deberaacute realizar una valoracioacuten integral sobre la gestioacuten de cada uno de los procesos a partir de

la gestioacuten en sus subprocesos o macroprocesos a partir de la gestioacuten de los procesos

PAE 2017 17

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

La valoracioacuten de cada proceso subproceso o macroproceso deberaacute contener la siguiente estructura

1 Descripcioacuten detallada de las actividades los elementos y los actores que integran el

desarrollo de cada proceso y subproceso o macroproceso

2 Liacutemites de cada proceso y subproceso o macroproceso asiacute como su articulacioacuten con otros

3 Insumos y recursos determinar si los insumos y los recursos disponibles son suficientes y

adecuados para la ejecucioacuten de cada proceso y subproceso o macroproceso

a Tiempo iquestel tiempo en que se ejecuta el proceso o subproceso es el adecuado acorde

a lo planificado y congruente con la normativa que aplica

b Personal iquestel personal es suficiente tiene el perfil y cuenta con la capacitacioacuten necesaria

para la ejecucioacuten del proceso o subproceso

c Recursos financieros iquestlos recursos financieros son suficientes para la ejecucioacuten del

proceso o subproceso

d Recursos materiales iquestlos recursos materiales son suficientes para la ejecucioacuten del

proceso o subproceso

e Infraestructura iquestse cuenta con la infraestructura o capacidad instalada suficiente para

la ejecucioacuten del proceso o subproceso

f Insumos tecnoloacutegicos

4 Productos iquestlos productos de cada proceso subproceso o macroproceso sirven de insumo

para ejecutar el proceso subproceso o macroproceso subsecuente

5 Sistemas de informacioacuten iquestLos sistemas de informacioacuten utilizados en la ejecucioacuten de cada

proceso subproceso o macroproceso (automatizados semiautomatizados o manuales)

funcionan como una fuente de informacioacuten uacutetil para los sistemas de monitoreo a nivel central

y para los operadores en otros niveles iquestEstos sistemas de informacioacuten automatizan algunos

procesos subprocesos o macroproceso del Pp iquestSirven como mecanismo de control interno

para el mejor de desarrollo de los procesos subprocesos o macroproceso

6 Coordinacioacuten iquestla coordinacioacuten entre los actores oacuterdenes de gobierno o dependencias

involucradas es adecuada para la ejecucioacuten del proceso subproceso o macroproceso

7 Evaluacioacuten de la pertinencia de la forma en que se ejecuta cada proceso subproceso o

macroproceso en el contexto y condiciones en que se desarrolla considerando la estructura

organizacional involucrada y la coordinacioacuten entre las unidades administrativas que

intervienen en el proceso subproceso o macroproceso

8 Identificacioacuten de las caracteriacutesticas relacionadas con la importancia estrateacutegica de cada

proceso subproceso o macroproceso

PAE 2017 18

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

9 Opinioacuten de actores (destinatarios beneficiarios usuarios clientes u operadores del Pp)

sobre la eficacia eficiencia y calidad de cada proceso subproceso o macroproceso

10 Existencia de mecanismos para conocer la satisfaccioacuten de los beneficiarios o destinatarios de

los componentes o entregables que otorga el Pp

Por otra parte en caso de que el Pp genere diversos componentes o entregables y que estos

impliquen la realizacioacuten de actividades diferentes seraacute necesario describir los procesos y

subprocesos o macroprocesos correspondientes a cada tipo de componente o entregable otorgado

En la descripcioacuten de los procesos y subprocesos o macroprocesos la instancia evaluadora de manera

coordinada con la DEV deberaacute realizar los diagramas de alto nivel y los diagramas detallados

(diagramas de flujo) que describan los procesos y subprocesos o macroprocesos del Pp Para ello se

deberaacute usar como referencia la seccioacuten ldquoVII Mapeo de procesosrdquo de la ldquoGuiacutea para la Optimizacioacuten

Estandarizacioacuten y Mejora Continua de Procesosrdquo (paacuteginas 18 a 25) elaborada por la Secretariacutea de la

Funcioacuten Puacuteblica (SFP) disponible en la siguiente direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Estos diagramas se deberaacuten elaborar de acuerdo con lo especificado en el Anexo 7 ldquoDiagramas de

flujo de la operacioacuten del Pprdquo

Metodologiacutea Seccioacuten 2

La Evaluacioacuten de Procesos del Pp se realizaraacute principalmente a partir de teacutecnicas de investigacioacuten

cualitativa como son el anaacutelisis documental la observacioacuten directa estudios de caso y multicaso

especiacuteficos entrevistas semiestructuradas y grupos focales o grupos de enfoque (focus groups)

entre otras teacutecnicas que la instancia evaluadora considere pertinentes para realizar el anaacutelisis de

gabinete y el trabajo de campo tales como la aplicacioacuten de cuestionarios de aplicacioacuten electroacutenica

o a distancia

La metodologiacutea y los instrumentos definidos asiacute como el trabajo de gabinete y de campo deberaacuten

generar evidencia empiacuterica suficiente para valorar a profundidad la forma en que se ejecutan los

procesos y subprocesos o macroprocesos que integran la operacioacuten del Pp asiacute como su contexto

institucional y organizacional

PAE 2017 19

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anaacutelisis de gabinete

Para esta seccioacuten es necesario la elaboracioacuten del diagnoacutestico de los procesos y subprocesos o

macroprocesos que integran la operacioacuten o gestioacuten del Pp la instancia evaluadora deberaacute realizar

un anaacutelisis de gabinete considerando como miacutenimo los siguientes documentos

La normativa aplicable al Pp leyes reglamentos lineamientos manuales de procedimientos

convenios contratos entre otros

Diagnoacutestico y estudios de la problemaacutetica que el Pp atiende

Diagnoacutestico del programa y estudios del marco contextual en el que opera

MIR del Pp correspondiente al ejercicio fiscal evaluado y de ejercicios anteriores que se

consideren pertinentes

Sistemas de informacioacuten automatizados semiautomatizados o manuales que apoyen a la

ejecucioacuten de los procesos y subprocesos o macroprocesos identificados del Pp

Evaluaciones externas o internas realizadas previamente al Pp

Documentos de trabajo institucionales e informes de avances de Aspectos Susceptibles de

Mejora con los que cuente el Pp

Informes de auditoriacuteas de desempentildeo o similares realizadas al Pp por la Auditoriacutea Superior

de la Federacioacuten del Estado de Puebla por la Secretariacutea de la Contraloriacutea o por cualquier

instancia fiscalizadora

Asimismo se sugiere revisar otros documentos asociados al disentildeo del Pp y a su definicioacuten de

poblacioacuten o aacuterea de enfoque potencial y objetivo asiacute como a su estrategia de integracioacuten de

destinatarios o beneficiarios de los componentes o entregables del Pp

El anaacutelisis o trabajo de gabinete deberaacute generar como resultado inicial un mapeo de los procesos y

subprocesos o macroprocesos que integran la gestioacuten operativa del Pp que constituiraacute

esencialmente el Producto 1 de la evaluacioacuten posteriormente se procesaraacute la informacioacuten recabada

en campo para la generacioacuten del informe preliminar y final de la evaluacioacuten

Alcance y enfoque de la evaluacioacuten

La instancia evaluadora deberaacute sentildealar con claridad en el informe de la evaluacioacuten cuaacuteles de los

procesos y subprocesos o macroprocesos identificados en la operacioacuten o gestioacuten del Pp se analizan

y cuaacuteles no de acuerdo con lo establecido por la Direccioacuten de Evaluacioacuten (DEV) de la Secretariacutea de

Finanzas y Administracioacuten (SFA) y la Unidad Responsable (UR) del Programa en cuestioacuten sentildealando

los elementos de anaacutelisis que justifican esta seleccioacuten y en su caso haciendo recomendaciones al

respecto

PAE 2017 20

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Un elemento que podraacute ser considerado para establecer el alcance de la evaluacioacuten es el grado de

consolidacioacuten operativa del Pp el cual podraacute determinarse a priori considerando algunos elementos

como los siguientes

1 Si existen documentos que normen los procesos y subprocesos o macroprocesos

2 Si los procesos y subprocesos o macroprocesos estaacuten estandarizados es decir si son

utilizados por todas la instancias ejecutoras de manera homogeacutenea

3 Si los procesos y subprocesos o macroprocesos estaacuten documentados y son del conocimiento

de todos los operadores

4 Si se cuenta con un sistema de monitoreo e indicadores de gestioacuten

5 Si se cuenta en los procesos y subprocesos o macroprocesos analizados con sistemas

informaacuteticos que permitan la automatizacioacuten en la ejecucioacuten de los mismos

6 Si se cuenta con mecanismos para la implementacioacuten sistemaacutetica de mejoras

Se considera que existe un mayor grado de consolidacioacuten operativa cuando existen todos los

elementos y disminuiraacute gradualmente conforme haga falta uno o maacutes de ellos hasta el menor grado

de consolidacioacuten que es cuando no existe ninguno de los elementos

El alcance de la Evaluacioacuten de Procesos del Pp implica el anaacutelisis de los procesos y subprocesos o

macroprocesos sustantivos del Pp asiacute como la respectiva priorizacioacuten de estos Se deberaacute realizar

la identificacioacuten y jerarquizacioacuten de los procesos a partir del Esquema 1 adaptaacutendolo a las

condiciones particulares del Pp3 en eacutel se observa lo siguiente

El proceso de ldquoPlaneacioacutenrdquo es el punto de partida para la implementacioacuten del Pp

posteriormente continuacutean los procesos de ldquoComunicacioacuten Interna y Externardquo ldquoSeleccioacuten de

destinatariosrdquo ldquoProduccioacuten de entregablesrdquo ldquoEntregardquo ldquoSeguimiento a destinatariosrdquo y

ldquoControlrdquo

La informacioacuten que se genera en los procesos de ldquoSeguimiento a destinatariosrdquo y ldquoControlrdquo

es un insumo directo para retroalimentar los procesos del Pp desde el de Planeacioacuten

El proceso de ldquoMonitoreordquo utiliza informacioacuten generada principalmente en los procesos de

ldquoComunicacioacutenrdquo ldquoSeleccioacuten de destinatariosrdquo ldquoProduccioacuten de entregablesrdquo ldquoEntregardquo y

ldquoSeguimiento a destinatariosrdquo a partir de ello se retroalimentan los procesos del Pp desde

la ldquoPlaneacioacutenrdquo

3 Con excepcioacuten de los procesos (con sus subprocesos) de Planeacioacuten Monitoreo y Evaluacioacuten Externa para

los cuales la instancia evaluadora uacutenicamente podraacute en caso de que lo considere pertinente agregar

subprocesos pero no suprimir subprocesos

PAE 2017 21

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

El proceso de ldquoEvaluacioacuten Externardquo requiere de informacioacuten transversal de todos los

procesos ya que se valora al Pp en su conjunto En este sentido los resultados de las

evaluaciones son un insumo para retroalimentar al Pp desde el proceso de ldquoPlaneacioacutenrdquo

Es importante sentildealar que en el Esquema 1 se muestra un modelo que es importante tomarlo en

cuenta como referencia para la identificacioacuten y definicioacuten de los procesos y subprocesos o

macroprocesos que integran la operacioacuten del Pp evaluado ademaacutes de que representa un auxiliar

en la definicioacuten del alcance y del enfoque de la Evaluacioacuten de Procesos del Pp

Esquema 1 Modelo general de procesos

Fuente Modelo de TdR para la Evaluacioacuten de Procesos Secretariacutea de Hacienda y Creacutedito Puacuteblico

A continuacioacuten se describe cada uno de los procesos que componen al modelo anterior

Planeacioacuten proceso en el que se determinan o definen el problema o necesidad aacuterbol de

problemas y objetivos poblacioacuten o aacuterea de enfoque potencial y objetivo objetivos

indicadores y metas de la MIR estrategia de cobertura plan estrateacutegico entre otros puntos

asiacute como los recursos financieros y humanos necesarios que requiere el Pp para lograr sus

objetivos En el proceso de planeacioacuten se determinan las directrices en el disentildeo e

implementacioacuten del Pp los subprocesos que lo integran son los siguientes planeacioacuten

estrateacutegica programacioacuten y presupuesto actualizacioacuten de la MIR actualizacioacuten de

normativa

PAE 2017 22

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Comunicacioacuten interna y externa proceso en el que se informan diversas caracteriacutesticas y

objetivos del Pp tanto a los actores involucrados en su funcionamiento y operacioacuten (interna)

como a su poblacioacuten o aacuterea de enfoque objetivo (externa)

Seleccioacuten de destinatarios proceso en el que se determina quieacutenes recibiraacuten los

componentes o entregables de un Pp en funcioacuten de su poblacioacuten o aacuterea de enfoque objetivo

Produccioacuten de entregables proceso en el que se elaboran los entregables o realizan los

componentes del Pp (recursos financieros o humanos apoyos bienes servicios

regulaciones documentos teacutecnicos o de planeacioacuten etc) conforme a sus documentos

normativos

Entrega proceso en el que se realiza la entrega de lo producido o generado por el Pp

(componentes o entregables) a los destinatarios o beneficiarios

Seguimiento a destinatarios actividades y mecanismos que permiten al Pp conocer coacutemo

son utilizados o aprovechados sus componentes o entregables (por sus destinatarios o

beneficiarios) para que entre otras funciones la UR del Pp identifique si se estaacute cumpliendo

con los objetivos Por ejemplo en este proceso se incluyen las actividades que un Pp

implementa para conocer el grado de satisfaccioacuten de sus destinatarios o beneficiarios

Control actividades y mecanismos implementados entre los operadores del Pp para verificar

que los diferentes procedimientos procesos y subprocesos se esteacuten ejecutando conforme a

lo planeado (control interno)

Monitoreo proceso coordinado por una unidad administrativa ajena a la operacioacuten del Pp

a traveacutes del cual se recaba registra y valida la informacioacuten sobre el avance de las metas de

los indicadores de la MIR asiacute como el seguimiento a los resultados de indicadores

adicionales a los de la MIR en caso de que se cuente con un sistema de monitoreo de gestioacuten

Los subprocesos que lo integran son los siguientes acopio de la informacioacuten para el reporte

de avances validacioacuten de informacioacuten y registro de avances primordialmente

Evaluacioacuten externa proceso coordinado por una unidad administrativa ajena a la operacioacuten

del Pp mediante el cual se define la agenda de evaluacioacuten externa del Pp se definen las

metodologiacuteas o los teacuterminos de referencia se contratan las evaluaciones externas (de

cualquier tipo) se recaba la informacioacuten que seraacute entregada a los equipos evaluadores se

realiza el seguimiento durante el desarrollo de las evaluaciones externas se aprueban los

PAE 2017 23

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

informes finales de las evaluaciones externas se notifica a las instancias correspondientes

sobre la conclusioacuten de las evaluaciones externas y se definen y realiza el seguimiento de los

Aspectos Susceptibles de Mejora (ASM)

A partir de los procesos definidos en el modelo anterior la instancia evaluadora deberaacute realizar una

equivalencia de los procesos subprocesos o macroprocesos identificados respecto a los definidos

en el modelo de acuerdo con el Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesosrdquo Cabe

mencionar que los procesos definidos en el modelo no son limitativos por lo que si la instancia

evaluadora identifica procesos subprocesos o macroprocesos adicionales deberaacute incluirlos

Disentildeo metodoloacutegico del trabajo de campo

A partir del contexto en que opera el Pp y el alcance y enfoque metodoloacutegico de la evaluacioacuten de

procesos la instancia evaluadora deberaacute desarrollar una propuesta de estrategia y plan de trabajo

de campo a seguir para la realizacioacuten de la evaluacioacuten asimismo deberaacute incluir un cronograma

detallado de actividades

La estrategia de trabajo de campo disentildeada por la instancia evaluadora deberaacute ser entregada a la

DEV para que en conjunto con la UR del Pp sea validada antes de su implementacioacuten Dicha

estrategia deberaacute contener al menos los siguientes elementos

Justificacioacuten de las teacutecnicas de investigacioacuten a utilizar

Muestra y los criterios utilizados para su seleccioacuten

Listado de los actores a entrevistar

Instrumentos de levantamiento de informacioacuten que se aplicaraacuten y

Cronograma con las actividades a desarrollar

La instancia evaluadora iniciaraacute las actividades del trabajo de campo de manera conjunta y una vez

recibido el visto bueno de la DEV

El disentildeo de la muestra y de los instrumentos para el levantamiento de informacioacuten en campo

deberaacute considerar a la totalidad de los actores que intervienen en la ejecucioacuten de los procesos y

subprocesos o macroprocesos que integran la operacioacuten o gestioacuten del Pp asiacute como a los

destinatarios o beneficiarios de los componentes o entregables del Pp independientemente de su

ubicacioacuten geograacutefica

Algunos criterios que puede utilizar la instancia evaluadora para definir una muestra que considere

la variabilidad de la operacioacuten en los diferentes contextos en que opera el Pp son los siguientes

PAE 2017 24

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

a) El desempentildeo operativo del Pp entre municipios regionalizacioacuten geograacutefica instituciones

puacuteblicas o privadas u otros aspectos que suponen una accioacuten diferenciada de los procesos

(cuando aplique)

b) Volumen de la operacioacuten del Pp

c) Esquemas normativos del Pp y el ejercicio presupuestal en los municipios instituciones

puacuteblicas o privadas u otros aspectos que suponen una accioacuten diferenciada de los procesos

en las que opera el Pp (cuando aplique) y

d) Formas de interaccioacuten del Pp con otros niveles u oacuterdenes de gobierno (cuando aplique)

Los criterios anteriores no son limitativos por lo que la instancia evaluadora podraacute proponer criterios

adicionales que considere pertinentes para la definicioacuten de la muestra para el trabajo de campo

En el disentildeo muestral la instancia evaluadora deberaacute sentildealar los funcionarios del Pp o destinatarios

a los que se les aplicaraacuten los instrumentos de levantamiento de informacioacuten con los que se realizaraacute

el trabajo de campo asiacute como la ubicacioacuten geograacutefica de los mismos

Instrumentos de levantamiento de informacioacuten

La instancia evaluadora deberaacute disentildear los instrumentos que utilizaraacute para el levantamiento de

informacioacuten durante el trabajo de campo como son (por ejemplo) los cuestionarios por tipo de

funcionario a entrevistar para el caso de entrevistas semiestructuradas los guiones a utilizar en la

realizacioacuten de grupos focales los cuestionarios de aplicacioacuten electroacutenica las guiacuteas respectivas entre

otros Para lo anterior deberaacute considerar los siguientes temas guiacutea y preguntas de referencia

Planeacioacuten (planeacioacuten estrateacutegica programacioacuten y presupuesto)

iquestQueacute se entiende por planeacioacuten estrateacutegica para los operadores del Pp

iquestCuaacuteles son las actividades o acciones de planeacioacuten estrateacutegica del Pp que se realizan

iquestLa planeacioacuten estrateacutegica es el resultado de un ejercicio institucionalizado que involucra a

los actores clave de la gestioacuten del Pp

iquestExiste un documento resultado de la planeacioacuten estrateacutegica iquestEs claro difundido y

accesible iquestEn queacute medida es utilizado para guiar la operacioacuten del Pp

iquestLa planeacioacuten estrateacutegica estaacute vinculada con el cumplimiento entrega o generacioacuten de los

componentes o entregables del Pp

iquestLa planeacioacuten estrateacutegica establece indicadores para medir los avances en las metas

establecidas iquestLas metas son factibles y estaacuten orientadas a impulsar el desempentildeo del Pp

PAE 2017 25

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

iquestQueacute se entiende por planeacioacuten operativa y cuaacuteles son las diferencias con la planeacioacuten

estrateacutegica

Comunicacioacuten interna y externa del Pp (las preguntas que apliquen)

iquestQueacute actores intervienen en la comunicacioacuten del Pp

iquestExiste una estrategia de comunicacioacuten del Pp documentada En caso afirmativo describirla

iquestLa estrategia de comunicacioacuten del Pp (documentada o no) es adecuada

iquestLos medios utilizados el lenguaje y el contenido de los mensajes son pertinentes en funcioacuten

del puacuteblico al que van dirigidos

Solicitud de los componentes o entregables del Pp (las preguntas que apliquen)

iquestExiste un proceso claro imparcial y expliacutecito por medio del cual la poblacioacuten o aacuterea de

enfoque potencial puede solicitar los componentes o entregables que otorga el Pp

iquestLos requisitos para solicitar los componentes o entregables del Pp se presentan de manera

clara y completa

iquestLos puntos de recepcioacuten de solicitudes son accesibles y suficientes (cuando aplique)

iquestExisten mecanismos estandarizados para recibir y revisar la documentacioacuten entregada asiacute

como registrar y dar traacutemite a las solicitudes (cuando aplique)

iquestSon adecuados estos mecanismos (cuando aplique) En caso de que el Pp que apoye la

realizacioacuten de proyectos iquestse brinda asesoriacutea para la presentacioacuten de los mismos de ser asiacute

iquestes pertinente esta asesoriacutea

iquestEl proceso de solicitud de los componentes o entregables que otorga el Pp se encuentra

automatizado total o parcialmente

Para esta pregunta considerar los estados de digitalizacioacuten utilizados por la Comisioacuten Intersecretarial

para el Desarrollo del Gobierno electroacutenico seguacuten una adaptacioacuten realizada a la clasificacioacuten que

hace la ONU

Estado de digitalizacioacuten 1 traacutemites y servicios que se encuentran en estado informativo

Estado de digitalizacioacuten 2 traacutemites y servicios que cuentan con interfaces de comunicacioacuten

unidireccional

Estado de digitalizacioacuten 3 traacutemites y servicios que permiten realizar transacciones y

Estado de digitalizacioacuten 4 traacutemites y servicios que el usuario puede ejecutar de principio a

fin por medio de dispositivos digitales

PAE 2017 26

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para mayor informacioacuten referirse a ldquoFigure A4 The four stages of online service developmentrdquo en

los siguientes documentos

Lineamientos relativos a la digitalizacioacuten estandarizada de traacutemites y servicios con apego en

la Estrategia Digital Nacional

httpwwwgobmxcmsuploadsattachmentfile67232ti_1_pgcm_bases_lineam_tyspdf

United Nations E-Government Survey 2014 (paacutegina 195)

httpspublicadministrationunorgegovkbportalsegovkbdocumentsun2014-surveye-

gov_complete_survey-2014pdf

Seleccioacuten de destinatarios (cuando aplique)

iquestExiste una metodologiacutea o meacutetodo para la seleccioacuten de destinatarios o beneficiarios de los

componentes o entregables del Pp iquestLa metodologiacutea utilizada cuenta con criterios de

seleccioacuten y elegibilidad claros estandarizados y sistematizados

iquestLa seleccioacuten de destinatarios o beneficiarios de los componentes o entregables del Pp es un

proceso transparente e imparcial iquestEl resultado de la seleccioacuten es puacuteblico (cuando aplique)

iquestExiste informacioacuten en una base de datos que permita conocer quieacutenes o queacute instancias

reciben los componentes o entregables del Pp iquestQueacute informacioacuten integra esta base de datos

iquestExisten mecanismos para validar y actualizar esta base de datos iquestEstos mecanismos son

pertinentes

Produccioacuten de componentes o entregables

iquestSe cuenta con los insumos suficientes para generar el volumen de componentes o

entregables que permitan al Pp atender a su poblacioacuten o aacuterea de enfoque objetivo

iquestEl Pp tiene mecanismos para estimar la produccioacuten o generacioacuten necesaria de componentes

o entregables de acuerdo con la posible demanda o requerimientos de su poblacioacuten o aacuterea

de enfoque objetivo iquestEs adecuado este mecanismo

iquestExisten mecanismos de control de calidad para la generacioacuten de los componentes o

entregables del Pp iquestEstos mecanismos son pertinentes

iquestLas actividades de generacioacuten de componentes o entregables que otorga el Pp estaacuten

estandarizadas es decir son ejecutadas de manera homogeacutenea por todas las instancias

involucradas

PAE 2017 27

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Entrega

iquestLos componentes o entregables del Pp son proporcionados conforme a las especificaciones

y de manera oportuna a los destinatarios

iquestExisten especificaciones (programas o planes de trabajo) sobre la forma en que se deben

trasladar los componentes o entregables para (por ejemplo) asegurar su adecuada recepcioacuten

en el punto de destino iquestSon adecuadas estas especificaciones respecto a normas o

lineamientos existentes (cuando aplique)

iquestLa logiacutestica de distribucioacuten se actualiza (cuando aplique) iquestExiste un periodo para dicha

actualizacioacuten iquestEn el disentildeo y actualizacioacuten de la logiacutestica se toman en cuenta los factores

geograacuteficos y climatoloacutegicos en cada regioacuten donde opera el Pp (cuando aplique)

iquestLos puntos de entrega de los componentes o entregables son cercanos a los beneficiarios

o aacuterea de enfoque a atender y son de faacutecil acceso iquestSe considera que son suficientes iquestPor

queacute

Control (las preguntas que apliquen)

iquestEl Pp cuenta con los mecanismos para verificar que los componentes o entregables se

otorguen de acuerdo con lo establecido en la normativa especiacutefica y lleguen a la poblacioacuten

o aacuterea de enfoque que deba ser beneficiada iquestEstos mecanismos son adecuados

iquestExiste de manera sistematizada un documento que deacute cuenta de los resultados de

supervisioacuten y entrega de componentes o entregables iquestEste documento es adecuado iquestLos

resultados se utilizan para implementar mejoras en la operacioacuten del Pp

iquestExisten procedimientos estandarizados que verifiquen el cumplimiento de la

corresponsabilidad u obligatoriedad por parte de los beneficiarios o destinatarios de los

componentes o entregables del Pp (cuando aplique)

Seguimiento a destinatarios

iquestEl Pp tiene mecanismos para verificar el procedimiento de seguimiento a los destinatarios o

beneficiarios que permitan identificar si los componentes o entregables generados son

utilizados de acuerdo con lo establecido iquestCoacutemo se implementa el mecanismo iquestEste

mecanismo es adecuado

iquestExisten procedimientos estandarizados que permitan verificar el cumplimiento de la

corresponsabilidad u obligatoriedad por parte del destinatario o beneficiario (cuando

aplique)

PAE 2017 28

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

En caso de que los componentes o entregables involucren la ejecucioacuten de obra o de

infraestructura iquestel Pp cuenta con un mecanismo de seguimiento o supervisioacuten que permita

identificar si se realizaron acorde a la normativa aplicable iquestEl seguimiento o supervisioacuten

considera plazos para la revisioacuten de las condiciones de la obra o la infraestructura despueacutes

de terminada la obra

iquestEl Pp tiene mecanismos para identificar si se cumple con su Propoacutesito iquestSon suficientes y

pertinentes estos mecanismos

iquestExisten mecanismos para conocer la satisfaccioacuten del destinatario o beneficiario de los

componentes o entregables del Pp respecto de los componentes que ofrece el Pp iquestSon

adecuados estos mecanismos iquestSu operacioacuten permite una aplicacioacuten imparcial y objetiva

iquestExiste evidencia para afirmar que las quejas y sugerencias que brindan los destinatarios o

beneficiarios de los componentes o entregables del Pp son utilizadas para la mejora continua

del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

En esta seccioacuten se deberaacute realizar la medicioacuten de los atributos de eficacia oportunidad suficiencia

y pertinencia de los procesos y subprocesos o macroprocesos definidos en el mapa de procesos del

Pp A continuacioacuten se definen los atributos en el marco de la evaluacioacuten de procesos

Eficacia un proceso es eficaz en la medida en que cumple con sus metas

Oportunidad un proceso es oportuno en la medida en que otorga sus productos

(componentes o entregables) o resultados en un periodo de tiempo determinado o

adecuado para el logro de sus objetivos

Suficiencia un proceso es suficiente en la medida en que produce sus resultados de forma

completa o adecuada para el logro de sus objetivos

Pertinencia un proceso es pertinente si sus actividades y productos son adecuados para

lograr tanto sus metas especiacuteficas como sus objetivos es decir si contribuyen al

mejoramiento de la gestioacuten del Pp4

4 Las actividades son adecuadas si estaacuten en funcioacuten del logro del objetivo de cada proceso Por ejemplo si se verifica que el formato de los mensajes a difundir cumpla con las caracteriacutesticas necesarias para llegar a la poblacioacuten o aacuterea de enfoque objetivo como seriacutea una mensaje de audio en la lengua indiacutegena de la localidad donde se encuentran los posibles destinatarios o beneficiarios o bien como seriacutea un mensaje dirigido a personal operativo del Pp cuyo nivel de estudios promedio pudiera complicar la comprensioacuten de lenguaje teacutecnico utilizado

PAE 2017 29

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para la medicioacuten de los atributos de los procesos y subprocesos o macroprocesos del Pp deberaacute

realizarse una revisioacuten documental (normativa aplicable MIR evaluaciones externas sistemas de

informacioacuten y registros administrativos entre otros) misma que deberaacute complementarse con el

trabajo de campo con el objetivo de identificar disentildear y calcular indicadores relacionados con

dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de informacioacuten empleadas

La informacioacuten obtenida de estos indicadores deberaacute vaciarse en fichas propuestas por la instancia

evaluadora presentadas como en el Anexo 6 ldquoFichas de indicadores de atributos de los procesos del

Pprdquo (formato libre) Estas fichas deberaacuten considerar la medicioacuten de los atributos de eficacia

suficiencia oportunidad y pertinencia correspondientes a cada proceso y subproceso o

macroproceso

Valoracioacuten de los procesos y subprocesos de la operacioacuten del Pp

Deberaacute contener una siacutentesis de los resultados encontrados en la Evaluacioacuten de Procesos del Pp

resaltando los hallazgos maacutes relevantes que se hayan detectado y que pudiesen transformarse en

ASM

La instancia evaluadora deberaacute calcular una valoracioacuten global cuantitativa sobre la operacioacuten y la

ejecucioacuten de los procesos y subprocesos o macroprocesos del Pp a partir del siguiente esquema de

puntuacioacuten5

Eficacia

- Todos los procesos (o macroprocesos) son eficaces = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es eficaz = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es eficaz = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es eficaz = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es eficaz = 1 punto

- Ninguno de los procesos (o macroprocesos) es eficaz = 0 puntos

Oportunidad

- Todos los procesos (o macroprocesos) son oportunos = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es oportuno = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es oportuno = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es oportuno = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es oportuno = 1 punto

5 La valoracioacuten cuantitativa deberaacute estar sustentada y por tanto ser consistente con lo valorado por la instancia evaluadora en el apartado de ldquoMedicioacuten de atributos de los procesos y subprocesosrdquo

PAE 2017 30

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

- Ninguno de los procesos (o macroprocesos) es oportuno = 0 puntos

Suficiencia

- Todos los procesos (o macroprocesos) son suficientes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es suficiente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es suficiente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es suficiente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es suficiente = 1 punto

- Ninguno de los procesos (o macroprocesos) es suficiente = 0 puntos

Pertinencia

- Todos los procesos (o macroprocesos) son pertinentes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es pertinente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es pertinente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es pertinente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es pertinente = 1 punto

- Ninguno de los procesos (o macroprocesos) es pertinente = 0 puntos

A partir de los puntajes asignados en los cuatro atributos anteriores esta valoracioacuten cuantitativa

global debe considerar el total de puntos posibles de obtener (5 x 4 = 20 puntos) y los puntos

obtenidos en la Evaluacioacuten de Procesos Pp (lsquoyrsquo puntos) de modo que se indique el porcentaje de

puntos obtenidos del total de puntos posibles [(lsquoyrsquo20) x 100] = valoracioacuten cuantitativa global de la

operacioacuten del Pp

La instancia evaluadora deberaacute utilizar el Anexo 9 ldquoValoracioacuten global cuantitativardquo para documentar

argumentar y sustentar cada una de las valoraciones cuantitativas sobre la operacioacuten y la ejecucioacuten

de los procesos (o macroprocesos) del Pp

Adicionalmente en este apartado se deberaacuten integrar las recomendaciones y conclusiones que se

consideren maacutes relevantes de los procesos y subprocesos o macroprocesos del Pp las cuales deben

formularse con base en los hallazgos del trabajo de campo y de gabinete El objetivo final de las

recomendaciones es proveer informacioacuten valiosa a los operadores del Pp para realizar adecuaciones

en la ejecucioacuten de los procesos y subprocesos o macroprocesos de modo que se potencie la

consecucioacuten de resultados del Pp

Las recomendaciones que se formulen como resultado de la Evaluacioacuten de Procesos del Pp deberaacuten

tener las siguientes caracteriacutesticas

Derivarse de los hallazgos de la evaluacioacuten

PAE 2017 31

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Ser concretas y factibles

Incluir un proyecto de implementacioacuten que considere los siguientes elementos

- Breve anaacutelisis de la viabilidad o factibilidad de la implementacioacuten

- Principales responsables de la implementacioacuten

- Anaacutelisis de los efectos potenciales que puede implicar la implementacioacuten tanto en la

operacioacuten del Pp como en el logro de sus objetivos

- La comparacioacuten entre la situacioacuten actual y el resultado que se espera obtener con la

implementacioacuten de la recomendacioacuten

Estar categorizadas en dos liacuteneas de accioacuten estrateacutegicas

- Consolidacioacuten

- Reingenieriacutea de procesos o subprocesos

Al respecto la instancia evaluadora debe entender por consolidacioacuten aquellas recomendaciones que

estaacuten dirigidas a perfeccionar determinados aspectos de la operacioacuten como seriacutean algunas acciones

procedimientos o estrategias del Pp asiacute como iniciativas para el fortalecimiento de los sistemas

automatizados infraestructura entre otros

Por reingenieriacutea de procesos o subprocesos se entenderaacuten aquellas recomendaciones que apuntan

a una transformacioacuten o modificacioacuten profunda o sustancial de uno o varios de los procesos y

subprocesos del Pp Para ello se deberaacute llenar el Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de

Procesos del Pprdquo y que a su vez deben derivar en acciones de consolidacioacuten para la implementacioacuten

de los procesos transformados

Adicionalmente y de conformidad con el alcance de la Evaluacioacuten de Procesos del Pp se deberaacute

presentar una propuesta para crear o fortalecer el sistema de monitoreo de gestioacuten del Pp con

indicadores a nivel de procesos y subprocesos o macroprocesos

Asimismo a partir de todo el anaacutelisis y valoraciones realizadas se deberaacute emitir un pronunciamiento

acerca de la percepcioacuten de eficiencia que la instancia evaluadora haya tenido sobre la ejecucioacuten de

los procesos y subprocesos o macroprocesos del Pp

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible o si no hipoteacuteticos en un anexo de formato libre Anexo 10 ldquoSistema de

monitoreo e indicadores de gestioacuten del Pprdquo

PAE 2017 32

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Bitaacutecora de trabajo de campo y bases de datos

La instancia evaluadora deberaacute entregar una bitaacutecora de trabajo de campo que destaque de forma

sinteacutetica entre otros puntos las principales actividades y situaciones a las que se enfrentoacute y que

podriacutean afectar los resultados de la Evaluacioacuten de Procesos del Pp

Asimismo deberaacute entregar las bases de datos generadas a partir de la aplicacioacuten de los instrumentos

de recoleccioacuten de informacioacuten y de la recopilacioacuten de informacioacuten en el trabajo de campo Las bases

de datos deberaacuten entregarse en formatos compatibles con Excel debiendo mantener la

confidencialidad de los entrevistados pero sin alterar la informacioacuten proporcionada por estos En las

bases de datos debe estar sistematizada toda la informacioacuten recabada a partir de la aplicacioacuten de

los instrumentos de levantamiento de informacioacuten y deberaacute sustentar el anaacutelisis las valoraciones los

hallazgos y las conclusiones de la evaluacioacuten

PAE 2017 33

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Contenido del informe

Contenido miacutenimo del informe final de la evaluacioacuten

Derivado del contenido generado en las secciones anteriores deberaacuten elaborarse los siguientes

apartados en el informe final de la Evaluacioacuten de Procesos del Pp

i Introduccioacuten

ii Resumen Ejecutivo

iii Marco Legal

iv Datos Generales del Programa Presupuestario (Pp)

v Criterios Teacutecnicos para la Evaluacioacuten del Programa Presupuestario correspondiente

vi Apartados de la evaluacioacuten

Seccioacuten 1 Disentildeo

Diagnoacutestico del programa puacuteblico

Matriz de Indicadores para Resultados (MIR)

Seccioacuten 2 Procesos

Pertinencia de los proceso

Diagnoacutestico general de los procesos y subprocesos del Pp

- Contexto en que opera el Pp

- Diagnoacutestico inicial de los procesos y subprocesos

Descripcioacuten y valoracioacuten de los procesos y subprocesos del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

vii Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

viii Valoracioacuten final del Pp

ix Hallazgos

x Recomendaciones clasificadas por apartado

xi Conclusiones

xii Bibliografiacutea

xiii Anexos

Anexo 1 Descripcioacuten General del Programa

Anexo 2 Metodologiacutea para la cuantificacioacuten de las poblaciones potencial y objetivo

(Formato Libre)

Anexo 3 Evolucioacuten de la Cobertura

Anexo 4 Propuesta de mejora de la Matriz de Indicadores para Resultados

Anexo 5 Ficha de identificacioacuten y equivalencia de procesos del Pp

PAE 2017 34

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 Fichas de indicadores de atributos de los procesos del Pp (Formato libre)

Anexo 7 Diagramas de flujo de la operacioacuten del Pp

Anexo 8 Propuesta de modificacioacuten a los documentos normativos o institucionales

del Pp

Anexo 9 Valoracioacuten global cuantitativardquo

Anexo 10 Sistema de monitoreo e indicadores de gestioacuten del Pp (Formato libre)

Anexo 11 Recomendaciones de la Evaluacioacuten de Procesos del Pp

Anexo 12 Principales Fortalezas Retos y Recomendaciones

Anexo 13 Ficha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacuten

En el Resumen Ejecutivo asimismo se describiraacuten los principales hallazgos y recomendaciones del

evaluador externo

Para el desarrollo de los apartados antes referidos deberaacute atender las indicaciones que se desarrollan

en las siguientes secciones

Hallazgos y resultados Pp por Seccioacuten

Se debe realizar una valoracioacuten general del programa por seccioacuten utilizando las respuestas que

integran cada uno de los apartados En esta valoracioacuten integral se deberaacute sentildealar en queacute medida la

gestioacuten operativa conduce al logro de los objetivos del Pp

Asimismo se deben sentildealar las aacutereas de mejora las buenas praacutecticas y las fortalezas detectadas en

la operacioacuten del Pp y a partir de ello la instancia evaluadora emitiraacute recomendaciones de mejora

sobre aspectos especiacuteficos de cada proceso y subproceso o macroproceso del Pp Adicionalmente

se deberaacuten identificar los problemas o limitantes tanto normativos como operativos (ldquocuellos de

botellardquo) de coordinacioacuten entre unidades administrativas y otros que hubiese en los procesos y

subprocesos o macroprocesos del Pp entendieacutendose como aquellas praacutecticas procedimientos

actividades o traacutemites que obstaculizan la operacioacuten del Pp

En este sentido se deberaacuten identificar las situaciones en las que la normativa genere complicaciones

en la gestioacuten o ineficacia en el cumplimiento de los objetivos del Pp para lo cual se deberaacute presentar

(por cada situacioacuten identificada) una propuesta de modificacioacuten a la normativa aplicable al Pp

considerando las restricciones praacutecticas que existan para su implementacioacuten asiacute como los efectos

PAE 2017 35

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

potenciales de ser implementada Los resultados de este anaacutelisis deberaacuten describirse en el Anexo 7

ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales del Pprdquo

Para la identificacioacuten y descripcioacuten de los ldquocuellos de botellardquo buenas praacutecticas y fortalezas del Pp

se consideraraacute la informacioacuten derivada del anaacutelisis de la operacioacuten del Pp asiacute como los puntos de

vista de los principales actores que intervienen en ella Este anaacutelisis deberaacute contener las causas y las

consecuencias de los ldquocuellos de botellardquo detectados sus caracteriacutesticas y naturaleza (si son

normativas o estrictamente operativas) de igual manera se deberaacute desarrollar un anaacutelisis de las

buenas praacutecticas identificadas

Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

Se debe integrar en una sola tabla las fortalezas oportunidades debilidades y amenazas

especificadas por cada apartado de la evaluacioacuten y reportarlas en el Anexo 11 ldquoPrincipales Fortalezas

Retos y Recomendacionesrdquo en el que se deben incluir las fortalezas yo oportunidades las

debilidades yo amenazas y las recomendaciones por apartado de la evaluacioacuten

PAE 2017 36

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexos

Anexo 1 ldquoDescripcioacuten General del Programardquo

El Anexo tiene formato libre sin embargo debe contener una breve descripcioacuten de las caracteriacutesticas

maacutes relevantes del Pp en un maacuteximo de dos cuartillas Dicha descripcioacuten debe considerar los

siguientes aspectos

1 Identificacioacuten del programa

11 Nombre

12 Clave de programa

13 Dependencia yo Entidad coordinadora ejecutora

14 Antildeo de inicio de operacioacuten

2 Problema o necesidad que el Pp pretende atender atenuar o resolver

3 La contribucioacuten del Pp a las Metas y objetivos estatales a los que se vincula

4 Descripcioacuten de los objetivos del Pp asiacute como de los bienes yo servicios que ofrece

(componentes)

5 Identificacioacuten y cuantificacioacuten de la poblacioacuten o aacuterea de enfoque potencial y

objetivo

6 Presupuesto aprobado para el ejercicio fiscal en curso

7 Metas de los indicadores de Fin Propoacutesito y Componentes asiacute como los de nivel

actividad que se consideren relevantes y

8 Resumen de la valoracioacuten de la pertinencia del disentildeo del Pp respecto a la atencioacuten

del problema o necesidad

Anexo 2 ldquoMetodologiacutea para la cuantificacioacuten de la poblacioacuten o aacuterea de enfoque

potencial y objetivordquo

El Anexo tiene formato libre sin embargo se debe incluir la siguiente informacioacuten

Definicioacuten de la poblacioacuten o aacuterea de enfoque potencial objetivo y atendida

Cuantificacioacuten de la poblacioacuten potencial objetiva y atendida

Hallazgos sobre el procedimiento llevado a cabo para definir y cuantificar la poblacioacuten o

aacuterea de enfoque potencial objetivo y atendida

Recomendaciones

Propuesta orientada hacia la mejora

PAE 2017 37

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 3 ldquoEvolucioacuten de la Coberturardquo

Nombre del

Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten

Antildeo de la Evaluacioacuten

Tipo de Poblacioacuten

Unidad

de

Medida

2012 2013 2014 2015 2016

P Potencial

P Objetivo

P Atendida

119927119912 times 120783120782120782

119927119926

PAE 2017 38

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 4 ldquoPropuesta de mejora de la Matriz de Indicadores para Resultadosrdquo

Derivado del anaacutelisis y valoracioacuten de la pregunta de investigacioacuten nuacutemero 3 iquestLa estructura de

objetivos planteada por el programa mantiene loacutegica y correspondencia causal con el problema

planteado en el diagnoacutestico se realizaraacute una propuesta de mejora de MIR

Fin

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Propoacutesito

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Componente 1

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

PAE 2017 39

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Componente 2 hellip

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 40

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesos del Pprdquo

Para la identificacioacuten y clasificacioacuten de los procesos del Pp se sugieren los siguientes pasos

1 Listar los procesos identificados

Comparar los procesos identificados del Pp con aquellos correspondientes al Modelo general de

procesos Colocar en el rengloacuten correspondiente el nombre de cada proceso del Pp identificado

como equivalente

2 Colocar al final de la lista aquellos procesos del Pp que no sean equivalentes con el Modelo

general de procesos

Modelo general de

procesos

Nuacutemero

de

secuencia

Procesos o subprocesos del Pp identificados por el

evaluador

(Nombre y breve descripcioacuten)

Planeacioacuten Ejemplo (Ej) Planeacioacuten Estrateacutegica

Ej Programacioacuten

Ej Presupuestacioacuten

Comunicacioacuten interna y

externa

Ej Difusioacuten Federal

Ej Difusioacuten Local

Seleccioacuten de

destinatarios

Ej Recepcioacuten de solicitudes de becas

Ej Seleccioacuten de becarios

Produccioacuten de

entregables

Entrega

Control

Seguimiento Ej Seguimiento fiacutesico y supervisioacuten en campo

Evaluacioacuten externa Ej Publicacioacuten y lectura del PAE

Ej Definicioacuten de TdR

Ej Contratacioacuten

Ej Ejecucioacuten de la evaluacioacuten externa

Monitoreo Ej Registro de avances de indicadores

Ej Revisioacuten de registros

Ej Validacioacuten de registros e integracioacuten de informes

PAE 2017 41

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Procesos identificados por el evaluador que no coinciden con el Modelo general de procesos

PAE 2017 42

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 ldquoFichas de indicadores de atributos de los procesos del Pp (formato libre)rdquo

Para la construccioacuten de este anexo deberaacute realizarse una revisioacuten documental (normativa aplicable

MIR evaluaciones externas sistemas de informacioacuten y registros administrativos entre otros) misma

que deberaacute complementarse con el trabajo de campo con el objetivo de identificar disentildear y calcular

indicadores relacionados con dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de

informacioacuten empleadas

Ademaacutes de considerar la medicioacuten de los atributos de eficacia suficiencia oportunidad y pertinencia

de cada proceso y subproceso o macroproceso

PAE 2017 43

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 7 ldquoDiagramas de flujo de la operacioacuten del Pprdquo

Para la elaboracioacuten de los diagramas de flujo deberaacute utilizarse la notacioacuten empleada en el

documento ldquoGuiacutea para la Optimizacioacuten Estandarizacioacuten y Mejora Continua de Procesosrdquo publicada

por la SFP en la direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Para el Diagrama de Alto Nivel (Diagrama PEPSU)

Ejemplo ilustrativo

PAE 2017 44

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para el Diagrama de Flujo

PAE 2017 45

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

PAE 2017 46

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 8 ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales

del Pprdquo

Tipo de

norma-

tiva

Dice

Problema

generado

(causas y

consecuencias)

Se

recomienda

decir

Efecto esperado de

aplicar la

recomendacioacuten de

cambio

Restricciones praacutecticas

que puedan existir para

su implementacioacuten

PAE 2017 47

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 9 ldquoValoracioacuten global cuantitativa ldquo

Seccioacuten 1 Disentildeo

Disentildeo Valoracioacuten Argumento o justificacioacuten

Porcentaje del

Disentildeo del Pp

(Suma de valoracioacuten alcanzada por pregunta de la seccioacuten 1 Total maacuteximo de la

valoracioacuten de todas las preguntas de la seccioacuten 1 ) x 100

Seccioacuten 2 Procesos

Proceso Eficacia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

eficaces

(Total de procesos eficaces Total de procesos del Pp) x 100

Proceso Oportunidad

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

oportunos

(Total de procesos oportunos Total de procesos del Pp) x 100

Proceso Suficiencia

(SiacuteNo) Argumento o justificacioacuten

PAE 2017 48

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Porcentaje de

procesos

suficientes

(Total de procesos suficientes Total de procesos del Pp) x 100

Proceso Pertinencia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

pertinentes

(Total de procesos pertinentes Total de procesos del Pp) x 100

NOTA Los argumentos y justificaciones del evaluador deberaacuten considerar el anaacutelisis y valoraciones de

los subprocesos de cada proceso de modo que haya consistencia entre estos elementos Asimismo el

evaluador deberaacute expresar los resultados de la valoracioacuten cuantitativa en una graacutefica tipo radial

PAE 2017 49

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 10 ldquoSistema de monitoreo e indicadores de gestioacuten del Pp (formato libre)rdquo

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible

Nombre del Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten De Procesos

Antildeo de la Evaluacioacuten 2017

Fin Justificacioacuten Propoacutesito Justificacioacuten Componente (s) Justificacioacuten

Nombre de

Indicador

Meacutetodo de Caacutelculo

Claro SiacuteNo SiacuteNo SiacuteNo

Relevante SiacuteNo SiacuteNo SiacuteNo

Econoacutemico SiacuteNo SiacuteNo SiacuteNo

Monitoreable SiacuteNo SiacuteNo SiacuteNo

Adecuado SiacuteNo SiacuteNo SiacuteNo

Definicioacuten SiacuteNo SiacuteNo SiacuteNo

Unidad de Medida SiacuteNo SiacuteNo SiacuteNo

Frecuencia de

Medicioacuten

SiacuteNo SiacuteNo SiacuteNo

Liacutenea Base SiacuteNo SiacuteNo SiacuteNo

Metas SiacuteNo SiacuteNo SiacuteNo

Comportamiento

del Indicador

SiacuteNo SiacuteNo SiacuteNo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 50

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de Procesos del Pprdquo

En este Anexo la instancia evaluadora debe valorar si la recomendacioacuten implica una consolidacioacuten o

una reingenieriacutea del proceso

A) Consolidacioacuten

Proceso Recomendaci

oacuten

Breve

anaacutelisis de

viabilidad de

la

implementa-

cioacuten

Principales

responsables

de la

implementaci

oacuten

Situacioacuten

actual

Efectos

potenciales

esperados

Medio de

verifica-

cioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

B) Reingenieriacutea de procesos

Proceso Objetivo

Breve

anaacutelisis de

viabilidad

de la

implemen-

tacioacuten

Principales

responsables

de la

implemen-

tacioacuten

Situa-

cioacuten

actual

Metas y

efectos

potenciale

s

esperados

Elabora-

cioacuten de

flujogram

a del

nuevo

proceso

Medio

de

verifi-

cacioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

NOTA El nivel de priorizacioacuten Alto Medio o Bajo se estimaraacute considerando la mejora en la operacioacuten

del Pp la viabilidad de la implementacioacuten de la recomendacioacuten asiacute como el efecto potencial que esto

pueda tener el alcance del objetivo del Pp

PAE 2017 51

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 12 ldquoPrincipales Fortalezas Retos y Recomendacionesrdquo

Capacidades Internas Factores Externos

Fortalezas

(Cualquier capacidad con la que cuenta la dependencia o

entidad que le permita aprovechar sus recursos para la

obtencioacuten de sus objetivos)

Oportunidades

(Cualquier factor externo fuera del control de la dependencia o

entidad que puede ser aprovechado para la obtencioacuten de sus

objetivos)

Debilidades

(Cualquier limitante Interna de la dependencia o entidad que

puede afectar la obtencioacuten de sus objetivos)

Amenazas

(Cualquier factor externo fuera de control de la dependencia o

entidad que pueda afectar la obtencioacuten de sus objetivos)

PAE 2017 52

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacutenrdquo

El Informe Final de la Evaluacioacuten de Procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten

Superior deberaacuten contener una ficha con los siguientes datos

Ficha Teacutecnica con los datos generales de la evaluacioacuten

Nombre o denominacioacuten de la

evaluacioacuten

[Especificar el nombre de la evaluacioacuten considerando su tipo y ejercicio

evaluado]

Nombre o denominacioacuten del

programa evaluado

[Indicar el nombre del Pp sujeto a evaluacioacuten de acuerdo con lo

establecido en el PEF sentildealando su modalidad y clave]

Unidad Responsable de la operacioacuten

del programa

[Especificar la(s) unidad(es) responsable(s) de la administracioacuten

operacioacuten y ejecucioacuten de los programas subprogramas y proyectos del

Pp evaluado correspondientes a las dependencias y entidades]

Titular de la unidad responsable de la

operacioacuten del programa

[Indicar el nombre del(a) Titular de la Unidad Responsable de la

operacioacuten del Pp]

Antildeo del Programa Anual de

Evaluacioacuten (PAE) en que fue

considerada la evaluacioacuten

[Especificar el ejercicio fiscal al que corresponde el PAE en la que fue

programada la evaluacioacuten]

Antildeo de conclusioacuten y entrega de la

evaluacioacuten

[Indicar el antildeo en que se concluyoacute la evaluacioacuten]

Tipo de evaluacioacuten [Especificar el tipo de evaluacioacuten de acuerdo con los Lineamientos de

evaluacioacuten el nombre de la evaluacioacuten y con lo establecido en el PAE]

Nombre de la instancia evaluadora [Indicar el nombre de la firma consultoriacutea u organizacioacuten que realizoacute la

evaluacioacuten]

Nombre del(a) coordinador(a)

externo(a) de la evaluacioacuten

[Especificar el nombre del(a) responsable de la coordinacioacuten de la

evaluacioacuten dla instancia evaluadora]

Nombre de los(as) principales

colaboradores(as) del(a)

coordinador(a) de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del(a)

coordinador(a) de la evaluacioacuten]

PAE 2017 53

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Unidad Administrativa responsable de

la Coordinacioacuten de la evaluacioacuten

[De acuerdo con lo sentildealado en el PAE especificar la instancia a la que

corresponde la coordinacioacuten de la evaluacioacuten pej Secretariacutea de

Finanzas y Administracioacuten (SFA) asiacute como la unidad administrativa

mediante la cual se ejerce esta funcioacuten p ej Direccioacuten de Evaluacioacuten

de la SFA (DEV)

Nombre del(a) Titular de la unidad

administrativa responsable de

coordinar la evaluacioacuten (Aacuterea de

Evaluacioacuten)

[Especificar el nombre del(a) Titular de la Unidad responsable de dar

seguimiento a la evaluacioacuten que funge como Aacuterea de Evaluacioacuten]

Nombres de los(as) servidores(as)

puacuteblicos(as) adscritos(as) a la unidad

administrativa responsable de

coordinar la evaluacioacuten que

coadyuvaron con la revisioacuten teacutecnica

de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del

titular de la unidad administrativa responsable de dar seguimiento a la

evaluacioacuten respecto de la revisioacuten teacutecnica de la misma]

Forma de contratacioacuten de la instancia

evaluadora

[Indicar el tipo de contratacioacuten dla instancia evaluadora Especificar el

tipo de procedimiento de contratacioacuten de la instancia evaluadora

consistente con los tipos de adjudicacioacuten establecidos en la Ley de

Adquisiciones Arrendamientos y Servicios del Sector Puacuteblico]

Costo total de la evaluacioacuten con IVA

incluido

[Especificar el costo total de la evaluacioacuten incluyendo el IVA (en caso

de que se haya causado) como sigue $XXX IVA incluido]

Asimismo en este anexo se deberaacute incluir una nota metodoloacutegica con la descripcioacuten de las teacutecnicas

y los modelos utilizados por el evaluador externo acompantildeada del disentildeo por muestreo

especificando los supuestos empleados y las principales caracteriacutesticas del tamantildeo y dispersioacuten de

la muestra utilizada

DIRECTORIO

Rauacutel Saacutenchez Kobashi

Secretario de la Secretariacutea de Finanzas y Administracioacuten

Francisco Fidel Teomitzi Saacutenchez

Subsecretario de Planeacioacuten

Arturo Neponuceno Crisoacutestomo

Director de Evaluacioacuten

Rodolfo de la Rosa Cabrera

Subdireccioacuten de Evaluacioacuten de Programas

Sauacutel Federico Oropeza Orea

Jefe del Departamento de Programas Estatales y Municipales

Ana Luz Guzmaacuten Figueroa

Analista del Departamento de Programas Estatales y Municipales

Marco Antonio Saacutenchez Gonzaacutelez

Analista del Departamento de Programas Estatales y Municipales

Page 5: Términos de Referencia para la Evaluación del Desempeño ...evaluacion.puebla.gob.mx/pdf/metodologias/TdR_Est/2017/TdR... · Perfil de la instancia evaluadora ... acuerdo con las

PAE 2017 4

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para la elaboracioacuten del presente documento se tomaron como referencia el Modelo vigente de

Teacuterminos y Referencias (TdR) para la evaluacioacuten de Procesos1 que publica la Secretariacutea de Hacienda

y Creacutedito Puacuteblico (SHCP) asiacute como en el Modelo de Teacuterminos de Referencia para la Evaluacioacuten

Especiacutefica de Disentildeo y Procesos 20152 del Estado de Jalisco

El presente documento cuenta con cuatro apartados para desarrollar la evaluacioacuten de procesos en

primer lugar se muestran los objetivos de la evaluacioacuten de los Pp posteriormente se presentan cinco

preguntas de investigacioacuten que tienen como finalidad analizar el disentildeo la operacioacuten y gestioacuten del

Pp y en las que se establecen los criterios que adoptaraacute la instancia externa para dar respuesta a

dichos reactivos en tercer lugar se expone el contenido que presentaraacute el informe de la evaluacioacuten

y finalmente se presentan los formatos de anexo que se mencionan en las preguntas de

investigacioacuten

Cabe precisar que la evaluacioacuten se divide en dos secciones de anaacutelisis la primera parte consta de

tres preguntas de investigacioacuten en las que se analiza la calidad del disentildeo del Pp el desarrollo de

esta seccioacuten seraacute a partir de un anaacutelisis de gabinete En la segunda seccioacuten se abordan 2 preguntas

de investigacioacuten que permiten realizar un anaacutelisis profundo de los procesos subprocesos o

macroprocesos que integran la operacioacuten general del Pp debieacutendose integrar un Diagnoacutestico

general de los procesos y subprocesos del Pp dentro de los 30 primeros diacuteas una vez firmado el

contrato pues este diagnoacutestico es requisito indispensable para realizar posteriormente el trabajo de

campo necesario para el anaacutelisis y respuesta de la pregunta 5

1 httptransparenciapresupuestariagobmxesPTPevaluaciones en el apartado de descarga de Teacuterminos de

Referencia 2httpsepafjaliscogobmxsitessepafjaliscogobmxfilesmodelos_de_terminos_de_referencia_tdr_2015_0r

ar

Tabla 1 Programas Presupuestarios a Evaluar en materia de Procesos

No Clave ndash Nombre del Programa

1 E004 Educacioacuten Baacutesica

2 E006 Educacioacuten Superio

PAE 2017 5

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Glosario

Para efectos del presente documento se entenderaacute por

Aspectos Susceptibles de Mejora (ASM) Los hallazgos debilidades oportunidades y amenazas

identificadas como resultado de un ejercicio de evaluacioacuten

Cobertura Aacuterea de intervencioacuten del programa con respecto a las caracteriacutesticas socioeconoacutemicas

de la poblacioacuten que atenderaacute el Programa Presupuestario

Consejo Nacional de Evaluacioacuten de la Poliacutetica de Desarrollo Social (CONEVAL) instancia con

autonomiacutea teacutecnica y de gestioacuten con las atribuciones de medir la pobreza y evaluar la poliacutetica de

desarrollo social

Dependencias Las asiacute definidas en el artiacuteculo 17 de la Ley Orgaacutenica de la Administracioacuten Puacuteblica

del Estado de Puebla

Destinatario o beneficiario a las personas instituciones puacuteblicas o privadas agentes sociales o

econoacutemicos o demaacutes instancias que utilizan o reciben los componentes producidos por el Pp

Direccioacuten de Evaluacioacuten (DEV) Direccioacuten coordinadora de los procesos de evaluacioacuten suscrita a la

Subsecretariacutea de Planeacioacuten de la Secretariacutea de Finanzas y Administracioacuten del Estado de Puebla

Evaluacioacuten Anaacutelisis sistemaacutetico y objetivo de las poliacuteticas puacuteblicas los Programas Presupuestarios

(Pp) y el desempentildeo de las instituciones a fin de determinar o probar la pertinencia de los mismos

valorar sus objetivos y metas asiacute como conocer su eficiencia eficacia calidad resultados impacto y

sostenibilidad

Evaluacioacuten Especiacutefica Evaluacioacuten que se enfoca en aspectos especiacuteficos de un programa de

acuerdo con las necesidades de evaluacioacuten o la naturaleza del mismo Se realiza mediante trabajo

de gabinete yo de campo

Indicador Instrumento para medir el logro de los objetivos de los programas y referente para el

seguimiento de los avances y para la evaluacioacuten de los resultados alcanzados

Instancia evaluadora externa Equipo de evaluadores externos constituidos como personas fiacutesicas

o morales adscritos a instituciones puacuteblicas y privadas tanto nacionales como internacionales con

experiencia probada en evaluacioacuten y temas especiacuteficos requeridos para realizar alguno de los tipos

de evaluaciones externas

Liacutenea base Es el valor del indicador que se establece como punto de partida para evaluarlo y darle

seguimiento

PAE 2017 6

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Mapeo mostrar graacuteficamente por medio de siacutembolos cuaacuteles son las actividades que se llevan a

cabo dentro de una organizacioacuten o un proceso de tal manera que todo aquel que lo lea sea capaz

de comprender el alcance yo llevar a cabo el proceso

Matriz de Indicadores para Resultados (MIR) Es la herramienta que permite vincular los distintos

instrumentos para el disentildeo organizacioacuten ejecucioacuten seguimiento evaluacioacuten y mejora de los

programas resultado de un proceso de planeacioacuten realizado con base en la Metodologiacutea de Marco

Loacutegico conforme a lo sentildealado en la Guiacutea para la Construccioacuten de la Matriz de Indicadores para

Resultados

Metas Valor que permite establecer liacutemites o niveles maacuteximos de logro comunica el nivel de

desempentildeo esperado por la organizacioacuten y permite enfocarla hacia la mejora

Metodologiacutea del Marco Loacutegico (MML) Es la herramienta de planeacioacuten estrateacutegica basada en la

estructuracioacuten y solucioacuten de problemas o aacutereas de mejora que permite organizar de manera

sistemaacutetica y loacutegica los objetivos de un programa y sus relaciones de causa y efecto medios y fines

facilitar el proceso de conceptualizacioacuten y disentildeo de programas y fortalecer la vinculacioacuten de la

planeacioacuten con la programacioacuten

Monitoreo Funcioacuten continua que utiliza la recopilacioacuten sistemaacutetica de datos sobre indicadores

predefinidos para proporcionar a los administradores y a las principales partes interesadas de una

intervencioacuten para el desarrollo indicaciones sobre el avance y el logro de los objetivos asiacute como de

la utilizacioacuten de los fondos asignados

Nivel a la escala de medicioacuten de 1 a 4 establecido en los reactivos de respuesta binaria

Objetivos Son los resultados que un programa puacuteblico pretende alcanzar a traveacutes de la ejecucioacuten

de determinadas acciones pueden ser general o especiacuteficos Los objetivos especiacuteficos son un

conjunto de resultados que a su vez permiten lograr un objetivo general Los objetivos generales

reflejan el resultado que se espera lograr en teacuterminos de la atencioacuten de un problema puacuteblico y se

establecen en los distintos instrumentos de planeacioacuten de los que se valen las intervenciones

puacuteblicas

Organismos Autoacutenomos Entidad puacuteblica dotada de personalidad juriacutedica y patrimonio propios

creada por decreto para no depender del Poder Ejecutivo ni de ninguacuten otro Poder (Legislativo o

Judicial) con objeto de actuar con independencia imparcialidad y objetividad en sus funciones Para

efectos presupuestales y contables como ejecutores de gasto estaacuten obligados a cumplir con las

leyes y normatividad vigentes en las materias

Plan Estatal de Desarrollo (PED) Es el instrumento de planeacioacuten en el que se basaraacuten las

decisiones en materia de gasto e inversioacuten para la aplicacioacuten de los recursos puacuteblicos y se constituye

como el documento rector y guiacutea para la gestioacuten gubernamental

PAE 2017 7

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Poblacioacuten Atendida Poblacioacuten o aacuterea que ya fue atendida por el programa presupuestario

Poblacioacuten Objetivo Poblacioacuten o aacuterea que el programa pretende atender en un periodo dado de

tiempo pudiendo corresponder a la totalidad de la poblacioacuten potencial o a una parte de ella

Poblacioacuten Potencial Se refiere al universo global de la poblacioacuten o aacuterea referida

Poliacutetica Puacuteblica Accioacuten del Gobierno que tiene como objetivo atender ciertas necesidades de la

poblacioacuten (educacioacuten desarrollo social salud seguridad puacuteblica infraestructura comunicaciones

energiacutea etc)

Presupuesto basado en Resultados (PbR) Es un proceso basado en consideraciones objetivas

sobre los resultados esperados y alcanzados para la asignacioacuten de recursos con la finalidad de

fortalecer la calidad del disentildeo y gestioacuten de las poliacuteticas programas puacuteblicos y desempentildeo

institucional cuyo aporte sea decisivo para generar las condiciones sociales econoacutemicas y

ambientales para el desarrollo nacional sustentable

Programa Anual de Evaluaciones (PAE) Es el documento en el que se determina el tipo de

evaluacioacuten que se aplicaraacute a los programas puacuteblicos del Estado el calendario de ejecucioacuten de las

acciones de monitoreo y evaluacioacuten de los programas puacuteblicos del Estado que estaacuten en operacioacuten

asiacute como ofrecer a los responsables de la administracioacuten puacuteblica la informacioacuten que les permita

optimizar el proceso de creacioacuten de valor puacuteblico

Programa Presupuestario (Pp) Categoriacutea que permite organizar en forma representativa y

homogeacutenea las asignaciones de recursos de los programas federales y del gasto federalizado a

cargo de los ejecutores del mismo para el cumplimiento de sus objetivos y metas

Reglas de Operacioacuten del Programa (ROP) Son un conjunto de disposiciones que precisan la forma

de operar un programa con el propoacutesito de lograr los niveles esperados de eficacia eficiencia

equidad y transparencia

Secretariacutea de Hacienda y Creacutedito Puacuteblico (SHCP) dependencia del Poder Ejecutivo Federal que

tiene como misioacuten proponer dirigir y controlar la poliacutetica econoacutemica del Gobierno Federal en materia

financiera fiscal de gasto de ingresos y deuda puacuteblica con el propoacutesito de consolidar un paiacutes con

crecimiento econoacutemico de calidad

Secretariacutea de Finanzas y Administracioacuten (SFA) dependencia del Poder Ejecutivo Estatal que tiene

a su cargo las atribuciones para el despacho de los asuntos que expresamente le confiere la Ley

Orgaacutenica de la Administracioacuten Puacuteblica del Estado las demaacutes leyes reglamentos acuerdos decretos

convenios y sus anexos vigentes asiacute como las que le encomiende el Gobernador

PAE 2017 8

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Seguimiento Proceso continuo de recoleccioacuten y anaacutelisis de datos para comparar en queacute medida se

estaacute ejecutando un proyecto programa poliacutetica o recomendaciones en funcioacuten de los resultados

previstos

Teacuterminos de referencia (TdR) Documento que plantea los elementos estandarizados miacutenimos y

especiacuteficos de acuerdo con el tipo de evaluacioacuten y de programa a evaluar con base en

especificaciones teacutecnicas (perfil de los evaluadores calendario de entregas de productos etc)

objetivos de la evaluacioacuten (generales y especiacuteficos) asiacute como la normatividad aplicable

(responsabilidades alcances restricciones etc)

Unidades Responsables (UR) Cada una de las aacutereas encargadas de la evaluacioacuten de las

dependencias que forman parte de la Administracioacuten Puacuteblica Estatal

PAE 2017 9

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Objetivo General

Evaluar los procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten Superior de la

Administracioacuten Puacuteblica Estatal para el Ejercicio Fiscal 2016 con la finalidad de analizar y valorar su

operacioacuten y gestioacuten para el logro de sus metas y objetivos

Objetivos Especiacuteficos

Determinar en queacute medida los elementos del diagnoacutestico del Pp son suficientes para tener una

comprensioacuten vaacutelida del problema puacuteblico que se pretende atender

Determinar la validez de la loacutegica de intervencioacuten del Pp para atender el problema planteado a

partir de una comparacioacuten con casos nacionales o internacionales similares

Determinar en queacute medida los procesos con los que cuenta el programa puacuteblico son pertinentes

para atender el problema identificado

Analizar y valorar si la ejecucioacuten de los procesos y subprocesos o macroprocesos que integran

la gestioacuten operativa del Pp en sus distintos niveles son eficaces oportunos suficientes y

pertinentes para el logro de sus objetivos

Identificar analizar y valorar las buenas praacutecticas o las fortalezas en la operacioacuten del Pp

Identificar y proponer mejoras al Pp para el logro de sus objetivos y metas

PAE 2017 10

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Perfil de la instancia evaluadora

La instancia evaluadora debe de cubrir cuando menos los siguientes criterios

Persona fiacutesica o moral registrada ante la autoridad hacendaria competente

Acreditar la experiencia en el tema de evaluacioacuten de la gestioacuten yo poliacuteticas puacuteblicas

El Coordinador de la Evaluacioacuten cuente con maestriacutea o doctorado en ciencias sociales

ciencia poliacutetica antropologiacutea economiacutea sociologiacutea poliacuteticas puacuteblicas planeacioacuten yo

aacutereas afines a la temaacutetica de la evaluacioacuten y estar en posesioacuten del tiacutetulo universitario

con validez nacional o por universidades oficialmente reconocidas

Al menos dos antildeos de ejercicio profesional en materia de investigacioacuten

Dos antildeos de experiencia miacutenima en la realizacioacuten de actividades de evaluacioacuten interna

o externa en el sector puacuteblico o privado

Contar con referentes acadeacutemicos que demuestren su experiencia en el tema de

evaluacioacuten de poliacuteticas

Por lo que deberaacute llenar la Tabla 2 y el Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia

evaluadora y el costo de la evaluacioacutenrdquo

Tabla 2 Perfil de equipo evaluador

Cargo Requisitos

Acadeacutemicos Experiencia General

Experiencia

Especifica

Liacuteder del

equipo

evaluador

Estudios de posgrado

en ciencias sociales

econoacutemicas historia

antropologiacutea ciencia

poliacutetica administracioacuten

puacuteblica o afines

Experiencia en

evaluaciones de

programas poliacuteticas

yo investigaciones en

materia de evaluacioacuten

Experiencia en

evaluaciones en las

que se hayan

implementado

metodologiacuteas y anaacutelisis

cualitativos Que

cuente con liacuteneas de

investigacioacuten o

participacioacuten en

proyectos con temas

vinculados a los

programas a ser

evaluados

PAE 2017 11

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Tabla 2 Perfil de equipo evaluador

Cargo Requisitos

Acadeacutemicos Experiencia General

Experiencia

Especifica

Analistas

del equipo

evaluador

Se sugiere que la

instancia evaluadora

sea multidisciplinario

que cuenten con

licenciatura o estudios

de posgrado en

ciencias sociales

econoacutemicas historia

antropologiacutea ciencia

poliacutetica psicologiacutea

administracioacuten puacuteblica

o ingenieriacutea

Experiencia en

evaluaciones de

programas poliacuteticas

yo investigaciones en

materia de evaluacioacuten

Experiencia en trabajo

de campo estudios

etnograacuteficos disentildeo de

encuestas y

cuestionarios en temas

de ingenieriacutea de

procesos y en

evaluacioacuten de

programas puacuteblicos

PAE 2017 12

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Preguntas de investigacioacuten

Seccioacuten 1 Disentildeo

Diagnoacutestico del programa puacuteblico

1 iquestEl programa tiene identificado el problema y la loacutegica causal acerca de su dinaacutemica

Consideraciones

La respuesta deberaacute mostrar si el problema o necesidad para el que va dirigido el programa se

identifica como un hecho negativo el que se puede revertir o atender

Se tendraacute que identificar si se cuenta con aacuterbol de problemas (u otro elemento documentado) que

permita identificar la loacutegica causal del problema al que se busca atender juzgando la medida en que

la loacutegica causal del programa es consistente con los estudios utilizados para fundamentacioacuten de la

intervencioacuten

Se debe incluir la definicioacuten del problema o necesidad y en su caso la propuesta de modificacioacuten o

recomendaciones de mejora Asimismo se indicaraacute si el problema o necesidad considera diferencias

entre hombres y mujeres a fin de conocer las limitaciones yo las oportunidades que presenta el

entorno econoacutemico demograacutefico social cultural poliacutetico juriacutedico e institucional para la promocioacuten

de la igualdad de geacutenero

Se deberaacute que determinar si el problema identificado por el Pp tiene coincidencia con alguacuten

problema que se aborda en el PED yo en el Programa Sectorial De igual forma se deberaacute analizar

si en el aacutembito nacional o internacional se cuenta con experiencias de poliacuteticas puacuteblicas que tuvieron

o tienen como objetivo la atencioacuten del problema que se plantea atender Lo anterior sentildealando sus

logros fallos y resultados ademaacutes se solicita hacer mencioacuten sobre la incorporacioacuten de elementos

exitosos de otras estrategias en el disentildeo del programa presupuestario a evaluar

2 iquestEl programa cuenta con una identificacioacuten (cuantificacioacuten y ubicacioacuten geograacutefica) de la

poblacioacuten o aacuterea de enfoque potencial y objetivo de su intervencioacuten y eacutesta se relaciona con

la definicioacuten del problema puacuteblico que se plantea atender

Consideraciones

La instancia evaluadora deberaacute valorar la medida en que la definicioacuten del problema es traducido a

unidades concretas de personas grupos especiacuteficos o zonas geograacuteficas cuantificables y

monitoreables en referentes estadiacutesticos oficiales del estado yo federacioacuten

PAE 2017 13

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

En la respuesta se deberaacuten incluir las definiciones de la poblacioacuten o aacuterea de enfoque potencial

objetivo y atendida asiacute como su cuantificacioacuten La metodologiacutea y fuentes de informacioacuten para

determinar los tipos de poblacioacuten o aacuterea de enfoque se deben incluir en el Anexo 2 ldquoMetodologiacutea

para la cuantificacioacuten de la poblacioacuten o aacuterea de enfoque potencial y objetivordquo

Asimismo identificar si el Pp cuenta con una estrategia de cobertura institucional en que se defina

la estrategia que utilizaraacute a lo largo del tiempo para cubrir el total de su poblacioacuten o aacuterea de enfoque

potencial en caso de que no se identifique alguna estrategia el evaluador deberaacute emitir una

valoracioacuten sobre la pertinencia del disentildeo actual del Pp para alcanzar las metas de cobertura En caso

de que el disentildeo actual del Pp no permita alcanzar las metas de cobertura deberaacuten recomendarse

modificaciones concretas al disentildeo del Pp con la finalidad de que sea maacutes probable que alcance

dichas metas de cobertura

De igual forma se debe analizar la evolucioacuten de la poblacioacuten o aacuterea de enfoque atendida y su

convergencia con la poblacioacuten o aacuterea de enfoque potencial es decir si el programa ha logrado

atender a toda la poblacioacuten o aacuterea de enfoque objetivo El anaacutelisis se debe justificar y completar el

Anexo 3 ldquoEvolucioacuten de la Coberturardquo

Matriz de Indicadores para Resultados (MIR)

3 iquestLa estructura de objetivos planteada por el programa mantiene loacutegica y correspondencia

causal con el problema planteado en el diagnoacutestico

Consideraciones

Se deberaacute identificar la contribucioacuten del programa a los objetivos estrateacutegicos del Plan Estatal de

Desarrollo y de otros instrumentos de planeacioacuten de mediano y largo plazo

Se deberaacute determinar si la hipoacutetesis de intervencioacuten del programa mantiene una loacutegica causal con

la problemaacutetica que se quiere atender

Se deberaacuten analizar y valorar los elementos que componen al disentildeo del Pp (modalidad unidades

responsables propoacutesito componentes poblacioacuten o aacuterea de enfoque objetivo entre otros) y sobre

los cuales eacuteste se construye (problema puacuteblico o necesidad causas y efectos del problema situacioacuten

de la poblacioacuten o aacuterea de enfoque objetivo entre otros)

Se deberaacute valorar la MIR y verificar su loacutegica horizontal (resumen narrativo indicadores metas y

medios de verificacioacuten) y vertical asiacute como si es congruente con los elementos de diagnoacutestico

Derivado de lo anterior se elaboraraacute una propuesta de la MIR que deberaacute considerar y presentar la

Estructura Analiacutetica del Pp (aacuterbol de problemas objetivos y concentrado) Asimismo se deberaacute incluir

PAE 2017 14

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

la justificacioacuten del disentildeo propuesto o las modificaciones sugeridas y generar el Anexo 4 ldquoPropuesta

de mejora de la Matriz de Indicadores para Resultadosrdquo

Metodologiacutea de la Seccioacuten 1

Anaacutelisis de gabinete

La evaluacioacuten se realizaraacute mediante un anaacutelisis de gabinete con base en informacioacuten proporcionada

por la dependencia o unidad responsable del programa asiacute como informacioacuten adicional que la

institucioacuten evaluadora considere necesaria para justificar su anaacutelisis

En este contexto se entiende por anaacutelisis de gabinete al conjunto de actividades que involucra el

acopio la organizacioacuten y la valoracioacuten de informacioacuten concentrada en registros administrativos

bases de datos evaluaciones internas yo externas y documentacioacuten puacuteblica Sin embargo de

acuerdo con las necesidades de informacioacuten y tomando en cuenta la forma de operar de cada

programa se podraacuten programar y llevar a cabo entrevistas con responsables de los programas yo

personal de la unidad de evaluacioacuten yo planeacioacuten de la dependencia coordinadora

Valoracioacuten de disentildeo del Pp

Para cada pregunta de investigacioacuten de esta seccioacuten se deberaacute definir una valoracioacuten cuantitativa y

cualitativa que resuma la apreciacioacuten del evaluador para cada uno de los aspectos de la seccioacuten 1

con el fin de permitir obtener una valoracioacuten sinteacutetica acerca de la suficiencia de los elementos que

cumple el programa Para esto se deberaacute usar la siguiente escala likert de cinco grados

Tabla 3 Escala de Medicioacuten para la Seccioacuten 1

1 2 3 4 5

Deficiente Insuficiente Moderado Bien Suficiente

En la argumentacioacuten que presente la evaluadora se deberaacuten aportar los elementos que justifiquen

la valoracioacuten cuantitativa que se emita para cada pregunta de investigacioacuten ademaacutes de completar

el Anexo 9 ldquoValoracioacuten global cuantitativardquo de la Seccioacuten 1 de Disentildeo

PAE 2017 15

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Seccioacuten 2 Procesos

Pertinencia de los procesos

4 Diagnoacutestico general de los procesos y subprocesos del Pp

Consideraciones

La instancia evaluadora deberaacute presentar dentro de los 30 diacuteas naturales posteriores a la firma del

contrato un Diagnoacutestico General de los Procesos y Subprocesos o Macroprocesos del Pp (Producto

1) en el que se deacute cuenta de la problemaacutetica o necesidad que atiende o de la funcioacuten de gobierno

que desarrolla asiacute como del contexto y las condiciones en las que opera el Pp En este diagnoacutestico

se deben identificar los procesos y subprocesos o macroprocesos que integran la operacioacuten o

gestioacuten del Pp a partir de la normativa vigente y de las entrevistas a funcionarios de la UR realizadas

se deberaacute presentar una descripcioacuten integral con el mapa de procesos y subprocesos del Pp

A partir de este diagnoacutestico la instancia evaluadora presentaraacute para su validacioacuten a la DEV una

propuesta de los alcances y logiacutestica de la Evaluacioacuten de Procesos del Pp Asimismo el diagnoacutestico

debe estar acompantildeado de la justificacioacuten del enfoque metodoloacutegico general seleccionado para su

desarrollo

Ademaacutes en el Producto 1 se deberaacuten especificar las directrices generales y particulares que guiaraacuten

la realizacioacuten de la evaluacioacuten de procesos acordadas con la DEV y la UR del Pp por lo que la correcta

elaboracioacuten de este producto es fundamental para poder garantizar un resultado satisfactorio

En el Producto 1 ademaacutes de integrar la estrategia y plan de trabajo de campo teacutecnicas de

investigacioacuten a utilizarse disentildeo muestral e instrumentos de levantamiento de informacioacuten se

incluiraacuten dos apartados

Descripcioacuten del contexto en el que opera el Pp La instancia evaluadora deberaacute describir

los siguientes elementos del Pp todas las UR que participan en su operacioacuten o que ejercen

sus recursos los entregables que produce cada UR que participa en la operacioacuten del Pp en

el marco del mismo el problema o necesidad de poliacutetica puacuteblica identificado por el Pp

poblacioacuten o aacuterea de enfoque potencial objetivo y atendida del Pp y su cuantificacioacuten

cantidad de destinatarios por cada uno de los entregables que el Pp tuvo al cierre del uacuteltimo

ejercicio fiscal del que se tenga registro cantidad de destinatarios por cada uno de los

entregables que el Pp espera atender en el ejercicio fiscal evaluado asiacute como el contexto

organizacional y social en que se desarrolla su operacioacuten

PAE 2017 16

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Diagnoacutestico inicial de los procesos y subprocesos o macroprocesos del Pp La instancia

evaluadora deberaacute desarrollar a partir del trabajo de gabinete y de entrevistas

semiestructuradas con funcionarios de la(s) Unidad(es) Responsable(s) del Pp realizadas un

diagnoacutestico inicial de procesos del Pp en el que se identifiquen claramente los procesos y

subprocesos o macroprocesos que integran su operacioacuten o gestioacuten asiacute como las instancias

o actores que participan en ellos se deberaacute presentar una descripcioacuten integral con un mapa

de procesos y subprocesos o macroprocesos del Pp asiacute como llenar el Anexo 5 ldquoFicha de

identificacioacuten y equivalencia de procesosrdquo Las entrevistas semiestructuradas se realizaraacuten con

la finalidad de profundizar y despejar dudas sobre el mapa de los procesos y subprocesos o

macroprocesos que integran la gestioacuten operativa del Pp En esta seccioacuten la instancia

evaluadora deberaacute sentildealar cuaacuteles de los procesos y subprocesos o macroprocesos

identificados estaacuten documentados y cuaacuteles no asiacute como ndashen su casondash la normativa que los

rige por ejemplo un manual de procedimientos o de organizacioacuten lineamientos de

operacioacuten entre otros Cabe sentildealar que los procesos y subprocesos o macroprocesos que

integran la operacioacuten o gestioacuten del Pp son estructuras analiacuteticas que debe de construir la

instancia evaluadora a partir de su experiencia en el desarrollo de evaluaciones de procesos

e implementacioacuten de poliacuteticas puacuteblicas por tanto debe tenerse en cuenta que a pesar de

ser lo deseable los procesos y subprocesos o macroprocesos no necesariamente pueden

estar documentados

5 Descripcioacuten y valoracioacuten de los procesos y subprocesos del Pp

Consideraciones

Despueacutes de realizar el trabajo de campo y sistematizar la informacioacuten levantada la instancia

evaluadora deberaacute realizar la descripcioacuten y valoracioacuten de cada uno de los procesos subprocesos o

macroprocesos identificados en el Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesosrdquo

contrastando en todos los casos la evidencia documental y su ejecucioacuten en la praacutectica

Por lo anterior en esta seccioacuten se deberaacute realizar una descripcioacuten minuciosa del desarrollo y el

anaacutelisis de cada proceso y subproceso o macroproceso de acuerdo con el alcance establecido

utilizando la informacioacuten obtenida mediante el anaacutelisis de gabinete y el trabajo de campo asimismo

se deberaacute realizar una valoracioacuten integral sobre la gestioacuten de cada uno de los procesos a partir de

la gestioacuten en sus subprocesos o macroprocesos a partir de la gestioacuten de los procesos

PAE 2017 17

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

La valoracioacuten de cada proceso subproceso o macroproceso deberaacute contener la siguiente estructura

1 Descripcioacuten detallada de las actividades los elementos y los actores que integran el

desarrollo de cada proceso y subproceso o macroproceso

2 Liacutemites de cada proceso y subproceso o macroproceso asiacute como su articulacioacuten con otros

3 Insumos y recursos determinar si los insumos y los recursos disponibles son suficientes y

adecuados para la ejecucioacuten de cada proceso y subproceso o macroproceso

a Tiempo iquestel tiempo en que se ejecuta el proceso o subproceso es el adecuado acorde

a lo planificado y congruente con la normativa que aplica

b Personal iquestel personal es suficiente tiene el perfil y cuenta con la capacitacioacuten necesaria

para la ejecucioacuten del proceso o subproceso

c Recursos financieros iquestlos recursos financieros son suficientes para la ejecucioacuten del

proceso o subproceso

d Recursos materiales iquestlos recursos materiales son suficientes para la ejecucioacuten del

proceso o subproceso

e Infraestructura iquestse cuenta con la infraestructura o capacidad instalada suficiente para

la ejecucioacuten del proceso o subproceso

f Insumos tecnoloacutegicos

4 Productos iquestlos productos de cada proceso subproceso o macroproceso sirven de insumo

para ejecutar el proceso subproceso o macroproceso subsecuente

5 Sistemas de informacioacuten iquestLos sistemas de informacioacuten utilizados en la ejecucioacuten de cada

proceso subproceso o macroproceso (automatizados semiautomatizados o manuales)

funcionan como una fuente de informacioacuten uacutetil para los sistemas de monitoreo a nivel central

y para los operadores en otros niveles iquestEstos sistemas de informacioacuten automatizan algunos

procesos subprocesos o macroproceso del Pp iquestSirven como mecanismo de control interno

para el mejor de desarrollo de los procesos subprocesos o macroproceso

6 Coordinacioacuten iquestla coordinacioacuten entre los actores oacuterdenes de gobierno o dependencias

involucradas es adecuada para la ejecucioacuten del proceso subproceso o macroproceso

7 Evaluacioacuten de la pertinencia de la forma en que se ejecuta cada proceso subproceso o

macroproceso en el contexto y condiciones en que se desarrolla considerando la estructura

organizacional involucrada y la coordinacioacuten entre las unidades administrativas que

intervienen en el proceso subproceso o macroproceso

8 Identificacioacuten de las caracteriacutesticas relacionadas con la importancia estrateacutegica de cada

proceso subproceso o macroproceso

PAE 2017 18

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

9 Opinioacuten de actores (destinatarios beneficiarios usuarios clientes u operadores del Pp)

sobre la eficacia eficiencia y calidad de cada proceso subproceso o macroproceso

10 Existencia de mecanismos para conocer la satisfaccioacuten de los beneficiarios o destinatarios de

los componentes o entregables que otorga el Pp

Por otra parte en caso de que el Pp genere diversos componentes o entregables y que estos

impliquen la realizacioacuten de actividades diferentes seraacute necesario describir los procesos y

subprocesos o macroprocesos correspondientes a cada tipo de componente o entregable otorgado

En la descripcioacuten de los procesos y subprocesos o macroprocesos la instancia evaluadora de manera

coordinada con la DEV deberaacute realizar los diagramas de alto nivel y los diagramas detallados

(diagramas de flujo) que describan los procesos y subprocesos o macroprocesos del Pp Para ello se

deberaacute usar como referencia la seccioacuten ldquoVII Mapeo de procesosrdquo de la ldquoGuiacutea para la Optimizacioacuten

Estandarizacioacuten y Mejora Continua de Procesosrdquo (paacuteginas 18 a 25) elaborada por la Secretariacutea de la

Funcioacuten Puacuteblica (SFP) disponible en la siguiente direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Estos diagramas se deberaacuten elaborar de acuerdo con lo especificado en el Anexo 7 ldquoDiagramas de

flujo de la operacioacuten del Pprdquo

Metodologiacutea Seccioacuten 2

La Evaluacioacuten de Procesos del Pp se realizaraacute principalmente a partir de teacutecnicas de investigacioacuten

cualitativa como son el anaacutelisis documental la observacioacuten directa estudios de caso y multicaso

especiacuteficos entrevistas semiestructuradas y grupos focales o grupos de enfoque (focus groups)

entre otras teacutecnicas que la instancia evaluadora considere pertinentes para realizar el anaacutelisis de

gabinete y el trabajo de campo tales como la aplicacioacuten de cuestionarios de aplicacioacuten electroacutenica

o a distancia

La metodologiacutea y los instrumentos definidos asiacute como el trabajo de gabinete y de campo deberaacuten

generar evidencia empiacuterica suficiente para valorar a profundidad la forma en que se ejecutan los

procesos y subprocesos o macroprocesos que integran la operacioacuten del Pp asiacute como su contexto

institucional y organizacional

PAE 2017 19

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anaacutelisis de gabinete

Para esta seccioacuten es necesario la elaboracioacuten del diagnoacutestico de los procesos y subprocesos o

macroprocesos que integran la operacioacuten o gestioacuten del Pp la instancia evaluadora deberaacute realizar

un anaacutelisis de gabinete considerando como miacutenimo los siguientes documentos

La normativa aplicable al Pp leyes reglamentos lineamientos manuales de procedimientos

convenios contratos entre otros

Diagnoacutestico y estudios de la problemaacutetica que el Pp atiende

Diagnoacutestico del programa y estudios del marco contextual en el que opera

MIR del Pp correspondiente al ejercicio fiscal evaluado y de ejercicios anteriores que se

consideren pertinentes

Sistemas de informacioacuten automatizados semiautomatizados o manuales que apoyen a la

ejecucioacuten de los procesos y subprocesos o macroprocesos identificados del Pp

Evaluaciones externas o internas realizadas previamente al Pp

Documentos de trabajo institucionales e informes de avances de Aspectos Susceptibles de

Mejora con los que cuente el Pp

Informes de auditoriacuteas de desempentildeo o similares realizadas al Pp por la Auditoriacutea Superior

de la Federacioacuten del Estado de Puebla por la Secretariacutea de la Contraloriacutea o por cualquier

instancia fiscalizadora

Asimismo se sugiere revisar otros documentos asociados al disentildeo del Pp y a su definicioacuten de

poblacioacuten o aacuterea de enfoque potencial y objetivo asiacute como a su estrategia de integracioacuten de

destinatarios o beneficiarios de los componentes o entregables del Pp

El anaacutelisis o trabajo de gabinete deberaacute generar como resultado inicial un mapeo de los procesos y

subprocesos o macroprocesos que integran la gestioacuten operativa del Pp que constituiraacute

esencialmente el Producto 1 de la evaluacioacuten posteriormente se procesaraacute la informacioacuten recabada

en campo para la generacioacuten del informe preliminar y final de la evaluacioacuten

Alcance y enfoque de la evaluacioacuten

La instancia evaluadora deberaacute sentildealar con claridad en el informe de la evaluacioacuten cuaacuteles de los

procesos y subprocesos o macroprocesos identificados en la operacioacuten o gestioacuten del Pp se analizan

y cuaacuteles no de acuerdo con lo establecido por la Direccioacuten de Evaluacioacuten (DEV) de la Secretariacutea de

Finanzas y Administracioacuten (SFA) y la Unidad Responsable (UR) del Programa en cuestioacuten sentildealando

los elementos de anaacutelisis que justifican esta seleccioacuten y en su caso haciendo recomendaciones al

respecto

PAE 2017 20

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Un elemento que podraacute ser considerado para establecer el alcance de la evaluacioacuten es el grado de

consolidacioacuten operativa del Pp el cual podraacute determinarse a priori considerando algunos elementos

como los siguientes

1 Si existen documentos que normen los procesos y subprocesos o macroprocesos

2 Si los procesos y subprocesos o macroprocesos estaacuten estandarizados es decir si son

utilizados por todas la instancias ejecutoras de manera homogeacutenea

3 Si los procesos y subprocesos o macroprocesos estaacuten documentados y son del conocimiento

de todos los operadores

4 Si se cuenta con un sistema de monitoreo e indicadores de gestioacuten

5 Si se cuenta en los procesos y subprocesos o macroprocesos analizados con sistemas

informaacuteticos que permitan la automatizacioacuten en la ejecucioacuten de los mismos

6 Si se cuenta con mecanismos para la implementacioacuten sistemaacutetica de mejoras

Se considera que existe un mayor grado de consolidacioacuten operativa cuando existen todos los

elementos y disminuiraacute gradualmente conforme haga falta uno o maacutes de ellos hasta el menor grado

de consolidacioacuten que es cuando no existe ninguno de los elementos

El alcance de la Evaluacioacuten de Procesos del Pp implica el anaacutelisis de los procesos y subprocesos o

macroprocesos sustantivos del Pp asiacute como la respectiva priorizacioacuten de estos Se deberaacute realizar

la identificacioacuten y jerarquizacioacuten de los procesos a partir del Esquema 1 adaptaacutendolo a las

condiciones particulares del Pp3 en eacutel se observa lo siguiente

El proceso de ldquoPlaneacioacutenrdquo es el punto de partida para la implementacioacuten del Pp

posteriormente continuacutean los procesos de ldquoComunicacioacuten Interna y Externardquo ldquoSeleccioacuten de

destinatariosrdquo ldquoProduccioacuten de entregablesrdquo ldquoEntregardquo ldquoSeguimiento a destinatariosrdquo y

ldquoControlrdquo

La informacioacuten que se genera en los procesos de ldquoSeguimiento a destinatariosrdquo y ldquoControlrdquo

es un insumo directo para retroalimentar los procesos del Pp desde el de Planeacioacuten

El proceso de ldquoMonitoreordquo utiliza informacioacuten generada principalmente en los procesos de

ldquoComunicacioacutenrdquo ldquoSeleccioacuten de destinatariosrdquo ldquoProduccioacuten de entregablesrdquo ldquoEntregardquo y

ldquoSeguimiento a destinatariosrdquo a partir de ello se retroalimentan los procesos del Pp desde

la ldquoPlaneacioacutenrdquo

3 Con excepcioacuten de los procesos (con sus subprocesos) de Planeacioacuten Monitoreo y Evaluacioacuten Externa para

los cuales la instancia evaluadora uacutenicamente podraacute en caso de que lo considere pertinente agregar

subprocesos pero no suprimir subprocesos

PAE 2017 21

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

El proceso de ldquoEvaluacioacuten Externardquo requiere de informacioacuten transversal de todos los

procesos ya que se valora al Pp en su conjunto En este sentido los resultados de las

evaluaciones son un insumo para retroalimentar al Pp desde el proceso de ldquoPlaneacioacutenrdquo

Es importante sentildealar que en el Esquema 1 se muestra un modelo que es importante tomarlo en

cuenta como referencia para la identificacioacuten y definicioacuten de los procesos y subprocesos o

macroprocesos que integran la operacioacuten del Pp evaluado ademaacutes de que representa un auxiliar

en la definicioacuten del alcance y del enfoque de la Evaluacioacuten de Procesos del Pp

Esquema 1 Modelo general de procesos

Fuente Modelo de TdR para la Evaluacioacuten de Procesos Secretariacutea de Hacienda y Creacutedito Puacuteblico

A continuacioacuten se describe cada uno de los procesos que componen al modelo anterior

Planeacioacuten proceso en el que se determinan o definen el problema o necesidad aacuterbol de

problemas y objetivos poblacioacuten o aacuterea de enfoque potencial y objetivo objetivos

indicadores y metas de la MIR estrategia de cobertura plan estrateacutegico entre otros puntos

asiacute como los recursos financieros y humanos necesarios que requiere el Pp para lograr sus

objetivos En el proceso de planeacioacuten se determinan las directrices en el disentildeo e

implementacioacuten del Pp los subprocesos que lo integran son los siguientes planeacioacuten

estrateacutegica programacioacuten y presupuesto actualizacioacuten de la MIR actualizacioacuten de

normativa

PAE 2017 22

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Comunicacioacuten interna y externa proceso en el que se informan diversas caracteriacutesticas y

objetivos del Pp tanto a los actores involucrados en su funcionamiento y operacioacuten (interna)

como a su poblacioacuten o aacuterea de enfoque objetivo (externa)

Seleccioacuten de destinatarios proceso en el que se determina quieacutenes recibiraacuten los

componentes o entregables de un Pp en funcioacuten de su poblacioacuten o aacuterea de enfoque objetivo

Produccioacuten de entregables proceso en el que se elaboran los entregables o realizan los

componentes del Pp (recursos financieros o humanos apoyos bienes servicios

regulaciones documentos teacutecnicos o de planeacioacuten etc) conforme a sus documentos

normativos

Entrega proceso en el que se realiza la entrega de lo producido o generado por el Pp

(componentes o entregables) a los destinatarios o beneficiarios

Seguimiento a destinatarios actividades y mecanismos que permiten al Pp conocer coacutemo

son utilizados o aprovechados sus componentes o entregables (por sus destinatarios o

beneficiarios) para que entre otras funciones la UR del Pp identifique si se estaacute cumpliendo

con los objetivos Por ejemplo en este proceso se incluyen las actividades que un Pp

implementa para conocer el grado de satisfaccioacuten de sus destinatarios o beneficiarios

Control actividades y mecanismos implementados entre los operadores del Pp para verificar

que los diferentes procedimientos procesos y subprocesos se esteacuten ejecutando conforme a

lo planeado (control interno)

Monitoreo proceso coordinado por una unidad administrativa ajena a la operacioacuten del Pp

a traveacutes del cual se recaba registra y valida la informacioacuten sobre el avance de las metas de

los indicadores de la MIR asiacute como el seguimiento a los resultados de indicadores

adicionales a los de la MIR en caso de que se cuente con un sistema de monitoreo de gestioacuten

Los subprocesos que lo integran son los siguientes acopio de la informacioacuten para el reporte

de avances validacioacuten de informacioacuten y registro de avances primordialmente

Evaluacioacuten externa proceso coordinado por una unidad administrativa ajena a la operacioacuten

del Pp mediante el cual se define la agenda de evaluacioacuten externa del Pp se definen las

metodologiacuteas o los teacuterminos de referencia se contratan las evaluaciones externas (de

cualquier tipo) se recaba la informacioacuten que seraacute entregada a los equipos evaluadores se

realiza el seguimiento durante el desarrollo de las evaluaciones externas se aprueban los

PAE 2017 23

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

informes finales de las evaluaciones externas se notifica a las instancias correspondientes

sobre la conclusioacuten de las evaluaciones externas y se definen y realiza el seguimiento de los

Aspectos Susceptibles de Mejora (ASM)

A partir de los procesos definidos en el modelo anterior la instancia evaluadora deberaacute realizar una

equivalencia de los procesos subprocesos o macroprocesos identificados respecto a los definidos

en el modelo de acuerdo con el Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesosrdquo Cabe

mencionar que los procesos definidos en el modelo no son limitativos por lo que si la instancia

evaluadora identifica procesos subprocesos o macroprocesos adicionales deberaacute incluirlos

Disentildeo metodoloacutegico del trabajo de campo

A partir del contexto en que opera el Pp y el alcance y enfoque metodoloacutegico de la evaluacioacuten de

procesos la instancia evaluadora deberaacute desarrollar una propuesta de estrategia y plan de trabajo

de campo a seguir para la realizacioacuten de la evaluacioacuten asimismo deberaacute incluir un cronograma

detallado de actividades

La estrategia de trabajo de campo disentildeada por la instancia evaluadora deberaacute ser entregada a la

DEV para que en conjunto con la UR del Pp sea validada antes de su implementacioacuten Dicha

estrategia deberaacute contener al menos los siguientes elementos

Justificacioacuten de las teacutecnicas de investigacioacuten a utilizar

Muestra y los criterios utilizados para su seleccioacuten

Listado de los actores a entrevistar

Instrumentos de levantamiento de informacioacuten que se aplicaraacuten y

Cronograma con las actividades a desarrollar

La instancia evaluadora iniciaraacute las actividades del trabajo de campo de manera conjunta y una vez

recibido el visto bueno de la DEV

El disentildeo de la muestra y de los instrumentos para el levantamiento de informacioacuten en campo

deberaacute considerar a la totalidad de los actores que intervienen en la ejecucioacuten de los procesos y

subprocesos o macroprocesos que integran la operacioacuten o gestioacuten del Pp asiacute como a los

destinatarios o beneficiarios de los componentes o entregables del Pp independientemente de su

ubicacioacuten geograacutefica

Algunos criterios que puede utilizar la instancia evaluadora para definir una muestra que considere

la variabilidad de la operacioacuten en los diferentes contextos en que opera el Pp son los siguientes

PAE 2017 24

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

a) El desempentildeo operativo del Pp entre municipios regionalizacioacuten geograacutefica instituciones

puacuteblicas o privadas u otros aspectos que suponen una accioacuten diferenciada de los procesos

(cuando aplique)

b) Volumen de la operacioacuten del Pp

c) Esquemas normativos del Pp y el ejercicio presupuestal en los municipios instituciones

puacuteblicas o privadas u otros aspectos que suponen una accioacuten diferenciada de los procesos

en las que opera el Pp (cuando aplique) y

d) Formas de interaccioacuten del Pp con otros niveles u oacuterdenes de gobierno (cuando aplique)

Los criterios anteriores no son limitativos por lo que la instancia evaluadora podraacute proponer criterios

adicionales que considere pertinentes para la definicioacuten de la muestra para el trabajo de campo

En el disentildeo muestral la instancia evaluadora deberaacute sentildealar los funcionarios del Pp o destinatarios

a los que se les aplicaraacuten los instrumentos de levantamiento de informacioacuten con los que se realizaraacute

el trabajo de campo asiacute como la ubicacioacuten geograacutefica de los mismos

Instrumentos de levantamiento de informacioacuten

La instancia evaluadora deberaacute disentildear los instrumentos que utilizaraacute para el levantamiento de

informacioacuten durante el trabajo de campo como son (por ejemplo) los cuestionarios por tipo de

funcionario a entrevistar para el caso de entrevistas semiestructuradas los guiones a utilizar en la

realizacioacuten de grupos focales los cuestionarios de aplicacioacuten electroacutenica las guiacuteas respectivas entre

otros Para lo anterior deberaacute considerar los siguientes temas guiacutea y preguntas de referencia

Planeacioacuten (planeacioacuten estrateacutegica programacioacuten y presupuesto)

iquestQueacute se entiende por planeacioacuten estrateacutegica para los operadores del Pp

iquestCuaacuteles son las actividades o acciones de planeacioacuten estrateacutegica del Pp que se realizan

iquestLa planeacioacuten estrateacutegica es el resultado de un ejercicio institucionalizado que involucra a

los actores clave de la gestioacuten del Pp

iquestExiste un documento resultado de la planeacioacuten estrateacutegica iquestEs claro difundido y

accesible iquestEn queacute medida es utilizado para guiar la operacioacuten del Pp

iquestLa planeacioacuten estrateacutegica estaacute vinculada con el cumplimiento entrega o generacioacuten de los

componentes o entregables del Pp

iquestLa planeacioacuten estrateacutegica establece indicadores para medir los avances en las metas

establecidas iquestLas metas son factibles y estaacuten orientadas a impulsar el desempentildeo del Pp

PAE 2017 25

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

iquestQueacute se entiende por planeacioacuten operativa y cuaacuteles son las diferencias con la planeacioacuten

estrateacutegica

Comunicacioacuten interna y externa del Pp (las preguntas que apliquen)

iquestQueacute actores intervienen en la comunicacioacuten del Pp

iquestExiste una estrategia de comunicacioacuten del Pp documentada En caso afirmativo describirla

iquestLa estrategia de comunicacioacuten del Pp (documentada o no) es adecuada

iquestLos medios utilizados el lenguaje y el contenido de los mensajes son pertinentes en funcioacuten

del puacuteblico al que van dirigidos

Solicitud de los componentes o entregables del Pp (las preguntas que apliquen)

iquestExiste un proceso claro imparcial y expliacutecito por medio del cual la poblacioacuten o aacuterea de

enfoque potencial puede solicitar los componentes o entregables que otorga el Pp

iquestLos requisitos para solicitar los componentes o entregables del Pp se presentan de manera

clara y completa

iquestLos puntos de recepcioacuten de solicitudes son accesibles y suficientes (cuando aplique)

iquestExisten mecanismos estandarizados para recibir y revisar la documentacioacuten entregada asiacute

como registrar y dar traacutemite a las solicitudes (cuando aplique)

iquestSon adecuados estos mecanismos (cuando aplique) En caso de que el Pp que apoye la

realizacioacuten de proyectos iquestse brinda asesoriacutea para la presentacioacuten de los mismos de ser asiacute

iquestes pertinente esta asesoriacutea

iquestEl proceso de solicitud de los componentes o entregables que otorga el Pp se encuentra

automatizado total o parcialmente

Para esta pregunta considerar los estados de digitalizacioacuten utilizados por la Comisioacuten Intersecretarial

para el Desarrollo del Gobierno electroacutenico seguacuten una adaptacioacuten realizada a la clasificacioacuten que

hace la ONU

Estado de digitalizacioacuten 1 traacutemites y servicios que se encuentran en estado informativo

Estado de digitalizacioacuten 2 traacutemites y servicios que cuentan con interfaces de comunicacioacuten

unidireccional

Estado de digitalizacioacuten 3 traacutemites y servicios que permiten realizar transacciones y

Estado de digitalizacioacuten 4 traacutemites y servicios que el usuario puede ejecutar de principio a

fin por medio de dispositivos digitales

PAE 2017 26

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para mayor informacioacuten referirse a ldquoFigure A4 The four stages of online service developmentrdquo en

los siguientes documentos

Lineamientos relativos a la digitalizacioacuten estandarizada de traacutemites y servicios con apego en

la Estrategia Digital Nacional

httpwwwgobmxcmsuploadsattachmentfile67232ti_1_pgcm_bases_lineam_tyspdf

United Nations E-Government Survey 2014 (paacutegina 195)

httpspublicadministrationunorgegovkbportalsegovkbdocumentsun2014-surveye-

gov_complete_survey-2014pdf

Seleccioacuten de destinatarios (cuando aplique)

iquestExiste una metodologiacutea o meacutetodo para la seleccioacuten de destinatarios o beneficiarios de los

componentes o entregables del Pp iquestLa metodologiacutea utilizada cuenta con criterios de

seleccioacuten y elegibilidad claros estandarizados y sistematizados

iquestLa seleccioacuten de destinatarios o beneficiarios de los componentes o entregables del Pp es un

proceso transparente e imparcial iquestEl resultado de la seleccioacuten es puacuteblico (cuando aplique)

iquestExiste informacioacuten en una base de datos que permita conocer quieacutenes o queacute instancias

reciben los componentes o entregables del Pp iquestQueacute informacioacuten integra esta base de datos

iquestExisten mecanismos para validar y actualizar esta base de datos iquestEstos mecanismos son

pertinentes

Produccioacuten de componentes o entregables

iquestSe cuenta con los insumos suficientes para generar el volumen de componentes o

entregables que permitan al Pp atender a su poblacioacuten o aacuterea de enfoque objetivo

iquestEl Pp tiene mecanismos para estimar la produccioacuten o generacioacuten necesaria de componentes

o entregables de acuerdo con la posible demanda o requerimientos de su poblacioacuten o aacuterea

de enfoque objetivo iquestEs adecuado este mecanismo

iquestExisten mecanismos de control de calidad para la generacioacuten de los componentes o

entregables del Pp iquestEstos mecanismos son pertinentes

iquestLas actividades de generacioacuten de componentes o entregables que otorga el Pp estaacuten

estandarizadas es decir son ejecutadas de manera homogeacutenea por todas las instancias

involucradas

PAE 2017 27

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Entrega

iquestLos componentes o entregables del Pp son proporcionados conforme a las especificaciones

y de manera oportuna a los destinatarios

iquestExisten especificaciones (programas o planes de trabajo) sobre la forma en que se deben

trasladar los componentes o entregables para (por ejemplo) asegurar su adecuada recepcioacuten

en el punto de destino iquestSon adecuadas estas especificaciones respecto a normas o

lineamientos existentes (cuando aplique)

iquestLa logiacutestica de distribucioacuten se actualiza (cuando aplique) iquestExiste un periodo para dicha

actualizacioacuten iquestEn el disentildeo y actualizacioacuten de la logiacutestica se toman en cuenta los factores

geograacuteficos y climatoloacutegicos en cada regioacuten donde opera el Pp (cuando aplique)

iquestLos puntos de entrega de los componentes o entregables son cercanos a los beneficiarios

o aacuterea de enfoque a atender y son de faacutecil acceso iquestSe considera que son suficientes iquestPor

queacute

Control (las preguntas que apliquen)

iquestEl Pp cuenta con los mecanismos para verificar que los componentes o entregables se

otorguen de acuerdo con lo establecido en la normativa especiacutefica y lleguen a la poblacioacuten

o aacuterea de enfoque que deba ser beneficiada iquestEstos mecanismos son adecuados

iquestExiste de manera sistematizada un documento que deacute cuenta de los resultados de

supervisioacuten y entrega de componentes o entregables iquestEste documento es adecuado iquestLos

resultados se utilizan para implementar mejoras en la operacioacuten del Pp

iquestExisten procedimientos estandarizados que verifiquen el cumplimiento de la

corresponsabilidad u obligatoriedad por parte de los beneficiarios o destinatarios de los

componentes o entregables del Pp (cuando aplique)

Seguimiento a destinatarios

iquestEl Pp tiene mecanismos para verificar el procedimiento de seguimiento a los destinatarios o

beneficiarios que permitan identificar si los componentes o entregables generados son

utilizados de acuerdo con lo establecido iquestCoacutemo se implementa el mecanismo iquestEste

mecanismo es adecuado

iquestExisten procedimientos estandarizados que permitan verificar el cumplimiento de la

corresponsabilidad u obligatoriedad por parte del destinatario o beneficiario (cuando

aplique)

PAE 2017 28

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

En caso de que los componentes o entregables involucren la ejecucioacuten de obra o de

infraestructura iquestel Pp cuenta con un mecanismo de seguimiento o supervisioacuten que permita

identificar si se realizaron acorde a la normativa aplicable iquestEl seguimiento o supervisioacuten

considera plazos para la revisioacuten de las condiciones de la obra o la infraestructura despueacutes

de terminada la obra

iquestEl Pp tiene mecanismos para identificar si se cumple con su Propoacutesito iquestSon suficientes y

pertinentes estos mecanismos

iquestExisten mecanismos para conocer la satisfaccioacuten del destinatario o beneficiario de los

componentes o entregables del Pp respecto de los componentes que ofrece el Pp iquestSon

adecuados estos mecanismos iquestSu operacioacuten permite una aplicacioacuten imparcial y objetiva

iquestExiste evidencia para afirmar que las quejas y sugerencias que brindan los destinatarios o

beneficiarios de los componentes o entregables del Pp son utilizadas para la mejora continua

del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

En esta seccioacuten se deberaacute realizar la medicioacuten de los atributos de eficacia oportunidad suficiencia

y pertinencia de los procesos y subprocesos o macroprocesos definidos en el mapa de procesos del

Pp A continuacioacuten se definen los atributos en el marco de la evaluacioacuten de procesos

Eficacia un proceso es eficaz en la medida en que cumple con sus metas

Oportunidad un proceso es oportuno en la medida en que otorga sus productos

(componentes o entregables) o resultados en un periodo de tiempo determinado o

adecuado para el logro de sus objetivos

Suficiencia un proceso es suficiente en la medida en que produce sus resultados de forma

completa o adecuada para el logro de sus objetivos

Pertinencia un proceso es pertinente si sus actividades y productos son adecuados para

lograr tanto sus metas especiacuteficas como sus objetivos es decir si contribuyen al

mejoramiento de la gestioacuten del Pp4

4 Las actividades son adecuadas si estaacuten en funcioacuten del logro del objetivo de cada proceso Por ejemplo si se verifica que el formato de los mensajes a difundir cumpla con las caracteriacutesticas necesarias para llegar a la poblacioacuten o aacuterea de enfoque objetivo como seriacutea una mensaje de audio en la lengua indiacutegena de la localidad donde se encuentran los posibles destinatarios o beneficiarios o bien como seriacutea un mensaje dirigido a personal operativo del Pp cuyo nivel de estudios promedio pudiera complicar la comprensioacuten de lenguaje teacutecnico utilizado

PAE 2017 29

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para la medicioacuten de los atributos de los procesos y subprocesos o macroprocesos del Pp deberaacute

realizarse una revisioacuten documental (normativa aplicable MIR evaluaciones externas sistemas de

informacioacuten y registros administrativos entre otros) misma que deberaacute complementarse con el

trabajo de campo con el objetivo de identificar disentildear y calcular indicadores relacionados con

dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de informacioacuten empleadas

La informacioacuten obtenida de estos indicadores deberaacute vaciarse en fichas propuestas por la instancia

evaluadora presentadas como en el Anexo 6 ldquoFichas de indicadores de atributos de los procesos del

Pprdquo (formato libre) Estas fichas deberaacuten considerar la medicioacuten de los atributos de eficacia

suficiencia oportunidad y pertinencia correspondientes a cada proceso y subproceso o

macroproceso

Valoracioacuten de los procesos y subprocesos de la operacioacuten del Pp

Deberaacute contener una siacutentesis de los resultados encontrados en la Evaluacioacuten de Procesos del Pp

resaltando los hallazgos maacutes relevantes que se hayan detectado y que pudiesen transformarse en

ASM

La instancia evaluadora deberaacute calcular una valoracioacuten global cuantitativa sobre la operacioacuten y la

ejecucioacuten de los procesos y subprocesos o macroprocesos del Pp a partir del siguiente esquema de

puntuacioacuten5

Eficacia

- Todos los procesos (o macroprocesos) son eficaces = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es eficaz = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es eficaz = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es eficaz = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es eficaz = 1 punto

- Ninguno de los procesos (o macroprocesos) es eficaz = 0 puntos

Oportunidad

- Todos los procesos (o macroprocesos) son oportunos = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es oportuno = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es oportuno = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es oportuno = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es oportuno = 1 punto

5 La valoracioacuten cuantitativa deberaacute estar sustentada y por tanto ser consistente con lo valorado por la instancia evaluadora en el apartado de ldquoMedicioacuten de atributos de los procesos y subprocesosrdquo

PAE 2017 30

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

- Ninguno de los procesos (o macroprocesos) es oportuno = 0 puntos

Suficiencia

- Todos los procesos (o macroprocesos) son suficientes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es suficiente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es suficiente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es suficiente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es suficiente = 1 punto

- Ninguno de los procesos (o macroprocesos) es suficiente = 0 puntos

Pertinencia

- Todos los procesos (o macroprocesos) son pertinentes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es pertinente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es pertinente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es pertinente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es pertinente = 1 punto

- Ninguno de los procesos (o macroprocesos) es pertinente = 0 puntos

A partir de los puntajes asignados en los cuatro atributos anteriores esta valoracioacuten cuantitativa

global debe considerar el total de puntos posibles de obtener (5 x 4 = 20 puntos) y los puntos

obtenidos en la Evaluacioacuten de Procesos Pp (lsquoyrsquo puntos) de modo que se indique el porcentaje de

puntos obtenidos del total de puntos posibles [(lsquoyrsquo20) x 100] = valoracioacuten cuantitativa global de la

operacioacuten del Pp

La instancia evaluadora deberaacute utilizar el Anexo 9 ldquoValoracioacuten global cuantitativardquo para documentar

argumentar y sustentar cada una de las valoraciones cuantitativas sobre la operacioacuten y la ejecucioacuten

de los procesos (o macroprocesos) del Pp

Adicionalmente en este apartado se deberaacuten integrar las recomendaciones y conclusiones que se

consideren maacutes relevantes de los procesos y subprocesos o macroprocesos del Pp las cuales deben

formularse con base en los hallazgos del trabajo de campo y de gabinete El objetivo final de las

recomendaciones es proveer informacioacuten valiosa a los operadores del Pp para realizar adecuaciones

en la ejecucioacuten de los procesos y subprocesos o macroprocesos de modo que se potencie la

consecucioacuten de resultados del Pp

Las recomendaciones que se formulen como resultado de la Evaluacioacuten de Procesos del Pp deberaacuten

tener las siguientes caracteriacutesticas

Derivarse de los hallazgos de la evaluacioacuten

PAE 2017 31

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Ser concretas y factibles

Incluir un proyecto de implementacioacuten que considere los siguientes elementos

- Breve anaacutelisis de la viabilidad o factibilidad de la implementacioacuten

- Principales responsables de la implementacioacuten

- Anaacutelisis de los efectos potenciales que puede implicar la implementacioacuten tanto en la

operacioacuten del Pp como en el logro de sus objetivos

- La comparacioacuten entre la situacioacuten actual y el resultado que se espera obtener con la

implementacioacuten de la recomendacioacuten

Estar categorizadas en dos liacuteneas de accioacuten estrateacutegicas

- Consolidacioacuten

- Reingenieriacutea de procesos o subprocesos

Al respecto la instancia evaluadora debe entender por consolidacioacuten aquellas recomendaciones que

estaacuten dirigidas a perfeccionar determinados aspectos de la operacioacuten como seriacutean algunas acciones

procedimientos o estrategias del Pp asiacute como iniciativas para el fortalecimiento de los sistemas

automatizados infraestructura entre otros

Por reingenieriacutea de procesos o subprocesos se entenderaacuten aquellas recomendaciones que apuntan

a una transformacioacuten o modificacioacuten profunda o sustancial de uno o varios de los procesos y

subprocesos del Pp Para ello se deberaacute llenar el Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de

Procesos del Pprdquo y que a su vez deben derivar en acciones de consolidacioacuten para la implementacioacuten

de los procesos transformados

Adicionalmente y de conformidad con el alcance de la Evaluacioacuten de Procesos del Pp se deberaacute

presentar una propuesta para crear o fortalecer el sistema de monitoreo de gestioacuten del Pp con

indicadores a nivel de procesos y subprocesos o macroprocesos

Asimismo a partir de todo el anaacutelisis y valoraciones realizadas se deberaacute emitir un pronunciamiento

acerca de la percepcioacuten de eficiencia que la instancia evaluadora haya tenido sobre la ejecucioacuten de

los procesos y subprocesos o macroprocesos del Pp

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible o si no hipoteacuteticos en un anexo de formato libre Anexo 10 ldquoSistema de

monitoreo e indicadores de gestioacuten del Pprdquo

PAE 2017 32

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Bitaacutecora de trabajo de campo y bases de datos

La instancia evaluadora deberaacute entregar una bitaacutecora de trabajo de campo que destaque de forma

sinteacutetica entre otros puntos las principales actividades y situaciones a las que se enfrentoacute y que

podriacutean afectar los resultados de la Evaluacioacuten de Procesos del Pp

Asimismo deberaacute entregar las bases de datos generadas a partir de la aplicacioacuten de los instrumentos

de recoleccioacuten de informacioacuten y de la recopilacioacuten de informacioacuten en el trabajo de campo Las bases

de datos deberaacuten entregarse en formatos compatibles con Excel debiendo mantener la

confidencialidad de los entrevistados pero sin alterar la informacioacuten proporcionada por estos En las

bases de datos debe estar sistematizada toda la informacioacuten recabada a partir de la aplicacioacuten de

los instrumentos de levantamiento de informacioacuten y deberaacute sustentar el anaacutelisis las valoraciones los

hallazgos y las conclusiones de la evaluacioacuten

PAE 2017 33

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Contenido del informe

Contenido miacutenimo del informe final de la evaluacioacuten

Derivado del contenido generado en las secciones anteriores deberaacuten elaborarse los siguientes

apartados en el informe final de la Evaluacioacuten de Procesos del Pp

i Introduccioacuten

ii Resumen Ejecutivo

iii Marco Legal

iv Datos Generales del Programa Presupuestario (Pp)

v Criterios Teacutecnicos para la Evaluacioacuten del Programa Presupuestario correspondiente

vi Apartados de la evaluacioacuten

Seccioacuten 1 Disentildeo

Diagnoacutestico del programa puacuteblico

Matriz de Indicadores para Resultados (MIR)

Seccioacuten 2 Procesos

Pertinencia de los proceso

Diagnoacutestico general de los procesos y subprocesos del Pp

- Contexto en que opera el Pp

- Diagnoacutestico inicial de los procesos y subprocesos

Descripcioacuten y valoracioacuten de los procesos y subprocesos del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

vii Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

viii Valoracioacuten final del Pp

ix Hallazgos

x Recomendaciones clasificadas por apartado

xi Conclusiones

xii Bibliografiacutea

xiii Anexos

Anexo 1 Descripcioacuten General del Programa

Anexo 2 Metodologiacutea para la cuantificacioacuten de las poblaciones potencial y objetivo

(Formato Libre)

Anexo 3 Evolucioacuten de la Cobertura

Anexo 4 Propuesta de mejora de la Matriz de Indicadores para Resultados

Anexo 5 Ficha de identificacioacuten y equivalencia de procesos del Pp

PAE 2017 34

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 Fichas de indicadores de atributos de los procesos del Pp (Formato libre)

Anexo 7 Diagramas de flujo de la operacioacuten del Pp

Anexo 8 Propuesta de modificacioacuten a los documentos normativos o institucionales

del Pp

Anexo 9 Valoracioacuten global cuantitativardquo

Anexo 10 Sistema de monitoreo e indicadores de gestioacuten del Pp (Formato libre)

Anexo 11 Recomendaciones de la Evaluacioacuten de Procesos del Pp

Anexo 12 Principales Fortalezas Retos y Recomendaciones

Anexo 13 Ficha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacuten

En el Resumen Ejecutivo asimismo se describiraacuten los principales hallazgos y recomendaciones del

evaluador externo

Para el desarrollo de los apartados antes referidos deberaacute atender las indicaciones que se desarrollan

en las siguientes secciones

Hallazgos y resultados Pp por Seccioacuten

Se debe realizar una valoracioacuten general del programa por seccioacuten utilizando las respuestas que

integran cada uno de los apartados En esta valoracioacuten integral se deberaacute sentildealar en queacute medida la

gestioacuten operativa conduce al logro de los objetivos del Pp

Asimismo se deben sentildealar las aacutereas de mejora las buenas praacutecticas y las fortalezas detectadas en

la operacioacuten del Pp y a partir de ello la instancia evaluadora emitiraacute recomendaciones de mejora

sobre aspectos especiacuteficos de cada proceso y subproceso o macroproceso del Pp Adicionalmente

se deberaacuten identificar los problemas o limitantes tanto normativos como operativos (ldquocuellos de

botellardquo) de coordinacioacuten entre unidades administrativas y otros que hubiese en los procesos y

subprocesos o macroprocesos del Pp entendieacutendose como aquellas praacutecticas procedimientos

actividades o traacutemites que obstaculizan la operacioacuten del Pp

En este sentido se deberaacuten identificar las situaciones en las que la normativa genere complicaciones

en la gestioacuten o ineficacia en el cumplimiento de los objetivos del Pp para lo cual se deberaacute presentar

(por cada situacioacuten identificada) una propuesta de modificacioacuten a la normativa aplicable al Pp

considerando las restricciones praacutecticas que existan para su implementacioacuten asiacute como los efectos

PAE 2017 35

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

potenciales de ser implementada Los resultados de este anaacutelisis deberaacuten describirse en el Anexo 7

ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales del Pprdquo

Para la identificacioacuten y descripcioacuten de los ldquocuellos de botellardquo buenas praacutecticas y fortalezas del Pp

se consideraraacute la informacioacuten derivada del anaacutelisis de la operacioacuten del Pp asiacute como los puntos de

vista de los principales actores que intervienen en ella Este anaacutelisis deberaacute contener las causas y las

consecuencias de los ldquocuellos de botellardquo detectados sus caracteriacutesticas y naturaleza (si son

normativas o estrictamente operativas) de igual manera se deberaacute desarrollar un anaacutelisis de las

buenas praacutecticas identificadas

Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

Se debe integrar en una sola tabla las fortalezas oportunidades debilidades y amenazas

especificadas por cada apartado de la evaluacioacuten y reportarlas en el Anexo 11 ldquoPrincipales Fortalezas

Retos y Recomendacionesrdquo en el que se deben incluir las fortalezas yo oportunidades las

debilidades yo amenazas y las recomendaciones por apartado de la evaluacioacuten

PAE 2017 36

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexos

Anexo 1 ldquoDescripcioacuten General del Programardquo

El Anexo tiene formato libre sin embargo debe contener una breve descripcioacuten de las caracteriacutesticas

maacutes relevantes del Pp en un maacuteximo de dos cuartillas Dicha descripcioacuten debe considerar los

siguientes aspectos

1 Identificacioacuten del programa

11 Nombre

12 Clave de programa

13 Dependencia yo Entidad coordinadora ejecutora

14 Antildeo de inicio de operacioacuten

2 Problema o necesidad que el Pp pretende atender atenuar o resolver

3 La contribucioacuten del Pp a las Metas y objetivos estatales a los que se vincula

4 Descripcioacuten de los objetivos del Pp asiacute como de los bienes yo servicios que ofrece

(componentes)

5 Identificacioacuten y cuantificacioacuten de la poblacioacuten o aacuterea de enfoque potencial y

objetivo

6 Presupuesto aprobado para el ejercicio fiscal en curso

7 Metas de los indicadores de Fin Propoacutesito y Componentes asiacute como los de nivel

actividad que se consideren relevantes y

8 Resumen de la valoracioacuten de la pertinencia del disentildeo del Pp respecto a la atencioacuten

del problema o necesidad

Anexo 2 ldquoMetodologiacutea para la cuantificacioacuten de la poblacioacuten o aacuterea de enfoque

potencial y objetivordquo

El Anexo tiene formato libre sin embargo se debe incluir la siguiente informacioacuten

Definicioacuten de la poblacioacuten o aacuterea de enfoque potencial objetivo y atendida

Cuantificacioacuten de la poblacioacuten potencial objetiva y atendida

Hallazgos sobre el procedimiento llevado a cabo para definir y cuantificar la poblacioacuten o

aacuterea de enfoque potencial objetivo y atendida

Recomendaciones

Propuesta orientada hacia la mejora

PAE 2017 37

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 3 ldquoEvolucioacuten de la Coberturardquo

Nombre del

Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten

Antildeo de la Evaluacioacuten

Tipo de Poblacioacuten

Unidad

de

Medida

2012 2013 2014 2015 2016

P Potencial

P Objetivo

P Atendida

119927119912 times 120783120782120782

119927119926

PAE 2017 38

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 4 ldquoPropuesta de mejora de la Matriz de Indicadores para Resultadosrdquo

Derivado del anaacutelisis y valoracioacuten de la pregunta de investigacioacuten nuacutemero 3 iquestLa estructura de

objetivos planteada por el programa mantiene loacutegica y correspondencia causal con el problema

planteado en el diagnoacutestico se realizaraacute una propuesta de mejora de MIR

Fin

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Propoacutesito

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Componente 1

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

PAE 2017 39

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Componente 2 hellip

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 40

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesos del Pprdquo

Para la identificacioacuten y clasificacioacuten de los procesos del Pp se sugieren los siguientes pasos

1 Listar los procesos identificados

Comparar los procesos identificados del Pp con aquellos correspondientes al Modelo general de

procesos Colocar en el rengloacuten correspondiente el nombre de cada proceso del Pp identificado

como equivalente

2 Colocar al final de la lista aquellos procesos del Pp que no sean equivalentes con el Modelo

general de procesos

Modelo general de

procesos

Nuacutemero

de

secuencia

Procesos o subprocesos del Pp identificados por el

evaluador

(Nombre y breve descripcioacuten)

Planeacioacuten Ejemplo (Ej) Planeacioacuten Estrateacutegica

Ej Programacioacuten

Ej Presupuestacioacuten

Comunicacioacuten interna y

externa

Ej Difusioacuten Federal

Ej Difusioacuten Local

Seleccioacuten de

destinatarios

Ej Recepcioacuten de solicitudes de becas

Ej Seleccioacuten de becarios

Produccioacuten de

entregables

Entrega

Control

Seguimiento Ej Seguimiento fiacutesico y supervisioacuten en campo

Evaluacioacuten externa Ej Publicacioacuten y lectura del PAE

Ej Definicioacuten de TdR

Ej Contratacioacuten

Ej Ejecucioacuten de la evaluacioacuten externa

Monitoreo Ej Registro de avances de indicadores

Ej Revisioacuten de registros

Ej Validacioacuten de registros e integracioacuten de informes

PAE 2017 41

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Procesos identificados por el evaluador que no coinciden con el Modelo general de procesos

PAE 2017 42

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 ldquoFichas de indicadores de atributos de los procesos del Pp (formato libre)rdquo

Para la construccioacuten de este anexo deberaacute realizarse una revisioacuten documental (normativa aplicable

MIR evaluaciones externas sistemas de informacioacuten y registros administrativos entre otros) misma

que deberaacute complementarse con el trabajo de campo con el objetivo de identificar disentildear y calcular

indicadores relacionados con dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de

informacioacuten empleadas

Ademaacutes de considerar la medicioacuten de los atributos de eficacia suficiencia oportunidad y pertinencia

de cada proceso y subproceso o macroproceso

PAE 2017 43

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 7 ldquoDiagramas de flujo de la operacioacuten del Pprdquo

Para la elaboracioacuten de los diagramas de flujo deberaacute utilizarse la notacioacuten empleada en el

documento ldquoGuiacutea para la Optimizacioacuten Estandarizacioacuten y Mejora Continua de Procesosrdquo publicada

por la SFP en la direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Para el Diagrama de Alto Nivel (Diagrama PEPSU)

Ejemplo ilustrativo

PAE 2017 44

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para el Diagrama de Flujo

PAE 2017 45

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

PAE 2017 46

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 8 ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales

del Pprdquo

Tipo de

norma-

tiva

Dice

Problema

generado

(causas y

consecuencias)

Se

recomienda

decir

Efecto esperado de

aplicar la

recomendacioacuten de

cambio

Restricciones praacutecticas

que puedan existir para

su implementacioacuten

PAE 2017 47

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 9 ldquoValoracioacuten global cuantitativa ldquo

Seccioacuten 1 Disentildeo

Disentildeo Valoracioacuten Argumento o justificacioacuten

Porcentaje del

Disentildeo del Pp

(Suma de valoracioacuten alcanzada por pregunta de la seccioacuten 1 Total maacuteximo de la

valoracioacuten de todas las preguntas de la seccioacuten 1 ) x 100

Seccioacuten 2 Procesos

Proceso Eficacia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

eficaces

(Total de procesos eficaces Total de procesos del Pp) x 100

Proceso Oportunidad

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

oportunos

(Total de procesos oportunos Total de procesos del Pp) x 100

Proceso Suficiencia

(SiacuteNo) Argumento o justificacioacuten

PAE 2017 48

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Porcentaje de

procesos

suficientes

(Total de procesos suficientes Total de procesos del Pp) x 100

Proceso Pertinencia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

pertinentes

(Total de procesos pertinentes Total de procesos del Pp) x 100

NOTA Los argumentos y justificaciones del evaluador deberaacuten considerar el anaacutelisis y valoraciones de

los subprocesos de cada proceso de modo que haya consistencia entre estos elementos Asimismo el

evaluador deberaacute expresar los resultados de la valoracioacuten cuantitativa en una graacutefica tipo radial

PAE 2017 49

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 10 ldquoSistema de monitoreo e indicadores de gestioacuten del Pp (formato libre)rdquo

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible

Nombre del Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten De Procesos

Antildeo de la Evaluacioacuten 2017

Fin Justificacioacuten Propoacutesito Justificacioacuten Componente (s) Justificacioacuten

Nombre de

Indicador

Meacutetodo de Caacutelculo

Claro SiacuteNo SiacuteNo SiacuteNo

Relevante SiacuteNo SiacuteNo SiacuteNo

Econoacutemico SiacuteNo SiacuteNo SiacuteNo

Monitoreable SiacuteNo SiacuteNo SiacuteNo

Adecuado SiacuteNo SiacuteNo SiacuteNo

Definicioacuten SiacuteNo SiacuteNo SiacuteNo

Unidad de Medida SiacuteNo SiacuteNo SiacuteNo

Frecuencia de

Medicioacuten

SiacuteNo SiacuteNo SiacuteNo

Liacutenea Base SiacuteNo SiacuteNo SiacuteNo

Metas SiacuteNo SiacuteNo SiacuteNo

Comportamiento

del Indicador

SiacuteNo SiacuteNo SiacuteNo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 50

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de Procesos del Pprdquo

En este Anexo la instancia evaluadora debe valorar si la recomendacioacuten implica una consolidacioacuten o

una reingenieriacutea del proceso

A) Consolidacioacuten

Proceso Recomendaci

oacuten

Breve

anaacutelisis de

viabilidad de

la

implementa-

cioacuten

Principales

responsables

de la

implementaci

oacuten

Situacioacuten

actual

Efectos

potenciales

esperados

Medio de

verifica-

cioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

B) Reingenieriacutea de procesos

Proceso Objetivo

Breve

anaacutelisis de

viabilidad

de la

implemen-

tacioacuten

Principales

responsables

de la

implemen-

tacioacuten

Situa-

cioacuten

actual

Metas y

efectos

potenciale

s

esperados

Elabora-

cioacuten de

flujogram

a del

nuevo

proceso

Medio

de

verifi-

cacioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

NOTA El nivel de priorizacioacuten Alto Medio o Bajo se estimaraacute considerando la mejora en la operacioacuten

del Pp la viabilidad de la implementacioacuten de la recomendacioacuten asiacute como el efecto potencial que esto

pueda tener el alcance del objetivo del Pp

PAE 2017 51

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 12 ldquoPrincipales Fortalezas Retos y Recomendacionesrdquo

Capacidades Internas Factores Externos

Fortalezas

(Cualquier capacidad con la que cuenta la dependencia o

entidad que le permita aprovechar sus recursos para la

obtencioacuten de sus objetivos)

Oportunidades

(Cualquier factor externo fuera del control de la dependencia o

entidad que puede ser aprovechado para la obtencioacuten de sus

objetivos)

Debilidades

(Cualquier limitante Interna de la dependencia o entidad que

puede afectar la obtencioacuten de sus objetivos)

Amenazas

(Cualquier factor externo fuera de control de la dependencia o

entidad que pueda afectar la obtencioacuten de sus objetivos)

PAE 2017 52

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacutenrdquo

El Informe Final de la Evaluacioacuten de Procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten

Superior deberaacuten contener una ficha con los siguientes datos

Ficha Teacutecnica con los datos generales de la evaluacioacuten

Nombre o denominacioacuten de la

evaluacioacuten

[Especificar el nombre de la evaluacioacuten considerando su tipo y ejercicio

evaluado]

Nombre o denominacioacuten del

programa evaluado

[Indicar el nombre del Pp sujeto a evaluacioacuten de acuerdo con lo

establecido en el PEF sentildealando su modalidad y clave]

Unidad Responsable de la operacioacuten

del programa

[Especificar la(s) unidad(es) responsable(s) de la administracioacuten

operacioacuten y ejecucioacuten de los programas subprogramas y proyectos del

Pp evaluado correspondientes a las dependencias y entidades]

Titular de la unidad responsable de la

operacioacuten del programa

[Indicar el nombre del(a) Titular de la Unidad Responsable de la

operacioacuten del Pp]

Antildeo del Programa Anual de

Evaluacioacuten (PAE) en que fue

considerada la evaluacioacuten

[Especificar el ejercicio fiscal al que corresponde el PAE en la que fue

programada la evaluacioacuten]

Antildeo de conclusioacuten y entrega de la

evaluacioacuten

[Indicar el antildeo en que se concluyoacute la evaluacioacuten]

Tipo de evaluacioacuten [Especificar el tipo de evaluacioacuten de acuerdo con los Lineamientos de

evaluacioacuten el nombre de la evaluacioacuten y con lo establecido en el PAE]

Nombre de la instancia evaluadora [Indicar el nombre de la firma consultoriacutea u organizacioacuten que realizoacute la

evaluacioacuten]

Nombre del(a) coordinador(a)

externo(a) de la evaluacioacuten

[Especificar el nombre del(a) responsable de la coordinacioacuten de la

evaluacioacuten dla instancia evaluadora]

Nombre de los(as) principales

colaboradores(as) del(a)

coordinador(a) de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del(a)

coordinador(a) de la evaluacioacuten]

PAE 2017 53

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Unidad Administrativa responsable de

la Coordinacioacuten de la evaluacioacuten

[De acuerdo con lo sentildealado en el PAE especificar la instancia a la que

corresponde la coordinacioacuten de la evaluacioacuten pej Secretariacutea de

Finanzas y Administracioacuten (SFA) asiacute como la unidad administrativa

mediante la cual se ejerce esta funcioacuten p ej Direccioacuten de Evaluacioacuten

de la SFA (DEV)

Nombre del(a) Titular de la unidad

administrativa responsable de

coordinar la evaluacioacuten (Aacuterea de

Evaluacioacuten)

[Especificar el nombre del(a) Titular de la Unidad responsable de dar

seguimiento a la evaluacioacuten que funge como Aacuterea de Evaluacioacuten]

Nombres de los(as) servidores(as)

puacuteblicos(as) adscritos(as) a la unidad

administrativa responsable de

coordinar la evaluacioacuten que

coadyuvaron con la revisioacuten teacutecnica

de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del

titular de la unidad administrativa responsable de dar seguimiento a la

evaluacioacuten respecto de la revisioacuten teacutecnica de la misma]

Forma de contratacioacuten de la instancia

evaluadora

[Indicar el tipo de contratacioacuten dla instancia evaluadora Especificar el

tipo de procedimiento de contratacioacuten de la instancia evaluadora

consistente con los tipos de adjudicacioacuten establecidos en la Ley de

Adquisiciones Arrendamientos y Servicios del Sector Puacuteblico]

Costo total de la evaluacioacuten con IVA

incluido

[Especificar el costo total de la evaluacioacuten incluyendo el IVA (en caso

de que se haya causado) como sigue $XXX IVA incluido]

Asimismo en este anexo se deberaacute incluir una nota metodoloacutegica con la descripcioacuten de las teacutecnicas

y los modelos utilizados por el evaluador externo acompantildeada del disentildeo por muestreo

especificando los supuestos empleados y las principales caracteriacutesticas del tamantildeo y dispersioacuten de

la muestra utilizada

DIRECTORIO

Rauacutel Saacutenchez Kobashi

Secretario de la Secretariacutea de Finanzas y Administracioacuten

Francisco Fidel Teomitzi Saacutenchez

Subsecretario de Planeacioacuten

Arturo Neponuceno Crisoacutestomo

Director de Evaluacioacuten

Rodolfo de la Rosa Cabrera

Subdireccioacuten de Evaluacioacuten de Programas

Sauacutel Federico Oropeza Orea

Jefe del Departamento de Programas Estatales y Municipales

Ana Luz Guzmaacuten Figueroa

Analista del Departamento de Programas Estatales y Municipales

Marco Antonio Saacutenchez Gonzaacutelez

Analista del Departamento de Programas Estatales y Municipales

Page 6: Términos de Referencia para la Evaluación del Desempeño ...evaluacion.puebla.gob.mx/pdf/metodologias/TdR_Est/2017/TdR... · Perfil de la instancia evaluadora ... acuerdo con las

PAE 2017 5

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Glosario

Para efectos del presente documento se entenderaacute por

Aspectos Susceptibles de Mejora (ASM) Los hallazgos debilidades oportunidades y amenazas

identificadas como resultado de un ejercicio de evaluacioacuten

Cobertura Aacuterea de intervencioacuten del programa con respecto a las caracteriacutesticas socioeconoacutemicas

de la poblacioacuten que atenderaacute el Programa Presupuestario

Consejo Nacional de Evaluacioacuten de la Poliacutetica de Desarrollo Social (CONEVAL) instancia con

autonomiacutea teacutecnica y de gestioacuten con las atribuciones de medir la pobreza y evaluar la poliacutetica de

desarrollo social

Dependencias Las asiacute definidas en el artiacuteculo 17 de la Ley Orgaacutenica de la Administracioacuten Puacuteblica

del Estado de Puebla

Destinatario o beneficiario a las personas instituciones puacuteblicas o privadas agentes sociales o

econoacutemicos o demaacutes instancias que utilizan o reciben los componentes producidos por el Pp

Direccioacuten de Evaluacioacuten (DEV) Direccioacuten coordinadora de los procesos de evaluacioacuten suscrita a la

Subsecretariacutea de Planeacioacuten de la Secretariacutea de Finanzas y Administracioacuten del Estado de Puebla

Evaluacioacuten Anaacutelisis sistemaacutetico y objetivo de las poliacuteticas puacuteblicas los Programas Presupuestarios

(Pp) y el desempentildeo de las instituciones a fin de determinar o probar la pertinencia de los mismos

valorar sus objetivos y metas asiacute como conocer su eficiencia eficacia calidad resultados impacto y

sostenibilidad

Evaluacioacuten Especiacutefica Evaluacioacuten que se enfoca en aspectos especiacuteficos de un programa de

acuerdo con las necesidades de evaluacioacuten o la naturaleza del mismo Se realiza mediante trabajo

de gabinete yo de campo

Indicador Instrumento para medir el logro de los objetivos de los programas y referente para el

seguimiento de los avances y para la evaluacioacuten de los resultados alcanzados

Instancia evaluadora externa Equipo de evaluadores externos constituidos como personas fiacutesicas

o morales adscritos a instituciones puacuteblicas y privadas tanto nacionales como internacionales con

experiencia probada en evaluacioacuten y temas especiacuteficos requeridos para realizar alguno de los tipos

de evaluaciones externas

Liacutenea base Es el valor del indicador que se establece como punto de partida para evaluarlo y darle

seguimiento

PAE 2017 6

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Mapeo mostrar graacuteficamente por medio de siacutembolos cuaacuteles son las actividades que se llevan a

cabo dentro de una organizacioacuten o un proceso de tal manera que todo aquel que lo lea sea capaz

de comprender el alcance yo llevar a cabo el proceso

Matriz de Indicadores para Resultados (MIR) Es la herramienta que permite vincular los distintos

instrumentos para el disentildeo organizacioacuten ejecucioacuten seguimiento evaluacioacuten y mejora de los

programas resultado de un proceso de planeacioacuten realizado con base en la Metodologiacutea de Marco

Loacutegico conforme a lo sentildealado en la Guiacutea para la Construccioacuten de la Matriz de Indicadores para

Resultados

Metas Valor que permite establecer liacutemites o niveles maacuteximos de logro comunica el nivel de

desempentildeo esperado por la organizacioacuten y permite enfocarla hacia la mejora

Metodologiacutea del Marco Loacutegico (MML) Es la herramienta de planeacioacuten estrateacutegica basada en la

estructuracioacuten y solucioacuten de problemas o aacutereas de mejora que permite organizar de manera

sistemaacutetica y loacutegica los objetivos de un programa y sus relaciones de causa y efecto medios y fines

facilitar el proceso de conceptualizacioacuten y disentildeo de programas y fortalecer la vinculacioacuten de la

planeacioacuten con la programacioacuten

Monitoreo Funcioacuten continua que utiliza la recopilacioacuten sistemaacutetica de datos sobre indicadores

predefinidos para proporcionar a los administradores y a las principales partes interesadas de una

intervencioacuten para el desarrollo indicaciones sobre el avance y el logro de los objetivos asiacute como de

la utilizacioacuten de los fondos asignados

Nivel a la escala de medicioacuten de 1 a 4 establecido en los reactivos de respuesta binaria

Objetivos Son los resultados que un programa puacuteblico pretende alcanzar a traveacutes de la ejecucioacuten

de determinadas acciones pueden ser general o especiacuteficos Los objetivos especiacuteficos son un

conjunto de resultados que a su vez permiten lograr un objetivo general Los objetivos generales

reflejan el resultado que se espera lograr en teacuterminos de la atencioacuten de un problema puacuteblico y se

establecen en los distintos instrumentos de planeacioacuten de los que se valen las intervenciones

puacuteblicas

Organismos Autoacutenomos Entidad puacuteblica dotada de personalidad juriacutedica y patrimonio propios

creada por decreto para no depender del Poder Ejecutivo ni de ninguacuten otro Poder (Legislativo o

Judicial) con objeto de actuar con independencia imparcialidad y objetividad en sus funciones Para

efectos presupuestales y contables como ejecutores de gasto estaacuten obligados a cumplir con las

leyes y normatividad vigentes en las materias

Plan Estatal de Desarrollo (PED) Es el instrumento de planeacioacuten en el que se basaraacuten las

decisiones en materia de gasto e inversioacuten para la aplicacioacuten de los recursos puacuteblicos y se constituye

como el documento rector y guiacutea para la gestioacuten gubernamental

PAE 2017 7

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Poblacioacuten Atendida Poblacioacuten o aacuterea que ya fue atendida por el programa presupuestario

Poblacioacuten Objetivo Poblacioacuten o aacuterea que el programa pretende atender en un periodo dado de

tiempo pudiendo corresponder a la totalidad de la poblacioacuten potencial o a una parte de ella

Poblacioacuten Potencial Se refiere al universo global de la poblacioacuten o aacuterea referida

Poliacutetica Puacuteblica Accioacuten del Gobierno que tiene como objetivo atender ciertas necesidades de la

poblacioacuten (educacioacuten desarrollo social salud seguridad puacuteblica infraestructura comunicaciones

energiacutea etc)

Presupuesto basado en Resultados (PbR) Es un proceso basado en consideraciones objetivas

sobre los resultados esperados y alcanzados para la asignacioacuten de recursos con la finalidad de

fortalecer la calidad del disentildeo y gestioacuten de las poliacuteticas programas puacuteblicos y desempentildeo

institucional cuyo aporte sea decisivo para generar las condiciones sociales econoacutemicas y

ambientales para el desarrollo nacional sustentable

Programa Anual de Evaluaciones (PAE) Es el documento en el que se determina el tipo de

evaluacioacuten que se aplicaraacute a los programas puacuteblicos del Estado el calendario de ejecucioacuten de las

acciones de monitoreo y evaluacioacuten de los programas puacuteblicos del Estado que estaacuten en operacioacuten

asiacute como ofrecer a los responsables de la administracioacuten puacuteblica la informacioacuten que les permita

optimizar el proceso de creacioacuten de valor puacuteblico

Programa Presupuestario (Pp) Categoriacutea que permite organizar en forma representativa y

homogeacutenea las asignaciones de recursos de los programas federales y del gasto federalizado a

cargo de los ejecutores del mismo para el cumplimiento de sus objetivos y metas

Reglas de Operacioacuten del Programa (ROP) Son un conjunto de disposiciones que precisan la forma

de operar un programa con el propoacutesito de lograr los niveles esperados de eficacia eficiencia

equidad y transparencia

Secretariacutea de Hacienda y Creacutedito Puacuteblico (SHCP) dependencia del Poder Ejecutivo Federal que

tiene como misioacuten proponer dirigir y controlar la poliacutetica econoacutemica del Gobierno Federal en materia

financiera fiscal de gasto de ingresos y deuda puacuteblica con el propoacutesito de consolidar un paiacutes con

crecimiento econoacutemico de calidad

Secretariacutea de Finanzas y Administracioacuten (SFA) dependencia del Poder Ejecutivo Estatal que tiene

a su cargo las atribuciones para el despacho de los asuntos que expresamente le confiere la Ley

Orgaacutenica de la Administracioacuten Puacuteblica del Estado las demaacutes leyes reglamentos acuerdos decretos

convenios y sus anexos vigentes asiacute como las que le encomiende el Gobernador

PAE 2017 8

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Seguimiento Proceso continuo de recoleccioacuten y anaacutelisis de datos para comparar en queacute medida se

estaacute ejecutando un proyecto programa poliacutetica o recomendaciones en funcioacuten de los resultados

previstos

Teacuterminos de referencia (TdR) Documento que plantea los elementos estandarizados miacutenimos y

especiacuteficos de acuerdo con el tipo de evaluacioacuten y de programa a evaluar con base en

especificaciones teacutecnicas (perfil de los evaluadores calendario de entregas de productos etc)

objetivos de la evaluacioacuten (generales y especiacuteficos) asiacute como la normatividad aplicable

(responsabilidades alcances restricciones etc)

Unidades Responsables (UR) Cada una de las aacutereas encargadas de la evaluacioacuten de las

dependencias que forman parte de la Administracioacuten Puacuteblica Estatal

PAE 2017 9

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Objetivo General

Evaluar los procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten Superior de la

Administracioacuten Puacuteblica Estatal para el Ejercicio Fiscal 2016 con la finalidad de analizar y valorar su

operacioacuten y gestioacuten para el logro de sus metas y objetivos

Objetivos Especiacuteficos

Determinar en queacute medida los elementos del diagnoacutestico del Pp son suficientes para tener una

comprensioacuten vaacutelida del problema puacuteblico que se pretende atender

Determinar la validez de la loacutegica de intervencioacuten del Pp para atender el problema planteado a

partir de una comparacioacuten con casos nacionales o internacionales similares

Determinar en queacute medida los procesos con los que cuenta el programa puacuteblico son pertinentes

para atender el problema identificado

Analizar y valorar si la ejecucioacuten de los procesos y subprocesos o macroprocesos que integran

la gestioacuten operativa del Pp en sus distintos niveles son eficaces oportunos suficientes y

pertinentes para el logro de sus objetivos

Identificar analizar y valorar las buenas praacutecticas o las fortalezas en la operacioacuten del Pp

Identificar y proponer mejoras al Pp para el logro de sus objetivos y metas

PAE 2017 10

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Perfil de la instancia evaluadora

La instancia evaluadora debe de cubrir cuando menos los siguientes criterios

Persona fiacutesica o moral registrada ante la autoridad hacendaria competente

Acreditar la experiencia en el tema de evaluacioacuten de la gestioacuten yo poliacuteticas puacuteblicas

El Coordinador de la Evaluacioacuten cuente con maestriacutea o doctorado en ciencias sociales

ciencia poliacutetica antropologiacutea economiacutea sociologiacutea poliacuteticas puacuteblicas planeacioacuten yo

aacutereas afines a la temaacutetica de la evaluacioacuten y estar en posesioacuten del tiacutetulo universitario

con validez nacional o por universidades oficialmente reconocidas

Al menos dos antildeos de ejercicio profesional en materia de investigacioacuten

Dos antildeos de experiencia miacutenima en la realizacioacuten de actividades de evaluacioacuten interna

o externa en el sector puacuteblico o privado

Contar con referentes acadeacutemicos que demuestren su experiencia en el tema de

evaluacioacuten de poliacuteticas

Por lo que deberaacute llenar la Tabla 2 y el Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia

evaluadora y el costo de la evaluacioacutenrdquo

Tabla 2 Perfil de equipo evaluador

Cargo Requisitos

Acadeacutemicos Experiencia General

Experiencia

Especifica

Liacuteder del

equipo

evaluador

Estudios de posgrado

en ciencias sociales

econoacutemicas historia

antropologiacutea ciencia

poliacutetica administracioacuten

puacuteblica o afines

Experiencia en

evaluaciones de

programas poliacuteticas

yo investigaciones en

materia de evaluacioacuten

Experiencia en

evaluaciones en las

que se hayan

implementado

metodologiacuteas y anaacutelisis

cualitativos Que

cuente con liacuteneas de

investigacioacuten o

participacioacuten en

proyectos con temas

vinculados a los

programas a ser

evaluados

PAE 2017 11

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Tabla 2 Perfil de equipo evaluador

Cargo Requisitos

Acadeacutemicos Experiencia General

Experiencia

Especifica

Analistas

del equipo

evaluador

Se sugiere que la

instancia evaluadora

sea multidisciplinario

que cuenten con

licenciatura o estudios

de posgrado en

ciencias sociales

econoacutemicas historia

antropologiacutea ciencia

poliacutetica psicologiacutea

administracioacuten puacuteblica

o ingenieriacutea

Experiencia en

evaluaciones de

programas poliacuteticas

yo investigaciones en

materia de evaluacioacuten

Experiencia en trabajo

de campo estudios

etnograacuteficos disentildeo de

encuestas y

cuestionarios en temas

de ingenieriacutea de

procesos y en

evaluacioacuten de

programas puacuteblicos

PAE 2017 12

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Preguntas de investigacioacuten

Seccioacuten 1 Disentildeo

Diagnoacutestico del programa puacuteblico

1 iquestEl programa tiene identificado el problema y la loacutegica causal acerca de su dinaacutemica

Consideraciones

La respuesta deberaacute mostrar si el problema o necesidad para el que va dirigido el programa se

identifica como un hecho negativo el que se puede revertir o atender

Se tendraacute que identificar si se cuenta con aacuterbol de problemas (u otro elemento documentado) que

permita identificar la loacutegica causal del problema al que se busca atender juzgando la medida en que

la loacutegica causal del programa es consistente con los estudios utilizados para fundamentacioacuten de la

intervencioacuten

Se debe incluir la definicioacuten del problema o necesidad y en su caso la propuesta de modificacioacuten o

recomendaciones de mejora Asimismo se indicaraacute si el problema o necesidad considera diferencias

entre hombres y mujeres a fin de conocer las limitaciones yo las oportunidades que presenta el

entorno econoacutemico demograacutefico social cultural poliacutetico juriacutedico e institucional para la promocioacuten

de la igualdad de geacutenero

Se deberaacute que determinar si el problema identificado por el Pp tiene coincidencia con alguacuten

problema que se aborda en el PED yo en el Programa Sectorial De igual forma se deberaacute analizar

si en el aacutembito nacional o internacional se cuenta con experiencias de poliacuteticas puacuteblicas que tuvieron

o tienen como objetivo la atencioacuten del problema que se plantea atender Lo anterior sentildealando sus

logros fallos y resultados ademaacutes se solicita hacer mencioacuten sobre la incorporacioacuten de elementos

exitosos de otras estrategias en el disentildeo del programa presupuestario a evaluar

2 iquestEl programa cuenta con una identificacioacuten (cuantificacioacuten y ubicacioacuten geograacutefica) de la

poblacioacuten o aacuterea de enfoque potencial y objetivo de su intervencioacuten y eacutesta se relaciona con

la definicioacuten del problema puacuteblico que se plantea atender

Consideraciones

La instancia evaluadora deberaacute valorar la medida en que la definicioacuten del problema es traducido a

unidades concretas de personas grupos especiacuteficos o zonas geograacuteficas cuantificables y

monitoreables en referentes estadiacutesticos oficiales del estado yo federacioacuten

PAE 2017 13

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

En la respuesta se deberaacuten incluir las definiciones de la poblacioacuten o aacuterea de enfoque potencial

objetivo y atendida asiacute como su cuantificacioacuten La metodologiacutea y fuentes de informacioacuten para

determinar los tipos de poblacioacuten o aacuterea de enfoque se deben incluir en el Anexo 2 ldquoMetodologiacutea

para la cuantificacioacuten de la poblacioacuten o aacuterea de enfoque potencial y objetivordquo

Asimismo identificar si el Pp cuenta con una estrategia de cobertura institucional en que se defina

la estrategia que utilizaraacute a lo largo del tiempo para cubrir el total de su poblacioacuten o aacuterea de enfoque

potencial en caso de que no se identifique alguna estrategia el evaluador deberaacute emitir una

valoracioacuten sobre la pertinencia del disentildeo actual del Pp para alcanzar las metas de cobertura En caso

de que el disentildeo actual del Pp no permita alcanzar las metas de cobertura deberaacuten recomendarse

modificaciones concretas al disentildeo del Pp con la finalidad de que sea maacutes probable que alcance

dichas metas de cobertura

De igual forma se debe analizar la evolucioacuten de la poblacioacuten o aacuterea de enfoque atendida y su

convergencia con la poblacioacuten o aacuterea de enfoque potencial es decir si el programa ha logrado

atender a toda la poblacioacuten o aacuterea de enfoque objetivo El anaacutelisis se debe justificar y completar el

Anexo 3 ldquoEvolucioacuten de la Coberturardquo

Matriz de Indicadores para Resultados (MIR)

3 iquestLa estructura de objetivos planteada por el programa mantiene loacutegica y correspondencia

causal con el problema planteado en el diagnoacutestico

Consideraciones

Se deberaacute identificar la contribucioacuten del programa a los objetivos estrateacutegicos del Plan Estatal de

Desarrollo y de otros instrumentos de planeacioacuten de mediano y largo plazo

Se deberaacute determinar si la hipoacutetesis de intervencioacuten del programa mantiene una loacutegica causal con

la problemaacutetica que se quiere atender

Se deberaacuten analizar y valorar los elementos que componen al disentildeo del Pp (modalidad unidades

responsables propoacutesito componentes poblacioacuten o aacuterea de enfoque objetivo entre otros) y sobre

los cuales eacuteste se construye (problema puacuteblico o necesidad causas y efectos del problema situacioacuten

de la poblacioacuten o aacuterea de enfoque objetivo entre otros)

Se deberaacute valorar la MIR y verificar su loacutegica horizontal (resumen narrativo indicadores metas y

medios de verificacioacuten) y vertical asiacute como si es congruente con los elementos de diagnoacutestico

Derivado de lo anterior se elaboraraacute una propuesta de la MIR que deberaacute considerar y presentar la

Estructura Analiacutetica del Pp (aacuterbol de problemas objetivos y concentrado) Asimismo se deberaacute incluir

PAE 2017 14

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

la justificacioacuten del disentildeo propuesto o las modificaciones sugeridas y generar el Anexo 4 ldquoPropuesta

de mejora de la Matriz de Indicadores para Resultadosrdquo

Metodologiacutea de la Seccioacuten 1

Anaacutelisis de gabinete

La evaluacioacuten se realizaraacute mediante un anaacutelisis de gabinete con base en informacioacuten proporcionada

por la dependencia o unidad responsable del programa asiacute como informacioacuten adicional que la

institucioacuten evaluadora considere necesaria para justificar su anaacutelisis

En este contexto se entiende por anaacutelisis de gabinete al conjunto de actividades que involucra el

acopio la organizacioacuten y la valoracioacuten de informacioacuten concentrada en registros administrativos

bases de datos evaluaciones internas yo externas y documentacioacuten puacuteblica Sin embargo de

acuerdo con las necesidades de informacioacuten y tomando en cuenta la forma de operar de cada

programa se podraacuten programar y llevar a cabo entrevistas con responsables de los programas yo

personal de la unidad de evaluacioacuten yo planeacioacuten de la dependencia coordinadora

Valoracioacuten de disentildeo del Pp

Para cada pregunta de investigacioacuten de esta seccioacuten se deberaacute definir una valoracioacuten cuantitativa y

cualitativa que resuma la apreciacioacuten del evaluador para cada uno de los aspectos de la seccioacuten 1

con el fin de permitir obtener una valoracioacuten sinteacutetica acerca de la suficiencia de los elementos que

cumple el programa Para esto se deberaacute usar la siguiente escala likert de cinco grados

Tabla 3 Escala de Medicioacuten para la Seccioacuten 1

1 2 3 4 5

Deficiente Insuficiente Moderado Bien Suficiente

En la argumentacioacuten que presente la evaluadora se deberaacuten aportar los elementos que justifiquen

la valoracioacuten cuantitativa que se emita para cada pregunta de investigacioacuten ademaacutes de completar

el Anexo 9 ldquoValoracioacuten global cuantitativardquo de la Seccioacuten 1 de Disentildeo

PAE 2017 15

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Seccioacuten 2 Procesos

Pertinencia de los procesos

4 Diagnoacutestico general de los procesos y subprocesos del Pp

Consideraciones

La instancia evaluadora deberaacute presentar dentro de los 30 diacuteas naturales posteriores a la firma del

contrato un Diagnoacutestico General de los Procesos y Subprocesos o Macroprocesos del Pp (Producto

1) en el que se deacute cuenta de la problemaacutetica o necesidad que atiende o de la funcioacuten de gobierno

que desarrolla asiacute como del contexto y las condiciones en las que opera el Pp En este diagnoacutestico

se deben identificar los procesos y subprocesos o macroprocesos que integran la operacioacuten o

gestioacuten del Pp a partir de la normativa vigente y de las entrevistas a funcionarios de la UR realizadas

se deberaacute presentar una descripcioacuten integral con el mapa de procesos y subprocesos del Pp

A partir de este diagnoacutestico la instancia evaluadora presentaraacute para su validacioacuten a la DEV una

propuesta de los alcances y logiacutestica de la Evaluacioacuten de Procesos del Pp Asimismo el diagnoacutestico

debe estar acompantildeado de la justificacioacuten del enfoque metodoloacutegico general seleccionado para su

desarrollo

Ademaacutes en el Producto 1 se deberaacuten especificar las directrices generales y particulares que guiaraacuten

la realizacioacuten de la evaluacioacuten de procesos acordadas con la DEV y la UR del Pp por lo que la correcta

elaboracioacuten de este producto es fundamental para poder garantizar un resultado satisfactorio

En el Producto 1 ademaacutes de integrar la estrategia y plan de trabajo de campo teacutecnicas de

investigacioacuten a utilizarse disentildeo muestral e instrumentos de levantamiento de informacioacuten se

incluiraacuten dos apartados

Descripcioacuten del contexto en el que opera el Pp La instancia evaluadora deberaacute describir

los siguientes elementos del Pp todas las UR que participan en su operacioacuten o que ejercen

sus recursos los entregables que produce cada UR que participa en la operacioacuten del Pp en

el marco del mismo el problema o necesidad de poliacutetica puacuteblica identificado por el Pp

poblacioacuten o aacuterea de enfoque potencial objetivo y atendida del Pp y su cuantificacioacuten

cantidad de destinatarios por cada uno de los entregables que el Pp tuvo al cierre del uacuteltimo

ejercicio fiscal del que se tenga registro cantidad de destinatarios por cada uno de los

entregables que el Pp espera atender en el ejercicio fiscal evaluado asiacute como el contexto

organizacional y social en que se desarrolla su operacioacuten

PAE 2017 16

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Diagnoacutestico inicial de los procesos y subprocesos o macroprocesos del Pp La instancia

evaluadora deberaacute desarrollar a partir del trabajo de gabinete y de entrevistas

semiestructuradas con funcionarios de la(s) Unidad(es) Responsable(s) del Pp realizadas un

diagnoacutestico inicial de procesos del Pp en el que se identifiquen claramente los procesos y

subprocesos o macroprocesos que integran su operacioacuten o gestioacuten asiacute como las instancias

o actores que participan en ellos se deberaacute presentar una descripcioacuten integral con un mapa

de procesos y subprocesos o macroprocesos del Pp asiacute como llenar el Anexo 5 ldquoFicha de

identificacioacuten y equivalencia de procesosrdquo Las entrevistas semiestructuradas se realizaraacuten con

la finalidad de profundizar y despejar dudas sobre el mapa de los procesos y subprocesos o

macroprocesos que integran la gestioacuten operativa del Pp En esta seccioacuten la instancia

evaluadora deberaacute sentildealar cuaacuteles de los procesos y subprocesos o macroprocesos

identificados estaacuten documentados y cuaacuteles no asiacute como ndashen su casondash la normativa que los

rige por ejemplo un manual de procedimientos o de organizacioacuten lineamientos de

operacioacuten entre otros Cabe sentildealar que los procesos y subprocesos o macroprocesos que

integran la operacioacuten o gestioacuten del Pp son estructuras analiacuteticas que debe de construir la

instancia evaluadora a partir de su experiencia en el desarrollo de evaluaciones de procesos

e implementacioacuten de poliacuteticas puacuteblicas por tanto debe tenerse en cuenta que a pesar de

ser lo deseable los procesos y subprocesos o macroprocesos no necesariamente pueden

estar documentados

5 Descripcioacuten y valoracioacuten de los procesos y subprocesos del Pp

Consideraciones

Despueacutes de realizar el trabajo de campo y sistematizar la informacioacuten levantada la instancia

evaluadora deberaacute realizar la descripcioacuten y valoracioacuten de cada uno de los procesos subprocesos o

macroprocesos identificados en el Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesosrdquo

contrastando en todos los casos la evidencia documental y su ejecucioacuten en la praacutectica

Por lo anterior en esta seccioacuten se deberaacute realizar una descripcioacuten minuciosa del desarrollo y el

anaacutelisis de cada proceso y subproceso o macroproceso de acuerdo con el alcance establecido

utilizando la informacioacuten obtenida mediante el anaacutelisis de gabinete y el trabajo de campo asimismo

se deberaacute realizar una valoracioacuten integral sobre la gestioacuten de cada uno de los procesos a partir de

la gestioacuten en sus subprocesos o macroprocesos a partir de la gestioacuten de los procesos

PAE 2017 17

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

La valoracioacuten de cada proceso subproceso o macroproceso deberaacute contener la siguiente estructura

1 Descripcioacuten detallada de las actividades los elementos y los actores que integran el

desarrollo de cada proceso y subproceso o macroproceso

2 Liacutemites de cada proceso y subproceso o macroproceso asiacute como su articulacioacuten con otros

3 Insumos y recursos determinar si los insumos y los recursos disponibles son suficientes y

adecuados para la ejecucioacuten de cada proceso y subproceso o macroproceso

a Tiempo iquestel tiempo en que se ejecuta el proceso o subproceso es el adecuado acorde

a lo planificado y congruente con la normativa que aplica

b Personal iquestel personal es suficiente tiene el perfil y cuenta con la capacitacioacuten necesaria

para la ejecucioacuten del proceso o subproceso

c Recursos financieros iquestlos recursos financieros son suficientes para la ejecucioacuten del

proceso o subproceso

d Recursos materiales iquestlos recursos materiales son suficientes para la ejecucioacuten del

proceso o subproceso

e Infraestructura iquestse cuenta con la infraestructura o capacidad instalada suficiente para

la ejecucioacuten del proceso o subproceso

f Insumos tecnoloacutegicos

4 Productos iquestlos productos de cada proceso subproceso o macroproceso sirven de insumo

para ejecutar el proceso subproceso o macroproceso subsecuente

5 Sistemas de informacioacuten iquestLos sistemas de informacioacuten utilizados en la ejecucioacuten de cada

proceso subproceso o macroproceso (automatizados semiautomatizados o manuales)

funcionan como una fuente de informacioacuten uacutetil para los sistemas de monitoreo a nivel central

y para los operadores en otros niveles iquestEstos sistemas de informacioacuten automatizan algunos

procesos subprocesos o macroproceso del Pp iquestSirven como mecanismo de control interno

para el mejor de desarrollo de los procesos subprocesos o macroproceso

6 Coordinacioacuten iquestla coordinacioacuten entre los actores oacuterdenes de gobierno o dependencias

involucradas es adecuada para la ejecucioacuten del proceso subproceso o macroproceso

7 Evaluacioacuten de la pertinencia de la forma en que se ejecuta cada proceso subproceso o

macroproceso en el contexto y condiciones en que se desarrolla considerando la estructura

organizacional involucrada y la coordinacioacuten entre las unidades administrativas que

intervienen en el proceso subproceso o macroproceso

8 Identificacioacuten de las caracteriacutesticas relacionadas con la importancia estrateacutegica de cada

proceso subproceso o macroproceso

PAE 2017 18

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

9 Opinioacuten de actores (destinatarios beneficiarios usuarios clientes u operadores del Pp)

sobre la eficacia eficiencia y calidad de cada proceso subproceso o macroproceso

10 Existencia de mecanismos para conocer la satisfaccioacuten de los beneficiarios o destinatarios de

los componentes o entregables que otorga el Pp

Por otra parte en caso de que el Pp genere diversos componentes o entregables y que estos

impliquen la realizacioacuten de actividades diferentes seraacute necesario describir los procesos y

subprocesos o macroprocesos correspondientes a cada tipo de componente o entregable otorgado

En la descripcioacuten de los procesos y subprocesos o macroprocesos la instancia evaluadora de manera

coordinada con la DEV deberaacute realizar los diagramas de alto nivel y los diagramas detallados

(diagramas de flujo) que describan los procesos y subprocesos o macroprocesos del Pp Para ello se

deberaacute usar como referencia la seccioacuten ldquoVII Mapeo de procesosrdquo de la ldquoGuiacutea para la Optimizacioacuten

Estandarizacioacuten y Mejora Continua de Procesosrdquo (paacuteginas 18 a 25) elaborada por la Secretariacutea de la

Funcioacuten Puacuteblica (SFP) disponible en la siguiente direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Estos diagramas se deberaacuten elaborar de acuerdo con lo especificado en el Anexo 7 ldquoDiagramas de

flujo de la operacioacuten del Pprdquo

Metodologiacutea Seccioacuten 2

La Evaluacioacuten de Procesos del Pp se realizaraacute principalmente a partir de teacutecnicas de investigacioacuten

cualitativa como son el anaacutelisis documental la observacioacuten directa estudios de caso y multicaso

especiacuteficos entrevistas semiestructuradas y grupos focales o grupos de enfoque (focus groups)

entre otras teacutecnicas que la instancia evaluadora considere pertinentes para realizar el anaacutelisis de

gabinete y el trabajo de campo tales como la aplicacioacuten de cuestionarios de aplicacioacuten electroacutenica

o a distancia

La metodologiacutea y los instrumentos definidos asiacute como el trabajo de gabinete y de campo deberaacuten

generar evidencia empiacuterica suficiente para valorar a profundidad la forma en que se ejecutan los

procesos y subprocesos o macroprocesos que integran la operacioacuten del Pp asiacute como su contexto

institucional y organizacional

PAE 2017 19

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anaacutelisis de gabinete

Para esta seccioacuten es necesario la elaboracioacuten del diagnoacutestico de los procesos y subprocesos o

macroprocesos que integran la operacioacuten o gestioacuten del Pp la instancia evaluadora deberaacute realizar

un anaacutelisis de gabinete considerando como miacutenimo los siguientes documentos

La normativa aplicable al Pp leyes reglamentos lineamientos manuales de procedimientos

convenios contratos entre otros

Diagnoacutestico y estudios de la problemaacutetica que el Pp atiende

Diagnoacutestico del programa y estudios del marco contextual en el que opera

MIR del Pp correspondiente al ejercicio fiscal evaluado y de ejercicios anteriores que se

consideren pertinentes

Sistemas de informacioacuten automatizados semiautomatizados o manuales que apoyen a la

ejecucioacuten de los procesos y subprocesos o macroprocesos identificados del Pp

Evaluaciones externas o internas realizadas previamente al Pp

Documentos de trabajo institucionales e informes de avances de Aspectos Susceptibles de

Mejora con los que cuente el Pp

Informes de auditoriacuteas de desempentildeo o similares realizadas al Pp por la Auditoriacutea Superior

de la Federacioacuten del Estado de Puebla por la Secretariacutea de la Contraloriacutea o por cualquier

instancia fiscalizadora

Asimismo se sugiere revisar otros documentos asociados al disentildeo del Pp y a su definicioacuten de

poblacioacuten o aacuterea de enfoque potencial y objetivo asiacute como a su estrategia de integracioacuten de

destinatarios o beneficiarios de los componentes o entregables del Pp

El anaacutelisis o trabajo de gabinete deberaacute generar como resultado inicial un mapeo de los procesos y

subprocesos o macroprocesos que integran la gestioacuten operativa del Pp que constituiraacute

esencialmente el Producto 1 de la evaluacioacuten posteriormente se procesaraacute la informacioacuten recabada

en campo para la generacioacuten del informe preliminar y final de la evaluacioacuten

Alcance y enfoque de la evaluacioacuten

La instancia evaluadora deberaacute sentildealar con claridad en el informe de la evaluacioacuten cuaacuteles de los

procesos y subprocesos o macroprocesos identificados en la operacioacuten o gestioacuten del Pp se analizan

y cuaacuteles no de acuerdo con lo establecido por la Direccioacuten de Evaluacioacuten (DEV) de la Secretariacutea de

Finanzas y Administracioacuten (SFA) y la Unidad Responsable (UR) del Programa en cuestioacuten sentildealando

los elementos de anaacutelisis que justifican esta seleccioacuten y en su caso haciendo recomendaciones al

respecto

PAE 2017 20

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Un elemento que podraacute ser considerado para establecer el alcance de la evaluacioacuten es el grado de

consolidacioacuten operativa del Pp el cual podraacute determinarse a priori considerando algunos elementos

como los siguientes

1 Si existen documentos que normen los procesos y subprocesos o macroprocesos

2 Si los procesos y subprocesos o macroprocesos estaacuten estandarizados es decir si son

utilizados por todas la instancias ejecutoras de manera homogeacutenea

3 Si los procesos y subprocesos o macroprocesos estaacuten documentados y son del conocimiento

de todos los operadores

4 Si se cuenta con un sistema de monitoreo e indicadores de gestioacuten

5 Si se cuenta en los procesos y subprocesos o macroprocesos analizados con sistemas

informaacuteticos que permitan la automatizacioacuten en la ejecucioacuten de los mismos

6 Si se cuenta con mecanismos para la implementacioacuten sistemaacutetica de mejoras

Se considera que existe un mayor grado de consolidacioacuten operativa cuando existen todos los

elementos y disminuiraacute gradualmente conforme haga falta uno o maacutes de ellos hasta el menor grado

de consolidacioacuten que es cuando no existe ninguno de los elementos

El alcance de la Evaluacioacuten de Procesos del Pp implica el anaacutelisis de los procesos y subprocesos o

macroprocesos sustantivos del Pp asiacute como la respectiva priorizacioacuten de estos Se deberaacute realizar

la identificacioacuten y jerarquizacioacuten de los procesos a partir del Esquema 1 adaptaacutendolo a las

condiciones particulares del Pp3 en eacutel se observa lo siguiente

El proceso de ldquoPlaneacioacutenrdquo es el punto de partida para la implementacioacuten del Pp

posteriormente continuacutean los procesos de ldquoComunicacioacuten Interna y Externardquo ldquoSeleccioacuten de

destinatariosrdquo ldquoProduccioacuten de entregablesrdquo ldquoEntregardquo ldquoSeguimiento a destinatariosrdquo y

ldquoControlrdquo

La informacioacuten que se genera en los procesos de ldquoSeguimiento a destinatariosrdquo y ldquoControlrdquo

es un insumo directo para retroalimentar los procesos del Pp desde el de Planeacioacuten

El proceso de ldquoMonitoreordquo utiliza informacioacuten generada principalmente en los procesos de

ldquoComunicacioacutenrdquo ldquoSeleccioacuten de destinatariosrdquo ldquoProduccioacuten de entregablesrdquo ldquoEntregardquo y

ldquoSeguimiento a destinatariosrdquo a partir de ello se retroalimentan los procesos del Pp desde

la ldquoPlaneacioacutenrdquo

3 Con excepcioacuten de los procesos (con sus subprocesos) de Planeacioacuten Monitoreo y Evaluacioacuten Externa para

los cuales la instancia evaluadora uacutenicamente podraacute en caso de que lo considere pertinente agregar

subprocesos pero no suprimir subprocesos

PAE 2017 21

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

El proceso de ldquoEvaluacioacuten Externardquo requiere de informacioacuten transversal de todos los

procesos ya que se valora al Pp en su conjunto En este sentido los resultados de las

evaluaciones son un insumo para retroalimentar al Pp desde el proceso de ldquoPlaneacioacutenrdquo

Es importante sentildealar que en el Esquema 1 se muestra un modelo que es importante tomarlo en

cuenta como referencia para la identificacioacuten y definicioacuten de los procesos y subprocesos o

macroprocesos que integran la operacioacuten del Pp evaluado ademaacutes de que representa un auxiliar

en la definicioacuten del alcance y del enfoque de la Evaluacioacuten de Procesos del Pp

Esquema 1 Modelo general de procesos

Fuente Modelo de TdR para la Evaluacioacuten de Procesos Secretariacutea de Hacienda y Creacutedito Puacuteblico

A continuacioacuten se describe cada uno de los procesos que componen al modelo anterior

Planeacioacuten proceso en el que se determinan o definen el problema o necesidad aacuterbol de

problemas y objetivos poblacioacuten o aacuterea de enfoque potencial y objetivo objetivos

indicadores y metas de la MIR estrategia de cobertura plan estrateacutegico entre otros puntos

asiacute como los recursos financieros y humanos necesarios que requiere el Pp para lograr sus

objetivos En el proceso de planeacioacuten se determinan las directrices en el disentildeo e

implementacioacuten del Pp los subprocesos que lo integran son los siguientes planeacioacuten

estrateacutegica programacioacuten y presupuesto actualizacioacuten de la MIR actualizacioacuten de

normativa

PAE 2017 22

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Comunicacioacuten interna y externa proceso en el que se informan diversas caracteriacutesticas y

objetivos del Pp tanto a los actores involucrados en su funcionamiento y operacioacuten (interna)

como a su poblacioacuten o aacuterea de enfoque objetivo (externa)

Seleccioacuten de destinatarios proceso en el que se determina quieacutenes recibiraacuten los

componentes o entregables de un Pp en funcioacuten de su poblacioacuten o aacuterea de enfoque objetivo

Produccioacuten de entregables proceso en el que se elaboran los entregables o realizan los

componentes del Pp (recursos financieros o humanos apoyos bienes servicios

regulaciones documentos teacutecnicos o de planeacioacuten etc) conforme a sus documentos

normativos

Entrega proceso en el que se realiza la entrega de lo producido o generado por el Pp

(componentes o entregables) a los destinatarios o beneficiarios

Seguimiento a destinatarios actividades y mecanismos que permiten al Pp conocer coacutemo

son utilizados o aprovechados sus componentes o entregables (por sus destinatarios o

beneficiarios) para que entre otras funciones la UR del Pp identifique si se estaacute cumpliendo

con los objetivos Por ejemplo en este proceso se incluyen las actividades que un Pp

implementa para conocer el grado de satisfaccioacuten de sus destinatarios o beneficiarios

Control actividades y mecanismos implementados entre los operadores del Pp para verificar

que los diferentes procedimientos procesos y subprocesos se esteacuten ejecutando conforme a

lo planeado (control interno)

Monitoreo proceso coordinado por una unidad administrativa ajena a la operacioacuten del Pp

a traveacutes del cual se recaba registra y valida la informacioacuten sobre el avance de las metas de

los indicadores de la MIR asiacute como el seguimiento a los resultados de indicadores

adicionales a los de la MIR en caso de que se cuente con un sistema de monitoreo de gestioacuten

Los subprocesos que lo integran son los siguientes acopio de la informacioacuten para el reporte

de avances validacioacuten de informacioacuten y registro de avances primordialmente

Evaluacioacuten externa proceso coordinado por una unidad administrativa ajena a la operacioacuten

del Pp mediante el cual se define la agenda de evaluacioacuten externa del Pp se definen las

metodologiacuteas o los teacuterminos de referencia se contratan las evaluaciones externas (de

cualquier tipo) se recaba la informacioacuten que seraacute entregada a los equipos evaluadores se

realiza el seguimiento durante el desarrollo de las evaluaciones externas se aprueban los

PAE 2017 23

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

informes finales de las evaluaciones externas se notifica a las instancias correspondientes

sobre la conclusioacuten de las evaluaciones externas y se definen y realiza el seguimiento de los

Aspectos Susceptibles de Mejora (ASM)

A partir de los procesos definidos en el modelo anterior la instancia evaluadora deberaacute realizar una

equivalencia de los procesos subprocesos o macroprocesos identificados respecto a los definidos

en el modelo de acuerdo con el Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesosrdquo Cabe

mencionar que los procesos definidos en el modelo no son limitativos por lo que si la instancia

evaluadora identifica procesos subprocesos o macroprocesos adicionales deberaacute incluirlos

Disentildeo metodoloacutegico del trabajo de campo

A partir del contexto en que opera el Pp y el alcance y enfoque metodoloacutegico de la evaluacioacuten de

procesos la instancia evaluadora deberaacute desarrollar una propuesta de estrategia y plan de trabajo

de campo a seguir para la realizacioacuten de la evaluacioacuten asimismo deberaacute incluir un cronograma

detallado de actividades

La estrategia de trabajo de campo disentildeada por la instancia evaluadora deberaacute ser entregada a la

DEV para que en conjunto con la UR del Pp sea validada antes de su implementacioacuten Dicha

estrategia deberaacute contener al menos los siguientes elementos

Justificacioacuten de las teacutecnicas de investigacioacuten a utilizar

Muestra y los criterios utilizados para su seleccioacuten

Listado de los actores a entrevistar

Instrumentos de levantamiento de informacioacuten que se aplicaraacuten y

Cronograma con las actividades a desarrollar

La instancia evaluadora iniciaraacute las actividades del trabajo de campo de manera conjunta y una vez

recibido el visto bueno de la DEV

El disentildeo de la muestra y de los instrumentos para el levantamiento de informacioacuten en campo

deberaacute considerar a la totalidad de los actores que intervienen en la ejecucioacuten de los procesos y

subprocesos o macroprocesos que integran la operacioacuten o gestioacuten del Pp asiacute como a los

destinatarios o beneficiarios de los componentes o entregables del Pp independientemente de su

ubicacioacuten geograacutefica

Algunos criterios que puede utilizar la instancia evaluadora para definir una muestra que considere

la variabilidad de la operacioacuten en los diferentes contextos en que opera el Pp son los siguientes

PAE 2017 24

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

a) El desempentildeo operativo del Pp entre municipios regionalizacioacuten geograacutefica instituciones

puacuteblicas o privadas u otros aspectos que suponen una accioacuten diferenciada de los procesos

(cuando aplique)

b) Volumen de la operacioacuten del Pp

c) Esquemas normativos del Pp y el ejercicio presupuestal en los municipios instituciones

puacuteblicas o privadas u otros aspectos que suponen una accioacuten diferenciada de los procesos

en las que opera el Pp (cuando aplique) y

d) Formas de interaccioacuten del Pp con otros niveles u oacuterdenes de gobierno (cuando aplique)

Los criterios anteriores no son limitativos por lo que la instancia evaluadora podraacute proponer criterios

adicionales que considere pertinentes para la definicioacuten de la muestra para el trabajo de campo

En el disentildeo muestral la instancia evaluadora deberaacute sentildealar los funcionarios del Pp o destinatarios

a los que se les aplicaraacuten los instrumentos de levantamiento de informacioacuten con los que se realizaraacute

el trabajo de campo asiacute como la ubicacioacuten geograacutefica de los mismos

Instrumentos de levantamiento de informacioacuten

La instancia evaluadora deberaacute disentildear los instrumentos que utilizaraacute para el levantamiento de

informacioacuten durante el trabajo de campo como son (por ejemplo) los cuestionarios por tipo de

funcionario a entrevistar para el caso de entrevistas semiestructuradas los guiones a utilizar en la

realizacioacuten de grupos focales los cuestionarios de aplicacioacuten electroacutenica las guiacuteas respectivas entre

otros Para lo anterior deberaacute considerar los siguientes temas guiacutea y preguntas de referencia

Planeacioacuten (planeacioacuten estrateacutegica programacioacuten y presupuesto)

iquestQueacute se entiende por planeacioacuten estrateacutegica para los operadores del Pp

iquestCuaacuteles son las actividades o acciones de planeacioacuten estrateacutegica del Pp que se realizan

iquestLa planeacioacuten estrateacutegica es el resultado de un ejercicio institucionalizado que involucra a

los actores clave de la gestioacuten del Pp

iquestExiste un documento resultado de la planeacioacuten estrateacutegica iquestEs claro difundido y

accesible iquestEn queacute medida es utilizado para guiar la operacioacuten del Pp

iquestLa planeacioacuten estrateacutegica estaacute vinculada con el cumplimiento entrega o generacioacuten de los

componentes o entregables del Pp

iquestLa planeacioacuten estrateacutegica establece indicadores para medir los avances en las metas

establecidas iquestLas metas son factibles y estaacuten orientadas a impulsar el desempentildeo del Pp

PAE 2017 25

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

iquestQueacute se entiende por planeacioacuten operativa y cuaacuteles son las diferencias con la planeacioacuten

estrateacutegica

Comunicacioacuten interna y externa del Pp (las preguntas que apliquen)

iquestQueacute actores intervienen en la comunicacioacuten del Pp

iquestExiste una estrategia de comunicacioacuten del Pp documentada En caso afirmativo describirla

iquestLa estrategia de comunicacioacuten del Pp (documentada o no) es adecuada

iquestLos medios utilizados el lenguaje y el contenido de los mensajes son pertinentes en funcioacuten

del puacuteblico al que van dirigidos

Solicitud de los componentes o entregables del Pp (las preguntas que apliquen)

iquestExiste un proceso claro imparcial y expliacutecito por medio del cual la poblacioacuten o aacuterea de

enfoque potencial puede solicitar los componentes o entregables que otorga el Pp

iquestLos requisitos para solicitar los componentes o entregables del Pp se presentan de manera

clara y completa

iquestLos puntos de recepcioacuten de solicitudes son accesibles y suficientes (cuando aplique)

iquestExisten mecanismos estandarizados para recibir y revisar la documentacioacuten entregada asiacute

como registrar y dar traacutemite a las solicitudes (cuando aplique)

iquestSon adecuados estos mecanismos (cuando aplique) En caso de que el Pp que apoye la

realizacioacuten de proyectos iquestse brinda asesoriacutea para la presentacioacuten de los mismos de ser asiacute

iquestes pertinente esta asesoriacutea

iquestEl proceso de solicitud de los componentes o entregables que otorga el Pp se encuentra

automatizado total o parcialmente

Para esta pregunta considerar los estados de digitalizacioacuten utilizados por la Comisioacuten Intersecretarial

para el Desarrollo del Gobierno electroacutenico seguacuten una adaptacioacuten realizada a la clasificacioacuten que

hace la ONU

Estado de digitalizacioacuten 1 traacutemites y servicios que se encuentran en estado informativo

Estado de digitalizacioacuten 2 traacutemites y servicios que cuentan con interfaces de comunicacioacuten

unidireccional

Estado de digitalizacioacuten 3 traacutemites y servicios que permiten realizar transacciones y

Estado de digitalizacioacuten 4 traacutemites y servicios que el usuario puede ejecutar de principio a

fin por medio de dispositivos digitales

PAE 2017 26

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para mayor informacioacuten referirse a ldquoFigure A4 The four stages of online service developmentrdquo en

los siguientes documentos

Lineamientos relativos a la digitalizacioacuten estandarizada de traacutemites y servicios con apego en

la Estrategia Digital Nacional

httpwwwgobmxcmsuploadsattachmentfile67232ti_1_pgcm_bases_lineam_tyspdf

United Nations E-Government Survey 2014 (paacutegina 195)

httpspublicadministrationunorgegovkbportalsegovkbdocumentsun2014-surveye-

gov_complete_survey-2014pdf

Seleccioacuten de destinatarios (cuando aplique)

iquestExiste una metodologiacutea o meacutetodo para la seleccioacuten de destinatarios o beneficiarios de los

componentes o entregables del Pp iquestLa metodologiacutea utilizada cuenta con criterios de

seleccioacuten y elegibilidad claros estandarizados y sistematizados

iquestLa seleccioacuten de destinatarios o beneficiarios de los componentes o entregables del Pp es un

proceso transparente e imparcial iquestEl resultado de la seleccioacuten es puacuteblico (cuando aplique)

iquestExiste informacioacuten en una base de datos que permita conocer quieacutenes o queacute instancias

reciben los componentes o entregables del Pp iquestQueacute informacioacuten integra esta base de datos

iquestExisten mecanismos para validar y actualizar esta base de datos iquestEstos mecanismos son

pertinentes

Produccioacuten de componentes o entregables

iquestSe cuenta con los insumos suficientes para generar el volumen de componentes o

entregables que permitan al Pp atender a su poblacioacuten o aacuterea de enfoque objetivo

iquestEl Pp tiene mecanismos para estimar la produccioacuten o generacioacuten necesaria de componentes

o entregables de acuerdo con la posible demanda o requerimientos de su poblacioacuten o aacuterea

de enfoque objetivo iquestEs adecuado este mecanismo

iquestExisten mecanismos de control de calidad para la generacioacuten de los componentes o

entregables del Pp iquestEstos mecanismos son pertinentes

iquestLas actividades de generacioacuten de componentes o entregables que otorga el Pp estaacuten

estandarizadas es decir son ejecutadas de manera homogeacutenea por todas las instancias

involucradas

PAE 2017 27

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Entrega

iquestLos componentes o entregables del Pp son proporcionados conforme a las especificaciones

y de manera oportuna a los destinatarios

iquestExisten especificaciones (programas o planes de trabajo) sobre la forma en que se deben

trasladar los componentes o entregables para (por ejemplo) asegurar su adecuada recepcioacuten

en el punto de destino iquestSon adecuadas estas especificaciones respecto a normas o

lineamientos existentes (cuando aplique)

iquestLa logiacutestica de distribucioacuten se actualiza (cuando aplique) iquestExiste un periodo para dicha

actualizacioacuten iquestEn el disentildeo y actualizacioacuten de la logiacutestica se toman en cuenta los factores

geograacuteficos y climatoloacutegicos en cada regioacuten donde opera el Pp (cuando aplique)

iquestLos puntos de entrega de los componentes o entregables son cercanos a los beneficiarios

o aacuterea de enfoque a atender y son de faacutecil acceso iquestSe considera que son suficientes iquestPor

queacute

Control (las preguntas que apliquen)

iquestEl Pp cuenta con los mecanismos para verificar que los componentes o entregables se

otorguen de acuerdo con lo establecido en la normativa especiacutefica y lleguen a la poblacioacuten

o aacuterea de enfoque que deba ser beneficiada iquestEstos mecanismos son adecuados

iquestExiste de manera sistematizada un documento que deacute cuenta de los resultados de

supervisioacuten y entrega de componentes o entregables iquestEste documento es adecuado iquestLos

resultados se utilizan para implementar mejoras en la operacioacuten del Pp

iquestExisten procedimientos estandarizados que verifiquen el cumplimiento de la

corresponsabilidad u obligatoriedad por parte de los beneficiarios o destinatarios de los

componentes o entregables del Pp (cuando aplique)

Seguimiento a destinatarios

iquestEl Pp tiene mecanismos para verificar el procedimiento de seguimiento a los destinatarios o

beneficiarios que permitan identificar si los componentes o entregables generados son

utilizados de acuerdo con lo establecido iquestCoacutemo se implementa el mecanismo iquestEste

mecanismo es adecuado

iquestExisten procedimientos estandarizados que permitan verificar el cumplimiento de la

corresponsabilidad u obligatoriedad por parte del destinatario o beneficiario (cuando

aplique)

PAE 2017 28

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

En caso de que los componentes o entregables involucren la ejecucioacuten de obra o de

infraestructura iquestel Pp cuenta con un mecanismo de seguimiento o supervisioacuten que permita

identificar si se realizaron acorde a la normativa aplicable iquestEl seguimiento o supervisioacuten

considera plazos para la revisioacuten de las condiciones de la obra o la infraestructura despueacutes

de terminada la obra

iquestEl Pp tiene mecanismos para identificar si se cumple con su Propoacutesito iquestSon suficientes y

pertinentes estos mecanismos

iquestExisten mecanismos para conocer la satisfaccioacuten del destinatario o beneficiario de los

componentes o entregables del Pp respecto de los componentes que ofrece el Pp iquestSon

adecuados estos mecanismos iquestSu operacioacuten permite una aplicacioacuten imparcial y objetiva

iquestExiste evidencia para afirmar que las quejas y sugerencias que brindan los destinatarios o

beneficiarios de los componentes o entregables del Pp son utilizadas para la mejora continua

del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

En esta seccioacuten se deberaacute realizar la medicioacuten de los atributos de eficacia oportunidad suficiencia

y pertinencia de los procesos y subprocesos o macroprocesos definidos en el mapa de procesos del

Pp A continuacioacuten se definen los atributos en el marco de la evaluacioacuten de procesos

Eficacia un proceso es eficaz en la medida en que cumple con sus metas

Oportunidad un proceso es oportuno en la medida en que otorga sus productos

(componentes o entregables) o resultados en un periodo de tiempo determinado o

adecuado para el logro de sus objetivos

Suficiencia un proceso es suficiente en la medida en que produce sus resultados de forma

completa o adecuada para el logro de sus objetivos

Pertinencia un proceso es pertinente si sus actividades y productos son adecuados para

lograr tanto sus metas especiacuteficas como sus objetivos es decir si contribuyen al

mejoramiento de la gestioacuten del Pp4

4 Las actividades son adecuadas si estaacuten en funcioacuten del logro del objetivo de cada proceso Por ejemplo si se verifica que el formato de los mensajes a difundir cumpla con las caracteriacutesticas necesarias para llegar a la poblacioacuten o aacuterea de enfoque objetivo como seriacutea una mensaje de audio en la lengua indiacutegena de la localidad donde se encuentran los posibles destinatarios o beneficiarios o bien como seriacutea un mensaje dirigido a personal operativo del Pp cuyo nivel de estudios promedio pudiera complicar la comprensioacuten de lenguaje teacutecnico utilizado

PAE 2017 29

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para la medicioacuten de los atributos de los procesos y subprocesos o macroprocesos del Pp deberaacute

realizarse una revisioacuten documental (normativa aplicable MIR evaluaciones externas sistemas de

informacioacuten y registros administrativos entre otros) misma que deberaacute complementarse con el

trabajo de campo con el objetivo de identificar disentildear y calcular indicadores relacionados con

dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de informacioacuten empleadas

La informacioacuten obtenida de estos indicadores deberaacute vaciarse en fichas propuestas por la instancia

evaluadora presentadas como en el Anexo 6 ldquoFichas de indicadores de atributos de los procesos del

Pprdquo (formato libre) Estas fichas deberaacuten considerar la medicioacuten de los atributos de eficacia

suficiencia oportunidad y pertinencia correspondientes a cada proceso y subproceso o

macroproceso

Valoracioacuten de los procesos y subprocesos de la operacioacuten del Pp

Deberaacute contener una siacutentesis de los resultados encontrados en la Evaluacioacuten de Procesos del Pp

resaltando los hallazgos maacutes relevantes que se hayan detectado y que pudiesen transformarse en

ASM

La instancia evaluadora deberaacute calcular una valoracioacuten global cuantitativa sobre la operacioacuten y la

ejecucioacuten de los procesos y subprocesos o macroprocesos del Pp a partir del siguiente esquema de

puntuacioacuten5

Eficacia

- Todos los procesos (o macroprocesos) son eficaces = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es eficaz = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es eficaz = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es eficaz = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es eficaz = 1 punto

- Ninguno de los procesos (o macroprocesos) es eficaz = 0 puntos

Oportunidad

- Todos los procesos (o macroprocesos) son oportunos = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es oportuno = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es oportuno = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es oportuno = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es oportuno = 1 punto

5 La valoracioacuten cuantitativa deberaacute estar sustentada y por tanto ser consistente con lo valorado por la instancia evaluadora en el apartado de ldquoMedicioacuten de atributos de los procesos y subprocesosrdquo

PAE 2017 30

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

- Ninguno de los procesos (o macroprocesos) es oportuno = 0 puntos

Suficiencia

- Todos los procesos (o macroprocesos) son suficientes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es suficiente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es suficiente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es suficiente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es suficiente = 1 punto

- Ninguno de los procesos (o macroprocesos) es suficiente = 0 puntos

Pertinencia

- Todos los procesos (o macroprocesos) son pertinentes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es pertinente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es pertinente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es pertinente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es pertinente = 1 punto

- Ninguno de los procesos (o macroprocesos) es pertinente = 0 puntos

A partir de los puntajes asignados en los cuatro atributos anteriores esta valoracioacuten cuantitativa

global debe considerar el total de puntos posibles de obtener (5 x 4 = 20 puntos) y los puntos

obtenidos en la Evaluacioacuten de Procesos Pp (lsquoyrsquo puntos) de modo que se indique el porcentaje de

puntos obtenidos del total de puntos posibles [(lsquoyrsquo20) x 100] = valoracioacuten cuantitativa global de la

operacioacuten del Pp

La instancia evaluadora deberaacute utilizar el Anexo 9 ldquoValoracioacuten global cuantitativardquo para documentar

argumentar y sustentar cada una de las valoraciones cuantitativas sobre la operacioacuten y la ejecucioacuten

de los procesos (o macroprocesos) del Pp

Adicionalmente en este apartado se deberaacuten integrar las recomendaciones y conclusiones que se

consideren maacutes relevantes de los procesos y subprocesos o macroprocesos del Pp las cuales deben

formularse con base en los hallazgos del trabajo de campo y de gabinete El objetivo final de las

recomendaciones es proveer informacioacuten valiosa a los operadores del Pp para realizar adecuaciones

en la ejecucioacuten de los procesos y subprocesos o macroprocesos de modo que se potencie la

consecucioacuten de resultados del Pp

Las recomendaciones que se formulen como resultado de la Evaluacioacuten de Procesos del Pp deberaacuten

tener las siguientes caracteriacutesticas

Derivarse de los hallazgos de la evaluacioacuten

PAE 2017 31

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Ser concretas y factibles

Incluir un proyecto de implementacioacuten que considere los siguientes elementos

- Breve anaacutelisis de la viabilidad o factibilidad de la implementacioacuten

- Principales responsables de la implementacioacuten

- Anaacutelisis de los efectos potenciales que puede implicar la implementacioacuten tanto en la

operacioacuten del Pp como en el logro de sus objetivos

- La comparacioacuten entre la situacioacuten actual y el resultado que se espera obtener con la

implementacioacuten de la recomendacioacuten

Estar categorizadas en dos liacuteneas de accioacuten estrateacutegicas

- Consolidacioacuten

- Reingenieriacutea de procesos o subprocesos

Al respecto la instancia evaluadora debe entender por consolidacioacuten aquellas recomendaciones que

estaacuten dirigidas a perfeccionar determinados aspectos de la operacioacuten como seriacutean algunas acciones

procedimientos o estrategias del Pp asiacute como iniciativas para el fortalecimiento de los sistemas

automatizados infraestructura entre otros

Por reingenieriacutea de procesos o subprocesos se entenderaacuten aquellas recomendaciones que apuntan

a una transformacioacuten o modificacioacuten profunda o sustancial de uno o varios de los procesos y

subprocesos del Pp Para ello se deberaacute llenar el Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de

Procesos del Pprdquo y que a su vez deben derivar en acciones de consolidacioacuten para la implementacioacuten

de los procesos transformados

Adicionalmente y de conformidad con el alcance de la Evaluacioacuten de Procesos del Pp se deberaacute

presentar una propuesta para crear o fortalecer el sistema de monitoreo de gestioacuten del Pp con

indicadores a nivel de procesos y subprocesos o macroprocesos

Asimismo a partir de todo el anaacutelisis y valoraciones realizadas se deberaacute emitir un pronunciamiento

acerca de la percepcioacuten de eficiencia que la instancia evaluadora haya tenido sobre la ejecucioacuten de

los procesos y subprocesos o macroprocesos del Pp

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible o si no hipoteacuteticos en un anexo de formato libre Anexo 10 ldquoSistema de

monitoreo e indicadores de gestioacuten del Pprdquo

PAE 2017 32

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Bitaacutecora de trabajo de campo y bases de datos

La instancia evaluadora deberaacute entregar una bitaacutecora de trabajo de campo que destaque de forma

sinteacutetica entre otros puntos las principales actividades y situaciones a las que se enfrentoacute y que

podriacutean afectar los resultados de la Evaluacioacuten de Procesos del Pp

Asimismo deberaacute entregar las bases de datos generadas a partir de la aplicacioacuten de los instrumentos

de recoleccioacuten de informacioacuten y de la recopilacioacuten de informacioacuten en el trabajo de campo Las bases

de datos deberaacuten entregarse en formatos compatibles con Excel debiendo mantener la

confidencialidad de los entrevistados pero sin alterar la informacioacuten proporcionada por estos En las

bases de datos debe estar sistematizada toda la informacioacuten recabada a partir de la aplicacioacuten de

los instrumentos de levantamiento de informacioacuten y deberaacute sustentar el anaacutelisis las valoraciones los

hallazgos y las conclusiones de la evaluacioacuten

PAE 2017 33

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Contenido del informe

Contenido miacutenimo del informe final de la evaluacioacuten

Derivado del contenido generado en las secciones anteriores deberaacuten elaborarse los siguientes

apartados en el informe final de la Evaluacioacuten de Procesos del Pp

i Introduccioacuten

ii Resumen Ejecutivo

iii Marco Legal

iv Datos Generales del Programa Presupuestario (Pp)

v Criterios Teacutecnicos para la Evaluacioacuten del Programa Presupuestario correspondiente

vi Apartados de la evaluacioacuten

Seccioacuten 1 Disentildeo

Diagnoacutestico del programa puacuteblico

Matriz de Indicadores para Resultados (MIR)

Seccioacuten 2 Procesos

Pertinencia de los proceso

Diagnoacutestico general de los procesos y subprocesos del Pp

- Contexto en que opera el Pp

- Diagnoacutestico inicial de los procesos y subprocesos

Descripcioacuten y valoracioacuten de los procesos y subprocesos del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

vii Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

viii Valoracioacuten final del Pp

ix Hallazgos

x Recomendaciones clasificadas por apartado

xi Conclusiones

xii Bibliografiacutea

xiii Anexos

Anexo 1 Descripcioacuten General del Programa

Anexo 2 Metodologiacutea para la cuantificacioacuten de las poblaciones potencial y objetivo

(Formato Libre)

Anexo 3 Evolucioacuten de la Cobertura

Anexo 4 Propuesta de mejora de la Matriz de Indicadores para Resultados

Anexo 5 Ficha de identificacioacuten y equivalencia de procesos del Pp

PAE 2017 34

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 Fichas de indicadores de atributos de los procesos del Pp (Formato libre)

Anexo 7 Diagramas de flujo de la operacioacuten del Pp

Anexo 8 Propuesta de modificacioacuten a los documentos normativos o institucionales

del Pp

Anexo 9 Valoracioacuten global cuantitativardquo

Anexo 10 Sistema de monitoreo e indicadores de gestioacuten del Pp (Formato libre)

Anexo 11 Recomendaciones de la Evaluacioacuten de Procesos del Pp

Anexo 12 Principales Fortalezas Retos y Recomendaciones

Anexo 13 Ficha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacuten

En el Resumen Ejecutivo asimismo se describiraacuten los principales hallazgos y recomendaciones del

evaluador externo

Para el desarrollo de los apartados antes referidos deberaacute atender las indicaciones que se desarrollan

en las siguientes secciones

Hallazgos y resultados Pp por Seccioacuten

Se debe realizar una valoracioacuten general del programa por seccioacuten utilizando las respuestas que

integran cada uno de los apartados En esta valoracioacuten integral se deberaacute sentildealar en queacute medida la

gestioacuten operativa conduce al logro de los objetivos del Pp

Asimismo se deben sentildealar las aacutereas de mejora las buenas praacutecticas y las fortalezas detectadas en

la operacioacuten del Pp y a partir de ello la instancia evaluadora emitiraacute recomendaciones de mejora

sobre aspectos especiacuteficos de cada proceso y subproceso o macroproceso del Pp Adicionalmente

se deberaacuten identificar los problemas o limitantes tanto normativos como operativos (ldquocuellos de

botellardquo) de coordinacioacuten entre unidades administrativas y otros que hubiese en los procesos y

subprocesos o macroprocesos del Pp entendieacutendose como aquellas praacutecticas procedimientos

actividades o traacutemites que obstaculizan la operacioacuten del Pp

En este sentido se deberaacuten identificar las situaciones en las que la normativa genere complicaciones

en la gestioacuten o ineficacia en el cumplimiento de los objetivos del Pp para lo cual se deberaacute presentar

(por cada situacioacuten identificada) una propuesta de modificacioacuten a la normativa aplicable al Pp

considerando las restricciones praacutecticas que existan para su implementacioacuten asiacute como los efectos

PAE 2017 35

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

potenciales de ser implementada Los resultados de este anaacutelisis deberaacuten describirse en el Anexo 7

ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales del Pprdquo

Para la identificacioacuten y descripcioacuten de los ldquocuellos de botellardquo buenas praacutecticas y fortalezas del Pp

se consideraraacute la informacioacuten derivada del anaacutelisis de la operacioacuten del Pp asiacute como los puntos de

vista de los principales actores que intervienen en ella Este anaacutelisis deberaacute contener las causas y las

consecuencias de los ldquocuellos de botellardquo detectados sus caracteriacutesticas y naturaleza (si son

normativas o estrictamente operativas) de igual manera se deberaacute desarrollar un anaacutelisis de las

buenas praacutecticas identificadas

Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

Se debe integrar en una sola tabla las fortalezas oportunidades debilidades y amenazas

especificadas por cada apartado de la evaluacioacuten y reportarlas en el Anexo 11 ldquoPrincipales Fortalezas

Retos y Recomendacionesrdquo en el que se deben incluir las fortalezas yo oportunidades las

debilidades yo amenazas y las recomendaciones por apartado de la evaluacioacuten

PAE 2017 36

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexos

Anexo 1 ldquoDescripcioacuten General del Programardquo

El Anexo tiene formato libre sin embargo debe contener una breve descripcioacuten de las caracteriacutesticas

maacutes relevantes del Pp en un maacuteximo de dos cuartillas Dicha descripcioacuten debe considerar los

siguientes aspectos

1 Identificacioacuten del programa

11 Nombre

12 Clave de programa

13 Dependencia yo Entidad coordinadora ejecutora

14 Antildeo de inicio de operacioacuten

2 Problema o necesidad que el Pp pretende atender atenuar o resolver

3 La contribucioacuten del Pp a las Metas y objetivos estatales a los que se vincula

4 Descripcioacuten de los objetivos del Pp asiacute como de los bienes yo servicios que ofrece

(componentes)

5 Identificacioacuten y cuantificacioacuten de la poblacioacuten o aacuterea de enfoque potencial y

objetivo

6 Presupuesto aprobado para el ejercicio fiscal en curso

7 Metas de los indicadores de Fin Propoacutesito y Componentes asiacute como los de nivel

actividad que se consideren relevantes y

8 Resumen de la valoracioacuten de la pertinencia del disentildeo del Pp respecto a la atencioacuten

del problema o necesidad

Anexo 2 ldquoMetodologiacutea para la cuantificacioacuten de la poblacioacuten o aacuterea de enfoque

potencial y objetivordquo

El Anexo tiene formato libre sin embargo se debe incluir la siguiente informacioacuten

Definicioacuten de la poblacioacuten o aacuterea de enfoque potencial objetivo y atendida

Cuantificacioacuten de la poblacioacuten potencial objetiva y atendida

Hallazgos sobre el procedimiento llevado a cabo para definir y cuantificar la poblacioacuten o

aacuterea de enfoque potencial objetivo y atendida

Recomendaciones

Propuesta orientada hacia la mejora

PAE 2017 37

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 3 ldquoEvolucioacuten de la Coberturardquo

Nombre del

Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten

Antildeo de la Evaluacioacuten

Tipo de Poblacioacuten

Unidad

de

Medida

2012 2013 2014 2015 2016

P Potencial

P Objetivo

P Atendida

119927119912 times 120783120782120782

119927119926

PAE 2017 38

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 4 ldquoPropuesta de mejora de la Matriz de Indicadores para Resultadosrdquo

Derivado del anaacutelisis y valoracioacuten de la pregunta de investigacioacuten nuacutemero 3 iquestLa estructura de

objetivos planteada por el programa mantiene loacutegica y correspondencia causal con el problema

planteado en el diagnoacutestico se realizaraacute una propuesta de mejora de MIR

Fin

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Propoacutesito

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Componente 1

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

PAE 2017 39

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Componente 2 hellip

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 40

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesos del Pprdquo

Para la identificacioacuten y clasificacioacuten de los procesos del Pp se sugieren los siguientes pasos

1 Listar los procesos identificados

Comparar los procesos identificados del Pp con aquellos correspondientes al Modelo general de

procesos Colocar en el rengloacuten correspondiente el nombre de cada proceso del Pp identificado

como equivalente

2 Colocar al final de la lista aquellos procesos del Pp que no sean equivalentes con el Modelo

general de procesos

Modelo general de

procesos

Nuacutemero

de

secuencia

Procesos o subprocesos del Pp identificados por el

evaluador

(Nombre y breve descripcioacuten)

Planeacioacuten Ejemplo (Ej) Planeacioacuten Estrateacutegica

Ej Programacioacuten

Ej Presupuestacioacuten

Comunicacioacuten interna y

externa

Ej Difusioacuten Federal

Ej Difusioacuten Local

Seleccioacuten de

destinatarios

Ej Recepcioacuten de solicitudes de becas

Ej Seleccioacuten de becarios

Produccioacuten de

entregables

Entrega

Control

Seguimiento Ej Seguimiento fiacutesico y supervisioacuten en campo

Evaluacioacuten externa Ej Publicacioacuten y lectura del PAE

Ej Definicioacuten de TdR

Ej Contratacioacuten

Ej Ejecucioacuten de la evaluacioacuten externa

Monitoreo Ej Registro de avances de indicadores

Ej Revisioacuten de registros

Ej Validacioacuten de registros e integracioacuten de informes

PAE 2017 41

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Procesos identificados por el evaluador que no coinciden con el Modelo general de procesos

PAE 2017 42

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 ldquoFichas de indicadores de atributos de los procesos del Pp (formato libre)rdquo

Para la construccioacuten de este anexo deberaacute realizarse una revisioacuten documental (normativa aplicable

MIR evaluaciones externas sistemas de informacioacuten y registros administrativos entre otros) misma

que deberaacute complementarse con el trabajo de campo con el objetivo de identificar disentildear y calcular

indicadores relacionados con dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de

informacioacuten empleadas

Ademaacutes de considerar la medicioacuten de los atributos de eficacia suficiencia oportunidad y pertinencia

de cada proceso y subproceso o macroproceso

PAE 2017 43

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 7 ldquoDiagramas de flujo de la operacioacuten del Pprdquo

Para la elaboracioacuten de los diagramas de flujo deberaacute utilizarse la notacioacuten empleada en el

documento ldquoGuiacutea para la Optimizacioacuten Estandarizacioacuten y Mejora Continua de Procesosrdquo publicada

por la SFP en la direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Para el Diagrama de Alto Nivel (Diagrama PEPSU)

Ejemplo ilustrativo

PAE 2017 44

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para el Diagrama de Flujo

PAE 2017 45

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

PAE 2017 46

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 8 ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales

del Pprdquo

Tipo de

norma-

tiva

Dice

Problema

generado

(causas y

consecuencias)

Se

recomienda

decir

Efecto esperado de

aplicar la

recomendacioacuten de

cambio

Restricciones praacutecticas

que puedan existir para

su implementacioacuten

PAE 2017 47

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 9 ldquoValoracioacuten global cuantitativa ldquo

Seccioacuten 1 Disentildeo

Disentildeo Valoracioacuten Argumento o justificacioacuten

Porcentaje del

Disentildeo del Pp

(Suma de valoracioacuten alcanzada por pregunta de la seccioacuten 1 Total maacuteximo de la

valoracioacuten de todas las preguntas de la seccioacuten 1 ) x 100

Seccioacuten 2 Procesos

Proceso Eficacia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

eficaces

(Total de procesos eficaces Total de procesos del Pp) x 100

Proceso Oportunidad

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

oportunos

(Total de procesos oportunos Total de procesos del Pp) x 100

Proceso Suficiencia

(SiacuteNo) Argumento o justificacioacuten

PAE 2017 48

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Porcentaje de

procesos

suficientes

(Total de procesos suficientes Total de procesos del Pp) x 100

Proceso Pertinencia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

pertinentes

(Total de procesos pertinentes Total de procesos del Pp) x 100

NOTA Los argumentos y justificaciones del evaluador deberaacuten considerar el anaacutelisis y valoraciones de

los subprocesos de cada proceso de modo que haya consistencia entre estos elementos Asimismo el

evaluador deberaacute expresar los resultados de la valoracioacuten cuantitativa en una graacutefica tipo radial

PAE 2017 49

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 10 ldquoSistema de monitoreo e indicadores de gestioacuten del Pp (formato libre)rdquo

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible

Nombre del Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten De Procesos

Antildeo de la Evaluacioacuten 2017

Fin Justificacioacuten Propoacutesito Justificacioacuten Componente (s) Justificacioacuten

Nombre de

Indicador

Meacutetodo de Caacutelculo

Claro SiacuteNo SiacuteNo SiacuteNo

Relevante SiacuteNo SiacuteNo SiacuteNo

Econoacutemico SiacuteNo SiacuteNo SiacuteNo

Monitoreable SiacuteNo SiacuteNo SiacuteNo

Adecuado SiacuteNo SiacuteNo SiacuteNo

Definicioacuten SiacuteNo SiacuteNo SiacuteNo

Unidad de Medida SiacuteNo SiacuteNo SiacuteNo

Frecuencia de

Medicioacuten

SiacuteNo SiacuteNo SiacuteNo

Liacutenea Base SiacuteNo SiacuteNo SiacuteNo

Metas SiacuteNo SiacuteNo SiacuteNo

Comportamiento

del Indicador

SiacuteNo SiacuteNo SiacuteNo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 50

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de Procesos del Pprdquo

En este Anexo la instancia evaluadora debe valorar si la recomendacioacuten implica una consolidacioacuten o

una reingenieriacutea del proceso

A) Consolidacioacuten

Proceso Recomendaci

oacuten

Breve

anaacutelisis de

viabilidad de

la

implementa-

cioacuten

Principales

responsables

de la

implementaci

oacuten

Situacioacuten

actual

Efectos

potenciales

esperados

Medio de

verifica-

cioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

B) Reingenieriacutea de procesos

Proceso Objetivo

Breve

anaacutelisis de

viabilidad

de la

implemen-

tacioacuten

Principales

responsables

de la

implemen-

tacioacuten

Situa-

cioacuten

actual

Metas y

efectos

potenciale

s

esperados

Elabora-

cioacuten de

flujogram

a del

nuevo

proceso

Medio

de

verifi-

cacioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

NOTA El nivel de priorizacioacuten Alto Medio o Bajo se estimaraacute considerando la mejora en la operacioacuten

del Pp la viabilidad de la implementacioacuten de la recomendacioacuten asiacute como el efecto potencial que esto

pueda tener el alcance del objetivo del Pp

PAE 2017 51

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 12 ldquoPrincipales Fortalezas Retos y Recomendacionesrdquo

Capacidades Internas Factores Externos

Fortalezas

(Cualquier capacidad con la que cuenta la dependencia o

entidad que le permita aprovechar sus recursos para la

obtencioacuten de sus objetivos)

Oportunidades

(Cualquier factor externo fuera del control de la dependencia o

entidad que puede ser aprovechado para la obtencioacuten de sus

objetivos)

Debilidades

(Cualquier limitante Interna de la dependencia o entidad que

puede afectar la obtencioacuten de sus objetivos)

Amenazas

(Cualquier factor externo fuera de control de la dependencia o

entidad que pueda afectar la obtencioacuten de sus objetivos)

PAE 2017 52

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacutenrdquo

El Informe Final de la Evaluacioacuten de Procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten

Superior deberaacuten contener una ficha con los siguientes datos

Ficha Teacutecnica con los datos generales de la evaluacioacuten

Nombre o denominacioacuten de la

evaluacioacuten

[Especificar el nombre de la evaluacioacuten considerando su tipo y ejercicio

evaluado]

Nombre o denominacioacuten del

programa evaluado

[Indicar el nombre del Pp sujeto a evaluacioacuten de acuerdo con lo

establecido en el PEF sentildealando su modalidad y clave]

Unidad Responsable de la operacioacuten

del programa

[Especificar la(s) unidad(es) responsable(s) de la administracioacuten

operacioacuten y ejecucioacuten de los programas subprogramas y proyectos del

Pp evaluado correspondientes a las dependencias y entidades]

Titular de la unidad responsable de la

operacioacuten del programa

[Indicar el nombre del(a) Titular de la Unidad Responsable de la

operacioacuten del Pp]

Antildeo del Programa Anual de

Evaluacioacuten (PAE) en que fue

considerada la evaluacioacuten

[Especificar el ejercicio fiscal al que corresponde el PAE en la que fue

programada la evaluacioacuten]

Antildeo de conclusioacuten y entrega de la

evaluacioacuten

[Indicar el antildeo en que se concluyoacute la evaluacioacuten]

Tipo de evaluacioacuten [Especificar el tipo de evaluacioacuten de acuerdo con los Lineamientos de

evaluacioacuten el nombre de la evaluacioacuten y con lo establecido en el PAE]

Nombre de la instancia evaluadora [Indicar el nombre de la firma consultoriacutea u organizacioacuten que realizoacute la

evaluacioacuten]

Nombre del(a) coordinador(a)

externo(a) de la evaluacioacuten

[Especificar el nombre del(a) responsable de la coordinacioacuten de la

evaluacioacuten dla instancia evaluadora]

Nombre de los(as) principales

colaboradores(as) del(a)

coordinador(a) de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del(a)

coordinador(a) de la evaluacioacuten]

PAE 2017 53

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Unidad Administrativa responsable de

la Coordinacioacuten de la evaluacioacuten

[De acuerdo con lo sentildealado en el PAE especificar la instancia a la que

corresponde la coordinacioacuten de la evaluacioacuten pej Secretariacutea de

Finanzas y Administracioacuten (SFA) asiacute como la unidad administrativa

mediante la cual se ejerce esta funcioacuten p ej Direccioacuten de Evaluacioacuten

de la SFA (DEV)

Nombre del(a) Titular de la unidad

administrativa responsable de

coordinar la evaluacioacuten (Aacuterea de

Evaluacioacuten)

[Especificar el nombre del(a) Titular de la Unidad responsable de dar

seguimiento a la evaluacioacuten que funge como Aacuterea de Evaluacioacuten]

Nombres de los(as) servidores(as)

puacuteblicos(as) adscritos(as) a la unidad

administrativa responsable de

coordinar la evaluacioacuten que

coadyuvaron con la revisioacuten teacutecnica

de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del

titular de la unidad administrativa responsable de dar seguimiento a la

evaluacioacuten respecto de la revisioacuten teacutecnica de la misma]

Forma de contratacioacuten de la instancia

evaluadora

[Indicar el tipo de contratacioacuten dla instancia evaluadora Especificar el

tipo de procedimiento de contratacioacuten de la instancia evaluadora

consistente con los tipos de adjudicacioacuten establecidos en la Ley de

Adquisiciones Arrendamientos y Servicios del Sector Puacuteblico]

Costo total de la evaluacioacuten con IVA

incluido

[Especificar el costo total de la evaluacioacuten incluyendo el IVA (en caso

de que se haya causado) como sigue $XXX IVA incluido]

Asimismo en este anexo se deberaacute incluir una nota metodoloacutegica con la descripcioacuten de las teacutecnicas

y los modelos utilizados por el evaluador externo acompantildeada del disentildeo por muestreo

especificando los supuestos empleados y las principales caracteriacutesticas del tamantildeo y dispersioacuten de

la muestra utilizada

DIRECTORIO

Rauacutel Saacutenchez Kobashi

Secretario de la Secretariacutea de Finanzas y Administracioacuten

Francisco Fidel Teomitzi Saacutenchez

Subsecretario de Planeacioacuten

Arturo Neponuceno Crisoacutestomo

Director de Evaluacioacuten

Rodolfo de la Rosa Cabrera

Subdireccioacuten de Evaluacioacuten de Programas

Sauacutel Federico Oropeza Orea

Jefe del Departamento de Programas Estatales y Municipales

Ana Luz Guzmaacuten Figueroa

Analista del Departamento de Programas Estatales y Municipales

Marco Antonio Saacutenchez Gonzaacutelez

Analista del Departamento de Programas Estatales y Municipales

Page 7: Términos de Referencia para la Evaluación del Desempeño ...evaluacion.puebla.gob.mx/pdf/metodologias/TdR_Est/2017/TdR... · Perfil de la instancia evaluadora ... acuerdo con las

PAE 2017 6

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Mapeo mostrar graacuteficamente por medio de siacutembolos cuaacuteles son las actividades que se llevan a

cabo dentro de una organizacioacuten o un proceso de tal manera que todo aquel que lo lea sea capaz

de comprender el alcance yo llevar a cabo el proceso

Matriz de Indicadores para Resultados (MIR) Es la herramienta que permite vincular los distintos

instrumentos para el disentildeo organizacioacuten ejecucioacuten seguimiento evaluacioacuten y mejora de los

programas resultado de un proceso de planeacioacuten realizado con base en la Metodologiacutea de Marco

Loacutegico conforme a lo sentildealado en la Guiacutea para la Construccioacuten de la Matriz de Indicadores para

Resultados

Metas Valor que permite establecer liacutemites o niveles maacuteximos de logro comunica el nivel de

desempentildeo esperado por la organizacioacuten y permite enfocarla hacia la mejora

Metodologiacutea del Marco Loacutegico (MML) Es la herramienta de planeacioacuten estrateacutegica basada en la

estructuracioacuten y solucioacuten de problemas o aacutereas de mejora que permite organizar de manera

sistemaacutetica y loacutegica los objetivos de un programa y sus relaciones de causa y efecto medios y fines

facilitar el proceso de conceptualizacioacuten y disentildeo de programas y fortalecer la vinculacioacuten de la

planeacioacuten con la programacioacuten

Monitoreo Funcioacuten continua que utiliza la recopilacioacuten sistemaacutetica de datos sobre indicadores

predefinidos para proporcionar a los administradores y a las principales partes interesadas de una

intervencioacuten para el desarrollo indicaciones sobre el avance y el logro de los objetivos asiacute como de

la utilizacioacuten de los fondos asignados

Nivel a la escala de medicioacuten de 1 a 4 establecido en los reactivos de respuesta binaria

Objetivos Son los resultados que un programa puacuteblico pretende alcanzar a traveacutes de la ejecucioacuten

de determinadas acciones pueden ser general o especiacuteficos Los objetivos especiacuteficos son un

conjunto de resultados que a su vez permiten lograr un objetivo general Los objetivos generales

reflejan el resultado que se espera lograr en teacuterminos de la atencioacuten de un problema puacuteblico y se

establecen en los distintos instrumentos de planeacioacuten de los que se valen las intervenciones

puacuteblicas

Organismos Autoacutenomos Entidad puacuteblica dotada de personalidad juriacutedica y patrimonio propios

creada por decreto para no depender del Poder Ejecutivo ni de ninguacuten otro Poder (Legislativo o

Judicial) con objeto de actuar con independencia imparcialidad y objetividad en sus funciones Para

efectos presupuestales y contables como ejecutores de gasto estaacuten obligados a cumplir con las

leyes y normatividad vigentes en las materias

Plan Estatal de Desarrollo (PED) Es el instrumento de planeacioacuten en el que se basaraacuten las

decisiones en materia de gasto e inversioacuten para la aplicacioacuten de los recursos puacuteblicos y se constituye

como el documento rector y guiacutea para la gestioacuten gubernamental

PAE 2017 7

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Poblacioacuten Atendida Poblacioacuten o aacuterea que ya fue atendida por el programa presupuestario

Poblacioacuten Objetivo Poblacioacuten o aacuterea que el programa pretende atender en un periodo dado de

tiempo pudiendo corresponder a la totalidad de la poblacioacuten potencial o a una parte de ella

Poblacioacuten Potencial Se refiere al universo global de la poblacioacuten o aacuterea referida

Poliacutetica Puacuteblica Accioacuten del Gobierno que tiene como objetivo atender ciertas necesidades de la

poblacioacuten (educacioacuten desarrollo social salud seguridad puacuteblica infraestructura comunicaciones

energiacutea etc)

Presupuesto basado en Resultados (PbR) Es un proceso basado en consideraciones objetivas

sobre los resultados esperados y alcanzados para la asignacioacuten de recursos con la finalidad de

fortalecer la calidad del disentildeo y gestioacuten de las poliacuteticas programas puacuteblicos y desempentildeo

institucional cuyo aporte sea decisivo para generar las condiciones sociales econoacutemicas y

ambientales para el desarrollo nacional sustentable

Programa Anual de Evaluaciones (PAE) Es el documento en el que se determina el tipo de

evaluacioacuten que se aplicaraacute a los programas puacuteblicos del Estado el calendario de ejecucioacuten de las

acciones de monitoreo y evaluacioacuten de los programas puacuteblicos del Estado que estaacuten en operacioacuten

asiacute como ofrecer a los responsables de la administracioacuten puacuteblica la informacioacuten que les permita

optimizar el proceso de creacioacuten de valor puacuteblico

Programa Presupuestario (Pp) Categoriacutea que permite organizar en forma representativa y

homogeacutenea las asignaciones de recursos de los programas federales y del gasto federalizado a

cargo de los ejecutores del mismo para el cumplimiento de sus objetivos y metas

Reglas de Operacioacuten del Programa (ROP) Son un conjunto de disposiciones que precisan la forma

de operar un programa con el propoacutesito de lograr los niveles esperados de eficacia eficiencia

equidad y transparencia

Secretariacutea de Hacienda y Creacutedito Puacuteblico (SHCP) dependencia del Poder Ejecutivo Federal que

tiene como misioacuten proponer dirigir y controlar la poliacutetica econoacutemica del Gobierno Federal en materia

financiera fiscal de gasto de ingresos y deuda puacuteblica con el propoacutesito de consolidar un paiacutes con

crecimiento econoacutemico de calidad

Secretariacutea de Finanzas y Administracioacuten (SFA) dependencia del Poder Ejecutivo Estatal que tiene

a su cargo las atribuciones para el despacho de los asuntos que expresamente le confiere la Ley

Orgaacutenica de la Administracioacuten Puacuteblica del Estado las demaacutes leyes reglamentos acuerdos decretos

convenios y sus anexos vigentes asiacute como las que le encomiende el Gobernador

PAE 2017 8

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Seguimiento Proceso continuo de recoleccioacuten y anaacutelisis de datos para comparar en queacute medida se

estaacute ejecutando un proyecto programa poliacutetica o recomendaciones en funcioacuten de los resultados

previstos

Teacuterminos de referencia (TdR) Documento que plantea los elementos estandarizados miacutenimos y

especiacuteficos de acuerdo con el tipo de evaluacioacuten y de programa a evaluar con base en

especificaciones teacutecnicas (perfil de los evaluadores calendario de entregas de productos etc)

objetivos de la evaluacioacuten (generales y especiacuteficos) asiacute como la normatividad aplicable

(responsabilidades alcances restricciones etc)

Unidades Responsables (UR) Cada una de las aacutereas encargadas de la evaluacioacuten de las

dependencias que forman parte de la Administracioacuten Puacuteblica Estatal

PAE 2017 9

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Objetivo General

Evaluar los procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten Superior de la

Administracioacuten Puacuteblica Estatal para el Ejercicio Fiscal 2016 con la finalidad de analizar y valorar su

operacioacuten y gestioacuten para el logro de sus metas y objetivos

Objetivos Especiacuteficos

Determinar en queacute medida los elementos del diagnoacutestico del Pp son suficientes para tener una

comprensioacuten vaacutelida del problema puacuteblico que se pretende atender

Determinar la validez de la loacutegica de intervencioacuten del Pp para atender el problema planteado a

partir de una comparacioacuten con casos nacionales o internacionales similares

Determinar en queacute medida los procesos con los que cuenta el programa puacuteblico son pertinentes

para atender el problema identificado

Analizar y valorar si la ejecucioacuten de los procesos y subprocesos o macroprocesos que integran

la gestioacuten operativa del Pp en sus distintos niveles son eficaces oportunos suficientes y

pertinentes para el logro de sus objetivos

Identificar analizar y valorar las buenas praacutecticas o las fortalezas en la operacioacuten del Pp

Identificar y proponer mejoras al Pp para el logro de sus objetivos y metas

PAE 2017 10

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Perfil de la instancia evaluadora

La instancia evaluadora debe de cubrir cuando menos los siguientes criterios

Persona fiacutesica o moral registrada ante la autoridad hacendaria competente

Acreditar la experiencia en el tema de evaluacioacuten de la gestioacuten yo poliacuteticas puacuteblicas

El Coordinador de la Evaluacioacuten cuente con maestriacutea o doctorado en ciencias sociales

ciencia poliacutetica antropologiacutea economiacutea sociologiacutea poliacuteticas puacuteblicas planeacioacuten yo

aacutereas afines a la temaacutetica de la evaluacioacuten y estar en posesioacuten del tiacutetulo universitario

con validez nacional o por universidades oficialmente reconocidas

Al menos dos antildeos de ejercicio profesional en materia de investigacioacuten

Dos antildeos de experiencia miacutenima en la realizacioacuten de actividades de evaluacioacuten interna

o externa en el sector puacuteblico o privado

Contar con referentes acadeacutemicos que demuestren su experiencia en el tema de

evaluacioacuten de poliacuteticas

Por lo que deberaacute llenar la Tabla 2 y el Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia

evaluadora y el costo de la evaluacioacutenrdquo

Tabla 2 Perfil de equipo evaluador

Cargo Requisitos

Acadeacutemicos Experiencia General

Experiencia

Especifica

Liacuteder del

equipo

evaluador

Estudios de posgrado

en ciencias sociales

econoacutemicas historia

antropologiacutea ciencia

poliacutetica administracioacuten

puacuteblica o afines

Experiencia en

evaluaciones de

programas poliacuteticas

yo investigaciones en

materia de evaluacioacuten

Experiencia en

evaluaciones en las

que se hayan

implementado

metodologiacuteas y anaacutelisis

cualitativos Que

cuente con liacuteneas de

investigacioacuten o

participacioacuten en

proyectos con temas

vinculados a los

programas a ser

evaluados

PAE 2017 11

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Tabla 2 Perfil de equipo evaluador

Cargo Requisitos

Acadeacutemicos Experiencia General

Experiencia

Especifica

Analistas

del equipo

evaluador

Se sugiere que la

instancia evaluadora

sea multidisciplinario

que cuenten con

licenciatura o estudios

de posgrado en

ciencias sociales

econoacutemicas historia

antropologiacutea ciencia

poliacutetica psicologiacutea

administracioacuten puacuteblica

o ingenieriacutea

Experiencia en

evaluaciones de

programas poliacuteticas

yo investigaciones en

materia de evaluacioacuten

Experiencia en trabajo

de campo estudios

etnograacuteficos disentildeo de

encuestas y

cuestionarios en temas

de ingenieriacutea de

procesos y en

evaluacioacuten de

programas puacuteblicos

PAE 2017 12

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Preguntas de investigacioacuten

Seccioacuten 1 Disentildeo

Diagnoacutestico del programa puacuteblico

1 iquestEl programa tiene identificado el problema y la loacutegica causal acerca de su dinaacutemica

Consideraciones

La respuesta deberaacute mostrar si el problema o necesidad para el que va dirigido el programa se

identifica como un hecho negativo el que se puede revertir o atender

Se tendraacute que identificar si se cuenta con aacuterbol de problemas (u otro elemento documentado) que

permita identificar la loacutegica causal del problema al que se busca atender juzgando la medida en que

la loacutegica causal del programa es consistente con los estudios utilizados para fundamentacioacuten de la

intervencioacuten

Se debe incluir la definicioacuten del problema o necesidad y en su caso la propuesta de modificacioacuten o

recomendaciones de mejora Asimismo se indicaraacute si el problema o necesidad considera diferencias

entre hombres y mujeres a fin de conocer las limitaciones yo las oportunidades que presenta el

entorno econoacutemico demograacutefico social cultural poliacutetico juriacutedico e institucional para la promocioacuten

de la igualdad de geacutenero

Se deberaacute que determinar si el problema identificado por el Pp tiene coincidencia con alguacuten

problema que se aborda en el PED yo en el Programa Sectorial De igual forma se deberaacute analizar

si en el aacutembito nacional o internacional se cuenta con experiencias de poliacuteticas puacuteblicas que tuvieron

o tienen como objetivo la atencioacuten del problema que se plantea atender Lo anterior sentildealando sus

logros fallos y resultados ademaacutes se solicita hacer mencioacuten sobre la incorporacioacuten de elementos

exitosos de otras estrategias en el disentildeo del programa presupuestario a evaluar

2 iquestEl programa cuenta con una identificacioacuten (cuantificacioacuten y ubicacioacuten geograacutefica) de la

poblacioacuten o aacuterea de enfoque potencial y objetivo de su intervencioacuten y eacutesta se relaciona con

la definicioacuten del problema puacuteblico que se plantea atender

Consideraciones

La instancia evaluadora deberaacute valorar la medida en que la definicioacuten del problema es traducido a

unidades concretas de personas grupos especiacuteficos o zonas geograacuteficas cuantificables y

monitoreables en referentes estadiacutesticos oficiales del estado yo federacioacuten

PAE 2017 13

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

En la respuesta se deberaacuten incluir las definiciones de la poblacioacuten o aacuterea de enfoque potencial

objetivo y atendida asiacute como su cuantificacioacuten La metodologiacutea y fuentes de informacioacuten para

determinar los tipos de poblacioacuten o aacuterea de enfoque se deben incluir en el Anexo 2 ldquoMetodologiacutea

para la cuantificacioacuten de la poblacioacuten o aacuterea de enfoque potencial y objetivordquo

Asimismo identificar si el Pp cuenta con una estrategia de cobertura institucional en que se defina

la estrategia que utilizaraacute a lo largo del tiempo para cubrir el total de su poblacioacuten o aacuterea de enfoque

potencial en caso de que no se identifique alguna estrategia el evaluador deberaacute emitir una

valoracioacuten sobre la pertinencia del disentildeo actual del Pp para alcanzar las metas de cobertura En caso

de que el disentildeo actual del Pp no permita alcanzar las metas de cobertura deberaacuten recomendarse

modificaciones concretas al disentildeo del Pp con la finalidad de que sea maacutes probable que alcance

dichas metas de cobertura

De igual forma se debe analizar la evolucioacuten de la poblacioacuten o aacuterea de enfoque atendida y su

convergencia con la poblacioacuten o aacuterea de enfoque potencial es decir si el programa ha logrado

atender a toda la poblacioacuten o aacuterea de enfoque objetivo El anaacutelisis se debe justificar y completar el

Anexo 3 ldquoEvolucioacuten de la Coberturardquo

Matriz de Indicadores para Resultados (MIR)

3 iquestLa estructura de objetivos planteada por el programa mantiene loacutegica y correspondencia

causal con el problema planteado en el diagnoacutestico

Consideraciones

Se deberaacute identificar la contribucioacuten del programa a los objetivos estrateacutegicos del Plan Estatal de

Desarrollo y de otros instrumentos de planeacioacuten de mediano y largo plazo

Se deberaacute determinar si la hipoacutetesis de intervencioacuten del programa mantiene una loacutegica causal con

la problemaacutetica que se quiere atender

Se deberaacuten analizar y valorar los elementos que componen al disentildeo del Pp (modalidad unidades

responsables propoacutesito componentes poblacioacuten o aacuterea de enfoque objetivo entre otros) y sobre

los cuales eacuteste se construye (problema puacuteblico o necesidad causas y efectos del problema situacioacuten

de la poblacioacuten o aacuterea de enfoque objetivo entre otros)

Se deberaacute valorar la MIR y verificar su loacutegica horizontal (resumen narrativo indicadores metas y

medios de verificacioacuten) y vertical asiacute como si es congruente con los elementos de diagnoacutestico

Derivado de lo anterior se elaboraraacute una propuesta de la MIR que deberaacute considerar y presentar la

Estructura Analiacutetica del Pp (aacuterbol de problemas objetivos y concentrado) Asimismo se deberaacute incluir

PAE 2017 14

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

la justificacioacuten del disentildeo propuesto o las modificaciones sugeridas y generar el Anexo 4 ldquoPropuesta

de mejora de la Matriz de Indicadores para Resultadosrdquo

Metodologiacutea de la Seccioacuten 1

Anaacutelisis de gabinete

La evaluacioacuten se realizaraacute mediante un anaacutelisis de gabinete con base en informacioacuten proporcionada

por la dependencia o unidad responsable del programa asiacute como informacioacuten adicional que la

institucioacuten evaluadora considere necesaria para justificar su anaacutelisis

En este contexto se entiende por anaacutelisis de gabinete al conjunto de actividades que involucra el

acopio la organizacioacuten y la valoracioacuten de informacioacuten concentrada en registros administrativos

bases de datos evaluaciones internas yo externas y documentacioacuten puacuteblica Sin embargo de

acuerdo con las necesidades de informacioacuten y tomando en cuenta la forma de operar de cada

programa se podraacuten programar y llevar a cabo entrevistas con responsables de los programas yo

personal de la unidad de evaluacioacuten yo planeacioacuten de la dependencia coordinadora

Valoracioacuten de disentildeo del Pp

Para cada pregunta de investigacioacuten de esta seccioacuten se deberaacute definir una valoracioacuten cuantitativa y

cualitativa que resuma la apreciacioacuten del evaluador para cada uno de los aspectos de la seccioacuten 1

con el fin de permitir obtener una valoracioacuten sinteacutetica acerca de la suficiencia de los elementos que

cumple el programa Para esto se deberaacute usar la siguiente escala likert de cinco grados

Tabla 3 Escala de Medicioacuten para la Seccioacuten 1

1 2 3 4 5

Deficiente Insuficiente Moderado Bien Suficiente

En la argumentacioacuten que presente la evaluadora se deberaacuten aportar los elementos que justifiquen

la valoracioacuten cuantitativa que se emita para cada pregunta de investigacioacuten ademaacutes de completar

el Anexo 9 ldquoValoracioacuten global cuantitativardquo de la Seccioacuten 1 de Disentildeo

PAE 2017 15

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Seccioacuten 2 Procesos

Pertinencia de los procesos

4 Diagnoacutestico general de los procesos y subprocesos del Pp

Consideraciones

La instancia evaluadora deberaacute presentar dentro de los 30 diacuteas naturales posteriores a la firma del

contrato un Diagnoacutestico General de los Procesos y Subprocesos o Macroprocesos del Pp (Producto

1) en el que se deacute cuenta de la problemaacutetica o necesidad que atiende o de la funcioacuten de gobierno

que desarrolla asiacute como del contexto y las condiciones en las que opera el Pp En este diagnoacutestico

se deben identificar los procesos y subprocesos o macroprocesos que integran la operacioacuten o

gestioacuten del Pp a partir de la normativa vigente y de las entrevistas a funcionarios de la UR realizadas

se deberaacute presentar una descripcioacuten integral con el mapa de procesos y subprocesos del Pp

A partir de este diagnoacutestico la instancia evaluadora presentaraacute para su validacioacuten a la DEV una

propuesta de los alcances y logiacutestica de la Evaluacioacuten de Procesos del Pp Asimismo el diagnoacutestico

debe estar acompantildeado de la justificacioacuten del enfoque metodoloacutegico general seleccionado para su

desarrollo

Ademaacutes en el Producto 1 se deberaacuten especificar las directrices generales y particulares que guiaraacuten

la realizacioacuten de la evaluacioacuten de procesos acordadas con la DEV y la UR del Pp por lo que la correcta

elaboracioacuten de este producto es fundamental para poder garantizar un resultado satisfactorio

En el Producto 1 ademaacutes de integrar la estrategia y plan de trabajo de campo teacutecnicas de

investigacioacuten a utilizarse disentildeo muestral e instrumentos de levantamiento de informacioacuten se

incluiraacuten dos apartados

Descripcioacuten del contexto en el que opera el Pp La instancia evaluadora deberaacute describir

los siguientes elementos del Pp todas las UR que participan en su operacioacuten o que ejercen

sus recursos los entregables que produce cada UR que participa en la operacioacuten del Pp en

el marco del mismo el problema o necesidad de poliacutetica puacuteblica identificado por el Pp

poblacioacuten o aacuterea de enfoque potencial objetivo y atendida del Pp y su cuantificacioacuten

cantidad de destinatarios por cada uno de los entregables que el Pp tuvo al cierre del uacuteltimo

ejercicio fiscal del que se tenga registro cantidad de destinatarios por cada uno de los

entregables que el Pp espera atender en el ejercicio fiscal evaluado asiacute como el contexto

organizacional y social en que se desarrolla su operacioacuten

PAE 2017 16

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Diagnoacutestico inicial de los procesos y subprocesos o macroprocesos del Pp La instancia

evaluadora deberaacute desarrollar a partir del trabajo de gabinete y de entrevistas

semiestructuradas con funcionarios de la(s) Unidad(es) Responsable(s) del Pp realizadas un

diagnoacutestico inicial de procesos del Pp en el que se identifiquen claramente los procesos y

subprocesos o macroprocesos que integran su operacioacuten o gestioacuten asiacute como las instancias

o actores que participan en ellos se deberaacute presentar una descripcioacuten integral con un mapa

de procesos y subprocesos o macroprocesos del Pp asiacute como llenar el Anexo 5 ldquoFicha de

identificacioacuten y equivalencia de procesosrdquo Las entrevistas semiestructuradas se realizaraacuten con

la finalidad de profundizar y despejar dudas sobre el mapa de los procesos y subprocesos o

macroprocesos que integran la gestioacuten operativa del Pp En esta seccioacuten la instancia

evaluadora deberaacute sentildealar cuaacuteles de los procesos y subprocesos o macroprocesos

identificados estaacuten documentados y cuaacuteles no asiacute como ndashen su casondash la normativa que los

rige por ejemplo un manual de procedimientos o de organizacioacuten lineamientos de

operacioacuten entre otros Cabe sentildealar que los procesos y subprocesos o macroprocesos que

integran la operacioacuten o gestioacuten del Pp son estructuras analiacuteticas que debe de construir la

instancia evaluadora a partir de su experiencia en el desarrollo de evaluaciones de procesos

e implementacioacuten de poliacuteticas puacuteblicas por tanto debe tenerse en cuenta que a pesar de

ser lo deseable los procesos y subprocesos o macroprocesos no necesariamente pueden

estar documentados

5 Descripcioacuten y valoracioacuten de los procesos y subprocesos del Pp

Consideraciones

Despueacutes de realizar el trabajo de campo y sistematizar la informacioacuten levantada la instancia

evaluadora deberaacute realizar la descripcioacuten y valoracioacuten de cada uno de los procesos subprocesos o

macroprocesos identificados en el Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesosrdquo

contrastando en todos los casos la evidencia documental y su ejecucioacuten en la praacutectica

Por lo anterior en esta seccioacuten se deberaacute realizar una descripcioacuten minuciosa del desarrollo y el

anaacutelisis de cada proceso y subproceso o macroproceso de acuerdo con el alcance establecido

utilizando la informacioacuten obtenida mediante el anaacutelisis de gabinete y el trabajo de campo asimismo

se deberaacute realizar una valoracioacuten integral sobre la gestioacuten de cada uno de los procesos a partir de

la gestioacuten en sus subprocesos o macroprocesos a partir de la gestioacuten de los procesos

PAE 2017 17

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

La valoracioacuten de cada proceso subproceso o macroproceso deberaacute contener la siguiente estructura

1 Descripcioacuten detallada de las actividades los elementos y los actores que integran el

desarrollo de cada proceso y subproceso o macroproceso

2 Liacutemites de cada proceso y subproceso o macroproceso asiacute como su articulacioacuten con otros

3 Insumos y recursos determinar si los insumos y los recursos disponibles son suficientes y

adecuados para la ejecucioacuten de cada proceso y subproceso o macroproceso

a Tiempo iquestel tiempo en que se ejecuta el proceso o subproceso es el adecuado acorde

a lo planificado y congruente con la normativa que aplica

b Personal iquestel personal es suficiente tiene el perfil y cuenta con la capacitacioacuten necesaria

para la ejecucioacuten del proceso o subproceso

c Recursos financieros iquestlos recursos financieros son suficientes para la ejecucioacuten del

proceso o subproceso

d Recursos materiales iquestlos recursos materiales son suficientes para la ejecucioacuten del

proceso o subproceso

e Infraestructura iquestse cuenta con la infraestructura o capacidad instalada suficiente para

la ejecucioacuten del proceso o subproceso

f Insumos tecnoloacutegicos

4 Productos iquestlos productos de cada proceso subproceso o macroproceso sirven de insumo

para ejecutar el proceso subproceso o macroproceso subsecuente

5 Sistemas de informacioacuten iquestLos sistemas de informacioacuten utilizados en la ejecucioacuten de cada

proceso subproceso o macroproceso (automatizados semiautomatizados o manuales)

funcionan como una fuente de informacioacuten uacutetil para los sistemas de monitoreo a nivel central

y para los operadores en otros niveles iquestEstos sistemas de informacioacuten automatizan algunos

procesos subprocesos o macroproceso del Pp iquestSirven como mecanismo de control interno

para el mejor de desarrollo de los procesos subprocesos o macroproceso

6 Coordinacioacuten iquestla coordinacioacuten entre los actores oacuterdenes de gobierno o dependencias

involucradas es adecuada para la ejecucioacuten del proceso subproceso o macroproceso

7 Evaluacioacuten de la pertinencia de la forma en que se ejecuta cada proceso subproceso o

macroproceso en el contexto y condiciones en que se desarrolla considerando la estructura

organizacional involucrada y la coordinacioacuten entre las unidades administrativas que

intervienen en el proceso subproceso o macroproceso

8 Identificacioacuten de las caracteriacutesticas relacionadas con la importancia estrateacutegica de cada

proceso subproceso o macroproceso

PAE 2017 18

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

9 Opinioacuten de actores (destinatarios beneficiarios usuarios clientes u operadores del Pp)

sobre la eficacia eficiencia y calidad de cada proceso subproceso o macroproceso

10 Existencia de mecanismos para conocer la satisfaccioacuten de los beneficiarios o destinatarios de

los componentes o entregables que otorga el Pp

Por otra parte en caso de que el Pp genere diversos componentes o entregables y que estos

impliquen la realizacioacuten de actividades diferentes seraacute necesario describir los procesos y

subprocesos o macroprocesos correspondientes a cada tipo de componente o entregable otorgado

En la descripcioacuten de los procesos y subprocesos o macroprocesos la instancia evaluadora de manera

coordinada con la DEV deberaacute realizar los diagramas de alto nivel y los diagramas detallados

(diagramas de flujo) que describan los procesos y subprocesos o macroprocesos del Pp Para ello se

deberaacute usar como referencia la seccioacuten ldquoVII Mapeo de procesosrdquo de la ldquoGuiacutea para la Optimizacioacuten

Estandarizacioacuten y Mejora Continua de Procesosrdquo (paacuteginas 18 a 25) elaborada por la Secretariacutea de la

Funcioacuten Puacuteblica (SFP) disponible en la siguiente direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Estos diagramas se deberaacuten elaborar de acuerdo con lo especificado en el Anexo 7 ldquoDiagramas de

flujo de la operacioacuten del Pprdquo

Metodologiacutea Seccioacuten 2

La Evaluacioacuten de Procesos del Pp se realizaraacute principalmente a partir de teacutecnicas de investigacioacuten

cualitativa como son el anaacutelisis documental la observacioacuten directa estudios de caso y multicaso

especiacuteficos entrevistas semiestructuradas y grupos focales o grupos de enfoque (focus groups)

entre otras teacutecnicas que la instancia evaluadora considere pertinentes para realizar el anaacutelisis de

gabinete y el trabajo de campo tales como la aplicacioacuten de cuestionarios de aplicacioacuten electroacutenica

o a distancia

La metodologiacutea y los instrumentos definidos asiacute como el trabajo de gabinete y de campo deberaacuten

generar evidencia empiacuterica suficiente para valorar a profundidad la forma en que se ejecutan los

procesos y subprocesos o macroprocesos que integran la operacioacuten del Pp asiacute como su contexto

institucional y organizacional

PAE 2017 19

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anaacutelisis de gabinete

Para esta seccioacuten es necesario la elaboracioacuten del diagnoacutestico de los procesos y subprocesos o

macroprocesos que integran la operacioacuten o gestioacuten del Pp la instancia evaluadora deberaacute realizar

un anaacutelisis de gabinete considerando como miacutenimo los siguientes documentos

La normativa aplicable al Pp leyes reglamentos lineamientos manuales de procedimientos

convenios contratos entre otros

Diagnoacutestico y estudios de la problemaacutetica que el Pp atiende

Diagnoacutestico del programa y estudios del marco contextual en el que opera

MIR del Pp correspondiente al ejercicio fiscal evaluado y de ejercicios anteriores que se

consideren pertinentes

Sistemas de informacioacuten automatizados semiautomatizados o manuales que apoyen a la

ejecucioacuten de los procesos y subprocesos o macroprocesos identificados del Pp

Evaluaciones externas o internas realizadas previamente al Pp

Documentos de trabajo institucionales e informes de avances de Aspectos Susceptibles de

Mejora con los que cuente el Pp

Informes de auditoriacuteas de desempentildeo o similares realizadas al Pp por la Auditoriacutea Superior

de la Federacioacuten del Estado de Puebla por la Secretariacutea de la Contraloriacutea o por cualquier

instancia fiscalizadora

Asimismo se sugiere revisar otros documentos asociados al disentildeo del Pp y a su definicioacuten de

poblacioacuten o aacuterea de enfoque potencial y objetivo asiacute como a su estrategia de integracioacuten de

destinatarios o beneficiarios de los componentes o entregables del Pp

El anaacutelisis o trabajo de gabinete deberaacute generar como resultado inicial un mapeo de los procesos y

subprocesos o macroprocesos que integran la gestioacuten operativa del Pp que constituiraacute

esencialmente el Producto 1 de la evaluacioacuten posteriormente se procesaraacute la informacioacuten recabada

en campo para la generacioacuten del informe preliminar y final de la evaluacioacuten

Alcance y enfoque de la evaluacioacuten

La instancia evaluadora deberaacute sentildealar con claridad en el informe de la evaluacioacuten cuaacuteles de los

procesos y subprocesos o macroprocesos identificados en la operacioacuten o gestioacuten del Pp se analizan

y cuaacuteles no de acuerdo con lo establecido por la Direccioacuten de Evaluacioacuten (DEV) de la Secretariacutea de

Finanzas y Administracioacuten (SFA) y la Unidad Responsable (UR) del Programa en cuestioacuten sentildealando

los elementos de anaacutelisis que justifican esta seleccioacuten y en su caso haciendo recomendaciones al

respecto

PAE 2017 20

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Un elemento que podraacute ser considerado para establecer el alcance de la evaluacioacuten es el grado de

consolidacioacuten operativa del Pp el cual podraacute determinarse a priori considerando algunos elementos

como los siguientes

1 Si existen documentos que normen los procesos y subprocesos o macroprocesos

2 Si los procesos y subprocesos o macroprocesos estaacuten estandarizados es decir si son

utilizados por todas la instancias ejecutoras de manera homogeacutenea

3 Si los procesos y subprocesos o macroprocesos estaacuten documentados y son del conocimiento

de todos los operadores

4 Si se cuenta con un sistema de monitoreo e indicadores de gestioacuten

5 Si se cuenta en los procesos y subprocesos o macroprocesos analizados con sistemas

informaacuteticos que permitan la automatizacioacuten en la ejecucioacuten de los mismos

6 Si se cuenta con mecanismos para la implementacioacuten sistemaacutetica de mejoras

Se considera que existe un mayor grado de consolidacioacuten operativa cuando existen todos los

elementos y disminuiraacute gradualmente conforme haga falta uno o maacutes de ellos hasta el menor grado

de consolidacioacuten que es cuando no existe ninguno de los elementos

El alcance de la Evaluacioacuten de Procesos del Pp implica el anaacutelisis de los procesos y subprocesos o

macroprocesos sustantivos del Pp asiacute como la respectiva priorizacioacuten de estos Se deberaacute realizar

la identificacioacuten y jerarquizacioacuten de los procesos a partir del Esquema 1 adaptaacutendolo a las

condiciones particulares del Pp3 en eacutel se observa lo siguiente

El proceso de ldquoPlaneacioacutenrdquo es el punto de partida para la implementacioacuten del Pp

posteriormente continuacutean los procesos de ldquoComunicacioacuten Interna y Externardquo ldquoSeleccioacuten de

destinatariosrdquo ldquoProduccioacuten de entregablesrdquo ldquoEntregardquo ldquoSeguimiento a destinatariosrdquo y

ldquoControlrdquo

La informacioacuten que se genera en los procesos de ldquoSeguimiento a destinatariosrdquo y ldquoControlrdquo

es un insumo directo para retroalimentar los procesos del Pp desde el de Planeacioacuten

El proceso de ldquoMonitoreordquo utiliza informacioacuten generada principalmente en los procesos de

ldquoComunicacioacutenrdquo ldquoSeleccioacuten de destinatariosrdquo ldquoProduccioacuten de entregablesrdquo ldquoEntregardquo y

ldquoSeguimiento a destinatariosrdquo a partir de ello se retroalimentan los procesos del Pp desde

la ldquoPlaneacioacutenrdquo

3 Con excepcioacuten de los procesos (con sus subprocesos) de Planeacioacuten Monitoreo y Evaluacioacuten Externa para

los cuales la instancia evaluadora uacutenicamente podraacute en caso de que lo considere pertinente agregar

subprocesos pero no suprimir subprocesos

PAE 2017 21

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

El proceso de ldquoEvaluacioacuten Externardquo requiere de informacioacuten transversal de todos los

procesos ya que se valora al Pp en su conjunto En este sentido los resultados de las

evaluaciones son un insumo para retroalimentar al Pp desde el proceso de ldquoPlaneacioacutenrdquo

Es importante sentildealar que en el Esquema 1 se muestra un modelo que es importante tomarlo en

cuenta como referencia para la identificacioacuten y definicioacuten de los procesos y subprocesos o

macroprocesos que integran la operacioacuten del Pp evaluado ademaacutes de que representa un auxiliar

en la definicioacuten del alcance y del enfoque de la Evaluacioacuten de Procesos del Pp

Esquema 1 Modelo general de procesos

Fuente Modelo de TdR para la Evaluacioacuten de Procesos Secretariacutea de Hacienda y Creacutedito Puacuteblico

A continuacioacuten se describe cada uno de los procesos que componen al modelo anterior

Planeacioacuten proceso en el que se determinan o definen el problema o necesidad aacuterbol de

problemas y objetivos poblacioacuten o aacuterea de enfoque potencial y objetivo objetivos

indicadores y metas de la MIR estrategia de cobertura plan estrateacutegico entre otros puntos

asiacute como los recursos financieros y humanos necesarios que requiere el Pp para lograr sus

objetivos En el proceso de planeacioacuten se determinan las directrices en el disentildeo e

implementacioacuten del Pp los subprocesos que lo integran son los siguientes planeacioacuten

estrateacutegica programacioacuten y presupuesto actualizacioacuten de la MIR actualizacioacuten de

normativa

PAE 2017 22

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Comunicacioacuten interna y externa proceso en el que se informan diversas caracteriacutesticas y

objetivos del Pp tanto a los actores involucrados en su funcionamiento y operacioacuten (interna)

como a su poblacioacuten o aacuterea de enfoque objetivo (externa)

Seleccioacuten de destinatarios proceso en el que se determina quieacutenes recibiraacuten los

componentes o entregables de un Pp en funcioacuten de su poblacioacuten o aacuterea de enfoque objetivo

Produccioacuten de entregables proceso en el que se elaboran los entregables o realizan los

componentes del Pp (recursos financieros o humanos apoyos bienes servicios

regulaciones documentos teacutecnicos o de planeacioacuten etc) conforme a sus documentos

normativos

Entrega proceso en el que se realiza la entrega de lo producido o generado por el Pp

(componentes o entregables) a los destinatarios o beneficiarios

Seguimiento a destinatarios actividades y mecanismos que permiten al Pp conocer coacutemo

son utilizados o aprovechados sus componentes o entregables (por sus destinatarios o

beneficiarios) para que entre otras funciones la UR del Pp identifique si se estaacute cumpliendo

con los objetivos Por ejemplo en este proceso se incluyen las actividades que un Pp

implementa para conocer el grado de satisfaccioacuten de sus destinatarios o beneficiarios

Control actividades y mecanismos implementados entre los operadores del Pp para verificar

que los diferentes procedimientos procesos y subprocesos se esteacuten ejecutando conforme a

lo planeado (control interno)

Monitoreo proceso coordinado por una unidad administrativa ajena a la operacioacuten del Pp

a traveacutes del cual se recaba registra y valida la informacioacuten sobre el avance de las metas de

los indicadores de la MIR asiacute como el seguimiento a los resultados de indicadores

adicionales a los de la MIR en caso de que se cuente con un sistema de monitoreo de gestioacuten

Los subprocesos que lo integran son los siguientes acopio de la informacioacuten para el reporte

de avances validacioacuten de informacioacuten y registro de avances primordialmente

Evaluacioacuten externa proceso coordinado por una unidad administrativa ajena a la operacioacuten

del Pp mediante el cual se define la agenda de evaluacioacuten externa del Pp se definen las

metodologiacuteas o los teacuterminos de referencia se contratan las evaluaciones externas (de

cualquier tipo) se recaba la informacioacuten que seraacute entregada a los equipos evaluadores se

realiza el seguimiento durante el desarrollo de las evaluaciones externas se aprueban los

PAE 2017 23

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

informes finales de las evaluaciones externas se notifica a las instancias correspondientes

sobre la conclusioacuten de las evaluaciones externas y se definen y realiza el seguimiento de los

Aspectos Susceptibles de Mejora (ASM)

A partir de los procesos definidos en el modelo anterior la instancia evaluadora deberaacute realizar una

equivalencia de los procesos subprocesos o macroprocesos identificados respecto a los definidos

en el modelo de acuerdo con el Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesosrdquo Cabe

mencionar que los procesos definidos en el modelo no son limitativos por lo que si la instancia

evaluadora identifica procesos subprocesos o macroprocesos adicionales deberaacute incluirlos

Disentildeo metodoloacutegico del trabajo de campo

A partir del contexto en que opera el Pp y el alcance y enfoque metodoloacutegico de la evaluacioacuten de

procesos la instancia evaluadora deberaacute desarrollar una propuesta de estrategia y plan de trabajo

de campo a seguir para la realizacioacuten de la evaluacioacuten asimismo deberaacute incluir un cronograma

detallado de actividades

La estrategia de trabajo de campo disentildeada por la instancia evaluadora deberaacute ser entregada a la

DEV para que en conjunto con la UR del Pp sea validada antes de su implementacioacuten Dicha

estrategia deberaacute contener al menos los siguientes elementos

Justificacioacuten de las teacutecnicas de investigacioacuten a utilizar

Muestra y los criterios utilizados para su seleccioacuten

Listado de los actores a entrevistar

Instrumentos de levantamiento de informacioacuten que se aplicaraacuten y

Cronograma con las actividades a desarrollar

La instancia evaluadora iniciaraacute las actividades del trabajo de campo de manera conjunta y una vez

recibido el visto bueno de la DEV

El disentildeo de la muestra y de los instrumentos para el levantamiento de informacioacuten en campo

deberaacute considerar a la totalidad de los actores que intervienen en la ejecucioacuten de los procesos y

subprocesos o macroprocesos que integran la operacioacuten o gestioacuten del Pp asiacute como a los

destinatarios o beneficiarios de los componentes o entregables del Pp independientemente de su

ubicacioacuten geograacutefica

Algunos criterios que puede utilizar la instancia evaluadora para definir una muestra que considere

la variabilidad de la operacioacuten en los diferentes contextos en que opera el Pp son los siguientes

PAE 2017 24

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

a) El desempentildeo operativo del Pp entre municipios regionalizacioacuten geograacutefica instituciones

puacuteblicas o privadas u otros aspectos que suponen una accioacuten diferenciada de los procesos

(cuando aplique)

b) Volumen de la operacioacuten del Pp

c) Esquemas normativos del Pp y el ejercicio presupuestal en los municipios instituciones

puacuteblicas o privadas u otros aspectos que suponen una accioacuten diferenciada de los procesos

en las que opera el Pp (cuando aplique) y

d) Formas de interaccioacuten del Pp con otros niveles u oacuterdenes de gobierno (cuando aplique)

Los criterios anteriores no son limitativos por lo que la instancia evaluadora podraacute proponer criterios

adicionales que considere pertinentes para la definicioacuten de la muestra para el trabajo de campo

En el disentildeo muestral la instancia evaluadora deberaacute sentildealar los funcionarios del Pp o destinatarios

a los que se les aplicaraacuten los instrumentos de levantamiento de informacioacuten con los que se realizaraacute

el trabajo de campo asiacute como la ubicacioacuten geograacutefica de los mismos

Instrumentos de levantamiento de informacioacuten

La instancia evaluadora deberaacute disentildear los instrumentos que utilizaraacute para el levantamiento de

informacioacuten durante el trabajo de campo como son (por ejemplo) los cuestionarios por tipo de

funcionario a entrevistar para el caso de entrevistas semiestructuradas los guiones a utilizar en la

realizacioacuten de grupos focales los cuestionarios de aplicacioacuten electroacutenica las guiacuteas respectivas entre

otros Para lo anterior deberaacute considerar los siguientes temas guiacutea y preguntas de referencia

Planeacioacuten (planeacioacuten estrateacutegica programacioacuten y presupuesto)

iquestQueacute se entiende por planeacioacuten estrateacutegica para los operadores del Pp

iquestCuaacuteles son las actividades o acciones de planeacioacuten estrateacutegica del Pp que se realizan

iquestLa planeacioacuten estrateacutegica es el resultado de un ejercicio institucionalizado que involucra a

los actores clave de la gestioacuten del Pp

iquestExiste un documento resultado de la planeacioacuten estrateacutegica iquestEs claro difundido y

accesible iquestEn queacute medida es utilizado para guiar la operacioacuten del Pp

iquestLa planeacioacuten estrateacutegica estaacute vinculada con el cumplimiento entrega o generacioacuten de los

componentes o entregables del Pp

iquestLa planeacioacuten estrateacutegica establece indicadores para medir los avances en las metas

establecidas iquestLas metas son factibles y estaacuten orientadas a impulsar el desempentildeo del Pp

PAE 2017 25

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

iquestQueacute se entiende por planeacioacuten operativa y cuaacuteles son las diferencias con la planeacioacuten

estrateacutegica

Comunicacioacuten interna y externa del Pp (las preguntas que apliquen)

iquestQueacute actores intervienen en la comunicacioacuten del Pp

iquestExiste una estrategia de comunicacioacuten del Pp documentada En caso afirmativo describirla

iquestLa estrategia de comunicacioacuten del Pp (documentada o no) es adecuada

iquestLos medios utilizados el lenguaje y el contenido de los mensajes son pertinentes en funcioacuten

del puacuteblico al que van dirigidos

Solicitud de los componentes o entregables del Pp (las preguntas que apliquen)

iquestExiste un proceso claro imparcial y expliacutecito por medio del cual la poblacioacuten o aacuterea de

enfoque potencial puede solicitar los componentes o entregables que otorga el Pp

iquestLos requisitos para solicitar los componentes o entregables del Pp se presentan de manera

clara y completa

iquestLos puntos de recepcioacuten de solicitudes son accesibles y suficientes (cuando aplique)

iquestExisten mecanismos estandarizados para recibir y revisar la documentacioacuten entregada asiacute

como registrar y dar traacutemite a las solicitudes (cuando aplique)

iquestSon adecuados estos mecanismos (cuando aplique) En caso de que el Pp que apoye la

realizacioacuten de proyectos iquestse brinda asesoriacutea para la presentacioacuten de los mismos de ser asiacute

iquestes pertinente esta asesoriacutea

iquestEl proceso de solicitud de los componentes o entregables que otorga el Pp se encuentra

automatizado total o parcialmente

Para esta pregunta considerar los estados de digitalizacioacuten utilizados por la Comisioacuten Intersecretarial

para el Desarrollo del Gobierno electroacutenico seguacuten una adaptacioacuten realizada a la clasificacioacuten que

hace la ONU

Estado de digitalizacioacuten 1 traacutemites y servicios que se encuentran en estado informativo

Estado de digitalizacioacuten 2 traacutemites y servicios que cuentan con interfaces de comunicacioacuten

unidireccional

Estado de digitalizacioacuten 3 traacutemites y servicios que permiten realizar transacciones y

Estado de digitalizacioacuten 4 traacutemites y servicios que el usuario puede ejecutar de principio a

fin por medio de dispositivos digitales

PAE 2017 26

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para mayor informacioacuten referirse a ldquoFigure A4 The four stages of online service developmentrdquo en

los siguientes documentos

Lineamientos relativos a la digitalizacioacuten estandarizada de traacutemites y servicios con apego en

la Estrategia Digital Nacional

httpwwwgobmxcmsuploadsattachmentfile67232ti_1_pgcm_bases_lineam_tyspdf

United Nations E-Government Survey 2014 (paacutegina 195)

httpspublicadministrationunorgegovkbportalsegovkbdocumentsun2014-surveye-

gov_complete_survey-2014pdf

Seleccioacuten de destinatarios (cuando aplique)

iquestExiste una metodologiacutea o meacutetodo para la seleccioacuten de destinatarios o beneficiarios de los

componentes o entregables del Pp iquestLa metodologiacutea utilizada cuenta con criterios de

seleccioacuten y elegibilidad claros estandarizados y sistematizados

iquestLa seleccioacuten de destinatarios o beneficiarios de los componentes o entregables del Pp es un

proceso transparente e imparcial iquestEl resultado de la seleccioacuten es puacuteblico (cuando aplique)

iquestExiste informacioacuten en una base de datos que permita conocer quieacutenes o queacute instancias

reciben los componentes o entregables del Pp iquestQueacute informacioacuten integra esta base de datos

iquestExisten mecanismos para validar y actualizar esta base de datos iquestEstos mecanismos son

pertinentes

Produccioacuten de componentes o entregables

iquestSe cuenta con los insumos suficientes para generar el volumen de componentes o

entregables que permitan al Pp atender a su poblacioacuten o aacuterea de enfoque objetivo

iquestEl Pp tiene mecanismos para estimar la produccioacuten o generacioacuten necesaria de componentes

o entregables de acuerdo con la posible demanda o requerimientos de su poblacioacuten o aacuterea

de enfoque objetivo iquestEs adecuado este mecanismo

iquestExisten mecanismos de control de calidad para la generacioacuten de los componentes o

entregables del Pp iquestEstos mecanismos son pertinentes

iquestLas actividades de generacioacuten de componentes o entregables que otorga el Pp estaacuten

estandarizadas es decir son ejecutadas de manera homogeacutenea por todas las instancias

involucradas

PAE 2017 27

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Entrega

iquestLos componentes o entregables del Pp son proporcionados conforme a las especificaciones

y de manera oportuna a los destinatarios

iquestExisten especificaciones (programas o planes de trabajo) sobre la forma en que se deben

trasladar los componentes o entregables para (por ejemplo) asegurar su adecuada recepcioacuten

en el punto de destino iquestSon adecuadas estas especificaciones respecto a normas o

lineamientos existentes (cuando aplique)

iquestLa logiacutestica de distribucioacuten se actualiza (cuando aplique) iquestExiste un periodo para dicha

actualizacioacuten iquestEn el disentildeo y actualizacioacuten de la logiacutestica se toman en cuenta los factores

geograacuteficos y climatoloacutegicos en cada regioacuten donde opera el Pp (cuando aplique)

iquestLos puntos de entrega de los componentes o entregables son cercanos a los beneficiarios

o aacuterea de enfoque a atender y son de faacutecil acceso iquestSe considera que son suficientes iquestPor

queacute

Control (las preguntas que apliquen)

iquestEl Pp cuenta con los mecanismos para verificar que los componentes o entregables se

otorguen de acuerdo con lo establecido en la normativa especiacutefica y lleguen a la poblacioacuten

o aacuterea de enfoque que deba ser beneficiada iquestEstos mecanismos son adecuados

iquestExiste de manera sistematizada un documento que deacute cuenta de los resultados de

supervisioacuten y entrega de componentes o entregables iquestEste documento es adecuado iquestLos

resultados se utilizan para implementar mejoras en la operacioacuten del Pp

iquestExisten procedimientos estandarizados que verifiquen el cumplimiento de la

corresponsabilidad u obligatoriedad por parte de los beneficiarios o destinatarios de los

componentes o entregables del Pp (cuando aplique)

Seguimiento a destinatarios

iquestEl Pp tiene mecanismos para verificar el procedimiento de seguimiento a los destinatarios o

beneficiarios que permitan identificar si los componentes o entregables generados son

utilizados de acuerdo con lo establecido iquestCoacutemo se implementa el mecanismo iquestEste

mecanismo es adecuado

iquestExisten procedimientos estandarizados que permitan verificar el cumplimiento de la

corresponsabilidad u obligatoriedad por parte del destinatario o beneficiario (cuando

aplique)

PAE 2017 28

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

En caso de que los componentes o entregables involucren la ejecucioacuten de obra o de

infraestructura iquestel Pp cuenta con un mecanismo de seguimiento o supervisioacuten que permita

identificar si se realizaron acorde a la normativa aplicable iquestEl seguimiento o supervisioacuten

considera plazos para la revisioacuten de las condiciones de la obra o la infraestructura despueacutes

de terminada la obra

iquestEl Pp tiene mecanismos para identificar si se cumple con su Propoacutesito iquestSon suficientes y

pertinentes estos mecanismos

iquestExisten mecanismos para conocer la satisfaccioacuten del destinatario o beneficiario de los

componentes o entregables del Pp respecto de los componentes que ofrece el Pp iquestSon

adecuados estos mecanismos iquestSu operacioacuten permite una aplicacioacuten imparcial y objetiva

iquestExiste evidencia para afirmar que las quejas y sugerencias que brindan los destinatarios o

beneficiarios de los componentes o entregables del Pp son utilizadas para la mejora continua

del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

En esta seccioacuten se deberaacute realizar la medicioacuten de los atributos de eficacia oportunidad suficiencia

y pertinencia de los procesos y subprocesos o macroprocesos definidos en el mapa de procesos del

Pp A continuacioacuten se definen los atributos en el marco de la evaluacioacuten de procesos

Eficacia un proceso es eficaz en la medida en que cumple con sus metas

Oportunidad un proceso es oportuno en la medida en que otorga sus productos

(componentes o entregables) o resultados en un periodo de tiempo determinado o

adecuado para el logro de sus objetivos

Suficiencia un proceso es suficiente en la medida en que produce sus resultados de forma

completa o adecuada para el logro de sus objetivos

Pertinencia un proceso es pertinente si sus actividades y productos son adecuados para

lograr tanto sus metas especiacuteficas como sus objetivos es decir si contribuyen al

mejoramiento de la gestioacuten del Pp4

4 Las actividades son adecuadas si estaacuten en funcioacuten del logro del objetivo de cada proceso Por ejemplo si se verifica que el formato de los mensajes a difundir cumpla con las caracteriacutesticas necesarias para llegar a la poblacioacuten o aacuterea de enfoque objetivo como seriacutea una mensaje de audio en la lengua indiacutegena de la localidad donde se encuentran los posibles destinatarios o beneficiarios o bien como seriacutea un mensaje dirigido a personal operativo del Pp cuyo nivel de estudios promedio pudiera complicar la comprensioacuten de lenguaje teacutecnico utilizado

PAE 2017 29

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para la medicioacuten de los atributos de los procesos y subprocesos o macroprocesos del Pp deberaacute

realizarse una revisioacuten documental (normativa aplicable MIR evaluaciones externas sistemas de

informacioacuten y registros administrativos entre otros) misma que deberaacute complementarse con el

trabajo de campo con el objetivo de identificar disentildear y calcular indicadores relacionados con

dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de informacioacuten empleadas

La informacioacuten obtenida de estos indicadores deberaacute vaciarse en fichas propuestas por la instancia

evaluadora presentadas como en el Anexo 6 ldquoFichas de indicadores de atributos de los procesos del

Pprdquo (formato libre) Estas fichas deberaacuten considerar la medicioacuten de los atributos de eficacia

suficiencia oportunidad y pertinencia correspondientes a cada proceso y subproceso o

macroproceso

Valoracioacuten de los procesos y subprocesos de la operacioacuten del Pp

Deberaacute contener una siacutentesis de los resultados encontrados en la Evaluacioacuten de Procesos del Pp

resaltando los hallazgos maacutes relevantes que se hayan detectado y que pudiesen transformarse en

ASM

La instancia evaluadora deberaacute calcular una valoracioacuten global cuantitativa sobre la operacioacuten y la

ejecucioacuten de los procesos y subprocesos o macroprocesos del Pp a partir del siguiente esquema de

puntuacioacuten5

Eficacia

- Todos los procesos (o macroprocesos) son eficaces = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es eficaz = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es eficaz = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es eficaz = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es eficaz = 1 punto

- Ninguno de los procesos (o macroprocesos) es eficaz = 0 puntos

Oportunidad

- Todos los procesos (o macroprocesos) son oportunos = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es oportuno = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es oportuno = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es oportuno = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es oportuno = 1 punto

5 La valoracioacuten cuantitativa deberaacute estar sustentada y por tanto ser consistente con lo valorado por la instancia evaluadora en el apartado de ldquoMedicioacuten de atributos de los procesos y subprocesosrdquo

PAE 2017 30

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

- Ninguno de los procesos (o macroprocesos) es oportuno = 0 puntos

Suficiencia

- Todos los procesos (o macroprocesos) son suficientes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es suficiente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es suficiente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es suficiente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es suficiente = 1 punto

- Ninguno de los procesos (o macroprocesos) es suficiente = 0 puntos

Pertinencia

- Todos los procesos (o macroprocesos) son pertinentes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es pertinente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es pertinente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es pertinente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es pertinente = 1 punto

- Ninguno de los procesos (o macroprocesos) es pertinente = 0 puntos

A partir de los puntajes asignados en los cuatro atributos anteriores esta valoracioacuten cuantitativa

global debe considerar el total de puntos posibles de obtener (5 x 4 = 20 puntos) y los puntos

obtenidos en la Evaluacioacuten de Procesos Pp (lsquoyrsquo puntos) de modo que se indique el porcentaje de

puntos obtenidos del total de puntos posibles [(lsquoyrsquo20) x 100] = valoracioacuten cuantitativa global de la

operacioacuten del Pp

La instancia evaluadora deberaacute utilizar el Anexo 9 ldquoValoracioacuten global cuantitativardquo para documentar

argumentar y sustentar cada una de las valoraciones cuantitativas sobre la operacioacuten y la ejecucioacuten

de los procesos (o macroprocesos) del Pp

Adicionalmente en este apartado se deberaacuten integrar las recomendaciones y conclusiones que se

consideren maacutes relevantes de los procesos y subprocesos o macroprocesos del Pp las cuales deben

formularse con base en los hallazgos del trabajo de campo y de gabinete El objetivo final de las

recomendaciones es proveer informacioacuten valiosa a los operadores del Pp para realizar adecuaciones

en la ejecucioacuten de los procesos y subprocesos o macroprocesos de modo que se potencie la

consecucioacuten de resultados del Pp

Las recomendaciones que se formulen como resultado de la Evaluacioacuten de Procesos del Pp deberaacuten

tener las siguientes caracteriacutesticas

Derivarse de los hallazgos de la evaluacioacuten

PAE 2017 31

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Ser concretas y factibles

Incluir un proyecto de implementacioacuten que considere los siguientes elementos

- Breve anaacutelisis de la viabilidad o factibilidad de la implementacioacuten

- Principales responsables de la implementacioacuten

- Anaacutelisis de los efectos potenciales que puede implicar la implementacioacuten tanto en la

operacioacuten del Pp como en el logro de sus objetivos

- La comparacioacuten entre la situacioacuten actual y el resultado que se espera obtener con la

implementacioacuten de la recomendacioacuten

Estar categorizadas en dos liacuteneas de accioacuten estrateacutegicas

- Consolidacioacuten

- Reingenieriacutea de procesos o subprocesos

Al respecto la instancia evaluadora debe entender por consolidacioacuten aquellas recomendaciones que

estaacuten dirigidas a perfeccionar determinados aspectos de la operacioacuten como seriacutean algunas acciones

procedimientos o estrategias del Pp asiacute como iniciativas para el fortalecimiento de los sistemas

automatizados infraestructura entre otros

Por reingenieriacutea de procesos o subprocesos se entenderaacuten aquellas recomendaciones que apuntan

a una transformacioacuten o modificacioacuten profunda o sustancial de uno o varios de los procesos y

subprocesos del Pp Para ello se deberaacute llenar el Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de

Procesos del Pprdquo y que a su vez deben derivar en acciones de consolidacioacuten para la implementacioacuten

de los procesos transformados

Adicionalmente y de conformidad con el alcance de la Evaluacioacuten de Procesos del Pp se deberaacute

presentar una propuesta para crear o fortalecer el sistema de monitoreo de gestioacuten del Pp con

indicadores a nivel de procesos y subprocesos o macroprocesos

Asimismo a partir de todo el anaacutelisis y valoraciones realizadas se deberaacute emitir un pronunciamiento

acerca de la percepcioacuten de eficiencia que la instancia evaluadora haya tenido sobre la ejecucioacuten de

los procesos y subprocesos o macroprocesos del Pp

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible o si no hipoteacuteticos en un anexo de formato libre Anexo 10 ldquoSistema de

monitoreo e indicadores de gestioacuten del Pprdquo

PAE 2017 32

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Bitaacutecora de trabajo de campo y bases de datos

La instancia evaluadora deberaacute entregar una bitaacutecora de trabajo de campo que destaque de forma

sinteacutetica entre otros puntos las principales actividades y situaciones a las que se enfrentoacute y que

podriacutean afectar los resultados de la Evaluacioacuten de Procesos del Pp

Asimismo deberaacute entregar las bases de datos generadas a partir de la aplicacioacuten de los instrumentos

de recoleccioacuten de informacioacuten y de la recopilacioacuten de informacioacuten en el trabajo de campo Las bases

de datos deberaacuten entregarse en formatos compatibles con Excel debiendo mantener la

confidencialidad de los entrevistados pero sin alterar la informacioacuten proporcionada por estos En las

bases de datos debe estar sistematizada toda la informacioacuten recabada a partir de la aplicacioacuten de

los instrumentos de levantamiento de informacioacuten y deberaacute sustentar el anaacutelisis las valoraciones los

hallazgos y las conclusiones de la evaluacioacuten

PAE 2017 33

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Contenido del informe

Contenido miacutenimo del informe final de la evaluacioacuten

Derivado del contenido generado en las secciones anteriores deberaacuten elaborarse los siguientes

apartados en el informe final de la Evaluacioacuten de Procesos del Pp

i Introduccioacuten

ii Resumen Ejecutivo

iii Marco Legal

iv Datos Generales del Programa Presupuestario (Pp)

v Criterios Teacutecnicos para la Evaluacioacuten del Programa Presupuestario correspondiente

vi Apartados de la evaluacioacuten

Seccioacuten 1 Disentildeo

Diagnoacutestico del programa puacuteblico

Matriz de Indicadores para Resultados (MIR)

Seccioacuten 2 Procesos

Pertinencia de los proceso

Diagnoacutestico general de los procesos y subprocesos del Pp

- Contexto en que opera el Pp

- Diagnoacutestico inicial de los procesos y subprocesos

Descripcioacuten y valoracioacuten de los procesos y subprocesos del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

vii Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

viii Valoracioacuten final del Pp

ix Hallazgos

x Recomendaciones clasificadas por apartado

xi Conclusiones

xii Bibliografiacutea

xiii Anexos

Anexo 1 Descripcioacuten General del Programa

Anexo 2 Metodologiacutea para la cuantificacioacuten de las poblaciones potencial y objetivo

(Formato Libre)

Anexo 3 Evolucioacuten de la Cobertura

Anexo 4 Propuesta de mejora de la Matriz de Indicadores para Resultados

Anexo 5 Ficha de identificacioacuten y equivalencia de procesos del Pp

PAE 2017 34

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 Fichas de indicadores de atributos de los procesos del Pp (Formato libre)

Anexo 7 Diagramas de flujo de la operacioacuten del Pp

Anexo 8 Propuesta de modificacioacuten a los documentos normativos o institucionales

del Pp

Anexo 9 Valoracioacuten global cuantitativardquo

Anexo 10 Sistema de monitoreo e indicadores de gestioacuten del Pp (Formato libre)

Anexo 11 Recomendaciones de la Evaluacioacuten de Procesos del Pp

Anexo 12 Principales Fortalezas Retos y Recomendaciones

Anexo 13 Ficha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacuten

En el Resumen Ejecutivo asimismo se describiraacuten los principales hallazgos y recomendaciones del

evaluador externo

Para el desarrollo de los apartados antes referidos deberaacute atender las indicaciones que se desarrollan

en las siguientes secciones

Hallazgos y resultados Pp por Seccioacuten

Se debe realizar una valoracioacuten general del programa por seccioacuten utilizando las respuestas que

integran cada uno de los apartados En esta valoracioacuten integral se deberaacute sentildealar en queacute medida la

gestioacuten operativa conduce al logro de los objetivos del Pp

Asimismo se deben sentildealar las aacutereas de mejora las buenas praacutecticas y las fortalezas detectadas en

la operacioacuten del Pp y a partir de ello la instancia evaluadora emitiraacute recomendaciones de mejora

sobre aspectos especiacuteficos de cada proceso y subproceso o macroproceso del Pp Adicionalmente

se deberaacuten identificar los problemas o limitantes tanto normativos como operativos (ldquocuellos de

botellardquo) de coordinacioacuten entre unidades administrativas y otros que hubiese en los procesos y

subprocesos o macroprocesos del Pp entendieacutendose como aquellas praacutecticas procedimientos

actividades o traacutemites que obstaculizan la operacioacuten del Pp

En este sentido se deberaacuten identificar las situaciones en las que la normativa genere complicaciones

en la gestioacuten o ineficacia en el cumplimiento de los objetivos del Pp para lo cual se deberaacute presentar

(por cada situacioacuten identificada) una propuesta de modificacioacuten a la normativa aplicable al Pp

considerando las restricciones praacutecticas que existan para su implementacioacuten asiacute como los efectos

PAE 2017 35

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

potenciales de ser implementada Los resultados de este anaacutelisis deberaacuten describirse en el Anexo 7

ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales del Pprdquo

Para la identificacioacuten y descripcioacuten de los ldquocuellos de botellardquo buenas praacutecticas y fortalezas del Pp

se consideraraacute la informacioacuten derivada del anaacutelisis de la operacioacuten del Pp asiacute como los puntos de

vista de los principales actores que intervienen en ella Este anaacutelisis deberaacute contener las causas y las

consecuencias de los ldquocuellos de botellardquo detectados sus caracteriacutesticas y naturaleza (si son

normativas o estrictamente operativas) de igual manera se deberaacute desarrollar un anaacutelisis de las

buenas praacutecticas identificadas

Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

Se debe integrar en una sola tabla las fortalezas oportunidades debilidades y amenazas

especificadas por cada apartado de la evaluacioacuten y reportarlas en el Anexo 11 ldquoPrincipales Fortalezas

Retos y Recomendacionesrdquo en el que se deben incluir las fortalezas yo oportunidades las

debilidades yo amenazas y las recomendaciones por apartado de la evaluacioacuten

PAE 2017 36

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexos

Anexo 1 ldquoDescripcioacuten General del Programardquo

El Anexo tiene formato libre sin embargo debe contener una breve descripcioacuten de las caracteriacutesticas

maacutes relevantes del Pp en un maacuteximo de dos cuartillas Dicha descripcioacuten debe considerar los

siguientes aspectos

1 Identificacioacuten del programa

11 Nombre

12 Clave de programa

13 Dependencia yo Entidad coordinadora ejecutora

14 Antildeo de inicio de operacioacuten

2 Problema o necesidad que el Pp pretende atender atenuar o resolver

3 La contribucioacuten del Pp a las Metas y objetivos estatales a los que se vincula

4 Descripcioacuten de los objetivos del Pp asiacute como de los bienes yo servicios que ofrece

(componentes)

5 Identificacioacuten y cuantificacioacuten de la poblacioacuten o aacuterea de enfoque potencial y

objetivo

6 Presupuesto aprobado para el ejercicio fiscal en curso

7 Metas de los indicadores de Fin Propoacutesito y Componentes asiacute como los de nivel

actividad que se consideren relevantes y

8 Resumen de la valoracioacuten de la pertinencia del disentildeo del Pp respecto a la atencioacuten

del problema o necesidad

Anexo 2 ldquoMetodologiacutea para la cuantificacioacuten de la poblacioacuten o aacuterea de enfoque

potencial y objetivordquo

El Anexo tiene formato libre sin embargo se debe incluir la siguiente informacioacuten

Definicioacuten de la poblacioacuten o aacuterea de enfoque potencial objetivo y atendida

Cuantificacioacuten de la poblacioacuten potencial objetiva y atendida

Hallazgos sobre el procedimiento llevado a cabo para definir y cuantificar la poblacioacuten o

aacuterea de enfoque potencial objetivo y atendida

Recomendaciones

Propuesta orientada hacia la mejora

PAE 2017 37

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 3 ldquoEvolucioacuten de la Coberturardquo

Nombre del

Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten

Antildeo de la Evaluacioacuten

Tipo de Poblacioacuten

Unidad

de

Medida

2012 2013 2014 2015 2016

P Potencial

P Objetivo

P Atendida

119927119912 times 120783120782120782

119927119926

PAE 2017 38

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 4 ldquoPropuesta de mejora de la Matriz de Indicadores para Resultadosrdquo

Derivado del anaacutelisis y valoracioacuten de la pregunta de investigacioacuten nuacutemero 3 iquestLa estructura de

objetivos planteada por el programa mantiene loacutegica y correspondencia causal con el problema

planteado en el diagnoacutestico se realizaraacute una propuesta de mejora de MIR

Fin

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Propoacutesito

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Componente 1

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

PAE 2017 39

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Componente 2 hellip

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 40

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesos del Pprdquo

Para la identificacioacuten y clasificacioacuten de los procesos del Pp se sugieren los siguientes pasos

1 Listar los procesos identificados

Comparar los procesos identificados del Pp con aquellos correspondientes al Modelo general de

procesos Colocar en el rengloacuten correspondiente el nombre de cada proceso del Pp identificado

como equivalente

2 Colocar al final de la lista aquellos procesos del Pp que no sean equivalentes con el Modelo

general de procesos

Modelo general de

procesos

Nuacutemero

de

secuencia

Procesos o subprocesos del Pp identificados por el

evaluador

(Nombre y breve descripcioacuten)

Planeacioacuten Ejemplo (Ej) Planeacioacuten Estrateacutegica

Ej Programacioacuten

Ej Presupuestacioacuten

Comunicacioacuten interna y

externa

Ej Difusioacuten Federal

Ej Difusioacuten Local

Seleccioacuten de

destinatarios

Ej Recepcioacuten de solicitudes de becas

Ej Seleccioacuten de becarios

Produccioacuten de

entregables

Entrega

Control

Seguimiento Ej Seguimiento fiacutesico y supervisioacuten en campo

Evaluacioacuten externa Ej Publicacioacuten y lectura del PAE

Ej Definicioacuten de TdR

Ej Contratacioacuten

Ej Ejecucioacuten de la evaluacioacuten externa

Monitoreo Ej Registro de avances de indicadores

Ej Revisioacuten de registros

Ej Validacioacuten de registros e integracioacuten de informes

PAE 2017 41

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Procesos identificados por el evaluador que no coinciden con el Modelo general de procesos

PAE 2017 42

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 ldquoFichas de indicadores de atributos de los procesos del Pp (formato libre)rdquo

Para la construccioacuten de este anexo deberaacute realizarse una revisioacuten documental (normativa aplicable

MIR evaluaciones externas sistemas de informacioacuten y registros administrativos entre otros) misma

que deberaacute complementarse con el trabajo de campo con el objetivo de identificar disentildear y calcular

indicadores relacionados con dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de

informacioacuten empleadas

Ademaacutes de considerar la medicioacuten de los atributos de eficacia suficiencia oportunidad y pertinencia

de cada proceso y subproceso o macroproceso

PAE 2017 43

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 7 ldquoDiagramas de flujo de la operacioacuten del Pprdquo

Para la elaboracioacuten de los diagramas de flujo deberaacute utilizarse la notacioacuten empleada en el

documento ldquoGuiacutea para la Optimizacioacuten Estandarizacioacuten y Mejora Continua de Procesosrdquo publicada

por la SFP en la direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Para el Diagrama de Alto Nivel (Diagrama PEPSU)

Ejemplo ilustrativo

PAE 2017 44

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para el Diagrama de Flujo

PAE 2017 45

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

PAE 2017 46

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 8 ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales

del Pprdquo

Tipo de

norma-

tiva

Dice

Problema

generado

(causas y

consecuencias)

Se

recomienda

decir

Efecto esperado de

aplicar la

recomendacioacuten de

cambio

Restricciones praacutecticas

que puedan existir para

su implementacioacuten

PAE 2017 47

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 9 ldquoValoracioacuten global cuantitativa ldquo

Seccioacuten 1 Disentildeo

Disentildeo Valoracioacuten Argumento o justificacioacuten

Porcentaje del

Disentildeo del Pp

(Suma de valoracioacuten alcanzada por pregunta de la seccioacuten 1 Total maacuteximo de la

valoracioacuten de todas las preguntas de la seccioacuten 1 ) x 100

Seccioacuten 2 Procesos

Proceso Eficacia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

eficaces

(Total de procesos eficaces Total de procesos del Pp) x 100

Proceso Oportunidad

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

oportunos

(Total de procesos oportunos Total de procesos del Pp) x 100

Proceso Suficiencia

(SiacuteNo) Argumento o justificacioacuten

PAE 2017 48

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Porcentaje de

procesos

suficientes

(Total de procesos suficientes Total de procesos del Pp) x 100

Proceso Pertinencia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

pertinentes

(Total de procesos pertinentes Total de procesos del Pp) x 100

NOTA Los argumentos y justificaciones del evaluador deberaacuten considerar el anaacutelisis y valoraciones de

los subprocesos de cada proceso de modo que haya consistencia entre estos elementos Asimismo el

evaluador deberaacute expresar los resultados de la valoracioacuten cuantitativa en una graacutefica tipo radial

PAE 2017 49

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 10 ldquoSistema de monitoreo e indicadores de gestioacuten del Pp (formato libre)rdquo

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible

Nombre del Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten De Procesos

Antildeo de la Evaluacioacuten 2017

Fin Justificacioacuten Propoacutesito Justificacioacuten Componente (s) Justificacioacuten

Nombre de

Indicador

Meacutetodo de Caacutelculo

Claro SiacuteNo SiacuteNo SiacuteNo

Relevante SiacuteNo SiacuteNo SiacuteNo

Econoacutemico SiacuteNo SiacuteNo SiacuteNo

Monitoreable SiacuteNo SiacuteNo SiacuteNo

Adecuado SiacuteNo SiacuteNo SiacuteNo

Definicioacuten SiacuteNo SiacuteNo SiacuteNo

Unidad de Medida SiacuteNo SiacuteNo SiacuteNo

Frecuencia de

Medicioacuten

SiacuteNo SiacuteNo SiacuteNo

Liacutenea Base SiacuteNo SiacuteNo SiacuteNo

Metas SiacuteNo SiacuteNo SiacuteNo

Comportamiento

del Indicador

SiacuteNo SiacuteNo SiacuteNo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 50

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de Procesos del Pprdquo

En este Anexo la instancia evaluadora debe valorar si la recomendacioacuten implica una consolidacioacuten o

una reingenieriacutea del proceso

A) Consolidacioacuten

Proceso Recomendaci

oacuten

Breve

anaacutelisis de

viabilidad de

la

implementa-

cioacuten

Principales

responsables

de la

implementaci

oacuten

Situacioacuten

actual

Efectos

potenciales

esperados

Medio de

verifica-

cioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

B) Reingenieriacutea de procesos

Proceso Objetivo

Breve

anaacutelisis de

viabilidad

de la

implemen-

tacioacuten

Principales

responsables

de la

implemen-

tacioacuten

Situa-

cioacuten

actual

Metas y

efectos

potenciale

s

esperados

Elabora-

cioacuten de

flujogram

a del

nuevo

proceso

Medio

de

verifi-

cacioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

NOTA El nivel de priorizacioacuten Alto Medio o Bajo se estimaraacute considerando la mejora en la operacioacuten

del Pp la viabilidad de la implementacioacuten de la recomendacioacuten asiacute como el efecto potencial que esto

pueda tener el alcance del objetivo del Pp

PAE 2017 51

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 12 ldquoPrincipales Fortalezas Retos y Recomendacionesrdquo

Capacidades Internas Factores Externos

Fortalezas

(Cualquier capacidad con la que cuenta la dependencia o

entidad que le permita aprovechar sus recursos para la

obtencioacuten de sus objetivos)

Oportunidades

(Cualquier factor externo fuera del control de la dependencia o

entidad que puede ser aprovechado para la obtencioacuten de sus

objetivos)

Debilidades

(Cualquier limitante Interna de la dependencia o entidad que

puede afectar la obtencioacuten de sus objetivos)

Amenazas

(Cualquier factor externo fuera de control de la dependencia o

entidad que pueda afectar la obtencioacuten de sus objetivos)

PAE 2017 52

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacutenrdquo

El Informe Final de la Evaluacioacuten de Procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten

Superior deberaacuten contener una ficha con los siguientes datos

Ficha Teacutecnica con los datos generales de la evaluacioacuten

Nombre o denominacioacuten de la

evaluacioacuten

[Especificar el nombre de la evaluacioacuten considerando su tipo y ejercicio

evaluado]

Nombre o denominacioacuten del

programa evaluado

[Indicar el nombre del Pp sujeto a evaluacioacuten de acuerdo con lo

establecido en el PEF sentildealando su modalidad y clave]

Unidad Responsable de la operacioacuten

del programa

[Especificar la(s) unidad(es) responsable(s) de la administracioacuten

operacioacuten y ejecucioacuten de los programas subprogramas y proyectos del

Pp evaluado correspondientes a las dependencias y entidades]

Titular de la unidad responsable de la

operacioacuten del programa

[Indicar el nombre del(a) Titular de la Unidad Responsable de la

operacioacuten del Pp]

Antildeo del Programa Anual de

Evaluacioacuten (PAE) en que fue

considerada la evaluacioacuten

[Especificar el ejercicio fiscal al que corresponde el PAE en la que fue

programada la evaluacioacuten]

Antildeo de conclusioacuten y entrega de la

evaluacioacuten

[Indicar el antildeo en que se concluyoacute la evaluacioacuten]

Tipo de evaluacioacuten [Especificar el tipo de evaluacioacuten de acuerdo con los Lineamientos de

evaluacioacuten el nombre de la evaluacioacuten y con lo establecido en el PAE]

Nombre de la instancia evaluadora [Indicar el nombre de la firma consultoriacutea u organizacioacuten que realizoacute la

evaluacioacuten]

Nombre del(a) coordinador(a)

externo(a) de la evaluacioacuten

[Especificar el nombre del(a) responsable de la coordinacioacuten de la

evaluacioacuten dla instancia evaluadora]

Nombre de los(as) principales

colaboradores(as) del(a)

coordinador(a) de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del(a)

coordinador(a) de la evaluacioacuten]

PAE 2017 53

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Unidad Administrativa responsable de

la Coordinacioacuten de la evaluacioacuten

[De acuerdo con lo sentildealado en el PAE especificar la instancia a la que

corresponde la coordinacioacuten de la evaluacioacuten pej Secretariacutea de

Finanzas y Administracioacuten (SFA) asiacute como la unidad administrativa

mediante la cual se ejerce esta funcioacuten p ej Direccioacuten de Evaluacioacuten

de la SFA (DEV)

Nombre del(a) Titular de la unidad

administrativa responsable de

coordinar la evaluacioacuten (Aacuterea de

Evaluacioacuten)

[Especificar el nombre del(a) Titular de la Unidad responsable de dar

seguimiento a la evaluacioacuten que funge como Aacuterea de Evaluacioacuten]

Nombres de los(as) servidores(as)

puacuteblicos(as) adscritos(as) a la unidad

administrativa responsable de

coordinar la evaluacioacuten que

coadyuvaron con la revisioacuten teacutecnica

de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del

titular de la unidad administrativa responsable de dar seguimiento a la

evaluacioacuten respecto de la revisioacuten teacutecnica de la misma]

Forma de contratacioacuten de la instancia

evaluadora

[Indicar el tipo de contratacioacuten dla instancia evaluadora Especificar el

tipo de procedimiento de contratacioacuten de la instancia evaluadora

consistente con los tipos de adjudicacioacuten establecidos en la Ley de

Adquisiciones Arrendamientos y Servicios del Sector Puacuteblico]

Costo total de la evaluacioacuten con IVA

incluido

[Especificar el costo total de la evaluacioacuten incluyendo el IVA (en caso

de que se haya causado) como sigue $XXX IVA incluido]

Asimismo en este anexo se deberaacute incluir una nota metodoloacutegica con la descripcioacuten de las teacutecnicas

y los modelos utilizados por el evaluador externo acompantildeada del disentildeo por muestreo

especificando los supuestos empleados y las principales caracteriacutesticas del tamantildeo y dispersioacuten de

la muestra utilizada

DIRECTORIO

Rauacutel Saacutenchez Kobashi

Secretario de la Secretariacutea de Finanzas y Administracioacuten

Francisco Fidel Teomitzi Saacutenchez

Subsecretario de Planeacioacuten

Arturo Neponuceno Crisoacutestomo

Director de Evaluacioacuten

Rodolfo de la Rosa Cabrera

Subdireccioacuten de Evaluacioacuten de Programas

Sauacutel Federico Oropeza Orea

Jefe del Departamento de Programas Estatales y Municipales

Ana Luz Guzmaacuten Figueroa

Analista del Departamento de Programas Estatales y Municipales

Marco Antonio Saacutenchez Gonzaacutelez

Analista del Departamento de Programas Estatales y Municipales

Page 8: Términos de Referencia para la Evaluación del Desempeño ...evaluacion.puebla.gob.mx/pdf/metodologias/TdR_Est/2017/TdR... · Perfil de la instancia evaluadora ... acuerdo con las

PAE 2017 7

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Poblacioacuten Atendida Poblacioacuten o aacuterea que ya fue atendida por el programa presupuestario

Poblacioacuten Objetivo Poblacioacuten o aacuterea que el programa pretende atender en un periodo dado de

tiempo pudiendo corresponder a la totalidad de la poblacioacuten potencial o a una parte de ella

Poblacioacuten Potencial Se refiere al universo global de la poblacioacuten o aacuterea referida

Poliacutetica Puacuteblica Accioacuten del Gobierno que tiene como objetivo atender ciertas necesidades de la

poblacioacuten (educacioacuten desarrollo social salud seguridad puacuteblica infraestructura comunicaciones

energiacutea etc)

Presupuesto basado en Resultados (PbR) Es un proceso basado en consideraciones objetivas

sobre los resultados esperados y alcanzados para la asignacioacuten de recursos con la finalidad de

fortalecer la calidad del disentildeo y gestioacuten de las poliacuteticas programas puacuteblicos y desempentildeo

institucional cuyo aporte sea decisivo para generar las condiciones sociales econoacutemicas y

ambientales para el desarrollo nacional sustentable

Programa Anual de Evaluaciones (PAE) Es el documento en el que se determina el tipo de

evaluacioacuten que se aplicaraacute a los programas puacuteblicos del Estado el calendario de ejecucioacuten de las

acciones de monitoreo y evaluacioacuten de los programas puacuteblicos del Estado que estaacuten en operacioacuten

asiacute como ofrecer a los responsables de la administracioacuten puacuteblica la informacioacuten que les permita

optimizar el proceso de creacioacuten de valor puacuteblico

Programa Presupuestario (Pp) Categoriacutea que permite organizar en forma representativa y

homogeacutenea las asignaciones de recursos de los programas federales y del gasto federalizado a

cargo de los ejecutores del mismo para el cumplimiento de sus objetivos y metas

Reglas de Operacioacuten del Programa (ROP) Son un conjunto de disposiciones que precisan la forma

de operar un programa con el propoacutesito de lograr los niveles esperados de eficacia eficiencia

equidad y transparencia

Secretariacutea de Hacienda y Creacutedito Puacuteblico (SHCP) dependencia del Poder Ejecutivo Federal que

tiene como misioacuten proponer dirigir y controlar la poliacutetica econoacutemica del Gobierno Federal en materia

financiera fiscal de gasto de ingresos y deuda puacuteblica con el propoacutesito de consolidar un paiacutes con

crecimiento econoacutemico de calidad

Secretariacutea de Finanzas y Administracioacuten (SFA) dependencia del Poder Ejecutivo Estatal que tiene

a su cargo las atribuciones para el despacho de los asuntos que expresamente le confiere la Ley

Orgaacutenica de la Administracioacuten Puacuteblica del Estado las demaacutes leyes reglamentos acuerdos decretos

convenios y sus anexos vigentes asiacute como las que le encomiende el Gobernador

PAE 2017 8

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Seguimiento Proceso continuo de recoleccioacuten y anaacutelisis de datos para comparar en queacute medida se

estaacute ejecutando un proyecto programa poliacutetica o recomendaciones en funcioacuten de los resultados

previstos

Teacuterminos de referencia (TdR) Documento que plantea los elementos estandarizados miacutenimos y

especiacuteficos de acuerdo con el tipo de evaluacioacuten y de programa a evaluar con base en

especificaciones teacutecnicas (perfil de los evaluadores calendario de entregas de productos etc)

objetivos de la evaluacioacuten (generales y especiacuteficos) asiacute como la normatividad aplicable

(responsabilidades alcances restricciones etc)

Unidades Responsables (UR) Cada una de las aacutereas encargadas de la evaluacioacuten de las

dependencias que forman parte de la Administracioacuten Puacuteblica Estatal

PAE 2017 9

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Objetivo General

Evaluar los procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten Superior de la

Administracioacuten Puacuteblica Estatal para el Ejercicio Fiscal 2016 con la finalidad de analizar y valorar su

operacioacuten y gestioacuten para el logro de sus metas y objetivos

Objetivos Especiacuteficos

Determinar en queacute medida los elementos del diagnoacutestico del Pp son suficientes para tener una

comprensioacuten vaacutelida del problema puacuteblico que se pretende atender

Determinar la validez de la loacutegica de intervencioacuten del Pp para atender el problema planteado a

partir de una comparacioacuten con casos nacionales o internacionales similares

Determinar en queacute medida los procesos con los que cuenta el programa puacuteblico son pertinentes

para atender el problema identificado

Analizar y valorar si la ejecucioacuten de los procesos y subprocesos o macroprocesos que integran

la gestioacuten operativa del Pp en sus distintos niveles son eficaces oportunos suficientes y

pertinentes para el logro de sus objetivos

Identificar analizar y valorar las buenas praacutecticas o las fortalezas en la operacioacuten del Pp

Identificar y proponer mejoras al Pp para el logro de sus objetivos y metas

PAE 2017 10

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Perfil de la instancia evaluadora

La instancia evaluadora debe de cubrir cuando menos los siguientes criterios

Persona fiacutesica o moral registrada ante la autoridad hacendaria competente

Acreditar la experiencia en el tema de evaluacioacuten de la gestioacuten yo poliacuteticas puacuteblicas

El Coordinador de la Evaluacioacuten cuente con maestriacutea o doctorado en ciencias sociales

ciencia poliacutetica antropologiacutea economiacutea sociologiacutea poliacuteticas puacuteblicas planeacioacuten yo

aacutereas afines a la temaacutetica de la evaluacioacuten y estar en posesioacuten del tiacutetulo universitario

con validez nacional o por universidades oficialmente reconocidas

Al menos dos antildeos de ejercicio profesional en materia de investigacioacuten

Dos antildeos de experiencia miacutenima en la realizacioacuten de actividades de evaluacioacuten interna

o externa en el sector puacuteblico o privado

Contar con referentes acadeacutemicos que demuestren su experiencia en el tema de

evaluacioacuten de poliacuteticas

Por lo que deberaacute llenar la Tabla 2 y el Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia

evaluadora y el costo de la evaluacioacutenrdquo

Tabla 2 Perfil de equipo evaluador

Cargo Requisitos

Acadeacutemicos Experiencia General

Experiencia

Especifica

Liacuteder del

equipo

evaluador

Estudios de posgrado

en ciencias sociales

econoacutemicas historia

antropologiacutea ciencia

poliacutetica administracioacuten

puacuteblica o afines

Experiencia en

evaluaciones de

programas poliacuteticas

yo investigaciones en

materia de evaluacioacuten

Experiencia en

evaluaciones en las

que se hayan

implementado

metodologiacuteas y anaacutelisis

cualitativos Que

cuente con liacuteneas de

investigacioacuten o

participacioacuten en

proyectos con temas

vinculados a los

programas a ser

evaluados

PAE 2017 11

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Tabla 2 Perfil de equipo evaluador

Cargo Requisitos

Acadeacutemicos Experiencia General

Experiencia

Especifica

Analistas

del equipo

evaluador

Se sugiere que la

instancia evaluadora

sea multidisciplinario

que cuenten con

licenciatura o estudios

de posgrado en

ciencias sociales

econoacutemicas historia

antropologiacutea ciencia

poliacutetica psicologiacutea

administracioacuten puacuteblica

o ingenieriacutea

Experiencia en

evaluaciones de

programas poliacuteticas

yo investigaciones en

materia de evaluacioacuten

Experiencia en trabajo

de campo estudios

etnograacuteficos disentildeo de

encuestas y

cuestionarios en temas

de ingenieriacutea de

procesos y en

evaluacioacuten de

programas puacuteblicos

PAE 2017 12

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Preguntas de investigacioacuten

Seccioacuten 1 Disentildeo

Diagnoacutestico del programa puacuteblico

1 iquestEl programa tiene identificado el problema y la loacutegica causal acerca de su dinaacutemica

Consideraciones

La respuesta deberaacute mostrar si el problema o necesidad para el que va dirigido el programa se

identifica como un hecho negativo el que se puede revertir o atender

Se tendraacute que identificar si se cuenta con aacuterbol de problemas (u otro elemento documentado) que

permita identificar la loacutegica causal del problema al que se busca atender juzgando la medida en que

la loacutegica causal del programa es consistente con los estudios utilizados para fundamentacioacuten de la

intervencioacuten

Se debe incluir la definicioacuten del problema o necesidad y en su caso la propuesta de modificacioacuten o

recomendaciones de mejora Asimismo se indicaraacute si el problema o necesidad considera diferencias

entre hombres y mujeres a fin de conocer las limitaciones yo las oportunidades que presenta el

entorno econoacutemico demograacutefico social cultural poliacutetico juriacutedico e institucional para la promocioacuten

de la igualdad de geacutenero

Se deberaacute que determinar si el problema identificado por el Pp tiene coincidencia con alguacuten

problema que se aborda en el PED yo en el Programa Sectorial De igual forma se deberaacute analizar

si en el aacutembito nacional o internacional se cuenta con experiencias de poliacuteticas puacuteblicas que tuvieron

o tienen como objetivo la atencioacuten del problema que se plantea atender Lo anterior sentildealando sus

logros fallos y resultados ademaacutes se solicita hacer mencioacuten sobre la incorporacioacuten de elementos

exitosos de otras estrategias en el disentildeo del programa presupuestario a evaluar

2 iquestEl programa cuenta con una identificacioacuten (cuantificacioacuten y ubicacioacuten geograacutefica) de la

poblacioacuten o aacuterea de enfoque potencial y objetivo de su intervencioacuten y eacutesta se relaciona con

la definicioacuten del problema puacuteblico que se plantea atender

Consideraciones

La instancia evaluadora deberaacute valorar la medida en que la definicioacuten del problema es traducido a

unidades concretas de personas grupos especiacuteficos o zonas geograacuteficas cuantificables y

monitoreables en referentes estadiacutesticos oficiales del estado yo federacioacuten

PAE 2017 13

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

En la respuesta se deberaacuten incluir las definiciones de la poblacioacuten o aacuterea de enfoque potencial

objetivo y atendida asiacute como su cuantificacioacuten La metodologiacutea y fuentes de informacioacuten para

determinar los tipos de poblacioacuten o aacuterea de enfoque se deben incluir en el Anexo 2 ldquoMetodologiacutea

para la cuantificacioacuten de la poblacioacuten o aacuterea de enfoque potencial y objetivordquo

Asimismo identificar si el Pp cuenta con una estrategia de cobertura institucional en que se defina

la estrategia que utilizaraacute a lo largo del tiempo para cubrir el total de su poblacioacuten o aacuterea de enfoque

potencial en caso de que no se identifique alguna estrategia el evaluador deberaacute emitir una

valoracioacuten sobre la pertinencia del disentildeo actual del Pp para alcanzar las metas de cobertura En caso

de que el disentildeo actual del Pp no permita alcanzar las metas de cobertura deberaacuten recomendarse

modificaciones concretas al disentildeo del Pp con la finalidad de que sea maacutes probable que alcance

dichas metas de cobertura

De igual forma se debe analizar la evolucioacuten de la poblacioacuten o aacuterea de enfoque atendida y su

convergencia con la poblacioacuten o aacuterea de enfoque potencial es decir si el programa ha logrado

atender a toda la poblacioacuten o aacuterea de enfoque objetivo El anaacutelisis se debe justificar y completar el

Anexo 3 ldquoEvolucioacuten de la Coberturardquo

Matriz de Indicadores para Resultados (MIR)

3 iquestLa estructura de objetivos planteada por el programa mantiene loacutegica y correspondencia

causal con el problema planteado en el diagnoacutestico

Consideraciones

Se deberaacute identificar la contribucioacuten del programa a los objetivos estrateacutegicos del Plan Estatal de

Desarrollo y de otros instrumentos de planeacioacuten de mediano y largo plazo

Se deberaacute determinar si la hipoacutetesis de intervencioacuten del programa mantiene una loacutegica causal con

la problemaacutetica que se quiere atender

Se deberaacuten analizar y valorar los elementos que componen al disentildeo del Pp (modalidad unidades

responsables propoacutesito componentes poblacioacuten o aacuterea de enfoque objetivo entre otros) y sobre

los cuales eacuteste se construye (problema puacuteblico o necesidad causas y efectos del problema situacioacuten

de la poblacioacuten o aacuterea de enfoque objetivo entre otros)

Se deberaacute valorar la MIR y verificar su loacutegica horizontal (resumen narrativo indicadores metas y

medios de verificacioacuten) y vertical asiacute como si es congruente con los elementos de diagnoacutestico

Derivado de lo anterior se elaboraraacute una propuesta de la MIR que deberaacute considerar y presentar la

Estructura Analiacutetica del Pp (aacuterbol de problemas objetivos y concentrado) Asimismo se deberaacute incluir

PAE 2017 14

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

la justificacioacuten del disentildeo propuesto o las modificaciones sugeridas y generar el Anexo 4 ldquoPropuesta

de mejora de la Matriz de Indicadores para Resultadosrdquo

Metodologiacutea de la Seccioacuten 1

Anaacutelisis de gabinete

La evaluacioacuten se realizaraacute mediante un anaacutelisis de gabinete con base en informacioacuten proporcionada

por la dependencia o unidad responsable del programa asiacute como informacioacuten adicional que la

institucioacuten evaluadora considere necesaria para justificar su anaacutelisis

En este contexto se entiende por anaacutelisis de gabinete al conjunto de actividades que involucra el

acopio la organizacioacuten y la valoracioacuten de informacioacuten concentrada en registros administrativos

bases de datos evaluaciones internas yo externas y documentacioacuten puacuteblica Sin embargo de

acuerdo con las necesidades de informacioacuten y tomando en cuenta la forma de operar de cada

programa se podraacuten programar y llevar a cabo entrevistas con responsables de los programas yo

personal de la unidad de evaluacioacuten yo planeacioacuten de la dependencia coordinadora

Valoracioacuten de disentildeo del Pp

Para cada pregunta de investigacioacuten de esta seccioacuten se deberaacute definir una valoracioacuten cuantitativa y

cualitativa que resuma la apreciacioacuten del evaluador para cada uno de los aspectos de la seccioacuten 1

con el fin de permitir obtener una valoracioacuten sinteacutetica acerca de la suficiencia de los elementos que

cumple el programa Para esto se deberaacute usar la siguiente escala likert de cinco grados

Tabla 3 Escala de Medicioacuten para la Seccioacuten 1

1 2 3 4 5

Deficiente Insuficiente Moderado Bien Suficiente

En la argumentacioacuten que presente la evaluadora se deberaacuten aportar los elementos que justifiquen

la valoracioacuten cuantitativa que se emita para cada pregunta de investigacioacuten ademaacutes de completar

el Anexo 9 ldquoValoracioacuten global cuantitativardquo de la Seccioacuten 1 de Disentildeo

PAE 2017 15

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Seccioacuten 2 Procesos

Pertinencia de los procesos

4 Diagnoacutestico general de los procesos y subprocesos del Pp

Consideraciones

La instancia evaluadora deberaacute presentar dentro de los 30 diacuteas naturales posteriores a la firma del

contrato un Diagnoacutestico General de los Procesos y Subprocesos o Macroprocesos del Pp (Producto

1) en el que se deacute cuenta de la problemaacutetica o necesidad que atiende o de la funcioacuten de gobierno

que desarrolla asiacute como del contexto y las condiciones en las que opera el Pp En este diagnoacutestico

se deben identificar los procesos y subprocesos o macroprocesos que integran la operacioacuten o

gestioacuten del Pp a partir de la normativa vigente y de las entrevistas a funcionarios de la UR realizadas

se deberaacute presentar una descripcioacuten integral con el mapa de procesos y subprocesos del Pp

A partir de este diagnoacutestico la instancia evaluadora presentaraacute para su validacioacuten a la DEV una

propuesta de los alcances y logiacutestica de la Evaluacioacuten de Procesos del Pp Asimismo el diagnoacutestico

debe estar acompantildeado de la justificacioacuten del enfoque metodoloacutegico general seleccionado para su

desarrollo

Ademaacutes en el Producto 1 se deberaacuten especificar las directrices generales y particulares que guiaraacuten

la realizacioacuten de la evaluacioacuten de procesos acordadas con la DEV y la UR del Pp por lo que la correcta

elaboracioacuten de este producto es fundamental para poder garantizar un resultado satisfactorio

En el Producto 1 ademaacutes de integrar la estrategia y plan de trabajo de campo teacutecnicas de

investigacioacuten a utilizarse disentildeo muestral e instrumentos de levantamiento de informacioacuten se

incluiraacuten dos apartados

Descripcioacuten del contexto en el que opera el Pp La instancia evaluadora deberaacute describir

los siguientes elementos del Pp todas las UR que participan en su operacioacuten o que ejercen

sus recursos los entregables que produce cada UR que participa en la operacioacuten del Pp en

el marco del mismo el problema o necesidad de poliacutetica puacuteblica identificado por el Pp

poblacioacuten o aacuterea de enfoque potencial objetivo y atendida del Pp y su cuantificacioacuten

cantidad de destinatarios por cada uno de los entregables que el Pp tuvo al cierre del uacuteltimo

ejercicio fiscal del que se tenga registro cantidad de destinatarios por cada uno de los

entregables que el Pp espera atender en el ejercicio fiscal evaluado asiacute como el contexto

organizacional y social en que se desarrolla su operacioacuten

PAE 2017 16

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Diagnoacutestico inicial de los procesos y subprocesos o macroprocesos del Pp La instancia

evaluadora deberaacute desarrollar a partir del trabajo de gabinete y de entrevistas

semiestructuradas con funcionarios de la(s) Unidad(es) Responsable(s) del Pp realizadas un

diagnoacutestico inicial de procesos del Pp en el que se identifiquen claramente los procesos y

subprocesos o macroprocesos que integran su operacioacuten o gestioacuten asiacute como las instancias

o actores que participan en ellos se deberaacute presentar una descripcioacuten integral con un mapa

de procesos y subprocesos o macroprocesos del Pp asiacute como llenar el Anexo 5 ldquoFicha de

identificacioacuten y equivalencia de procesosrdquo Las entrevistas semiestructuradas se realizaraacuten con

la finalidad de profundizar y despejar dudas sobre el mapa de los procesos y subprocesos o

macroprocesos que integran la gestioacuten operativa del Pp En esta seccioacuten la instancia

evaluadora deberaacute sentildealar cuaacuteles de los procesos y subprocesos o macroprocesos

identificados estaacuten documentados y cuaacuteles no asiacute como ndashen su casondash la normativa que los

rige por ejemplo un manual de procedimientos o de organizacioacuten lineamientos de

operacioacuten entre otros Cabe sentildealar que los procesos y subprocesos o macroprocesos que

integran la operacioacuten o gestioacuten del Pp son estructuras analiacuteticas que debe de construir la

instancia evaluadora a partir de su experiencia en el desarrollo de evaluaciones de procesos

e implementacioacuten de poliacuteticas puacuteblicas por tanto debe tenerse en cuenta que a pesar de

ser lo deseable los procesos y subprocesos o macroprocesos no necesariamente pueden

estar documentados

5 Descripcioacuten y valoracioacuten de los procesos y subprocesos del Pp

Consideraciones

Despueacutes de realizar el trabajo de campo y sistematizar la informacioacuten levantada la instancia

evaluadora deberaacute realizar la descripcioacuten y valoracioacuten de cada uno de los procesos subprocesos o

macroprocesos identificados en el Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesosrdquo

contrastando en todos los casos la evidencia documental y su ejecucioacuten en la praacutectica

Por lo anterior en esta seccioacuten se deberaacute realizar una descripcioacuten minuciosa del desarrollo y el

anaacutelisis de cada proceso y subproceso o macroproceso de acuerdo con el alcance establecido

utilizando la informacioacuten obtenida mediante el anaacutelisis de gabinete y el trabajo de campo asimismo

se deberaacute realizar una valoracioacuten integral sobre la gestioacuten de cada uno de los procesos a partir de

la gestioacuten en sus subprocesos o macroprocesos a partir de la gestioacuten de los procesos

PAE 2017 17

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

La valoracioacuten de cada proceso subproceso o macroproceso deberaacute contener la siguiente estructura

1 Descripcioacuten detallada de las actividades los elementos y los actores que integran el

desarrollo de cada proceso y subproceso o macroproceso

2 Liacutemites de cada proceso y subproceso o macroproceso asiacute como su articulacioacuten con otros

3 Insumos y recursos determinar si los insumos y los recursos disponibles son suficientes y

adecuados para la ejecucioacuten de cada proceso y subproceso o macroproceso

a Tiempo iquestel tiempo en que se ejecuta el proceso o subproceso es el adecuado acorde

a lo planificado y congruente con la normativa que aplica

b Personal iquestel personal es suficiente tiene el perfil y cuenta con la capacitacioacuten necesaria

para la ejecucioacuten del proceso o subproceso

c Recursos financieros iquestlos recursos financieros son suficientes para la ejecucioacuten del

proceso o subproceso

d Recursos materiales iquestlos recursos materiales son suficientes para la ejecucioacuten del

proceso o subproceso

e Infraestructura iquestse cuenta con la infraestructura o capacidad instalada suficiente para

la ejecucioacuten del proceso o subproceso

f Insumos tecnoloacutegicos

4 Productos iquestlos productos de cada proceso subproceso o macroproceso sirven de insumo

para ejecutar el proceso subproceso o macroproceso subsecuente

5 Sistemas de informacioacuten iquestLos sistemas de informacioacuten utilizados en la ejecucioacuten de cada

proceso subproceso o macroproceso (automatizados semiautomatizados o manuales)

funcionan como una fuente de informacioacuten uacutetil para los sistemas de monitoreo a nivel central

y para los operadores en otros niveles iquestEstos sistemas de informacioacuten automatizan algunos

procesos subprocesos o macroproceso del Pp iquestSirven como mecanismo de control interno

para el mejor de desarrollo de los procesos subprocesos o macroproceso

6 Coordinacioacuten iquestla coordinacioacuten entre los actores oacuterdenes de gobierno o dependencias

involucradas es adecuada para la ejecucioacuten del proceso subproceso o macroproceso

7 Evaluacioacuten de la pertinencia de la forma en que se ejecuta cada proceso subproceso o

macroproceso en el contexto y condiciones en que se desarrolla considerando la estructura

organizacional involucrada y la coordinacioacuten entre las unidades administrativas que

intervienen en el proceso subproceso o macroproceso

8 Identificacioacuten de las caracteriacutesticas relacionadas con la importancia estrateacutegica de cada

proceso subproceso o macroproceso

PAE 2017 18

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

9 Opinioacuten de actores (destinatarios beneficiarios usuarios clientes u operadores del Pp)

sobre la eficacia eficiencia y calidad de cada proceso subproceso o macroproceso

10 Existencia de mecanismos para conocer la satisfaccioacuten de los beneficiarios o destinatarios de

los componentes o entregables que otorga el Pp

Por otra parte en caso de que el Pp genere diversos componentes o entregables y que estos

impliquen la realizacioacuten de actividades diferentes seraacute necesario describir los procesos y

subprocesos o macroprocesos correspondientes a cada tipo de componente o entregable otorgado

En la descripcioacuten de los procesos y subprocesos o macroprocesos la instancia evaluadora de manera

coordinada con la DEV deberaacute realizar los diagramas de alto nivel y los diagramas detallados

(diagramas de flujo) que describan los procesos y subprocesos o macroprocesos del Pp Para ello se

deberaacute usar como referencia la seccioacuten ldquoVII Mapeo de procesosrdquo de la ldquoGuiacutea para la Optimizacioacuten

Estandarizacioacuten y Mejora Continua de Procesosrdquo (paacuteginas 18 a 25) elaborada por la Secretariacutea de la

Funcioacuten Puacuteblica (SFP) disponible en la siguiente direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Estos diagramas se deberaacuten elaborar de acuerdo con lo especificado en el Anexo 7 ldquoDiagramas de

flujo de la operacioacuten del Pprdquo

Metodologiacutea Seccioacuten 2

La Evaluacioacuten de Procesos del Pp se realizaraacute principalmente a partir de teacutecnicas de investigacioacuten

cualitativa como son el anaacutelisis documental la observacioacuten directa estudios de caso y multicaso

especiacuteficos entrevistas semiestructuradas y grupos focales o grupos de enfoque (focus groups)

entre otras teacutecnicas que la instancia evaluadora considere pertinentes para realizar el anaacutelisis de

gabinete y el trabajo de campo tales como la aplicacioacuten de cuestionarios de aplicacioacuten electroacutenica

o a distancia

La metodologiacutea y los instrumentos definidos asiacute como el trabajo de gabinete y de campo deberaacuten

generar evidencia empiacuterica suficiente para valorar a profundidad la forma en que se ejecutan los

procesos y subprocesos o macroprocesos que integran la operacioacuten del Pp asiacute como su contexto

institucional y organizacional

PAE 2017 19

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anaacutelisis de gabinete

Para esta seccioacuten es necesario la elaboracioacuten del diagnoacutestico de los procesos y subprocesos o

macroprocesos que integran la operacioacuten o gestioacuten del Pp la instancia evaluadora deberaacute realizar

un anaacutelisis de gabinete considerando como miacutenimo los siguientes documentos

La normativa aplicable al Pp leyes reglamentos lineamientos manuales de procedimientos

convenios contratos entre otros

Diagnoacutestico y estudios de la problemaacutetica que el Pp atiende

Diagnoacutestico del programa y estudios del marco contextual en el que opera

MIR del Pp correspondiente al ejercicio fiscal evaluado y de ejercicios anteriores que se

consideren pertinentes

Sistemas de informacioacuten automatizados semiautomatizados o manuales que apoyen a la

ejecucioacuten de los procesos y subprocesos o macroprocesos identificados del Pp

Evaluaciones externas o internas realizadas previamente al Pp

Documentos de trabajo institucionales e informes de avances de Aspectos Susceptibles de

Mejora con los que cuente el Pp

Informes de auditoriacuteas de desempentildeo o similares realizadas al Pp por la Auditoriacutea Superior

de la Federacioacuten del Estado de Puebla por la Secretariacutea de la Contraloriacutea o por cualquier

instancia fiscalizadora

Asimismo se sugiere revisar otros documentos asociados al disentildeo del Pp y a su definicioacuten de

poblacioacuten o aacuterea de enfoque potencial y objetivo asiacute como a su estrategia de integracioacuten de

destinatarios o beneficiarios de los componentes o entregables del Pp

El anaacutelisis o trabajo de gabinete deberaacute generar como resultado inicial un mapeo de los procesos y

subprocesos o macroprocesos que integran la gestioacuten operativa del Pp que constituiraacute

esencialmente el Producto 1 de la evaluacioacuten posteriormente se procesaraacute la informacioacuten recabada

en campo para la generacioacuten del informe preliminar y final de la evaluacioacuten

Alcance y enfoque de la evaluacioacuten

La instancia evaluadora deberaacute sentildealar con claridad en el informe de la evaluacioacuten cuaacuteles de los

procesos y subprocesos o macroprocesos identificados en la operacioacuten o gestioacuten del Pp se analizan

y cuaacuteles no de acuerdo con lo establecido por la Direccioacuten de Evaluacioacuten (DEV) de la Secretariacutea de

Finanzas y Administracioacuten (SFA) y la Unidad Responsable (UR) del Programa en cuestioacuten sentildealando

los elementos de anaacutelisis que justifican esta seleccioacuten y en su caso haciendo recomendaciones al

respecto

PAE 2017 20

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Un elemento que podraacute ser considerado para establecer el alcance de la evaluacioacuten es el grado de

consolidacioacuten operativa del Pp el cual podraacute determinarse a priori considerando algunos elementos

como los siguientes

1 Si existen documentos que normen los procesos y subprocesos o macroprocesos

2 Si los procesos y subprocesos o macroprocesos estaacuten estandarizados es decir si son

utilizados por todas la instancias ejecutoras de manera homogeacutenea

3 Si los procesos y subprocesos o macroprocesos estaacuten documentados y son del conocimiento

de todos los operadores

4 Si se cuenta con un sistema de monitoreo e indicadores de gestioacuten

5 Si se cuenta en los procesos y subprocesos o macroprocesos analizados con sistemas

informaacuteticos que permitan la automatizacioacuten en la ejecucioacuten de los mismos

6 Si se cuenta con mecanismos para la implementacioacuten sistemaacutetica de mejoras

Se considera que existe un mayor grado de consolidacioacuten operativa cuando existen todos los

elementos y disminuiraacute gradualmente conforme haga falta uno o maacutes de ellos hasta el menor grado

de consolidacioacuten que es cuando no existe ninguno de los elementos

El alcance de la Evaluacioacuten de Procesos del Pp implica el anaacutelisis de los procesos y subprocesos o

macroprocesos sustantivos del Pp asiacute como la respectiva priorizacioacuten de estos Se deberaacute realizar

la identificacioacuten y jerarquizacioacuten de los procesos a partir del Esquema 1 adaptaacutendolo a las

condiciones particulares del Pp3 en eacutel se observa lo siguiente

El proceso de ldquoPlaneacioacutenrdquo es el punto de partida para la implementacioacuten del Pp

posteriormente continuacutean los procesos de ldquoComunicacioacuten Interna y Externardquo ldquoSeleccioacuten de

destinatariosrdquo ldquoProduccioacuten de entregablesrdquo ldquoEntregardquo ldquoSeguimiento a destinatariosrdquo y

ldquoControlrdquo

La informacioacuten que se genera en los procesos de ldquoSeguimiento a destinatariosrdquo y ldquoControlrdquo

es un insumo directo para retroalimentar los procesos del Pp desde el de Planeacioacuten

El proceso de ldquoMonitoreordquo utiliza informacioacuten generada principalmente en los procesos de

ldquoComunicacioacutenrdquo ldquoSeleccioacuten de destinatariosrdquo ldquoProduccioacuten de entregablesrdquo ldquoEntregardquo y

ldquoSeguimiento a destinatariosrdquo a partir de ello se retroalimentan los procesos del Pp desde

la ldquoPlaneacioacutenrdquo

3 Con excepcioacuten de los procesos (con sus subprocesos) de Planeacioacuten Monitoreo y Evaluacioacuten Externa para

los cuales la instancia evaluadora uacutenicamente podraacute en caso de que lo considere pertinente agregar

subprocesos pero no suprimir subprocesos

PAE 2017 21

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

El proceso de ldquoEvaluacioacuten Externardquo requiere de informacioacuten transversal de todos los

procesos ya que se valora al Pp en su conjunto En este sentido los resultados de las

evaluaciones son un insumo para retroalimentar al Pp desde el proceso de ldquoPlaneacioacutenrdquo

Es importante sentildealar que en el Esquema 1 se muestra un modelo que es importante tomarlo en

cuenta como referencia para la identificacioacuten y definicioacuten de los procesos y subprocesos o

macroprocesos que integran la operacioacuten del Pp evaluado ademaacutes de que representa un auxiliar

en la definicioacuten del alcance y del enfoque de la Evaluacioacuten de Procesos del Pp

Esquema 1 Modelo general de procesos

Fuente Modelo de TdR para la Evaluacioacuten de Procesos Secretariacutea de Hacienda y Creacutedito Puacuteblico

A continuacioacuten se describe cada uno de los procesos que componen al modelo anterior

Planeacioacuten proceso en el que se determinan o definen el problema o necesidad aacuterbol de

problemas y objetivos poblacioacuten o aacuterea de enfoque potencial y objetivo objetivos

indicadores y metas de la MIR estrategia de cobertura plan estrateacutegico entre otros puntos

asiacute como los recursos financieros y humanos necesarios que requiere el Pp para lograr sus

objetivos En el proceso de planeacioacuten se determinan las directrices en el disentildeo e

implementacioacuten del Pp los subprocesos que lo integran son los siguientes planeacioacuten

estrateacutegica programacioacuten y presupuesto actualizacioacuten de la MIR actualizacioacuten de

normativa

PAE 2017 22

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Comunicacioacuten interna y externa proceso en el que se informan diversas caracteriacutesticas y

objetivos del Pp tanto a los actores involucrados en su funcionamiento y operacioacuten (interna)

como a su poblacioacuten o aacuterea de enfoque objetivo (externa)

Seleccioacuten de destinatarios proceso en el que se determina quieacutenes recibiraacuten los

componentes o entregables de un Pp en funcioacuten de su poblacioacuten o aacuterea de enfoque objetivo

Produccioacuten de entregables proceso en el que se elaboran los entregables o realizan los

componentes del Pp (recursos financieros o humanos apoyos bienes servicios

regulaciones documentos teacutecnicos o de planeacioacuten etc) conforme a sus documentos

normativos

Entrega proceso en el que se realiza la entrega de lo producido o generado por el Pp

(componentes o entregables) a los destinatarios o beneficiarios

Seguimiento a destinatarios actividades y mecanismos que permiten al Pp conocer coacutemo

son utilizados o aprovechados sus componentes o entregables (por sus destinatarios o

beneficiarios) para que entre otras funciones la UR del Pp identifique si se estaacute cumpliendo

con los objetivos Por ejemplo en este proceso se incluyen las actividades que un Pp

implementa para conocer el grado de satisfaccioacuten de sus destinatarios o beneficiarios

Control actividades y mecanismos implementados entre los operadores del Pp para verificar

que los diferentes procedimientos procesos y subprocesos se esteacuten ejecutando conforme a

lo planeado (control interno)

Monitoreo proceso coordinado por una unidad administrativa ajena a la operacioacuten del Pp

a traveacutes del cual se recaba registra y valida la informacioacuten sobre el avance de las metas de

los indicadores de la MIR asiacute como el seguimiento a los resultados de indicadores

adicionales a los de la MIR en caso de que se cuente con un sistema de monitoreo de gestioacuten

Los subprocesos que lo integran son los siguientes acopio de la informacioacuten para el reporte

de avances validacioacuten de informacioacuten y registro de avances primordialmente

Evaluacioacuten externa proceso coordinado por una unidad administrativa ajena a la operacioacuten

del Pp mediante el cual se define la agenda de evaluacioacuten externa del Pp se definen las

metodologiacuteas o los teacuterminos de referencia se contratan las evaluaciones externas (de

cualquier tipo) se recaba la informacioacuten que seraacute entregada a los equipos evaluadores se

realiza el seguimiento durante el desarrollo de las evaluaciones externas se aprueban los

PAE 2017 23

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

informes finales de las evaluaciones externas se notifica a las instancias correspondientes

sobre la conclusioacuten de las evaluaciones externas y se definen y realiza el seguimiento de los

Aspectos Susceptibles de Mejora (ASM)

A partir de los procesos definidos en el modelo anterior la instancia evaluadora deberaacute realizar una

equivalencia de los procesos subprocesos o macroprocesos identificados respecto a los definidos

en el modelo de acuerdo con el Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesosrdquo Cabe

mencionar que los procesos definidos en el modelo no son limitativos por lo que si la instancia

evaluadora identifica procesos subprocesos o macroprocesos adicionales deberaacute incluirlos

Disentildeo metodoloacutegico del trabajo de campo

A partir del contexto en que opera el Pp y el alcance y enfoque metodoloacutegico de la evaluacioacuten de

procesos la instancia evaluadora deberaacute desarrollar una propuesta de estrategia y plan de trabajo

de campo a seguir para la realizacioacuten de la evaluacioacuten asimismo deberaacute incluir un cronograma

detallado de actividades

La estrategia de trabajo de campo disentildeada por la instancia evaluadora deberaacute ser entregada a la

DEV para que en conjunto con la UR del Pp sea validada antes de su implementacioacuten Dicha

estrategia deberaacute contener al menos los siguientes elementos

Justificacioacuten de las teacutecnicas de investigacioacuten a utilizar

Muestra y los criterios utilizados para su seleccioacuten

Listado de los actores a entrevistar

Instrumentos de levantamiento de informacioacuten que se aplicaraacuten y

Cronograma con las actividades a desarrollar

La instancia evaluadora iniciaraacute las actividades del trabajo de campo de manera conjunta y una vez

recibido el visto bueno de la DEV

El disentildeo de la muestra y de los instrumentos para el levantamiento de informacioacuten en campo

deberaacute considerar a la totalidad de los actores que intervienen en la ejecucioacuten de los procesos y

subprocesos o macroprocesos que integran la operacioacuten o gestioacuten del Pp asiacute como a los

destinatarios o beneficiarios de los componentes o entregables del Pp independientemente de su

ubicacioacuten geograacutefica

Algunos criterios que puede utilizar la instancia evaluadora para definir una muestra que considere

la variabilidad de la operacioacuten en los diferentes contextos en que opera el Pp son los siguientes

PAE 2017 24

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

a) El desempentildeo operativo del Pp entre municipios regionalizacioacuten geograacutefica instituciones

puacuteblicas o privadas u otros aspectos que suponen una accioacuten diferenciada de los procesos

(cuando aplique)

b) Volumen de la operacioacuten del Pp

c) Esquemas normativos del Pp y el ejercicio presupuestal en los municipios instituciones

puacuteblicas o privadas u otros aspectos que suponen una accioacuten diferenciada de los procesos

en las que opera el Pp (cuando aplique) y

d) Formas de interaccioacuten del Pp con otros niveles u oacuterdenes de gobierno (cuando aplique)

Los criterios anteriores no son limitativos por lo que la instancia evaluadora podraacute proponer criterios

adicionales que considere pertinentes para la definicioacuten de la muestra para el trabajo de campo

En el disentildeo muestral la instancia evaluadora deberaacute sentildealar los funcionarios del Pp o destinatarios

a los que se les aplicaraacuten los instrumentos de levantamiento de informacioacuten con los que se realizaraacute

el trabajo de campo asiacute como la ubicacioacuten geograacutefica de los mismos

Instrumentos de levantamiento de informacioacuten

La instancia evaluadora deberaacute disentildear los instrumentos que utilizaraacute para el levantamiento de

informacioacuten durante el trabajo de campo como son (por ejemplo) los cuestionarios por tipo de

funcionario a entrevistar para el caso de entrevistas semiestructuradas los guiones a utilizar en la

realizacioacuten de grupos focales los cuestionarios de aplicacioacuten electroacutenica las guiacuteas respectivas entre

otros Para lo anterior deberaacute considerar los siguientes temas guiacutea y preguntas de referencia

Planeacioacuten (planeacioacuten estrateacutegica programacioacuten y presupuesto)

iquestQueacute se entiende por planeacioacuten estrateacutegica para los operadores del Pp

iquestCuaacuteles son las actividades o acciones de planeacioacuten estrateacutegica del Pp que se realizan

iquestLa planeacioacuten estrateacutegica es el resultado de un ejercicio institucionalizado que involucra a

los actores clave de la gestioacuten del Pp

iquestExiste un documento resultado de la planeacioacuten estrateacutegica iquestEs claro difundido y

accesible iquestEn queacute medida es utilizado para guiar la operacioacuten del Pp

iquestLa planeacioacuten estrateacutegica estaacute vinculada con el cumplimiento entrega o generacioacuten de los

componentes o entregables del Pp

iquestLa planeacioacuten estrateacutegica establece indicadores para medir los avances en las metas

establecidas iquestLas metas son factibles y estaacuten orientadas a impulsar el desempentildeo del Pp

PAE 2017 25

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

iquestQueacute se entiende por planeacioacuten operativa y cuaacuteles son las diferencias con la planeacioacuten

estrateacutegica

Comunicacioacuten interna y externa del Pp (las preguntas que apliquen)

iquestQueacute actores intervienen en la comunicacioacuten del Pp

iquestExiste una estrategia de comunicacioacuten del Pp documentada En caso afirmativo describirla

iquestLa estrategia de comunicacioacuten del Pp (documentada o no) es adecuada

iquestLos medios utilizados el lenguaje y el contenido de los mensajes son pertinentes en funcioacuten

del puacuteblico al que van dirigidos

Solicitud de los componentes o entregables del Pp (las preguntas que apliquen)

iquestExiste un proceso claro imparcial y expliacutecito por medio del cual la poblacioacuten o aacuterea de

enfoque potencial puede solicitar los componentes o entregables que otorga el Pp

iquestLos requisitos para solicitar los componentes o entregables del Pp se presentan de manera

clara y completa

iquestLos puntos de recepcioacuten de solicitudes son accesibles y suficientes (cuando aplique)

iquestExisten mecanismos estandarizados para recibir y revisar la documentacioacuten entregada asiacute

como registrar y dar traacutemite a las solicitudes (cuando aplique)

iquestSon adecuados estos mecanismos (cuando aplique) En caso de que el Pp que apoye la

realizacioacuten de proyectos iquestse brinda asesoriacutea para la presentacioacuten de los mismos de ser asiacute

iquestes pertinente esta asesoriacutea

iquestEl proceso de solicitud de los componentes o entregables que otorga el Pp se encuentra

automatizado total o parcialmente

Para esta pregunta considerar los estados de digitalizacioacuten utilizados por la Comisioacuten Intersecretarial

para el Desarrollo del Gobierno electroacutenico seguacuten una adaptacioacuten realizada a la clasificacioacuten que

hace la ONU

Estado de digitalizacioacuten 1 traacutemites y servicios que se encuentran en estado informativo

Estado de digitalizacioacuten 2 traacutemites y servicios que cuentan con interfaces de comunicacioacuten

unidireccional

Estado de digitalizacioacuten 3 traacutemites y servicios que permiten realizar transacciones y

Estado de digitalizacioacuten 4 traacutemites y servicios que el usuario puede ejecutar de principio a

fin por medio de dispositivos digitales

PAE 2017 26

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para mayor informacioacuten referirse a ldquoFigure A4 The four stages of online service developmentrdquo en

los siguientes documentos

Lineamientos relativos a la digitalizacioacuten estandarizada de traacutemites y servicios con apego en

la Estrategia Digital Nacional

httpwwwgobmxcmsuploadsattachmentfile67232ti_1_pgcm_bases_lineam_tyspdf

United Nations E-Government Survey 2014 (paacutegina 195)

httpspublicadministrationunorgegovkbportalsegovkbdocumentsun2014-surveye-

gov_complete_survey-2014pdf

Seleccioacuten de destinatarios (cuando aplique)

iquestExiste una metodologiacutea o meacutetodo para la seleccioacuten de destinatarios o beneficiarios de los

componentes o entregables del Pp iquestLa metodologiacutea utilizada cuenta con criterios de

seleccioacuten y elegibilidad claros estandarizados y sistematizados

iquestLa seleccioacuten de destinatarios o beneficiarios de los componentes o entregables del Pp es un

proceso transparente e imparcial iquestEl resultado de la seleccioacuten es puacuteblico (cuando aplique)

iquestExiste informacioacuten en una base de datos que permita conocer quieacutenes o queacute instancias

reciben los componentes o entregables del Pp iquestQueacute informacioacuten integra esta base de datos

iquestExisten mecanismos para validar y actualizar esta base de datos iquestEstos mecanismos son

pertinentes

Produccioacuten de componentes o entregables

iquestSe cuenta con los insumos suficientes para generar el volumen de componentes o

entregables que permitan al Pp atender a su poblacioacuten o aacuterea de enfoque objetivo

iquestEl Pp tiene mecanismos para estimar la produccioacuten o generacioacuten necesaria de componentes

o entregables de acuerdo con la posible demanda o requerimientos de su poblacioacuten o aacuterea

de enfoque objetivo iquestEs adecuado este mecanismo

iquestExisten mecanismos de control de calidad para la generacioacuten de los componentes o

entregables del Pp iquestEstos mecanismos son pertinentes

iquestLas actividades de generacioacuten de componentes o entregables que otorga el Pp estaacuten

estandarizadas es decir son ejecutadas de manera homogeacutenea por todas las instancias

involucradas

PAE 2017 27

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Entrega

iquestLos componentes o entregables del Pp son proporcionados conforme a las especificaciones

y de manera oportuna a los destinatarios

iquestExisten especificaciones (programas o planes de trabajo) sobre la forma en que se deben

trasladar los componentes o entregables para (por ejemplo) asegurar su adecuada recepcioacuten

en el punto de destino iquestSon adecuadas estas especificaciones respecto a normas o

lineamientos existentes (cuando aplique)

iquestLa logiacutestica de distribucioacuten se actualiza (cuando aplique) iquestExiste un periodo para dicha

actualizacioacuten iquestEn el disentildeo y actualizacioacuten de la logiacutestica se toman en cuenta los factores

geograacuteficos y climatoloacutegicos en cada regioacuten donde opera el Pp (cuando aplique)

iquestLos puntos de entrega de los componentes o entregables son cercanos a los beneficiarios

o aacuterea de enfoque a atender y son de faacutecil acceso iquestSe considera que son suficientes iquestPor

queacute

Control (las preguntas que apliquen)

iquestEl Pp cuenta con los mecanismos para verificar que los componentes o entregables se

otorguen de acuerdo con lo establecido en la normativa especiacutefica y lleguen a la poblacioacuten

o aacuterea de enfoque que deba ser beneficiada iquestEstos mecanismos son adecuados

iquestExiste de manera sistematizada un documento que deacute cuenta de los resultados de

supervisioacuten y entrega de componentes o entregables iquestEste documento es adecuado iquestLos

resultados se utilizan para implementar mejoras en la operacioacuten del Pp

iquestExisten procedimientos estandarizados que verifiquen el cumplimiento de la

corresponsabilidad u obligatoriedad por parte de los beneficiarios o destinatarios de los

componentes o entregables del Pp (cuando aplique)

Seguimiento a destinatarios

iquestEl Pp tiene mecanismos para verificar el procedimiento de seguimiento a los destinatarios o

beneficiarios que permitan identificar si los componentes o entregables generados son

utilizados de acuerdo con lo establecido iquestCoacutemo se implementa el mecanismo iquestEste

mecanismo es adecuado

iquestExisten procedimientos estandarizados que permitan verificar el cumplimiento de la

corresponsabilidad u obligatoriedad por parte del destinatario o beneficiario (cuando

aplique)

PAE 2017 28

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

En caso de que los componentes o entregables involucren la ejecucioacuten de obra o de

infraestructura iquestel Pp cuenta con un mecanismo de seguimiento o supervisioacuten que permita

identificar si se realizaron acorde a la normativa aplicable iquestEl seguimiento o supervisioacuten

considera plazos para la revisioacuten de las condiciones de la obra o la infraestructura despueacutes

de terminada la obra

iquestEl Pp tiene mecanismos para identificar si se cumple con su Propoacutesito iquestSon suficientes y

pertinentes estos mecanismos

iquestExisten mecanismos para conocer la satisfaccioacuten del destinatario o beneficiario de los

componentes o entregables del Pp respecto de los componentes que ofrece el Pp iquestSon

adecuados estos mecanismos iquestSu operacioacuten permite una aplicacioacuten imparcial y objetiva

iquestExiste evidencia para afirmar que las quejas y sugerencias que brindan los destinatarios o

beneficiarios de los componentes o entregables del Pp son utilizadas para la mejora continua

del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

En esta seccioacuten se deberaacute realizar la medicioacuten de los atributos de eficacia oportunidad suficiencia

y pertinencia de los procesos y subprocesos o macroprocesos definidos en el mapa de procesos del

Pp A continuacioacuten se definen los atributos en el marco de la evaluacioacuten de procesos

Eficacia un proceso es eficaz en la medida en que cumple con sus metas

Oportunidad un proceso es oportuno en la medida en que otorga sus productos

(componentes o entregables) o resultados en un periodo de tiempo determinado o

adecuado para el logro de sus objetivos

Suficiencia un proceso es suficiente en la medida en que produce sus resultados de forma

completa o adecuada para el logro de sus objetivos

Pertinencia un proceso es pertinente si sus actividades y productos son adecuados para

lograr tanto sus metas especiacuteficas como sus objetivos es decir si contribuyen al

mejoramiento de la gestioacuten del Pp4

4 Las actividades son adecuadas si estaacuten en funcioacuten del logro del objetivo de cada proceso Por ejemplo si se verifica que el formato de los mensajes a difundir cumpla con las caracteriacutesticas necesarias para llegar a la poblacioacuten o aacuterea de enfoque objetivo como seriacutea una mensaje de audio en la lengua indiacutegena de la localidad donde se encuentran los posibles destinatarios o beneficiarios o bien como seriacutea un mensaje dirigido a personal operativo del Pp cuyo nivel de estudios promedio pudiera complicar la comprensioacuten de lenguaje teacutecnico utilizado

PAE 2017 29

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para la medicioacuten de los atributos de los procesos y subprocesos o macroprocesos del Pp deberaacute

realizarse una revisioacuten documental (normativa aplicable MIR evaluaciones externas sistemas de

informacioacuten y registros administrativos entre otros) misma que deberaacute complementarse con el

trabajo de campo con el objetivo de identificar disentildear y calcular indicadores relacionados con

dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de informacioacuten empleadas

La informacioacuten obtenida de estos indicadores deberaacute vaciarse en fichas propuestas por la instancia

evaluadora presentadas como en el Anexo 6 ldquoFichas de indicadores de atributos de los procesos del

Pprdquo (formato libre) Estas fichas deberaacuten considerar la medicioacuten de los atributos de eficacia

suficiencia oportunidad y pertinencia correspondientes a cada proceso y subproceso o

macroproceso

Valoracioacuten de los procesos y subprocesos de la operacioacuten del Pp

Deberaacute contener una siacutentesis de los resultados encontrados en la Evaluacioacuten de Procesos del Pp

resaltando los hallazgos maacutes relevantes que se hayan detectado y que pudiesen transformarse en

ASM

La instancia evaluadora deberaacute calcular una valoracioacuten global cuantitativa sobre la operacioacuten y la

ejecucioacuten de los procesos y subprocesos o macroprocesos del Pp a partir del siguiente esquema de

puntuacioacuten5

Eficacia

- Todos los procesos (o macroprocesos) son eficaces = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es eficaz = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es eficaz = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es eficaz = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es eficaz = 1 punto

- Ninguno de los procesos (o macroprocesos) es eficaz = 0 puntos

Oportunidad

- Todos los procesos (o macroprocesos) son oportunos = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es oportuno = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es oportuno = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es oportuno = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es oportuno = 1 punto

5 La valoracioacuten cuantitativa deberaacute estar sustentada y por tanto ser consistente con lo valorado por la instancia evaluadora en el apartado de ldquoMedicioacuten de atributos de los procesos y subprocesosrdquo

PAE 2017 30

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

- Ninguno de los procesos (o macroprocesos) es oportuno = 0 puntos

Suficiencia

- Todos los procesos (o macroprocesos) son suficientes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es suficiente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es suficiente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es suficiente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es suficiente = 1 punto

- Ninguno de los procesos (o macroprocesos) es suficiente = 0 puntos

Pertinencia

- Todos los procesos (o macroprocesos) son pertinentes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es pertinente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es pertinente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es pertinente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es pertinente = 1 punto

- Ninguno de los procesos (o macroprocesos) es pertinente = 0 puntos

A partir de los puntajes asignados en los cuatro atributos anteriores esta valoracioacuten cuantitativa

global debe considerar el total de puntos posibles de obtener (5 x 4 = 20 puntos) y los puntos

obtenidos en la Evaluacioacuten de Procesos Pp (lsquoyrsquo puntos) de modo que se indique el porcentaje de

puntos obtenidos del total de puntos posibles [(lsquoyrsquo20) x 100] = valoracioacuten cuantitativa global de la

operacioacuten del Pp

La instancia evaluadora deberaacute utilizar el Anexo 9 ldquoValoracioacuten global cuantitativardquo para documentar

argumentar y sustentar cada una de las valoraciones cuantitativas sobre la operacioacuten y la ejecucioacuten

de los procesos (o macroprocesos) del Pp

Adicionalmente en este apartado se deberaacuten integrar las recomendaciones y conclusiones que se

consideren maacutes relevantes de los procesos y subprocesos o macroprocesos del Pp las cuales deben

formularse con base en los hallazgos del trabajo de campo y de gabinete El objetivo final de las

recomendaciones es proveer informacioacuten valiosa a los operadores del Pp para realizar adecuaciones

en la ejecucioacuten de los procesos y subprocesos o macroprocesos de modo que se potencie la

consecucioacuten de resultados del Pp

Las recomendaciones que se formulen como resultado de la Evaluacioacuten de Procesos del Pp deberaacuten

tener las siguientes caracteriacutesticas

Derivarse de los hallazgos de la evaluacioacuten

PAE 2017 31

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Ser concretas y factibles

Incluir un proyecto de implementacioacuten que considere los siguientes elementos

- Breve anaacutelisis de la viabilidad o factibilidad de la implementacioacuten

- Principales responsables de la implementacioacuten

- Anaacutelisis de los efectos potenciales que puede implicar la implementacioacuten tanto en la

operacioacuten del Pp como en el logro de sus objetivos

- La comparacioacuten entre la situacioacuten actual y el resultado que se espera obtener con la

implementacioacuten de la recomendacioacuten

Estar categorizadas en dos liacuteneas de accioacuten estrateacutegicas

- Consolidacioacuten

- Reingenieriacutea de procesos o subprocesos

Al respecto la instancia evaluadora debe entender por consolidacioacuten aquellas recomendaciones que

estaacuten dirigidas a perfeccionar determinados aspectos de la operacioacuten como seriacutean algunas acciones

procedimientos o estrategias del Pp asiacute como iniciativas para el fortalecimiento de los sistemas

automatizados infraestructura entre otros

Por reingenieriacutea de procesos o subprocesos se entenderaacuten aquellas recomendaciones que apuntan

a una transformacioacuten o modificacioacuten profunda o sustancial de uno o varios de los procesos y

subprocesos del Pp Para ello se deberaacute llenar el Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de

Procesos del Pprdquo y que a su vez deben derivar en acciones de consolidacioacuten para la implementacioacuten

de los procesos transformados

Adicionalmente y de conformidad con el alcance de la Evaluacioacuten de Procesos del Pp se deberaacute

presentar una propuesta para crear o fortalecer el sistema de monitoreo de gestioacuten del Pp con

indicadores a nivel de procesos y subprocesos o macroprocesos

Asimismo a partir de todo el anaacutelisis y valoraciones realizadas se deberaacute emitir un pronunciamiento

acerca de la percepcioacuten de eficiencia que la instancia evaluadora haya tenido sobre la ejecucioacuten de

los procesos y subprocesos o macroprocesos del Pp

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible o si no hipoteacuteticos en un anexo de formato libre Anexo 10 ldquoSistema de

monitoreo e indicadores de gestioacuten del Pprdquo

PAE 2017 32

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Bitaacutecora de trabajo de campo y bases de datos

La instancia evaluadora deberaacute entregar una bitaacutecora de trabajo de campo que destaque de forma

sinteacutetica entre otros puntos las principales actividades y situaciones a las que se enfrentoacute y que

podriacutean afectar los resultados de la Evaluacioacuten de Procesos del Pp

Asimismo deberaacute entregar las bases de datos generadas a partir de la aplicacioacuten de los instrumentos

de recoleccioacuten de informacioacuten y de la recopilacioacuten de informacioacuten en el trabajo de campo Las bases

de datos deberaacuten entregarse en formatos compatibles con Excel debiendo mantener la

confidencialidad de los entrevistados pero sin alterar la informacioacuten proporcionada por estos En las

bases de datos debe estar sistematizada toda la informacioacuten recabada a partir de la aplicacioacuten de

los instrumentos de levantamiento de informacioacuten y deberaacute sustentar el anaacutelisis las valoraciones los

hallazgos y las conclusiones de la evaluacioacuten

PAE 2017 33

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Contenido del informe

Contenido miacutenimo del informe final de la evaluacioacuten

Derivado del contenido generado en las secciones anteriores deberaacuten elaborarse los siguientes

apartados en el informe final de la Evaluacioacuten de Procesos del Pp

i Introduccioacuten

ii Resumen Ejecutivo

iii Marco Legal

iv Datos Generales del Programa Presupuestario (Pp)

v Criterios Teacutecnicos para la Evaluacioacuten del Programa Presupuestario correspondiente

vi Apartados de la evaluacioacuten

Seccioacuten 1 Disentildeo

Diagnoacutestico del programa puacuteblico

Matriz de Indicadores para Resultados (MIR)

Seccioacuten 2 Procesos

Pertinencia de los proceso

Diagnoacutestico general de los procesos y subprocesos del Pp

- Contexto en que opera el Pp

- Diagnoacutestico inicial de los procesos y subprocesos

Descripcioacuten y valoracioacuten de los procesos y subprocesos del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

vii Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

viii Valoracioacuten final del Pp

ix Hallazgos

x Recomendaciones clasificadas por apartado

xi Conclusiones

xii Bibliografiacutea

xiii Anexos

Anexo 1 Descripcioacuten General del Programa

Anexo 2 Metodologiacutea para la cuantificacioacuten de las poblaciones potencial y objetivo

(Formato Libre)

Anexo 3 Evolucioacuten de la Cobertura

Anexo 4 Propuesta de mejora de la Matriz de Indicadores para Resultados

Anexo 5 Ficha de identificacioacuten y equivalencia de procesos del Pp

PAE 2017 34

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 Fichas de indicadores de atributos de los procesos del Pp (Formato libre)

Anexo 7 Diagramas de flujo de la operacioacuten del Pp

Anexo 8 Propuesta de modificacioacuten a los documentos normativos o institucionales

del Pp

Anexo 9 Valoracioacuten global cuantitativardquo

Anexo 10 Sistema de monitoreo e indicadores de gestioacuten del Pp (Formato libre)

Anexo 11 Recomendaciones de la Evaluacioacuten de Procesos del Pp

Anexo 12 Principales Fortalezas Retos y Recomendaciones

Anexo 13 Ficha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacuten

En el Resumen Ejecutivo asimismo se describiraacuten los principales hallazgos y recomendaciones del

evaluador externo

Para el desarrollo de los apartados antes referidos deberaacute atender las indicaciones que se desarrollan

en las siguientes secciones

Hallazgos y resultados Pp por Seccioacuten

Se debe realizar una valoracioacuten general del programa por seccioacuten utilizando las respuestas que

integran cada uno de los apartados En esta valoracioacuten integral se deberaacute sentildealar en queacute medida la

gestioacuten operativa conduce al logro de los objetivos del Pp

Asimismo se deben sentildealar las aacutereas de mejora las buenas praacutecticas y las fortalezas detectadas en

la operacioacuten del Pp y a partir de ello la instancia evaluadora emitiraacute recomendaciones de mejora

sobre aspectos especiacuteficos de cada proceso y subproceso o macroproceso del Pp Adicionalmente

se deberaacuten identificar los problemas o limitantes tanto normativos como operativos (ldquocuellos de

botellardquo) de coordinacioacuten entre unidades administrativas y otros que hubiese en los procesos y

subprocesos o macroprocesos del Pp entendieacutendose como aquellas praacutecticas procedimientos

actividades o traacutemites que obstaculizan la operacioacuten del Pp

En este sentido se deberaacuten identificar las situaciones en las que la normativa genere complicaciones

en la gestioacuten o ineficacia en el cumplimiento de los objetivos del Pp para lo cual se deberaacute presentar

(por cada situacioacuten identificada) una propuesta de modificacioacuten a la normativa aplicable al Pp

considerando las restricciones praacutecticas que existan para su implementacioacuten asiacute como los efectos

PAE 2017 35

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

potenciales de ser implementada Los resultados de este anaacutelisis deberaacuten describirse en el Anexo 7

ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales del Pprdquo

Para la identificacioacuten y descripcioacuten de los ldquocuellos de botellardquo buenas praacutecticas y fortalezas del Pp

se consideraraacute la informacioacuten derivada del anaacutelisis de la operacioacuten del Pp asiacute como los puntos de

vista de los principales actores que intervienen en ella Este anaacutelisis deberaacute contener las causas y las

consecuencias de los ldquocuellos de botellardquo detectados sus caracteriacutesticas y naturaleza (si son

normativas o estrictamente operativas) de igual manera se deberaacute desarrollar un anaacutelisis de las

buenas praacutecticas identificadas

Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

Se debe integrar en una sola tabla las fortalezas oportunidades debilidades y amenazas

especificadas por cada apartado de la evaluacioacuten y reportarlas en el Anexo 11 ldquoPrincipales Fortalezas

Retos y Recomendacionesrdquo en el que se deben incluir las fortalezas yo oportunidades las

debilidades yo amenazas y las recomendaciones por apartado de la evaluacioacuten

PAE 2017 36

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexos

Anexo 1 ldquoDescripcioacuten General del Programardquo

El Anexo tiene formato libre sin embargo debe contener una breve descripcioacuten de las caracteriacutesticas

maacutes relevantes del Pp en un maacuteximo de dos cuartillas Dicha descripcioacuten debe considerar los

siguientes aspectos

1 Identificacioacuten del programa

11 Nombre

12 Clave de programa

13 Dependencia yo Entidad coordinadora ejecutora

14 Antildeo de inicio de operacioacuten

2 Problema o necesidad que el Pp pretende atender atenuar o resolver

3 La contribucioacuten del Pp a las Metas y objetivos estatales a los que se vincula

4 Descripcioacuten de los objetivos del Pp asiacute como de los bienes yo servicios que ofrece

(componentes)

5 Identificacioacuten y cuantificacioacuten de la poblacioacuten o aacuterea de enfoque potencial y

objetivo

6 Presupuesto aprobado para el ejercicio fiscal en curso

7 Metas de los indicadores de Fin Propoacutesito y Componentes asiacute como los de nivel

actividad que se consideren relevantes y

8 Resumen de la valoracioacuten de la pertinencia del disentildeo del Pp respecto a la atencioacuten

del problema o necesidad

Anexo 2 ldquoMetodologiacutea para la cuantificacioacuten de la poblacioacuten o aacuterea de enfoque

potencial y objetivordquo

El Anexo tiene formato libre sin embargo se debe incluir la siguiente informacioacuten

Definicioacuten de la poblacioacuten o aacuterea de enfoque potencial objetivo y atendida

Cuantificacioacuten de la poblacioacuten potencial objetiva y atendida

Hallazgos sobre el procedimiento llevado a cabo para definir y cuantificar la poblacioacuten o

aacuterea de enfoque potencial objetivo y atendida

Recomendaciones

Propuesta orientada hacia la mejora

PAE 2017 37

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 3 ldquoEvolucioacuten de la Coberturardquo

Nombre del

Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten

Antildeo de la Evaluacioacuten

Tipo de Poblacioacuten

Unidad

de

Medida

2012 2013 2014 2015 2016

P Potencial

P Objetivo

P Atendida

119927119912 times 120783120782120782

119927119926

PAE 2017 38

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 4 ldquoPropuesta de mejora de la Matriz de Indicadores para Resultadosrdquo

Derivado del anaacutelisis y valoracioacuten de la pregunta de investigacioacuten nuacutemero 3 iquestLa estructura de

objetivos planteada por el programa mantiene loacutegica y correspondencia causal con el problema

planteado en el diagnoacutestico se realizaraacute una propuesta de mejora de MIR

Fin

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Propoacutesito

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Componente 1

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

PAE 2017 39

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Componente 2 hellip

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 40

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesos del Pprdquo

Para la identificacioacuten y clasificacioacuten de los procesos del Pp se sugieren los siguientes pasos

1 Listar los procesos identificados

Comparar los procesos identificados del Pp con aquellos correspondientes al Modelo general de

procesos Colocar en el rengloacuten correspondiente el nombre de cada proceso del Pp identificado

como equivalente

2 Colocar al final de la lista aquellos procesos del Pp que no sean equivalentes con el Modelo

general de procesos

Modelo general de

procesos

Nuacutemero

de

secuencia

Procesos o subprocesos del Pp identificados por el

evaluador

(Nombre y breve descripcioacuten)

Planeacioacuten Ejemplo (Ej) Planeacioacuten Estrateacutegica

Ej Programacioacuten

Ej Presupuestacioacuten

Comunicacioacuten interna y

externa

Ej Difusioacuten Federal

Ej Difusioacuten Local

Seleccioacuten de

destinatarios

Ej Recepcioacuten de solicitudes de becas

Ej Seleccioacuten de becarios

Produccioacuten de

entregables

Entrega

Control

Seguimiento Ej Seguimiento fiacutesico y supervisioacuten en campo

Evaluacioacuten externa Ej Publicacioacuten y lectura del PAE

Ej Definicioacuten de TdR

Ej Contratacioacuten

Ej Ejecucioacuten de la evaluacioacuten externa

Monitoreo Ej Registro de avances de indicadores

Ej Revisioacuten de registros

Ej Validacioacuten de registros e integracioacuten de informes

PAE 2017 41

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Procesos identificados por el evaluador que no coinciden con el Modelo general de procesos

PAE 2017 42

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 ldquoFichas de indicadores de atributos de los procesos del Pp (formato libre)rdquo

Para la construccioacuten de este anexo deberaacute realizarse una revisioacuten documental (normativa aplicable

MIR evaluaciones externas sistemas de informacioacuten y registros administrativos entre otros) misma

que deberaacute complementarse con el trabajo de campo con el objetivo de identificar disentildear y calcular

indicadores relacionados con dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de

informacioacuten empleadas

Ademaacutes de considerar la medicioacuten de los atributos de eficacia suficiencia oportunidad y pertinencia

de cada proceso y subproceso o macroproceso

PAE 2017 43

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 7 ldquoDiagramas de flujo de la operacioacuten del Pprdquo

Para la elaboracioacuten de los diagramas de flujo deberaacute utilizarse la notacioacuten empleada en el

documento ldquoGuiacutea para la Optimizacioacuten Estandarizacioacuten y Mejora Continua de Procesosrdquo publicada

por la SFP en la direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Para el Diagrama de Alto Nivel (Diagrama PEPSU)

Ejemplo ilustrativo

PAE 2017 44

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para el Diagrama de Flujo

PAE 2017 45

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

PAE 2017 46

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 8 ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales

del Pprdquo

Tipo de

norma-

tiva

Dice

Problema

generado

(causas y

consecuencias)

Se

recomienda

decir

Efecto esperado de

aplicar la

recomendacioacuten de

cambio

Restricciones praacutecticas

que puedan existir para

su implementacioacuten

PAE 2017 47

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 9 ldquoValoracioacuten global cuantitativa ldquo

Seccioacuten 1 Disentildeo

Disentildeo Valoracioacuten Argumento o justificacioacuten

Porcentaje del

Disentildeo del Pp

(Suma de valoracioacuten alcanzada por pregunta de la seccioacuten 1 Total maacuteximo de la

valoracioacuten de todas las preguntas de la seccioacuten 1 ) x 100

Seccioacuten 2 Procesos

Proceso Eficacia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

eficaces

(Total de procesos eficaces Total de procesos del Pp) x 100

Proceso Oportunidad

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

oportunos

(Total de procesos oportunos Total de procesos del Pp) x 100

Proceso Suficiencia

(SiacuteNo) Argumento o justificacioacuten

PAE 2017 48

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Porcentaje de

procesos

suficientes

(Total de procesos suficientes Total de procesos del Pp) x 100

Proceso Pertinencia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

pertinentes

(Total de procesos pertinentes Total de procesos del Pp) x 100

NOTA Los argumentos y justificaciones del evaluador deberaacuten considerar el anaacutelisis y valoraciones de

los subprocesos de cada proceso de modo que haya consistencia entre estos elementos Asimismo el

evaluador deberaacute expresar los resultados de la valoracioacuten cuantitativa en una graacutefica tipo radial

PAE 2017 49

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 10 ldquoSistema de monitoreo e indicadores de gestioacuten del Pp (formato libre)rdquo

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible

Nombre del Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten De Procesos

Antildeo de la Evaluacioacuten 2017

Fin Justificacioacuten Propoacutesito Justificacioacuten Componente (s) Justificacioacuten

Nombre de

Indicador

Meacutetodo de Caacutelculo

Claro SiacuteNo SiacuteNo SiacuteNo

Relevante SiacuteNo SiacuteNo SiacuteNo

Econoacutemico SiacuteNo SiacuteNo SiacuteNo

Monitoreable SiacuteNo SiacuteNo SiacuteNo

Adecuado SiacuteNo SiacuteNo SiacuteNo

Definicioacuten SiacuteNo SiacuteNo SiacuteNo

Unidad de Medida SiacuteNo SiacuteNo SiacuteNo

Frecuencia de

Medicioacuten

SiacuteNo SiacuteNo SiacuteNo

Liacutenea Base SiacuteNo SiacuteNo SiacuteNo

Metas SiacuteNo SiacuteNo SiacuteNo

Comportamiento

del Indicador

SiacuteNo SiacuteNo SiacuteNo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 50

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de Procesos del Pprdquo

En este Anexo la instancia evaluadora debe valorar si la recomendacioacuten implica una consolidacioacuten o

una reingenieriacutea del proceso

A) Consolidacioacuten

Proceso Recomendaci

oacuten

Breve

anaacutelisis de

viabilidad de

la

implementa-

cioacuten

Principales

responsables

de la

implementaci

oacuten

Situacioacuten

actual

Efectos

potenciales

esperados

Medio de

verifica-

cioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

B) Reingenieriacutea de procesos

Proceso Objetivo

Breve

anaacutelisis de

viabilidad

de la

implemen-

tacioacuten

Principales

responsables

de la

implemen-

tacioacuten

Situa-

cioacuten

actual

Metas y

efectos

potenciale

s

esperados

Elabora-

cioacuten de

flujogram

a del

nuevo

proceso

Medio

de

verifi-

cacioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

NOTA El nivel de priorizacioacuten Alto Medio o Bajo se estimaraacute considerando la mejora en la operacioacuten

del Pp la viabilidad de la implementacioacuten de la recomendacioacuten asiacute como el efecto potencial que esto

pueda tener el alcance del objetivo del Pp

PAE 2017 51

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 12 ldquoPrincipales Fortalezas Retos y Recomendacionesrdquo

Capacidades Internas Factores Externos

Fortalezas

(Cualquier capacidad con la que cuenta la dependencia o

entidad que le permita aprovechar sus recursos para la

obtencioacuten de sus objetivos)

Oportunidades

(Cualquier factor externo fuera del control de la dependencia o

entidad que puede ser aprovechado para la obtencioacuten de sus

objetivos)

Debilidades

(Cualquier limitante Interna de la dependencia o entidad que

puede afectar la obtencioacuten de sus objetivos)

Amenazas

(Cualquier factor externo fuera de control de la dependencia o

entidad que pueda afectar la obtencioacuten de sus objetivos)

PAE 2017 52

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacutenrdquo

El Informe Final de la Evaluacioacuten de Procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten

Superior deberaacuten contener una ficha con los siguientes datos

Ficha Teacutecnica con los datos generales de la evaluacioacuten

Nombre o denominacioacuten de la

evaluacioacuten

[Especificar el nombre de la evaluacioacuten considerando su tipo y ejercicio

evaluado]

Nombre o denominacioacuten del

programa evaluado

[Indicar el nombre del Pp sujeto a evaluacioacuten de acuerdo con lo

establecido en el PEF sentildealando su modalidad y clave]

Unidad Responsable de la operacioacuten

del programa

[Especificar la(s) unidad(es) responsable(s) de la administracioacuten

operacioacuten y ejecucioacuten de los programas subprogramas y proyectos del

Pp evaluado correspondientes a las dependencias y entidades]

Titular de la unidad responsable de la

operacioacuten del programa

[Indicar el nombre del(a) Titular de la Unidad Responsable de la

operacioacuten del Pp]

Antildeo del Programa Anual de

Evaluacioacuten (PAE) en que fue

considerada la evaluacioacuten

[Especificar el ejercicio fiscal al que corresponde el PAE en la que fue

programada la evaluacioacuten]

Antildeo de conclusioacuten y entrega de la

evaluacioacuten

[Indicar el antildeo en que se concluyoacute la evaluacioacuten]

Tipo de evaluacioacuten [Especificar el tipo de evaluacioacuten de acuerdo con los Lineamientos de

evaluacioacuten el nombre de la evaluacioacuten y con lo establecido en el PAE]

Nombre de la instancia evaluadora [Indicar el nombre de la firma consultoriacutea u organizacioacuten que realizoacute la

evaluacioacuten]

Nombre del(a) coordinador(a)

externo(a) de la evaluacioacuten

[Especificar el nombre del(a) responsable de la coordinacioacuten de la

evaluacioacuten dla instancia evaluadora]

Nombre de los(as) principales

colaboradores(as) del(a)

coordinador(a) de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del(a)

coordinador(a) de la evaluacioacuten]

PAE 2017 53

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Unidad Administrativa responsable de

la Coordinacioacuten de la evaluacioacuten

[De acuerdo con lo sentildealado en el PAE especificar la instancia a la que

corresponde la coordinacioacuten de la evaluacioacuten pej Secretariacutea de

Finanzas y Administracioacuten (SFA) asiacute como la unidad administrativa

mediante la cual se ejerce esta funcioacuten p ej Direccioacuten de Evaluacioacuten

de la SFA (DEV)

Nombre del(a) Titular de la unidad

administrativa responsable de

coordinar la evaluacioacuten (Aacuterea de

Evaluacioacuten)

[Especificar el nombre del(a) Titular de la Unidad responsable de dar

seguimiento a la evaluacioacuten que funge como Aacuterea de Evaluacioacuten]

Nombres de los(as) servidores(as)

puacuteblicos(as) adscritos(as) a la unidad

administrativa responsable de

coordinar la evaluacioacuten que

coadyuvaron con la revisioacuten teacutecnica

de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del

titular de la unidad administrativa responsable de dar seguimiento a la

evaluacioacuten respecto de la revisioacuten teacutecnica de la misma]

Forma de contratacioacuten de la instancia

evaluadora

[Indicar el tipo de contratacioacuten dla instancia evaluadora Especificar el

tipo de procedimiento de contratacioacuten de la instancia evaluadora

consistente con los tipos de adjudicacioacuten establecidos en la Ley de

Adquisiciones Arrendamientos y Servicios del Sector Puacuteblico]

Costo total de la evaluacioacuten con IVA

incluido

[Especificar el costo total de la evaluacioacuten incluyendo el IVA (en caso

de que se haya causado) como sigue $XXX IVA incluido]

Asimismo en este anexo se deberaacute incluir una nota metodoloacutegica con la descripcioacuten de las teacutecnicas

y los modelos utilizados por el evaluador externo acompantildeada del disentildeo por muestreo

especificando los supuestos empleados y las principales caracteriacutesticas del tamantildeo y dispersioacuten de

la muestra utilizada

DIRECTORIO

Rauacutel Saacutenchez Kobashi

Secretario de la Secretariacutea de Finanzas y Administracioacuten

Francisco Fidel Teomitzi Saacutenchez

Subsecretario de Planeacioacuten

Arturo Neponuceno Crisoacutestomo

Director de Evaluacioacuten

Rodolfo de la Rosa Cabrera

Subdireccioacuten de Evaluacioacuten de Programas

Sauacutel Federico Oropeza Orea

Jefe del Departamento de Programas Estatales y Municipales

Ana Luz Guzmaacuten Figueroa

Analista del Departamento de Programas Estatales y Municipales

Marco Antonio Saacutenchez Gonzaacutelez

Analista del Departamento de Programas Estatales y Municipales

Page 9: Términos de Referencia para la Evaluación del Desempeño ...evaluacion.puebla.gob.mx/pdf/metodologias/TdR_Est/2017/TdR... · Perfil de la instancia evaluadora ... acuerdo con las

PAE 2017 8

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Seguimiento Proceso continuo de recoleccioacuten y anaacutelisis de datos para comparar en queacute medida se

estaacute ejecutando un proyecto programa poliacutetica o recomendaciones en funcioacuten de los resultados

previstos

Teacuterminos de referencia (TdR) Documento que plantea los elementos estandarizados miacutenimos y

especiacuteficos de acuerdo con el tipo de evaluacioacuten y de programa a evaluar con base en

especificaciones teacutecnicas (perfil de los evaluadores calendario de entregas de productos etc)

objetivos de la evaluacioacuten (generales y especiacuteficos) asiacute como la normatividad aplicable

(responsabilidades alcances restricciones etc)

Unidades Responsables (UR) Cada una de las aacutereas encargadas de la evaluacioacuten de las

dependencias que forman parte de la Administracioacuten Puacuteblica Estatal

PAE 2017 9

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Objetivo General

Evaluar los procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten Superior de la

Administracioacuten Puacuteblica Estatal para el Ejercicio Fiscal 2016 con la finalidad de analizar y valorar su

operacioacuten y gestioacuten para el logro de sus metas y objetivos

Objetivos Especiacuteficos

Determinar en queacute medida los elementos del diagnoacutestico del Pp son suficientes para tener una

comprensioacuten vaacutelida del problema puacuteblico que se pretende atender

Determinar la validez de la loacutegica de intervencioacuten del Pp para atender el problema planteado a

partir de una comparacioacuten con casos nacionales o internacionales similares

Determinar en queacute medida los procesos con los que cuenta el programa puacuteblico son pertinentes

para atender el problema identificado

Analizar y valorar si la ejecucioacuten de los procesos y subprocesos o macroprocesos que integran

la gestioacuten operativa del Pp en sus distintos niveles son eficaces oportunos suficientes y

pertinentes para el logro de sus objetivos

Identificar analizar y valorar las buenas praacutecticas o las fortalezas en la operacioacuten del Pp

Identificar y proponer mejoras al Pp para el logro de sus objetivos y metas

PAE 2017 10

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Perfil de la instancia evaluadora

La instancia evaluadora debe de cubrir cuando menos los siguientes criterios

Persona fiacutesica o moral registrada ante la autoridad hacendaria competente

Acreditar la experiencia en el tema de evaluacioacuten de la gestioacuten yo poliacuteticas puacuteblicas

El Coordinador de la Evaluacioacuten cuente con maestriacutea o doctorado en ciencias sociales

ciencia poliacutetica antropologiacutea economiacutea sociologiacutea poliacuteticas puacuteblicas planeacioacuten yo

aacutereas afines a la temaacutetica de la evaluacioacuten y estar en posesioacuten del tiacutetulo universitario

con validez nacional o por universidades oficialmente reconocidas

Al menos dos antildeos de ejercicio profesional en materia de investigacioacuten

Dos antildeos de experiencia miacutenima en la realizacioacuten de actividades de evaluacioacuten interna

o externa en el sector puacuteblico o privado

Contar con referentes acadeacutemicos que demuestren su experiencia en el tema de

evaluacioacuten de poliacuteticas

Por lo que deberaacute llenar la Tabla 2 y el Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia

evaluadora y el costo de la evaluacioacutenrdquo

Tabla 2 Perfil de equipo evaluador

Cargo Requisitos

Acadeacutemicos Experiencia General

Experiencia

Especifica

Liacuteder del

equipo

evaluador

Estudios de posgrado

en ciencias sociales

econoacutemicas historia

antropologiacutea ciencia

poliacutetica administracioacuten

puacuteblica o afines

Experiencia en

evaluaciones de

programas poliacuteticas

yo investigaciones en

materia de evaluacioacuten

Experiencia en

evaluaciones en las

que se hayan

implementado

metodologiacuteas y anaacutelisis

cualitativos Que

cuente con liacuteneas de

investigacioacuten o

participacioacuten en

proyectos con temas

vinculados a los

programas a ser

evaluados

PAE 2017 11

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Tabla 2 Perfil de equipo evaluador

Cargo Requisitos

Acadeacutemicos Experiencia General

Experiencia

Especifica

Analistas

del equipo

evaluador

Se sugiere que la

instancia evaluadora

sea multidisciplinario

que cuenten con

licenciatura o estudios

de posgrado en

ciencias sociales

econoacutemicas historia

antropologiacutea ciencia

poliacutetica psicologiacutea

administracioacuten puacuteblica

o ingenieriacutea

Experiencia en

evaluaciones de

programas poliacuteticas

yo investigaciones en

materia de evaluacioacuten

Experiencia en trabajo

de campo estudios

etnograacuteficos disentildeo de

encuestas y

cuestionarios en temas

de ingenieriacutea de

procesos y en

evaluacioacuten de

programas puacuteblicos

PAE 2017 12

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Preguntas de investigacioacuten

Seccioacuten 1 Disentildeo

Diagnoacutestico del programa puacuteblico

1 iquestEl programa tiene identificado el problema y la loacutegica causal acerca de su dinaacutemica

Consideraciones

La respuesta deberaacute mostrar si el problema o necesidad para el que va dirigido el programa se

identifica como un hecho negativo el que se puede revertir o atender

Se tendraacute que identificar si se cuenta con aacuterbol de problemas (u otro elemento documentado) que

permita identificar la loacutegica causal del problema al que se busca atender juzgando la medida en que

la loacutegica causal del programa es consistente con los estudios utilizados para fundamentacioacuten de la

intervencioacuten

Se debe incluir la definicioacuten del problema o necesidad y en su caso la propuesta de modificacioacuten o

recomendaciones de mejora Asimismo se indicaraacute si el problema o necesidad considera diferencias

entre hombres y mujeres a fin de conocer las limitaciones yo las oportunidades que presenta el

entorno econoacutemico demograacutefico social cultural poliacutetico juriacutedico e institucional para la promocioacuten

de la igualdad de geacutenero

Se deberaacute que determinar si el problema identificado por el Pp tiene coincidencia con alguacuten

problema que se aborda en el PED yo en el Programa Sectorial De igual forma se deberaacute analizar

si en el aacutembito nacional o internacional se cuenta con experiencias de poliacuteticas puacuteblicas que tuvieron

o tienen como objetivo la atencioacuten del problema que se plantea atender Lo anterior sentildealando sus

logros fallos y resultados ademaacutes se solicita hacer mencioacuten sobre la incorporacioacuten de elementos

exitosos de otras estrategias en el disentildeo del programa presupuestario a evaluar

2 iquestEl programa cuenta con una identificacioacuten (cuantificacioacuten y ubicacioacuten geograacutefica) de la

poblacioacuten o aacuterea de enfoque potencial y objetivo de su intervencioacuten y eacutesta se relaciona con

la definicioacuten del problema puacuteblico que se plantea atender

Consideraciones

La instancia evaluadora deberaacute valorar la medida en que la definicioacuten del problema es traducido a

unidades concretas de personas grupos especiacuteficos o zonas geograacuteficas cuantificables y

monitoreables en referentes estadiacutesticos oficiales del estado yo federacioacuten

PAE 2017 13

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

En la respuesta se deberaacuten incluir las definiciones de la poblacioacuten o aacuterea de enfoque potencial

objetivo y atendida asiacute como su cuantificacioacuten La metodologiacutea y fuentes de informacioacuten para

determinar los tipos de poblacioacuten o aacuterea de enfoque se deben incluir en el Anexo 2 ldquoMetodologiacutea

para la cuantificacioacuten de la poblacioacuten o aacuterea de enfoque potencial y objetivordquo

Asimismo identificar si el Pp cuenta con una estrategia de cobertura institucional en que se defina

la estrategia que utilizaraacute a lo largo del tiempo para cubrir el total de su poblacioacuten o aacuterea de enfoque

potencial en caso de que no se identifique alguna estrategia el evaluador deberaacute emitir una

valoracioacuten sobre la pertinencia del disentildeo actual del Pp para alcanzar las metas de cobertura En caso

de que el disentildeo actual del Pp no permita alcanzar las metas de cobertura deberaacuten recomendarse

modificaciones concretas al disentildeo del Pp con la finalidad de que sea maacutes probable que alcance

dichas metas de cobertura

De igual forma se debe analizar la evolucioacuten de la poblacioacuten o aacuterea de enfoque atendida y su

convergencia con la poblacioacuten o aacuterea de enfoque potencial es decir si el programa ha logrado

atender a toda la poblacioacuten o aacuterea de enfoque objetivo El anaacutelisis se debe justificar y completar el

Anexo 3 ldquoEvolucioacuten de la Coberturardquo

Matriz de Indicadores para Resultados (MIR)

3 iquestLa estructura de objetivos planteada por el programa mantiene loacutegica y correspondencia

causal con el problema planteado en el diagnoacutestico

Consideraciones

Se deberaacute identificar la contribucioacuten del programa a los objetivos estrateacutegicos del Plan Estatal de

Desarrollo y de otros instrumentos de planeacioacuten de mediano y largo plazo

Se deberaacute determinar si la hipoacutetesis de intervencioacuten del programa mantiene una loacutegica causal con

la problemaacutetica que se quiere atender

Se deberaacuten analizar y valorar los elementos que componen al disentildeo del Pp (modalidad unidades

responsables propoacutesito componentes poblacioacuten o aacuterea de enfoque objetivo entre otros) y sobre

los cuales eacuteste se construye (problema puacuteblico o necesidad causas y efectos del problema situacioacuten

de la poblacioacuten o aacuterea de enfoque objetivo entre otros)

Se deberaacute valorar la MIR y verificar su loacutegica horizontal (resumen narrativo indicadores metas y

medios de verificacioacuten) y vertical asiacute como si es congruente con los elementos de diagnoacutestico

Derivado de lo anterior se elaboraraacute una propuesta de la MIR que deberaacute considerar y presentar la

Estructura Analiacutetica del Pp (aacuterbol de problemas objetivos y concentrado) Asimismo se deberaacute incluir

PAE 2017 14

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

la justificacioacuten del disentildeo propuesto o las modificaciones sugeridas y generar el Anexo 4 ldquoPropuesta

de mejora de la Matriz de Indicadores para Resultadosrdquo

Metodologiacutea de la Seccioacuten 1

Anaacutelisis de gabinete

La evaluacioacuten se realizaraacute mediante un anaacutelisis de gabinete con base en informacioacuten proporcionada

por la dependencia o unidad responsable del programa asiacute como informacioacuten adicional que la

institucioacuten evaluadora considere necesaria para justificar su anaacutelisis

En este contexto se entiende por anaacutelisis de gabinete al conjunto de actividades que involucra el

acopio la organizacioacuten y la valoracioacuten de informacioacuten concentrada en registros administrativos

bases de datos evaluaciones internas yo externas y documentacioacuten puacuteblica Sin embargo de

acuerdo con las necesidades de informacioacuten y tomando en cuenta la forma de operar de cada

programa se podraacuten programar y llevar a cabo entrevistas con responsables de los programas yo

personal de la unidad de evaluacioacuten yo planeacioacuten de la dependencia coordinadora

Valoracioacuten de disentildeo del Pp

Para cada pregunta de investigacioacuten de esta seccioacuten se deberaacute definir una valoracioacuten cuantitativa y

cualitativa que resuma la apreciacioacuten del evaluador para cada uno de los aspectos de la seccioacuten 1

con el fin de permitir obtener una valoracioacuten sinteacutetica acerca de la suficiencia de los elementos que

cumple el programa Para esto se deberaacute usar la siguiente escala likert de cinco grados

Tabla 3 Escala de Medicioacuten para la Seccioacuten 1

1 2 3 4 5

Deficiente Insuficiente Moderado Bien Suficiente

En la argumentacioacuten que presente la evaluadora se deberaacuten aportar los elementos que justifiquen

la valoracioacuten cuantitativa que se emita para cada pregunta de investigacioacuten ademaacutes de completar

el Anexo 9 ldquoValoracioacuten global cuantitativardquo de la Seccioacuten 1 de Disentildeo

PAE 2017 15

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Seccioacuten 2 Procesos

Pertinencia de los procesos

4 Diagnoacutestico general de los procesos y subprocesos del Pp

Consideraciones

La instancia evaluadora deberaacute presentar dentro de los 30 diacuteas naturales posteriores a la firma del

contrato un Diagnoacutestico General de los Procesos y Subprocesos o Macroprocesos del Pp (Producto

1) en el que se deacute cuenta de la problemaacutetica o necesidad que atiende o de la funcioacuten de gobierno

que desarrolla asiacute como del contexto y las condiciones en las que opera el Pp En este diagnoacutestico

se deben identificar los procesos y subprocesos o macroprocesos que integran la operacioacuten o

gestioacuten del Pp a partir de la normativa vigente y de las entrevistas a funcionarios de la UR realizadas

se deberaacute presentar una descripcioacuten integral con el mapa de procesos y subprocesos del Pp

A partir de este diagnoacutestico la instancia evaluadora presentaraacute para su validacioacuten a la DEV una

propuesta de los alcances y logiacutestica de la Evaluacioacuten de Procesos del Pp Asimismo el diagnoacutestico

debe estar acompantildeado de la justificacioacuten del enfoque metodoloacutegico general seleccionado para su

desarrollo

Ademaacutes en el Producto 1 se deberaacuten especificar las directrices generales y particulares que guiaraacuten

la realizacioacuten de la evaluacioacuten de procesos acordadas con la DEV y la UR del Pp por lo que la correcta

elaboracioacuten de este producto es fundamental para poder garantizar un resultado satisfactorio

En el Producto 1 ademaacutes de integrar la estrategia y plan de trabajo de campo teacutecnicas de

investigacioacuten a utilizarse disentildeo muestral e instrumentos de levantamiento de informacioacuten se

incluiraacuten dos apartados

Descripcioacuten del contexto en el que opera el Pp La instancia evaluadora deberaacute describir

los siguientes elementos del Pp todas las UR que participan en su operacioacuten o que ejercen

sus recursos los entregables que produce cada UR que participa en la operacioacuten del Pp en

el marco del mismo el problema o necesidad de poliacutetica puacuteblica identificado por el Pp

poblacioacuten o aacuterea de enfoque potencial objetivo y atendida del Pp y su cuantificacioacuten

cantidad de destinatarios por cada uno de los entregables que el Pp tuvo al cierre del uacuteltimo

ejercicio fiscal del que se tenga registro cantidad de destinatarios por cada uno de los

entregables que el Pp espera atender en el ejercicio fiscal evaluado asiacute como el contexto

organizacional y social en que se desarrolla su operacioacuten

PAE 2017 16

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Diagnoacutestico inicial de los procesos y subprocesos o macroprocesos del Pp La instancia

evaluadora deberaacute desarrollar a partir del trabajo de gabinete y de entrevistas

semiestructuradas con funcionarios de la(s) Unidad(es) Responsable(s) del Pp realizadas un

diagnoacutestico inicial de procesos del Pp en el que se identifiquen claramente los procesos y

subprocesos o macroprocesos que integran su operacioacuten o gestioacuten asiacute como las instancias

o actores que participan en ellos se deberaacute presentar una descripcioacuten integral con un mapa

de procesos y subprocesos o macroprocesos del Pp asiacute como llenar el Anexo 5 ldquoFicha de

identificacioacuten y equivalencia de procesosrdquo Las entrevistas semiestructuradas se realizaraacuten con

la finalidad de profundizar y despejar dudas sobre el mapa de los procesos y subprocesos o

macroprocesos que integran la gestioacuten operativa del Pp En esta seccioacuten la instancia

evaluadora deberaacute sentildealar cuaacuteles de los procesos y subprocesos o macroprocesos

identificados estaacuten documentados y cuaacuteles no asiacute como ndashen su casondash la normativa que los

rige por ejemplo un manual de procedimientos o de organizacioacuten lineamientos de

operacioacuten entre otros Cabe sentildealar que los procesos y subprocesos o macroprocesos que

integran la operacioacuten o gestioacuten del Pp son estructuras analiacuteticas que debe de construir la

instancia evaluadora a partir de su experiencia en el desarrollo de evaluaciones de procesos

e implementacioacuten de poliacuteticas puacuteblicas por tanto debe tenerse en cuenta que a pesar de

ser lo deseable los procesos y subprocesos o macroprocesos no necesariamente pueden

estar documentados

5 Descripcioacuten y valoracioacuten de los procesos y subprocesos del Pp

Consideraciones

Despueacutes de realizar el trabajo de campo y sistematizar la informacioacuten levantada la instancia

evaluadora deberaacute realizar la descripcioacuten y valoracioacuten de cada uno de los procesos subprocesos o

macroprocesos identificados en el Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesosrdquo

contrastando en todos los casos la evidencia documental y su ejecucioacuten en la praacutectica

Por lo anterior en esta seccioacuten se deberaacute realizar una descripcioacuten minuciosa del desarrollo y el

anaacutelisis de cada proceso y subproceso o macroproceso de acuerdo con el alcance establecido

utilizando la informacioacuten obtenida mediante el anaacutelisis de gabinete y el trabajo de campo asimismo

se deberaacute realizar una valoracioacuten integral sobre la gestioacuten de cada uno de los procesos a partir de

la gestioacuten en sus subprocesos o macroprocesos a partir de la gestioacuten de los procesos

PAE 2017 17

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

La valoracioacuten de cada proceso subproceso o macroproceso deberaacute contener la siguiente estructura

1 Descripcioacuten detallada de las actividades los elementos y los actores que integran el

desarrollo de cada proceso y subproceso o macroproceso

2 Liacutemites de cada proceso y subproceso o macroproceso asiacute como su articulacioacuten con otros

3 Insumos y recursos determinar si los insumos y los recursos disponibles son suficientes y

adecuados para la ejecucioacuten de cada proceso y subproceso o macroproceso

a Tiempo iquestel tiempo en que se ejecuta el proceso o subproceso es el adecuado acorde

a lo planificado y congruente con la normativa que aplica

b Personal iquestel personal es suficiente tiene el perfil y cuenta con la capacitacioacuten necesaria

para la ejecucioacuten del proceso o subproceso

c Recursos financieros iquestlos recursos financieros son suficientes para la ejecucioacuten del

proceso o subproceso

d Recursos materiales iquestlos recursos materiales son suficientes para la ejecucioacuten del

proceso o subproceso

e Infraestructura iquestse cuenta con la infraestructura o capacidad instalada suficiente para

la ejecucioacuten del proceso o subproceso

f Insumos tecnoloacutegicos

4 Productos iquestlos productos de cada proceso subproceso o macroproceso sirven de insumo

para ejecutar el proceso subproceso o macroproceso subsecuente

5 Sistemas de informacioacuten iquestLos sistemas de informacioacuten utilizados en la ejecucioacuten de cada

proceso subproceso o macroproceso (automatizados semiautomatizados o manuales)

funcionan como una fuente de informacioacuten uacutetil para los sistemas de monitoreo a nivel central

y para los operadores en otros niveles iquestEstos sistemas de informacioacuten automatizan algunos

procesos subprocesos o macroproceso del Pp iquestSirven como mecanismo de control interno

para el mejor de desarrollo de los procesos subprocesos o macroproceso

6 Coordinacioacuten iquestla coordinacioacuten entre los actores oacuterdenes de gobierno o dependencias

involucradas es adecuada para la ejecucioacuten del proceso subproceso o macroproceso

7 Evaluacioacuten de la pertinencia de la forma en que se ejecuta cada proceso subproceso o

macroproceso en el contexto y condiciones en que se desarrolla considerando la estructura

organizacional involucrada y la coordinacioacuten entre las unidades administrativas que

intervienen en el proceso subproceso o macroproceso

8 Identificacioacuten de las caracteriacutesticas relacionadas con la importancia estrateacutegica de cada

proceso subproceso o macroproceso

PAE 2017 18

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

9 Opinioacuten de actores (destinatarios beneficiarios usuarios clientes u operadores del Pp)

sobre la eficacia eficiencia y calidad de cada proceso subproceso o macroproceso

10 Existencia de mecanismos para conocer la satisfaccioacuten de los beneficiarios o destinatarios de

los componentes o entregables que otorga el Pp

Por otra parte en caso de que el Pp genere diversos componentes o entregables y que estos

impliquen la realizacioacuten de actividades diferentes seraacute necesario describir los procesos y

subprocesos o macroprocesos correspondientes a cada tipo de componente o entregable otorgado

En la descripcioacuten de los procesos y subprocesos o macroprocesos la instancia evaluadora de manera

coordinada con la DEV deberaacute realizar los diagramas de alto nivel y los diagramas detallados

(diagramas de flujo) que describan los procesos y subprocesos o macroprocesos del Pp Para ello se

deberaacute usar como referencia la seccioacuten ldquoVII Mapeo de procesosrdquo de la ldquoGuiacutea para la Optimizacioacuten

Estandarizacioacuten y Mejora Continua de Procesosrdquo (paacuteginas 18 a 25) elaborada por la Secretariacutea de la

Funcioacuten Puacuteblica (SFP) disponible en la siguiente direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Estos diagramas se deberaacuten elaborar de acuerdo con lo especificado en el Anexo 7 ldquoDiagramas de

flujo de la operacioacuten del Pprdquo

Metodologiacutea Seccioacuten 2

La Evaluacioacuten de Procesos del Pp se realizaraacute principalmente a partir de teacutecnicas de investigacioacuten

cualitativa como son el anaacutelisis documental la observacioacuten directa estudios de caso y multicaso

especiacuteficos entrevistas semiestructuradas y grupos focales o grupos de enfoque (focus groups)

entre otras teacutecnicas que la instancia evaluadora considere pertinentes para realizar el anaacutelisis de

gabinete y el trabajo de campo tales como la aplicacioacuten de cuestionarios de aplicacioacuten electroacutenica

o a distancia

La metodologiacutea y los instrumentos definidos asiacute como el trabajo de gabinete y de campo deberaacuten

generar evidencia empiacuterica suficiente para valorar a profundidad la forma en que se ejecutan los

procesos y subprocesos o macroprocesos que integran la operacioacuten del Pp asiacute como su contexto

institucional y organizacional

PAE 2017 19

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anaacutelisis de gabinete

Para esta seccioacuten es necesario la elaboracioacuten del diagnoacutestico de los procesos y subprocesos o

macroprocesos que integran la operacioacuten o gestioacuten del Pp la instancia evaluadora deberaacute realizar

un anaacutelisis de gabinete considerando como miacutenimo los siguientes documentos

La normativa aplicable al Pp leyes reglamentos lineamientos manuales de procedimientos

convenios contratos entre otros

Diagnoacutestico y estudios de la problemaacutetica que el Pp atiende

Diagnoacutestico del programa y estudios del marco contextual en el que opera

MIR del Pp correspondiente al ejercicio fiscal evaluado y de ejercicios anteriores que se

consideren pertinentes

Sistemas de informacioacuten automatizados semiautomatizados o manuales que apoyen a la

ejecucioacuten de los procesos y subprocesos o macroprocesos identificados del Pp

Evaluaciones externas o internas realizadas previamente al Pp

Documentos de trabajo institucionales e informes de avances de Aspectos Susceptibles de

Mejora con los que cuente el Pp

Informes de auditoriacuteas de desempentildeo o similares realizadas al Pp por la Auditoriacutea Superior

de la Federacioacuten del Estado de Puebla por la Secretariacutea de la Contraloriacutea o por cualquier

instancia fiscalizadora

Asimismo se sugiere revisar otros documentos asociados al disentildeo del Pp y a su definicioacuten de

poblacioacuten o aacuterea de enfoque potencial y objetivo asiacute como a su estrategia de integracioacuten de

destinatarios o beneficiarios de los componentes o entregables del Pp

El anaacutelisis o trabajo de gabinete deberaacute generar como resultado inicial un mapeo de los procesos y

subprocesos o macroprocesos que integran la gestioacuten operativa del Pp que constituiraacute

esencialmente el Producto 1 de la evaluacioacuten posteriormente se procesaraacute la informacioacuten recabada

en campo para la generacioacuten del informe preliminar y final de la evaluacioacuten

Alcance y enfoque de la evaluacioacuten

La instancia evaluadora deberaacute sentildealar con claridad en el informe de la evaluacioacuten cuaacuteles de los

procesos y subprocesos o macroprocesos identificados en la operacioacuten o gestioacuten del Pp se analizan

y cuaacuteles no de acuerdo con lo establecido por la Direccioacuten de Evaluacioacuten (DEV) de la Secretariacutea de

Finanzas y Administracioacuten (SFA) y la Unidad Responsable (UR) del Programa en cuestioacuten sentildealando

los elementos de anaacutelisis que justifican esta seleccioacuten y en su caso haciendo recomendaciones al

respecto

PAE 2017 20

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Un elemento que podraacute ser considerado para establecer el alcance de la evaluacioacuten es el grado de

consolidacioacuten operativa del Pp el cual podraacute determinarse a priori considerando algunos elementos

como los siguientes

1 Si existen documentos que normen los procesos y subprocesos o macroprocesos

2 Si los procesos y subprocesos o macroprocesos estaacuten estandarizados es decir si son

utilizados por todas la instancias ejecutoras de manera homogeacutenea

3 Si los procesos y subprocesos o macroprocesos estaacuten documentados y son del conocimiento

de todos los operadores

4 Si se cuenta con un sistema de monitoreo e indicadores de gestioacuten

5 Si se cuenta en los procesos y subprocesos o macroprocesos analizados con sistemas

informaacuteticos que permitan la automatizacioacuten en la ejecucioacuten de los mismos

6 Si se cuenta con mecanismos para la implementacioacuten sistemaacutetica de mejoras

Se considera que existe un mayor grado de consolidacioacuten operativa cuando existen todos los

elementos y disminuiraacute gradualmente conforme haga falta uno o maacutes de ellos hasta el menor grado

de consolidacioacuten que es cuando no existe ninguno de los elementos

El alcance de la Evaluacioacuten de Procesos del Pp implica el anaacutelisis de los procesos y subprocesos o

macroprocesos sustantivos del Pp asiacute como la respectiva priorizacioacuten de estos Se deberaacute realizar

la identificacioacuten y jerarquizacioacuten de los procesos a partir del Esquema 1 adaptaacutendolo a las

condiciones particulares del Pp3 en eacutel se observa lo siguiente

El proceso de ldquoPlaneacioacutenrdquo es el punto de partida para la implementacioacuten del Pp

posteriormente continuacutean los procesos de ldquoComunicacioacuten Interna y Externardquo ldquoSeleccioacuten de

destinatariosrdquo ldquoProduccioacuten de entregablesrdquo ldquoEntregardquo ldquoSeguimiento a destinatariosrdquo y

ldquoControlrdquo

La informacioacuten que se genera en los procesos de ldquoSeguimiento a destinatariosrdquo y ldquoControlrdquo

es un insumo directo para retroalimentar los procesos del Pp desde el de Planeacioacuten

El proceso de ldquoMonitoreordquo utiliza informacioacuten generada principalmente en los procesos de

ldquoComunicacioacutenrdquo ldquoSeleccioacuten de destinatariosrdquo ldquoProduccioacuten de entregablesrdquo ldquoEntregardquo y

ldquoSeguimiento a destinatariosrdquo a partir de ello se retroalimentan los procesos del Pp desde

la ldquoPlaneacioacutenrdquo

3 Con excepcioacuten de los procesos (con sus subprocesos) de Planeacioacuten Monitoreo y Evaluacioacuten Externa para

los cuales la instancia evaluadora uacutenicamente podraacute en caso de que lo considere pertinente agregar

subprocesos pero no suprimir subprocesos

PAE 2017 21

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

El proceso de ldquoEvaluacioacuten Externardquo requiere de informacioacuten transversal de todos los

procesos ya que se valora al Pp en su conjunto En este sentido los resultados de las

evaluaciones son un insumo para retroalimentar al Pp desde el proceso de ldquoPlaneacioacutenrdquo

Es importante sentildealar que en el Esquema 1 se muestra un modelo que es importante tomarlo en

cuenta como referencia para la identificacioacuten y definicioacuten de los procesos y subprocesos o

macroprocesos que integran la operacioacuten del Pp evaluado ademaacutes de que representa un auxiliar

en la definicioacuten del alcance y del enfoque de la Evaluacioacuten de Procesos del Pp

Esquema 1 Modelo general de procesos

Fuente Modelo de TdR para la Evaluacioacuten de Procesos Secretariacutea de Hacienda y Creacutedito Puacuteblico

A continuacioacuten se describe cada uno de los procesos que componen al modelo anterior

Planeacioacuten proceso en el que se determinan o definen el problema o necesidad aacuterbol de

problemas y objetivos poblacioacuten o aacuterea de enfoque potencial y objetivo objetivos

indicadores y metas de la MIR estrategia de cobertura plan estrateacutegico entre otros puntos

asiacute como los recursos financieros y humanos necesarios que requiere el Pp para lograr sus

objetivos En el proceso de planeacioacuten se determinan las directrices en el disentildeo e

implementacioacuten del Pp los subprocesos que lo integran son los siguientes planeacioacuten

estrateacutegica programacioacuten y presupuesto actualizacioacuten de la MIR actualizacioacuten de

normativa

PAE 2017 22

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Comunicacioacuten interna y externa proceso en el que se informan diversas caracteriacutesticas y

objetivos del Pp tanto a los actores involucrados en su funcionamiento y operacioacuten (interna)

como a su poblacioacuten o aacuterea de enfoque objetivo (externa)

Seleccioacuten de destinatarios proceso en el que se determina quieacutenes recibiraacuten los

componentes o entregables de un Pp en funcioacuten de su poblacioacuten o aacuterea de enfoque objetivo

Produccioacuten de entregables proceso en el que se elaboran los entregables o realizan los

componentes del Pp (recursos financieros o humanos apoyos bienes servicios

regulaciones documentos teacutecnicos o de planeacioacuten etc) conforme a sus documentos

normativos

Entrega proceso en el que se realiza la entrega de lo producido o generado por el Pp

(componentes o entregables) a los destinatarios o beneficiarios

Seguimiento a destinatarios actividades y mecanismos que permiten al Pp conocer coacutemo

son utilizados o aprovechados sus componentes o entregables (por sus destinatarios o

beneficiarios) para que entre otras funciones la UR del Pp identifique si se estaacute cumpliendo

con los objetivos Por ejemplo en este proceso se incluyen las actividades que un Pp

implementa para conocer el grado de satisfaccioacuten de sus destinatarios o beneficiarios

Control actividades y mecanismos implementados entre los operadores del Pp para verificar

que los diferentes procedimientos procesos y subprocesos se esteacuten ejecutando conforme a

lo planeado (control interno)

Monitoreo proceso coordinado por una unidad administrativa ajena a la operacioacuten del Pp

a traveacutes del cual se recaba registra y valida la informacioacuten sobre el avance de las metas de

los indicadores de la MIR asiacute como el seguimiento a los resultados de indicadores

adicionales a los de la MIR en caso de que se cuente con un sistema de monitoreo de gestioacuten

Los subprocesos que lo integran son los siguientes acopio de la informacioacuten para el reporte

de avances validacioacuten de informacioacuten y registro de avances primordialmente

Evaluacioacuten externa proceso coordinado por una unidad administrativa ajena a la operacioacuten

del Pp mediante el cual se define la agenda de evaluacioacuten externa del Pp se definen las

metodologiacuteas o los teacuterminos de referencia se contratan las evaluaciones externas (de

cualquier tipo) se recaba la informacioacuten que seraacute entregada a los equipos evaluadores se

realiza el seguimiento durante el desarrollo de las evaluaciones externas se aprueban los

PAE 2017 23

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

informes finales de las evaluaciones externas se notifica a las instancias correspondientes

sobre la conclusioacuten de las evaluaciones externas y se definen y realiza el seguimiento de los

Aspectos Susceptibles de Mejora (ASM)

A partir de los procesos definidos en el modelo anterior la instancia evaluadora deberaacute realizar una

equivalencia de los procesos subprocesos o macroprocesos identificados respecto a los definidos

en el modelo de acuerdo con el Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesosrdquo Cabe

mencionar que los procesos definidos en el modelo no son limitativos por lo que si la instancia

evaluadora identifica procesos subprocesos o macroprocesos adicionales deberaacute incluirlos

Disentildeo metodoloacutegico del trabajo de campo

A partir del contexto en que opera el Pp y el alcance y enfoque metodoloacutegico de la evaluacioacuten de

procesos la instancia evaluadora deberaacute desarrollar una propuesta de estrategia y plan de trabajo

de campo a seguir para la realizacioacuten de la evaluacioacuten asimismo deberaacute incluir un cronograma

detallado de actividades

La estrategia de trabajo de campo disentildeada por la instancia evaluadora deberaacute ser entregada a la

DEV para que en conjunto con la UR del Pp sea validada antes de su implementacioacuten Dicha

estrategia deberaacute contener al menos los siguientes elementos

Justificacioacuten de las teacutecnicas de investigacioacuten a utilizar

Muestra y los criterios utilizados para su seleccioacuten

Listado de los actores a entrevistar

Instrumentos de levantamiento de informacioacuten que se aplicaraacuten y

Cronograma con las actividades a desarrollar

La instancia evaluadora iniciaraacute las actividades del trabajo de campo de manera conjunta y una vez

recibido el visto bueno de la DEV

El disentildeo de la muestra y de los instrumentos para el levantamiento de informacioacuten en campo

deberaacute considerar a la totalidad de los actores que intervienen en la ejecucioacuten de los procesos y

subprocesos o macroprocesos que integran la operacioacuten o gestioacuten del Pp asiacute como a los

destinatarios o beneficiarios de los componentes o entregables del Pp independientemente de su

ubicacioacuten geograacutefica

Algunos criterios que puede utilizar la instancia evaluadora para definir una muestra que considere

la variabilidad de la operacioacuten en los diferentes contextos en que opera el Pp son los siguientes

PAE 2017 24

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

a) El desempentildeo operativo del Pp entre municipios regionalizacioacuten geograacutefica instituciones

puacuteblicas o privadas u otros aspectos que suponen una accioacuten diferenciada de los procesos

(cuando aplique)

b) Volumen de la operacioacuten del Pp

c) Esquemas normativos del Pp y el ejercicio presupuestal en los municipios instituciones

puacuteblicas o privadas u otros aspectos que suponen una accioacuten diferenciada de los procesos

en las que opera el Pp (cuando aplique) y

d) Formas de interaccioacuten del Pp con otros niveles u oacuterdenes de gobierno (cuando aplique)

Los criterios anteriores no son limitativos por lo que la instancia evaluadora podraacute proponer criterios

adicionales que considere pertinentes para la definicioacuten de la muestra para el trabajo de campo

En el disentildeo muestral la instancia evaluadora deberaacute sentildealar los funcionarios del Pp o destinatarios

a los que se les aplicaraacuten los instrumentos de levantamiento de informacioacuten con los que se realizaraacute

el trabajo de campo asiacute como la ubicacioacuten geograacutefica de los mismos

Instrumentos de levantamiento de informacioacuten

La instancia evaluadora deberaacute disentildear los instrumentos que utilizaraacute para el levantamiento de

informacioacuten durante el trabajo de campo como son (por ejemplo) los cuestionarios por tipo de

funcionario a entrevistar para el caso de entrevistas semiestructuradas los guiones a utilizar en la

realizacioacuten de grupos focales los cuestionarios de aplicacioacuten electroacutenica las guiacuteas respectivas entre

otros Para lo anterior deberaacute considerar los siguientes temas guiacutea y preguntas de referencia

Planeacioacuten (planeacioacuten estrateacutegica programacioacuten y presupuesto)

iquestQueacute se entiende por planeacioacuten estrateacutegica para los operadores del Pp

iquestCuaacuteles son las actividades o acciones de planeacioacuten estrateacutegica del Pp que se realizan

iquestLa planeacioacuten estrateacutegica es el resultado de un ejercicio institucionalizado que involucra a

los actores clave de la gestioacuten del Pp

iquestExiste un documento resultado de la planeacioacuten estrateacutegica iquestEs claro difundido y

accesible iquestEn queacute medida es utilizado para guiar la operacioacuten del Pp

iquestLa planeacioacuten estrateacutegica estaacute vinculada con el cumplimiento entrega o generacioacuten de los

componentes o entregables del Pp

iquestLa planeacioacuten estrateacutegica establece indicadores para medir los avances en las metas

establecidas iquestLas metas son factibles y estaacuten orientadas a impulsar el desempentildeo del Pp

PAE 2017 25

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

iquestQueacute se entiende por planeacioacuten operativa y cuaacuteles son las diferencias con la planeacioacuten

estrateacutegica

Comunicacioacuten interna y externa del Pp (las preguntas que apliquen)

iquestQueacute actores intervienen en la comunicacioacuten del Pp

iquestExiste una estrategia de comunicacioacuten del Pp documentada En caso afirmativo describirla

iquestLa estrategia de comunicacioacuten del Pp (documentada o no) es adecuada

iquestLos medios utilizados el lenguaje y el contenido de los mensajes son pertinentes en funcioacuten

del puacuteblico al que van dirigidos

Solicitud de los componentes o entregables del Pp (las preguntas que apliquen)

iquestExiste un proceso claro imparcial y expliacutecito por medio del cual la poblacioacuten o aacuterea de

enfoque potencial puede solicitar los componentes o entregables que otorga el Pp

iquestLos requisitos para solicitar los componentes o entregables del Pp se presentan de manera

clara y completa

iquestLos puntos de recepcioacuten de solicitudes son accesibles y suficientes (cuando aplique)

iquestExisten mecanismos estandarizados para recibir y revisar la documentacioacuten entregada asiacute

como registrar y dar traacutemite a las solicitudes (cuando aplique)

iquestSon adecuados estos mecanismos (cuando aplique) En caso de que el Pp que apoye la

realizacioacuten de proyectos iquestse brinda asesoriacutea para la presentacioacuten de los mismos de ser asiacute

iquestes pertinente esta asesoriacutea

iquestEl proceso de solicitud de los componentes o entregables que otorga el Pp se encuentra

automatizado total o parcialmente

Para esta pregunta considerar los estados de digitalizacioacuten utilizados por la Comisioacuten Intersecretarial

para el Desarrollo del Gobierno electroacutenico seguacuten una adaptacioacuten realizada a la clasificacioacuten que

hace la ONU

Estado de digitalizacioacuten 1 traacutemites y servicios que se encuentran en estado informativo

Estado de digitalizacioacuten 2 traacutemites y servicios que cuentan con interfaces de comunicacioacuten

unidireccional

Estado de digitalizacioacuten 3 traacutemites y servicios que permiten realizar transacciones y

Estado de digitalizacioacuten 4 traacutemites y servicios que el usuario puede ejecutar de principio a

fin por medio de dispositivos digitales

PAE 2017 26

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para mayor informacioacuten referirse a ldquoFigure A4 The four stages of online service developmentrdquo en

los siguientes documentos

Lineamientos relativos a la digitalizacioacuten estandarizada de traacutemites y servicios con apego en

la Estrategia Digital Nacional

httpwwwgobmxcmsuploadsattachmentfile67232ti_1_pgcm_bases_lineam_tyspdf

United Nations E-Government Survey 2014 (paacutegina 195)

httpspublicadministrationunorgegovkbportalsegovkbdocumentsun2014-surveye-

gov_complete_survey-2014pdf

Seleccioacuten de destinatarios (cuando aplique)

iquestExiste una metodologiacutea o meacutetodo para la seleccioacuten de destinatarios o beneficiarios de los

componentes o entregables del Pp iquestLa metodologiacutea utilizada cuenta con criterios de

seleccioacuten y elegibilidad claros estandarizados y sistematizados

iquestLa seleccioacuten de destinatarios o beneficiarios de los componentes o entregables del Pp es un

proceso transparente e imparcial iquestEl resultado de la seleccioacuten es puacuteblico (cuando aplique)

iquestExiste informacioacuten en una base de datos que permita conocer quieacutenes o queacute instancias

reciben los componentes o entregables del Pp iquestQueacute informacioacuten integra esta base de datos

iquestExisten mecanismos para validar y actualizar esta base de datos iquestEstos mecanismos son

pertinentes

Produccioacuten de componentes o entregables

iquestSe cuenta con los insumos suficientes para generar el volumen de componentes o

entregables que permitan al Pp atender a su poblacioacuten o aacuterea de enfoque objetivo

iquestEl Pp tiene mecanismos para estimar la produccioacuten o generacioacuten necesaria de componentes

o entregables de acuerdo con la posible demanda o requerimientos de su poblacioacuten o aacuterea

de enfoque objetivo iquestEs adecuado este mecanismo

iquestExisten mecanismos de control de calidad para la generacioacuten de los componentes o

entregables del Pp iquestEstos mecanismos son pertinentes

iquestLas actividades de generacioacuten de componentes o entregables que otorga el Pp estaacuten

estandarizadas es decir son ejecutadas de manera homogeacutenea por todas las instancias

involucradas

PAE 2017 27

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Entrega

iquestLos componentes o entregables del Pp son proporcionados conforme a las especificaciones

y de manera oportuna a los destinatarios

iquestExisten especificaciones (programas o planes de trabajo) sobre la forma en que se deben

trasladar los componentes o entregables para (por ejemplo) asegurar su adecuada recepcioacuten

en el punto de destino iquestSon adecuadas estas especificaciones respecto a normas o

lineamientos existentes (cuando aplique)

iquestLa logiacutestica de distribucioacuten se actualiza (cuando aplique) iquestExiste un periodo para dicha

actualizacioacuten iquestEn el disentildeo y actualizacioacuten de la logiacutestica se toman en cuenta los factores

geograacuteficos y climatoloacutegicos en cada regioacuten donde opera el Pp (cuando aplique)

iquestLos puntos de entrega de los componentes o entregables son cercanos a los beneficiarios

o aacuterea de enfoque a atender y son de faacutecil acceso iquestSe considera que son suficientes iquestPor

queacute

Control (las preguntas que apliquen)

iquestEl Pp cuenta con los mecanismos para verificar que los componentes o entregables se

otorguen de acuerdo con lo establecido en la normativa especiacutefica y lleguen a la poblacioacuten

o aacuterea de enfoque que deba ser beneficiada iquestEstos mecanismos son adecuados

iquestExiste de manera sistematizada un documento que deacute cuenta de los resultados de

supervisioacuten y entrega de componentes o entregables iquestEste documento es adecuado iquestLos

resultados se utilizan para implementar mejoras en la operacioacuten del Pp

iquestExisten procedimientos estandarizados que verifiquen el cumplimiento de la

corresponsabilidad u obligatoriedad por parte de los beneficiarios o destinatarios de los

componentes o entregables del Pp (cuando aplique)

Seguimiento a destinatarios

iquestEl Pp tiene mecanismos para verificar el procedimiento de seguimiento a los destinatarios o

beneficiarios que permitan identificar si los componentes o entregables generados son

utilizados de acuerdo con lo establecido iquestCoacutemo se implementa el mecanismo iquestEste

mecanismo es adecuado

iquestExisten procedimientos estandarizados que permitan verificar el cumplimiento de la

corresponsabilidad u obligatoriedad por parte del destinatario o beneficiario (cuando

aplique)

PAE 2017 28

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

En caso de que los componentes o entregables involucren la ejecucioacuten de obra o de

infraestructura iquestel Pp cuenta con un mecanismo de seguimiento o supervisioacuten que permita

identificar si se realizaron acorde a la normativa aplicable iquestEl seguimiento o supervisioacuten

considera plazos para la revisioacuten de las condiciones de la obra o la infraestructura despueacutes

de terminada la obra

iquestEl Pp tiene mecanismos para identificar si se cumple con su Propoacutesito iquestSon suficientes y

pertinentes estos mecanismos

iquestExisten mecanismos para conocer la satisfaccioacuten del destinatario o beneficiario de los

componentes o entregables del Pp respecto de los componentes que ofrece el Pp iquestSon

adecuados estos mecanismos iquestSu operacioacuten permite una aplicacioacuten imparcial y objetiva

iquestExiste evidencia para afirmar que las quejas y sugerencias que brindan los destinatarios o

beneficiarios de los componentes o entregables del Pp son utilizadas para la mejora continua

del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

En esta seccioacuten se deberaacute realizar la medicioacuten de los atributos de eficacia oportunidad suficiencia

y pertinencia de los procesos y subprocesos o macroprocesos definidos en el mapa de procesos del

Pp A continuacioacuten se definen los atributos en el marco de la evaluacioacuten de procesos

Eficacia un proceso es eficaz en la medida en que cumple con sus metas

Oportunidad un proceso es oportuno en la medida en que otorga sus productos

(componentes o entregables) o resultados en un periodo de tiempo determinado o

adecuado para el logro de sus objetivos

Suficiencia un proceso es suficiente en la medida en que produce sus resultados de forma

completa o adecuada para el logro de sus objetivos

Pertinencia un proceso es pertinente si sus actividades y productos son adecuados para

lograr tanto sus metas especiacuteficas como sus objetivos es decir si contribuyen al

mejoramiento de la gestioacuten del Pp4

4 Las actividades son adecuadas si estaacuten en funcioacuten del logro del objetivo de cada proceso Por ejemplo si se verifica que el formato de los mensajes a difundir cumpla con las caracteriacutesticas necesarias para llegar a la poblacioacuten o aacuterea de enfoque objetivo como seriacutea una mensaje de audio en la lengua indiacutegena de la localidad donde se encuentran los posibles destinatarios o beneficiarios o bien como seriacutea un mensaje dirigido a personal operativo del Pp cuyo nivel de estudios promedio pudiera complicar la comprensioacuten de lenguaje teacutecnico utilizado

PAE 2017 29

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para la medicioacuten de los atributos de los procesos y subprocesos o macroprocesos del Pp deberaacute

realizarse una revisioacuten documental (normativa aplicable MIR evaluaciones externas sistemas de

informacioacuten y registros administrativos entre otros) misma que deberaacute complementarse con el

trabajo de campo con el objetivo de identificar disentildear y calcular indicadores relacionados con

dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de informacioacuten empleadas

La informacioacuten obtenida de estos indicadores deberaacute vaciarse en fichas propuestas por la instancia

evaluadora presentadas como en el Anexo 6 ldquoFichas de indicadores de atributos de los procesos del

Pprdquo (formato libre) Estas fichas deberaacuten considerar la medicioacuten de los atributos de eficacia

suficiencia oportunidad y pertinencia correspondientes a cada proceso y subproceso o

macroproceso

Valoracioacuten de los procesos y subprocesos de la operacioacuten del Pp

Deberaacute contener una siacutentesis de los resultados encontrados en la Evaluacioacuten de Procesos del Pp

resaltando los hallazgos maacutes relevantes que se hayan detectado y que pudiesen transformarse en

ASM

La instancia evaluadora deberaacute calcular una valoracioacuten global cuantitativa sobre la operacioacuten y la

ejecucioacuten de los procesos y subprocesos o macroprocesos del Pp a partir del siguiente esquema de

puntuacioacuten5

Eficacia

- Todos los procesos (o macroprocesos) son eficaces = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es eficaz = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es eficaz = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es eficaz = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es eficaz = 1 punto

- Ninguno de los procesos (o macroprocesos) es eficaz = 0 puntos

Oportunidad

- Todos los procesos (o macroprocesos) son oportunos = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es oportuno = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es oportuno = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es oportuno = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es oportuno = 1 punto

5 La valoracioacuten cuantitativa deberaacute estar sustentada y por tanto ser consistente con lo valorado por la instancia evaluadora en el apartado de ldquoMedicioacuten de atributos de los procesos y subprocesosrdquo

PAE 2017 30

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

- Ninguno de los procesos (o macroprocesos) es oportuno = 0 puntos

Suficiencia

- Todos los procesos (o macroprocesos) son suficientes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es suficiente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es suficiente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es suficiente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es suficiente = 1 punto

- Ninguno de los procesos (o macroprocesos) es suficiente = 0 puntos

Pertinencia

- Todos los procesos (o macroprocesos) son pertinentes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es pertinente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es pertinente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es pertinente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es pertinente = 1 punto

- Ninguno de los procesos (o macroprocesos) es pertinente = 0 puntos

A partir de los puntajes asignados en los cuatro atributos anteriores esta valoracioacuten cuantitativa

global debe considerar el total de puntos posibles de obtener (5 x 4 = 20 puntos) y los puntos

obtenidos en la Evaluacioacuten de Procesos Pp (lsquoyrsquo puntos) de modo que se indique el porcentaje de

puntos obtenidos del total de puntos posibles [(lsquoyrsquo20) x 100] = valoracioacuten cuantitativa global de la

operacioacuten del Pp

La instancia evaluadora deberaacute utilizar el Anexo 9 ldquoValoracioacuten global cuantitativardquo para documentar

argumentar y sustentar cada una de las valoraciones cuantitativas sobre la operacioacuten y la ejecucioacuten

de los procesos (o macroprocesos) del Pp

Adicionalmente en este apartado se deberaacuten integrar las recomendaciones y conclusiones que se

consideren maacutes relevantes de los procesos y subprocesos o macroprocesos del Pp las cuales deben

formularse con base en los hallazgos del trabajo de campo y de gabinete El objetivo final de las

recomendaciones es proveer informacioacuten valiosa a los operadores del Pp para realizar adecuaciones

en la ejecucioacuten de los procesos y subprocesos o macroprocesos de modo que se potencie la

consecucioacuten de resultados del Pp

Las recomendaciones que se formulen como resultado de la Evaluacioacuten de Procesos del Pp deberaacuten

tener las siguientes caracteriacutesticas

Derivarse de los hallazgos de la evaluacioacuten

PAE 2017 31

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Ser concretas y factibles

Incluir un proyecto de implementacioacuten que considere los siguientes elementos

- Breve anaacutelisis de la viabilidad o factibilidad de la implementacioacuten

- Principales responsables de la implementacioacuten

- Anaacutelisis de los efectos potenciales que puede implicar la implementacioacuten tanto en la

operacioacuten del Pp como en el logro de sus objetivos

- La comparacioacuten entre la situacioacuten actual y el resultado que se espera obtener con la

implementacioacuten de la recomendacioacuten

Estar categorizadas en dos liacuteneas de accioacuten estrateacutegicas

- Consolidacioacuten

- Reingenieriacutea de procesos o subprocesos

Al respecto la instancia evaluadora debe entender por consolidacioacuten aquellas recomendaciones que

estaacuten dirigidas a perfeccionar determinados aspectos de la operacioacuten como seriacutean algunas acciones

procedimientos o estrategias del Pp asiacute como iniciativas para el fortalecimiento de los sistemas

automatizados infraestructura entre otros

Por reingenieriacutea de procesos o subprocesos se entenderaacuten aquellas recomendaciones que apuntan

a una transformacioacuten o modificacioacuten profunda o sustancial de uno o varios de los procesos y

subprocesos del Pp Para ello se deberaacute llenar el Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de

Procesos del Pprdquo y que a su vez deben derivar en acciones de consolidacioacuten para la implementacioacuten

de los procesos transformados

Adicionalmente y de conformidad con el alcance de la Evaluacioacuten de Procesos del Pp se deberaacute

presentar una propuesta para crear o fortalecer el sistema de monitoreo de gestioacuten del Pp con

indicadores a nivel de procesos y subprocesos o macroprocesos

Asimismo a partir de todo el anaacutelisis y valoraciones realizadas se deberaacute emitir un pronunciamiento

acerca de la percepcioacuten de eficiencia que la instancia evaluadora haya tenido sobre la ejecucioacuten de

los procesos y subprocesos o macroprocesos del Pp

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible o si no hipoteacuteticos en un anexo de formato libre Anexo 10 ldquoSistema de

monitoreo e indicadores de gestioacuten del Pprdquo

PAE 2017 32

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Bitaacutecora de trabajo de campo y bases de datos

La instancia evaluadora deberaacute entregar una bitaacutecora de trabajo de campo que destaque de forma

sinteacutetica entre otros puntos las principales actividades y situaciones a las que se enfrentoacute y que

podriacutean afectar los resultados de la Evaluacioacuten de Procesos del Pp

Asimismo deberaacute entregar las bases de datos generadas a partir de la aplicacioacuten de los instrumentos

de recoleccioacuten de informacioacuten y de la recopilacioacuten de informacioacuten en el trabajo de campo Las bases

de datos deberaacuten entregarse en formatos compatibles con Excel debiendo mantener la

confidencialidad de los entrevistados pero sin alterar la informacioacuten proporcionada por estos En las

bases de datos debe estar sistematizada toda la informacioacuten recabada a partir de la aplicacioacuten de

los instrumentos de levantamiento de informacioacuten y deberaacute sustentar el anaacutelisis las valoraciones los

hallazgos y las conclusiones de la evaluacioacuten

PAE 2017 33

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Contenido del informe

Contenido miacutenimo del informe final de la evaluacioacuten

Derivado del contenido generado en las secciones anteriores deberaacuten elaborarse los siguientes

apartados en el informe final de la Evaluacioacuten de Procesos del Pp

i Introduccioacuten

ii Resumen Ejecutivo

iii Marco Legal

iv Datos Generales del Programa Presupuestario (Pp)

v Criterios Teacutecnicos para la Evaluacioacuten del Programa Presupuestario correspondiente

vi Apartados de la evaluacioacuten

Seccioacuten 1 Disentildeo

Diagnoacutestico del programa puacuteblico

Matriz de Indicadores para Resultados (MIR)

Seccioacuten 2 Procesos

Pertinencia de los proceso

Diagnoacutestico general de los procesos y subprocesos del Pp

- Contexto en que opera el Pp

- Diagnoacutestico inicial de los procesos y subprocesos

Descripcioacuten y valoracioacuten de los procesos y subprocesos del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

vii Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

viii Valoracioacuten final del Pp

ix Hallazgos

x Recomendaciones clasificadas por apartado

xi Conclusiones

xii Bibliografiacutea

xiii Anexos

Anexo 1 Descripcioacuten General del Programa

Anexo 2 Metodologiacutea para la cuantificacioacuten de las poblaciones potencial y objetivo

(Formato Libre)

Anexo 3 Evolucioacuten de la Cobertura

Anexo 4 Propuesta de mejora de la Matriz de Indicadores para Resultados

Anexo 5 Ficha de identificacioacuten y equivalencia de procesos del Pp

PAE 2017 34

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 Fichas de indicadores de atributos de los procesos del Pp (Formato libre)

Anexo 7 Diagramas de flujo de la operacioacuten del Pp

Anexo 8 Propuesta de modificacioacuten a los documentos normativos o institucionales

del Pp

Anexo 9 Valoracioacuten global cuantitativardquo

Anexo 10 Sistema de monitoreo e indicadores de gestioacuten del Pp (Formato libre)

Anexo 11 Recomendaciones de la Evaluacioacuten de Procesos del Pp

Anexo 12 Principales Fortalezas Retos y Recomendaciones

Anexo 13 Ficha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacuten

En el Resumen Ejecutivo asimismo se describiraacuten los principales hallazgos y recomendaciones del

evaluador externo

Para el desarrollo de los apartados antes referidos deberaacute atender las indicaciones que se desarrollan

en las siguientes secciones

Hallazgos y resultados Pp por Seccioacuten

Se debe realizar una valoracioacuten general del programa por seccioacuten utilizando las respuestas que

integran cada uno de los apartados En esta valoracioacuten integral se deberaacute sentildealar en queacute medida la

gestioacuten operativa conduce al logro de los objetivos del Pp

Asimismo se deben sentildealar las aacutereas de mejora las buenas praacutecticas y las fortalezas detectadas en

la operacioacuten del Pp y a partir de ello la instancia evaluadora emitiraacute recomendaciones de mejora

sobre aspectos especiacuteficos de cada proceso y subproceso o macroproceso del Pp Adicionalmente

se deberaacuten identificar los problemas o limitantes tanto normativos como operativos (ldquocuellos de

botellardquo) de coordinacioacuten entre unidades administrativas y otros que hubiese en los procesos y

subprocesos o macroprocesos del Pp entendieacutendose como aquellas praacutecticas procedimientos

actividades o traacutemites que obstaculizan la operacioacuten del Pp

En este sentido se deberaacuten identificar las situaciones en las que la normativa genere complicaciones

en la gestioacuten o ineficacia en el cumplimiento de los objetivos del Pp para lo cual se deberaacute presentar

(por cada situacioacuten identificada) una propuesta de modificacioacuten a la normativa aplicable al Pp

considerando las restricciones praacutecticas que existan para su implementacioacuten asiacute como los efectos

PAE 2017 35

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

potenciales de ser implementada Los resultados de este anaacutelisis deberaacuten describirse en el Anexo 7

ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales del Pprdquo

Para la identificacioacuten y descripcioacuten de los ldquocuellos de botellardquo buenas praacutecticas y fortalezas del Pp

se consideraraacute la informacioacuten derivada del anaacutelisis de la operacioacuten del Pp asiacute como los puntos de

vista de los principales actores que intervienen en ella Este anaacutelisis deberaacute contener las causas y las

consecuencias de los ldquocuellos de botellardquo detectados sus caracteriacutesticas y naturaleza (si son

normativas o estrictamente operativas) de igual manera se deberaacute desarrollar un anaacutelisis de las

buenas praacutecticas identificadas

Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

Se debe integrar en una sola tabla las fortalezas oportunidades debilidades y amenazas

especificadas por cada apartado de la evaluacioacuten y reportarlas en el Anexo 11 ldquoPrincipales Fortalezas

Retos y Recomendacionesrdquo en el que se deben incluir las fortalezas yo oportunidades las

debilidades yo amenazas y las recomendaciones por apartado de la evaluacioacuten

PAE 2017 36

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexos

Anexo 1 ldquoDescripcioacuten General del Programardquo

El Anexo tiene formato libre sin embargo debe contener una breve descripcioacuten de las caracteriacutesticas

maacutes relevantes del Pp en un maacuteximo de dos cuartillas Dicha descripcioacuten debe considerar los

siguientes aspectos

1 Identificacioacuten del programa

11 Nombre

12 Clave de programa

13 Dependencia yo Entidad coordinadora ejecutora

14 Antildeo de inicio de operacioacuten

2 Problema o necesidad que el Pp pretende atender atenuar o resolver

3 La contribucioacuten del Pp a las Metas y objetivos estatales a los que se vincula

4 Descripcioacuten de los objetivos del Pp asiacute como de los bienes yo servicios que ofrece

(componentes)

5 Identificacioacuten y cuantificacioacuten de la poblacioacuten o aacuterea de enfoque potencial y

objetivo

6 Presupuesto aprobado para el ejercicio fiscal en curso

7 Metas de los indicadores de Fin Propoacutesito y Componentes asiacute como los de nivel

actividad que se consideren relevantes y

8 Resumen de la valoracioacuten de la pertinencia del disentildeo del Pp respecto a la atencioacuten

del problema o necesidad

Anexo 2 ldquoMetodologiacutea para la cuantificacioacuten de la poblacioacuten o aacuterea de enfoque

potencial y objetivordquo

El Anexo tiene formato libre sin embargo se debe incluir la siguiente informacioacuten

Definicioacuten de la poblacioacuten o aacuterea de enfoque potencial objetivo y atendida

Cuantificacioacuten de la poblacioacuten potencial objetiva y atendida

Hallazgos sobre el procedimiento llevado a cabo para definir y cuantificar la poblacioacuten o

aacuterea de enfoque potencial objetivo y atendida

Recomendaciones

Propuesta orientada hacia la mejora

PAE 2017 37

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 3 ldquoEvolucioacuten de la Coberturardquo

Nombre del

Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten

Antildeo de la Evaluacioacuten

Tipo de Poblacioacuten

Unidad

de

Medida

2012 2013 2014 2015 2016

P Potencial

P Objetivo

P Atendida

119927119912 times 120783120782120782

119927119926

PAE 2017 38

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 4 ldquoPropuesta de mejora de la Matriz de Indicadores para Resultadosrdquo

Derivado del anaacutelisis y valoracioacuten de la pregunta de investigacioacuten nuacutemero 3 iquestLa estructura de

objetivos planteada por el programa mantiene loacutegica y correspondencia causal con el problema

planteado en el diagnoacutestico se realizaraacute una propuesta de mejora de MIR

Fin

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Propoacutesito

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Componente 1

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

PAE 2017 39

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Componente 2 hellip

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 40

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesos del Pprdquo

Para la identificacioacuten y clasificacioacuten de los procesos del Pp se sugieren los siguientes pasos

1 Listar los procesos identificados

Comparar los procesos identificados del Pp con aquellos correspondientes al Modelo general de

procesos Colocar en el rengloacuten correspondiente el nombre de cada proceso del Pp identificado

como equivalente

2 Colocar al final de la lista aquellos procesos del Pp que no sean equivalentes con el Modelo

general de procesos

Modelo general de

procesos

Nuacutemero

de

secuencia

Procesos o subprocesos del Pp identificados por el

evaluador

(Nombre y breve descripcioacuten)

Planeacioacuten Ejemplo (Ej) Planeacioacuten Estrateacutegica

Ej Programacioacuten

Ej Presupuestacioacuten

Comunicacioacuten interna y

externa

Ej Difusioacuten Federal

Ej Difusioacuten Local

Seleccioacuten de

destinatarios

Ej Recepcioacuten de solicitudes de becas

Ej Seleccioacuten de becarios

Produccioacuten de

entregables

Entrega

Control

Seguimiento Ej Seguimiento fiacutesico y supervisioacuten en campo

Evaluacioacuten externa Ej Publicacioacuten y lectura del PAE

Ej Definicioacuten de TdR

Ej Contratacioacuten

Ej Ejecucioacuten de la evaluacioacuten externa

Monitoreo Ej Registro de avances de indicadores

Ej Revisioacuten de registros

Ej Validacioacuten de registros e integracioacuten de informes

PAE 2017 41

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Procesos identificados por el evaluador que no coinciden con el Modelo general de procesos

PAE 2017 42

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 ldquoFichas de indicadores de atributos de los procesos del Pp (formato libre)rdquo

Para la construccioacuten de este anexo deberaacute realizarse una revisioacuten documental (normativa aplicable

MIR evaluaciones externas sistemas de informacioacuten y registros administrativos entre otros) misma

que deberaacute complementarse con el trabajo de campo con el objetivo de identificar disentildear y calcular

indicadores relacionados con dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de

informacioacuten empleadas

Ademaacutes de considerar la medicioacuten de los atributos de eficacia suficiencia oportunidad y pertinencia

de cada proceso y subproceso o macroproceso

PAE 2017 43

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 7 ldquoDiagramas de flujo de la operacioacuten del Pprdquo

Para la elaboracioacuten de los diagramas de flujo deberaacute utilizarse la notacioacuten empleada en el

documento ldquoGuiacutea para la Optimizacioacuten Estandarizacioacuten y Mejora Continua de Procesosrdquo publicada

por la SFP en la direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Para el Diagrama de Alto Nivel (Diagrama PEPSU)

Ejemplo ilustrativo

PAE 2017 44

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para el Diagrama de Flujo

PAE 2017 45

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

PAE 2017 46

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 8 ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales

del Pprdquo

Tipo de

norma-

tiva

Dice

Problema

generado

(causas y

consecuencias)

Se

recomienda

decir

Efecto esperado de

aplicar la

recomendacioacuten de

cambio

Restricciones praacutecticas

que puedan existir para

su implementacioacuten

PAE 2017 47

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 9 ldquoValoracioacuten global cuantitativa ldquo

Seccioacuten 1 Disentildeo

Disentildeo Valoracioacuten Argumento o justificacioacuten

Porcentaje del

Disentildeo del Pp

(Suma de valoracioacuten alcanzada por pregunta de la seccioacuten 1 Total maacuteximo de la

valoracioacuten de todas las preguntas de la seccioacuten 1 ) x 100

Seccioacuten 2 Procesos

Proceso Eficacia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

eficaces

(Total de procesos eficaces Total de procesos del Pp) x 100

Proceso Oportunidad

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

oportunos

(Total de procesos oportunos Total de procesos del Pp) x 100

Proceso Suficiencia

(SiacuteNo) Argumento o justificacioacuten

PAE 2017 48

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Porcentaje de

procesos

suficientes

(Total de procesos suficientes Total de procesos del Pp) x 100

Proceso Pertinencia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

pertinentes

(Total de procesos pertinentes Total de procesos del Pp) x 100

NOTA Los argumentos y justificaciones del evaluador deberaacuten considerar el anaacutelisis y valoraciones de

los subprocesos de cada proceso de modo que haya consistencia entre estos elementos Asimismo el

evaluador deberaacute expresar los resultados de la valoracioacuten cuantitativa en una graacutefica tipo radial

PAE 2017 49

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 10 ldquoSistema de monitoreo e indicadores de gestioacuten del Pp (formato libre)rdquo

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible

Nombre del Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten De Procesos

Antildeo de la Evaluacioacuten 2017

Fin Justificacioacuten Propoacutesito Justificacioacuten Componente (s) Justificacioacuten

Nombre de

Indicador

Meacutetodo de Caacutelculo

Claro SiacuteNo SiacuteNo SiacuteNo

Relevante SiacuteNo SiacuteNo SiacuteNo

Econoacutemico SiacuteNo SiacuteNo SiacuteNo

Monitoreable SiacuteNo SiacuteNo SiacuteNo

Adecuado SiacuteNo SiacuteNo SiacuteNo

Definicioacuten SiacuteNo SiacuteNo SiacuteNo

Unidad de Medida SiacuteNo SiacuteNo SiacuteNo

Frecuencia de

Medicioacuten

SiacuteNo SiacuteNo SiacuteNo

Liacutenea Base SiacuteNo SiacuteNo SiacuteNo

Metas SiacuteNo SiacuteNo SiacuteNo

Comportamiento

del Indicador

SiacuteNo SiacuteNo SiacuteNo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 50

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de Procesos del Pprdquo

En este Anexo la instancia evaluadora debe valorar si la recomendacioacuten implica una consolidacioacuten o

una reingenieriacutea del proceso

A) Consolidacioacuten

Proceso Recomendaci

oacuten

Breve

anaacutelisis de

viabilidad de

la

implementa-

cioacuten

Principales

responsables

de la

implementaci

oacuten

Situacioacuten

actual

Efectos

potenciales

esperados

Medio de

verifica-

cioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

B) Reingenieriacutea de procesos

Proceso Objetivo

Breve

anaacutelisis de

viabilidad

de la

implemen-

tacioacuten

Principales

responsables

de la

implemen-

tacioacuten

Situa-

cioacuten

actual

Metas y

efectos

potenciale

s

esperados

Elabora-

cioacuten de

flujogram

a del

nuevo

proceso

Medio

de

verifi-

cacioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

NOTA El nivel de priorizacioacuten Alto Medio o Bajo se estimaraacute considerando la mejora en la operacioacuten

del Pp la viabilidad de la implementacioacuten de la recomendacioacuten asiacute como el efecto potencial que esto

pueda tener el alcance del objetivo del Pp

PAE 2017 51

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 12 ldquoPrincipales Fortalezas Retos y Recomendacionesrdquo

Capacidades Internas Factores Externos

Fortalezas

(Cualquier capacidad con la que cuenta la dependencia o

entidad que le permita aprovechar sus recursos para la

obtencioacuten de sus objetivos)

Oportunidades

(Cualquier factor externo fuera del control de la dependencia o

entidad que puede ser aprovechado para la obtencioacuten de sus

objetivos)

Debilidades

(Cualquier limitante Interna de la dependencia o entidad que

puede afectar la obtencioacuten de sus objetivos)

Amenazas

(Cualquier factor externo fuera de control de la dependencia o

entidad que pueda afectar la obtencioacuten de sus objetivos)

PAE 2017 52

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacutenrdquo

El Informe Final de la Evaluacioacuten de Procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten

Superior deberaacuten contener una ficha con los siguientes datos

Ficha Teacutecnica con los datos generales de la evaluacioacuten

Nombre o denominacioacuten de la

evaluacioacuten

[Especificar el nombre de la evaluacioacuten considerando su tipo y ejercicio

evaluado]

Nombre o denominacioacuten del

programa evaluado

[Indicar el nombre del Pp sujeto a evaluacioacuten de acuerdo con lo

establecido en el PEF sentildealando su modalidad y clave]

Unidad Responsable de la operacioacuten

del programa

[Especificar la(s) unidad(es) responsable(s) de la administracioacuten

operacioacuten y ejecucioacuten de los programas subprogramas y proyectos del

Pp evaluado correspondientes a las dependencias y entidades]

Titular de la unidad responsable de la

operacioacuten del programa

[Indicar el nombre del(a) Titular de la Unidad Responsable de la

operacioacuten del Pp]

Antildeo del Programa Anual de

Evaluacioacuten (PAE) en que fue

considerada la evaluacioacuten

[Especificar el ejercicio fiscal al que corresponde el PAE en la que fue

programada la evaluacioacuten]

Antildeo de conclusioacuten y entrega de la

evaluacioacuten

[Indicar el antildeo en que se concluyoacute la evaluacioacuten]

Tipo de evaluacioacuten [Especificar el tipo de evaluacioacuten de acuerdo con los Lineamientos de

evaluacioacuten el nombre de la evaluacioacuten y con lo establecido en el PAE]

Nombre de la instancia evaluadora [Indicar el nombre de la firma consultoriacutea u organizacioacuten que realizoacute la

evaluacioacuten]

Nombre del(a) coordinador(a)

externo(a) de la evaluacioacuten

[Especificar el nombre del(a) responsable de la coordinacioacuten de la

evaluacioacuten dla instancia evaluadora]

Nombre de los(as) principales

colaboradores(as) del(a)

coordinador(a) de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del(a)

coordinador(a) de la evaluacioacuten]

PAE 2017 53

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Unidad Administrativa responsable de

la Coordinacioacuten de la evaluacioacuten

[De acuerdo con lo sentildealado en el PAE especificar la instancia a la que

corresponde la coordinacioacuten de la evaluacioacuten pej Secretariacutea de

Finanzas y Administracioacuten (SFA) asiacute como la unidad administrativa

mediante la cual se ejerce esta funcioacuten p ej Direccioacuten de Evaluacioacuten

de la SFA (DEV)

Nombre del(a) Titular de la unidad

administrativa responsable de

coordinar la evaluacioacuten (Aacuterea de

Evaluacioacuten)

[Especificar el nombre del(a) Titular de la Unidad responsable de dar

seguimiento a la evaluacioacuten que funge como Aacuterea de Evaluacioacuten]

Nombres de los(as) servidores(as)

puacuteblicos(as) adscritos(as) a la unidad

administrativa responsable de

coordinar la evaluacioacuten que

coadyuvaron con la revisioacuten teacutecnica

de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del

titular de la unidad administrativa responsable de dar seguimiento a la

evaluacioacuten respecto de la revisioacuten teacutecnica de la misma]

Forma de contratacioacuten de la instancia

evaluadora

[Indicar el tipo de contratacioacuten dla instancia evaluadora Especificar el

tipo de procedimiento de contratacioacuten de la instancia evaluadora

consistente con los tipos de adjudicacioacuten establecidos en la Ley de

Adquisiciones Arrendamientos y Servicios del Sector Puacuteblico]

Costo total de la evaluacioacuten con IVA

incluido

[Especificar el costo total de la evaluacioacuten incluyendo el IVA (en caso

de que se haya causado) como sigue $XXX IVA incluido]

Asimismo en este anexo se deberaacute incluir una nota metodoloacutegica con la descripcioacuten de las teacutecnicas

y los modelos utilizados por el evaluador externo acompantildeada del disentildeo por muestreo

especificando los supuestos empleados y las principales caracteriacutesticas del tamantildeo y dispersioacuten de

la muestra utilizada

DIRECTORIO

Rauacutel Saacutenchez Kobashi

Secretario de la Secretariacutea de Finanzas y Administracioacuten

Francisco Fidel Teomitzi Saacutenchez

Subsecretario de Planeacioacuten

Arturo Neponuceno Crisoacutestomo

Director de Evaluacioacuten

Rodolfo de la Rosa Cabrera

Subdireccioacuten de Evaluacioacuten de Programas

Sauacutel Federico Oropeza Orea

Jefe del Departamento de Programas Estatales y Municipales

Ana Luz Guzmaacuten Figueroa

Analista del Departamento de Programas Estatales y Municipales

Marco Antonio Saacutenchez Gonzaacutelez

Analista del Departamento de Programas Estatales y Municipales

Page 10: Términos de Referencia para la Evaluación del Desempeño ...evaluacion.puebla.gob.mx/pdf/metodologias/TdR_Est/2017/TdR... · Perfil de la instancia evaluadora ... acuerdo con las

PAE 2017 9

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Objetivo General

Evaluar los procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten Superior de la

Administracioacuten Puacuteblica Estatal para el Ejercicio Fiscal 2016 con la finalidad de analizar y valorar su

operacioacuten y gestioacuten para el logro de sus metas y objetivos

Objetivos Especiacuteficos

Determinar en queacute medida los elementos del diagnoacutestico del Pp son suficientes para tener una

comprensioacuten vaacutelida del problema puacuteblico que se pretende atender

Determinar la validez de la loacutegica de intervencioacuten del Pp para atender el problema planteado a

partir de una comparacioacuten con casos nacionales o internacionales similares

Determinar en queacute medida los procesos con los que cuenta el programa puacuteblico son pertinentes

para atender el problema identificado

Analizar y valorar si la ejecucioacuten de los procesos y subprocesos o macroprocesos que integran

la gestioacuten operativa del Pp en sus distintos niveles son eficaces oportunos suficientes y

pertinentes para el logro de sus objetivos

Identificar analizar y valorar las buenas praacutecticas o las fortalezas en la operacioacuten del Pp

Identificar y proponer mejoras al Pp para el logro de sus objetivos y metas

PAE 2017 10

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Perfil de la instancia evaluadora

La instancia evaluadora debe de cubrir cuando menos los siguientes criterios

Persona fiacutesica o moral registrada ante la autoridad hacendaria competente

Acreditar la experiencia en el tema de evaluacioacuten de la gestioacuten yo poliacuteticas puacuteblicas

El Coordinador de la Evaluacioacuten cuente con maestriacutea o doctorado en ciencias sociales

ciencia poliacutetica antropologiacutea economiacutea sociologiacutea poliacuteticas puacuteblicas planeacioacuten yo

aacutereas afines a la temaacutetica de la evaluacioacuten y estar en posesioacuten del tiacutetulo universitario

con validez nacional o por universidades oficialmente reconocidas

Al menos dos antildeos de ejercicio profesional en materia de investigacioacuten

Dos antildeos de experiencia miacutenima en la realizacioacuten de actividades de evaluacioacuten interna

o externa en el sector puacuteblico o privado

Contar con referentes acadeacutemicos que demuestren su experiencia en el tema de

evaluacioacuten de poliacuteticas

Por lo que deberaacute llenar la Tabla 2 y el Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia

evaluadora y el costo de la evaluacioacutenrdquo

Tabla 2 Perfil de equipo evaluador

Cargo Requisitos

Acadeacutemicos Experiencia General

Experiencia

Especifica

Liacuteder del

equipo

evaluador

Estudios de posgrado

en ciencias sociales

econoacutemicas historia

antropologiacutea ciencia

poliacutetica administracioacuten

puacuteblica o afines

Experiencia en

evaluaciones de

programas poliacuteticas

yo investigaciones en

materia de evaluacioacuten

Experiencia en

evaluaciones en las

que se hayan

implementado

metodologiacuteas y anaacutelisis

cualitativos Que

cuente con liacuteneas de

investigacioacuten o

participacioacuten en

proyectos con temas

vinculados a los

programas a ser

evaluados

PAE 2017 11

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Tabla 2 Perfil de equipo evaluador

Cargo Requisitos

Acadeacutemicos Experiencia General

Experiencia

Especifica

Analistas

del equipo

evaluador

Se sugiere que la

instancia evaluadora

sea multidisciplinario

que cuenten con

licenciatura o estudios

de posgrado en

ciencias sociales

econoacutemicas historia

antropologiacutea ciencia

poliacutetica psicologiacutea

administracioacuten puacuteblica

o ingenieriacutea

Experiencia en

evaluaciones de

programas poliacuteticas

yo investigaciones en

materia de evaluacioacuten

Experiencia en trabajo

de campo estudios

etnograacuteficos disentildeo de

encuestas y

cuestionarios en temas

de ingenieriacutea de

procesos y en

evaluacioacuten de

programas puacuteblicos

PAE 2017 12

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Preguntas de investigacioacuten

Seccioacuten 1 Disentildeo

Diagnoacutestico del programa puacuteblico

1 iquestEl programa tiene identificado el problema y la loacutegica causal acerca de su dinaacutemica

Consideraciones

La respuesta deberaacute mostrar si el problema o necesidad para el que va dirigido el programa se

identifica como un hecho negativo el que se puede revertir o atender

Se tendraacute que identificar si se cuenta con aacuterbol de problemas (u otro elemento documentado) que

permita identificar la loacutegica causal del problema al que se busca atender juzgando la medida en que

la loacutegica causal del programa es consistente con los estudios utilizados para fundamentacioacuten de la

intervencioacuten

Se debe incluir la definicioacuten del problema o necesidad y en su caso la propuesta de modificacioacuten o

recomendaciones de mejora Asimismo se indicaraacute si el problema o necesidad considera diferencias

entre hombres y mujeres a fin de conocer las limitaciones yo las oportunidades que presenta el

entorno econoacutemico demograacutefico social cultural poliacutetico juriacutedico e institucional para la promocioacuten

de la igualdad de geacutenero

Se deberaacute que determinar si el problema identificado por el Pp tiene coincidencia con alguacuten

problema que se aborda en el PED yo en el Programa Sectorial De igual forma se deberaacute analizar

si en el aacutembito nacional o internacional se cuenta con experiencias de poliacuteticas puacuteblicas que tuvieron

o tienen como objetivo la atencioacuten del problema que se plantea atender Lo anterior sentildealando sus

logros fallos y resultados ademaacutes se solicita hacer mencioacuten sobre la incorporacioacuten de elementos

exitosos de otras estrategias en el disentildeo del programa presupuestario a evaluar

2 iquestEl programa cuenta con una identificacioacuten (cuantificacioacuten y ubicacioacuten geograacutefica) de la

poblacioacuten o aacuterea de enfoque potencial y objetivo de su intervencioacuten y eacutesta se relaciona con

la definicioacuten del problema puacuteblico que se plantea atender

Consideraciones

La instancia evaluadora deberaacute valorar la medida en que la definicioacuten del problema es traducido a

unidades concretas de personas grupos especiacuteficos o zonas geograacuteficas cuantificables y

monitoreables en referentes estadiacutesticos oficiales del estado yo federacioacuten

PAE 2017 13

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

En la respuesta se deberaacuten incluir las definiciones de la poblacioacuten o aacuterea de enfoque potencial

objetivo y atendida asiacute como su cuantificacioacuten La metodologiacutea y fuentes de informacioacuten para

determinar los tipos de poblacioacuten o aacuterea de enfoque se deben incluir en el Anexo 2 ldquoMetodologiacutea

para la cuantificacioacuten de la poblacioacuten o aacuterea de enfoque potencial y objetivordquo

Asimismo identificar si el Pp cuenta con una estrategia de cobertura institucional en que se defina

la estrategia que utilizaraacute a lo largo del tiempo para cubrir el total de su poblacioacuten o aacuterea de enfoque

potencial en caso de que no se identifique alguna estrategia el evaluador deberaacute emitir una

valoracioacuten sobre la pertinencia del disentildeo actual del Pp para alcanzar las metas de cobertura En caso

de que el disentildeo actual del Pp no permita alcanzar las metas de cobertura deberaacuten recomendarse

modificaciones concretas al disentildeo del Pp con la finalidad de que sea maacutes probable que alcance

dichas metas de cobertura

De igual forma se debe analizar la evolucioacuten de la poblacioacuten o aacuterea de enfoque atendida y su

convergencia con la poblacioacuten o aacuterea de enfoque potencial es decir si el programa ha logrado

atender a toda la poblacioacuten o aacuterea de enfoque objetivo El anaacutelisis se debe justificar y completar el

Anexo 3 ldquoEvolucioacuten de la Coberturardquo

Matriz de Indicadores para Resultados (MIR)

3 iquestLa estructura de objetivos planteada por el programa mantiene loacutegica y correspondencia

causal con el problema planteado en el diagnoacutestico

Consideraciones

Se deberaacute identificar la contribucioacuten del programa a los objetivos estrateacutegicos del Plan Estatal de

Desarrollo y de otros instrumentos de planeacioacuten de mediano y largo plazo

Se deberaacute determinar si la hipoacutetesis de intervencioacuten del programa mantiene una loacutegica causal con

la problemaacutetica que se quiere atender

Se deberaacuten analizar y valorar los elementos que componen al disentildeo del Pp (modalidad unidades

responsables propoacutesito componentes poblacioacuten o aacuterea de enfoque objetivo entre otros) y sobre

los cuales eacuteste se construye (problema puacuteblico o necesidad causas y efectos del problema situacioacuten

de la poblacioacuten o aacuterea de enfoque objetivo entre otros)

Se deberaacute valorar la MIR y verificar su loacutegica horizontal (resumen narrativo indicadores metas y

medios de verificacioacuten) y vertical asiacute como si es congruente con los elementos de diagnoacutestico

Derivado de lo anterior se elaboraraacute una propuesta de la MIR que deberaacute considerar y presentar la

Estructura Analiacutetica del Pp (aacuterbol de problemas objetivos y concentrado) Asimismo se deberaacute incluir

PAE 2017 14

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

la justificacioacuten del disentildeo propuesto o las modificaciones sugeridas y generar el Anexo 4 ldquoPropuesta

de mejora de la Matriz de Indicadores para Resultadosrdquo

Metodologiacutea de la Seccioacuten 1

Anaacutelisis de gabinete

La evaluacioacuten se realizaraacute mediante un anaacutelisis de gabinete con base en informacioacuten proporcionada

por la dependencia o unidad responsable del programa asiacute como informacioacuten adicional que la

institucioacuten evaluadora considere necesaria para justificar su anaacutelisis

En este contexto se entiende por anaacutelisis de gabinete al conjunto de actividades que involucra el

acopio la organizacioacuten y la valoracioacuten de informacioacuten concentrada en registros administrativos

bases de datos evaluaciones internas yo externas y documentacioacuten puacuteblica Sin embargo de

acuerdo con las necesidades de informacioacuten y tomando en cuenta la forma de operar de cada

programa se podraacuten programar y llevar a cabo entrevistas con responsables de los programas yo

personal de la unidad de evaluacioacuten yo planeacioacuten de la dependencia coordinadora

Valoracioacuten de disentildeo del Pp

Para cada pregunta de investigacioacuten de esta seccioacuten se deberaacute definir una valoracioacuten cuantitativa y

cualitativa que resuma la apreciacioacuten del evaluador para cada uno de los aspectos de la seccioacuten 1

con el fin de permitir obtener una valoracioacuten sinteacutetica acerca de la suficiencia de los elementos que

cumple el programa Para esto se deberaacute usar la siguiente escala likert de cinco grados

Tabla 3 Escala de Medicioacuten para la Seccioacuten 1

1 2 3 4 5

Deficiente Insuficiente Moderado Bien Suficiente

En la argumentacioacuten que presente la evaluadora se deberaacuten aportar los elementos que justifiquen

la valoracioacuten cuantitativa que se emita para cada pregunta de investigacioacuten ademaacutes de completar

el Anexo 9 ldquoValoracioacuten global cuantitativardquo de la Seccioacuten 1 de Disentildeo

PAE 2017 15

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Seccioacuten 2 Procesos

Pertinencia de los procesos

4 Diagnoacutestico general de los procesos y subprocesos del Pp

Consideraciones

La instancia evaluadora deberaacute presentar dentro de los 30 diacuteas naturales posteriores a la firma del

contrato un Diagnoacutestico General de los Procesos y Subprocesos o Macroprocesos del Pp (Producto

1) en el que se deacute cuenta de la problemaacutetica o necesidad que atiende o de la funcioacuten de gobierno

que desarrolla asiacute como del contexto y las condiciones en las que opera el Pp En este diagnoacutestico

se deben identificar los procesos y subprocesos o macroprocesos que integran la operacioacuten o

gestioacuten del Pp a partir de la normativa vigente y de las entrevistas a funcionarios de la UR realizadas

se deberaacute presentar una descripcioacuten integral con el mapa de procesos y subprocesos del Pp

A partir de este diagnoacutestico la instancia evaluadora presentaraacute para su validacioacuten a la DEV una

propuesta de los alcances y logiacutestica de la Evaluacioacuten de Procesos del Pp Asimismo el diagnoacutestico

debe estar acompantildeado de la justificacioacuten del enfoque metodoloacutegico general seleccionado para su

desarrollo

Ademaacutes en el Producto 1 se deberaacuten especificar las directrices generales y particulares que guiaraacuten

la realizacioacuten de la evaluacioacuten de procesos acordadas con la DEV y la UR del Pp por lo que la correcta

elaboracioacuten de este producto es fundamental para poder garantizar un resultado satisfactorio

En el Producto 1 ademaacutes de integrar la estrategia y plan de trabajo de campo teacutecnicas de

investigacioacuten a utilizarse disentildeo muestral e instrumentos de levantamiento de informacioacuten se

incluiraacuten dos apartados

Descripcioacuten del contexto en el que opera el Pp La instancia evaluadora deberaacute describir

los siguientes elementos del Pp todas las UR que participan en su operacioacuten o que ejercen

sus recursos los entregables que produce cada UR que participa en la operacioacuten del Pp en

el marco del mismo el problema o necesidad de poliacutetica puacuteblica identificado por el Pp

poblacioacuten o aacuterea de enfoque potencial objetivo y atendida del Pp y su cuantificacioacuten

cantidad de destinatarios por cada uno de los entregables que el Pp tuvo al cierre del uacuteltimo

ejercicio fiscal del que se tenga registro cantidad de destinatarios por cada uno de los

entregables que el Pp espera atender en el ejercicio fiscal evaluado asiacute como el contexto

organizacional y social en que se desarrolla su operacioacuten

PAE 2017 16

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Diagnoacutestico inicial de los procesos y subprocesos o macroprocesos del Pp La instancia

evaluadora deberaacute desarrollar a partir del trabajo de gabinete y de entrevistas

semiestructuradas con funcionarios de la(s) Unidad(es) Responsable(s) del Pp realizadas un

diagnoacutestico inicial de procesos del Pp en el que se identifiquen claramente los procesos y

subprocesos o macroprocesos que integran su operacioacuten o gestioacuten asiacute como las instancias

o actores que participan en ellos se deberaacute presentar una descripcioacuten integral con un mapa

de procesos y subprocesos o macroprocesos del Pp asiacute como llenar el Anexo 5 ldquoFicha de

identificacioacuten y equivalencia de procesosrdquo Las entrevistas semiestructuradas se realizaraacuten con

la finalidad de profundizar y despejar dudas sobre el mapa de los procesos y subprocesos o

macroprocesos que integran la gestioacuten operativa del Pp En esta seccioacuten la instancia

evaluadora deberaacute sentildealar cuaacuteles de los procesos y subprocesos o macroprocesos

identificados estaacuten documentados y cuaacuteles no asiacute como ndashen su casondash la normativa que los

rige por ejemplo un manual de procedimientos o de organizacioacuten lineamientos de

operacioacuten entre otros Cabe sentildealar que los procesos y subprocesos o macroprocesos que

integran la operacioacuten o gestioacuten del Pp son estructuras analiacuteticas que debe de construir la

instancia evaluadora a partir de su experiencia en el desarrollo de evaluaciones de procesos

e implementacioacuten de poliacuteticas puacuteblicas por tanto debe tenerse en cuenta que a pesar de

ser lo deseable los procesos y subprocesos o macroprocesos no necesariamente pueden

estar documentados

5 Descripcioacuten y valoracioacuten de los procesos y subprocesos del Pp

Consideraciones

Despueacutes de realizar el trabajo de campo y sistematizar la informacioacuten levantada la instancia

evaluadora deberaacute realizar la descripcioacuten y valoracioacuten de cada uno de los procesos subprocesos o

macroprocesos identificados en el Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesosrdquo

contrastando en todos los casos la evidencia documental y su ejecucioacuten en la praacutectica

Por lo anterior en esta seccioacuten se deberaacute realizar una descripcioacuten minuciosa del desarrollo y el

anaacutelisis de cada proceso y subproceso o macroproceso de acuerdo con el alcance establecido

utilizando la informacioacuten obtenida mediante el anaacutelisis de gabinete y el trabajo de campo asimismo

se deberaacute realizar una valoracioacuten integral sobre la gestioacuten de cada uno de los procesos a partir de

la gestioacuten en sus subprocesos o macroprocesos a partir de la gestioacuten de los procesos

PAE 2017 17

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

La valoracioacuten de cada proceso subproceso o macroproceso deberaacute contener la siguiente estructura

1 Descripcioacuten detallada de las actividades los elementos y los actores que integran el

desarrollo de cada proceso y subproceso o macroproceso

2 Liacutemites de cada proceso y subproceso o macroproceso asiacute como su articulacioacuten con otros

3 Insumos y recursos determinar si los insumos y los recursos disponibles son suficientes y

adecuados para la ejecucioacuten de cada proceso y subproceso o macroproceso

a Tiempo iquestel tiempo en que se ejecuta el proceso o subproceso es el adecuado acorde

a lo planificado y congruente con la normativa que aplica

b Personal iquestel personal es suficiente tiene el perfil y cuenta con la capacitacioacuten necesaria

para la ejecucioacuten del proceso o subproceso

c Recursos financieros iquestlos recursos financieros son suficientes para la ejecucioacuten del

proceso o subproceso

d Recursos materiales iquestlos recursos materiales son suficientes para la ejecucioacuten del

proceso o subproceso

e Infraestructura iquestse cuenta con la infraestructura o capacidad instalada suficiente para

la ejecucioacuten del proceso o subproceso

f Insumos tecnoloacutegicos

4 Productos iquestlos productos de cada proceso subproceso o macroproceso sirven de insumo

para ejecutar el proceso subproceso o macroproceso subsecuente

5 Sistemas de informacioacuten iquestLos sistemas de informacioacuten utilizados en la ejecucioacuten de cada

proceso subproceso o macroproceso (automatizados semiautomatizados o manuales)

funcionan como una fuente de informacioacuten uacutetil para los sistemas de monitoreo a nivel central

y para los operadores en otros niveles iquestEstos sistemas de informacioacuten automatizan algunos

procesos subprocesos o macroproceso del Pp iquestSirven como mecanismo de control interno

para el mejor de desarrollo de los procesos subprocesos o macroproceso

6 Coordinacioacuten iquestla coordinacioacuten entre los actores oacuterdenes de gobierno o dependencias

involucradas es adecuada para la ejecucioacuten del proceso subproceso o macroproceso

7 Evaluacioacuten de la pertinencia de la forma en que se ejecuta cada proceso subproceso o

macroproceso en el contexto y condiciones en que se desarrolla considerando la estructura

organizacional involucrada y la coordinacioacuten entre las unidades administrativas que

intervienen en el proceso subproceso o macroproceso

8 Identificacioacuten de las caracteriacutesticas relacionadas con la importancia estrateacutegica de cada

proceso subproceso o macroproceso

PAE 2017 18

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

9 Opinioacuten de actores (destinatarios beneficiarios usuarios clientes u operadores del Pp)

sobre la eficacia eficiencia y calidad de cada proceso subproceso o macroproceso

10 Existencia de mecanismos para conocer la satisfaccioacuten de los beneficiarios o destinatarios de

los componentes o entregables que otorga el Pp

Por otra parte en caso de que el Pp genere diversos componentes o entregables y que estos

impliquen la realizacioacuten de actividades diferentes seraacute necesario describir los procesos y

subprocesos o macroprocesos correspondientes a cada tipo de componente o entregable otorgado

En la descripcioacuten de los procesos y subprocesos o macroprocesos la instancia evaluadora de manera

coordinada con la DEV deberaacute realizar los diagramas de alto nivel y los diagramas detallados

(diagramas de flujo) que describan los procesos y subprocesos o macroprocesos del Pp Para ello se

deberaacute usar como referencia la seccioacuten ldquoVII Mapeo de procesosrdquo de la ldquoGuiacutea para la Optimizacioacuten

Estandarizacioacuten y Mejora Continua de Procesosrdquo (paacuteginas 18 a 25) elaborada por la Secretariacutea de la

Funcioacuten Puacuteblica (SFP) disponible en la siguiente direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Estos diagramas se deberaacuten elaborar de acuerdo con lo especificado en el Anexo 7 ldquoDiagramas de

flujo de la operacioacuten del Pprdquo

Metodologiacutea Seccioacuten 2

La Evaluacioacuten de Procesos del Pp se realizaraacute principalmente a partir de teacutecnicas de investigacioacuten

cualitativa como son el anaacutelisis documental la observacioacuten directa estudios de caso y multicaso

especiacuteficos entrevistas semiestructuradas y grupos focales o grupos de enfoque (focus groups)

entre otras teacutecnicas que la instancia evaluadora considere pertinentes para realizar el anaacutelisis de

gabinete y el trabajo de campo tales como la aplicacioacuten de cuestionarios de aplicacioacuten electroacutenica

o a distancia

La metodologiacutea y los instrumentos definidos asiacute como el trabajo de gabinete y de campo deberaacuten

generar evidencia empiacuterica suficiente para valorar a profundidad la forma en que se ejecutan los

procesos y subprocesos o macroprocesos que integran la operacioacuten del Pp asiacute como su contexto

institucional y organizacional

PAE 2017 19

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anaacutelisis de gabinete

Para esta seccioacuten es necesario la elaboracioacuten del diagnoacutestico de los procesos y subprocesos o

macroprocesos que integran la operacioacuten o gestioacuten del Pp la instancia evaluadora deberaacute realizar

un anaacutelisis de gabinete considerando como miacutenimo los siguientes documentos

La normativa aplicable al Pp leyes reglamentos lineamientos manuales de procedimientos

convenios contratos entre otros

Diagnoacutestico y estudios de la problemaacutetica que el Pp atiende

Diagnoacutestico del programa y estudios del marco contextual en el que opera

MIR del Pp correspondiente al ejercicio fiscal evaluado y de ejercicios anteriores que se

consideren pertinentes

Sistemas de informacioacuten automatizados semiautomatizados o manuales que apoyen a la

ejecucioacuten de los procesos y subprocesos o macroprocesos identificados del Pp

Evaluaciones externas o internas realizadas previamente al Pp

Documentos de trabajo institucionales e informes de avances de Aspectos Susceptibles de

Mejora con los que cuente el Pp

Informes de auditoriacuteas de desempentildeo o similares realizadas al Pp por la Auditoriacutea Superior

de la Federacioacuten del Estado de Puebla por la Secretariacutea de la Contraloriacutea o por cualquier

instancia fiscalizadora

Asimismo se sugiere revisar otros documentos asociados al disentildeo del Pp y a su definicioacuten de

poblacioacuten o aacuterea de enfoque potencial y objetivo asiacute como a su estrategia de integracioacuten de

destinatarios o beneficiarios de los componentes o entregables del Pp

El anaacutelisis o trabajo de gabinete deberaacute generar como resultado inicial un mapeo de los procesos y

subprocesos o macroprocesos que integran la gestioacuten operativa del Pp que constituiraacute

esencialmente el Producto 1 de la evaluacioacuten posteriormente se procesaraacute la informacioacuten recabada

en campo para la generacioacuten del informe preliminar y final de la evaluacioacuten

Alcance y enfoque de la evaluacioacuten

La instancia evaluadora deberaacute sentildealar con claridad en el informe de la evaluacioacuten cuaacuteles de los

procesos y subprocesos o macroprocesos identificados en la operacioacuten o gestioacuten del Pp se analizan

y cuaacuteles no de acuerdo con lo establecido por la Direccioacuten de Evaluacioacuten (DEV) de la Secretariacutea de

Finanzas y Administracioacuten (SFA) y la Unidad Responsable (UR) del Programa en cuestioacuten sentildealando

los elementos de anaacutelisis que justifican esta seleccioacuten y en su caso haciendo recomendaciones al

respecto

PAE 2017 20

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Un elemento que podraacute ser considerado para establecer el alcance de la evaluacioacuten es el grado de

consolidacioacuten operativa del Pp el cual podraacute determinarse a priori considerando algunos elementos

como los siguientes

1 Si existen documentos que normen los procesos y subprocesos o macroprocesos

2 Si los procesos y subprocesos o macroprocesos estaacuten estandarizados es decir si son

utilizados por todas la instancias ejecutoras de manera homogeacutenea

3 Si los procesos y subprocesos o macroprocesos estaacuten documentados y son del conocimiento

de todos los operadores

4 Si se cuenta con un sistema de monitoreo e indicadores de gestioacuten

5 Si se cuenta en los procesos y subprocesos o macroprocesos analizados con sistemas

informaacuteticos que permitan la automatizacioacuten en la ejecucioacuten de los mismos

6 Si se cuenta con mecanismos para la implementacioacuten sistemaacutetica de mejoras

Se considera que existe un mayor grado de consolidacioacuten operativa cuando existen todos los

elementos y disminuiraacute gradualmente conforme haga falta uno o maacutes de ellos hasta el menor grado

de consolidacioacuten que es cuando no existe ninguno de los elementos

El alcance de la Evaluacioacuten de Procesos del Pp implica el anaacutelisis de los procesos y subprocesos o

macroprocesos sustantivos del Pp asiacute como la respectiva priorizacioacuten de estos Se deberaacute realizar

la identificacioacuten y jerarquizacioacuten de los procesos a partir del Esquema 1 adaptaacutendolo a las

condiciones particulares del Pp3 en eacutel se observa lo siguiente

El proceso de ldquoPlaneacioacutenrdquo es el punto de partida para la implementacioacuten del Pp

posteriormente continuacutean los procesos de ldquoComunicacioacuten Interna y Externardquo ldquoSeleccioacuten de

destinatariosrdquo ldquoProduccioacuten de entregablesrdquo ldquoEntregardquo ldquoSeguimiento a destinatariosrdquo y

ldquoControlrdquo

La informacioacuten que se genera en los procesos de ldquoSeguimiento a destinatariosrdquo y ldquoControlrdquo

es un insumo directo para retroalimentar los procesos del Pp desde el de Planeacioacuten

El proceso de ldquoMonitoreordquo utiliza informacioacuten generada principalmente en los procesos de

ldquoComunicacioacutenrdquo ldquoSeleccioacuten de destinatariosrdquo ldquoProduccioacuten de entregablesrdquo ldquoEntregardquo y

ldquoSeguimiento a destinatariosrdquo a partir de ello se retroalimentan los procesos del Pp desde

la ldquoPlaneacioacutenrdquo

3 Con excepcioacuten de los procesos (con sus subprocesos) de Planeacioacuten Monitoreo y Evaluacioacuten Externa para

los cuales la instancia evaluadora uacutenicamente podraacute en caso de que lo considere pertinente agregar

subprocesos pero no suprimir subprocesos

PAE 2017 21

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

El proceso de ldquoEvaluacioacuten Externardquo requiere de informacioacuten transversal de todos los

procesos ya que se valora al Pp en su conjunto En este sentido los resultados de las

evaluaciones son un insumo para retroalimentar al Pp desde el proceso de ldquoPlaneacioacutenrdquo

Es importante sentildealar que en el Esquema 1 se muestra un modelo que es importante tomarlo en

cuenta como referencia para la identificacioacuten y definicioacuten de los procesos y subprocesos o

macroprocesos que integran la operacioacuten del Pp evaluado ademaacutes de que representa un auxiliar

en la definicioacuten del alcance y del enfoque de la Evaluacioacuten de Procesos del Pp

Esquema 1 Modelo general de procesos

Fuente Modelo de TdR para la Evaluacioacuten de Procesos Secretariacutea de Hacienda y Creacutedito Puacuteblico

A continuacioacuten se describe cada uno de los procesos que componen al modelo anterior

Planeacioacuten proceso en el que se determinan o definen el problema o necesidad aacuterbol de

problemas y objetivos poblacioacuten o aacuterea de enfoque potencial y objetivo objetivos

indicadores y metas de la MIR estrategia de cobertura plan estrateacutegico entre otros puntos

asiacute como los recursos financieros y humanos necesarios que requiere el Pp para lograr sus

objetivos En el proceso de planeacioacuten se determinan las directrices en el disentildeo e

implementacioacuten del Pp los subprocesos que lo integran son los siguientes planeacioacuten

estrateacutegica programacioacuten y presupuesto actualizacioacuten de la MIR actualizacioacuten de

normativa

PAE 2017 22

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Comunicacioacuten interna y externa proceso en el que se informan diversas caracteriacutesticas y

objetivos del Pp tanto a los actores involucrados en su funcionamiento y operacioacuten (interna)

como a su poblacioacuten o aacuterea de enfoque objetivo (externa)

Seleccioacuten de destinatarios proceso en el que se determina quieacutenes recibiraacuten los

componentes o entregables de un Pp en funcioacuten de su poblacioacuten o aacuterea de enfoque objetivo

Produccioacuten de entregables proceso en el que se elaboran los entregables o realizan los

componentes del Pp (recursos financieros o humanos apoyos bienes servicios

regulaciones documentos teacutecnicos o de planeacioacuten etc) conforme a sus documentos

normativos

Entrega proceso en el que se realiza la entrega de lo producido o generado por el Pp

(componentes o entregables) a los destinatarios o beneficiarios

Seguimiento a destinatarios actividades y mecanismos que permiten al Pp conocer coacutemo

son utilizados o aprovechados sus componentes o entregables (por sus destinatarios o

beneficiarios) para que entre otras funciones la UR del Pp identifique si se estaacute cumpliendo

con los objetivos Por ejemplo en este proceso se incluyen las actividades que un Pp

implementa para conocer el grado de satisfaccioacuten de sus destinatarios o beneficiarios

Control actividades y mecanismos implementados entre los operadores del Pp para verificar

que los diferentes procedimientos procesos y subprocesos se esteacuten ejecutando conforme a

lo planeado (control interno)

Monitoreo proceso coordinado por una unidad administrativa ajena a la operacioacuten del Pp

a traveacutes del cual se recaba registra y valida la informacioacuten sobre el avance de las metas de

los indicadores de la MIR asiacute como el seguimiento a los resultados de indicadores

adicionales a los de la MIR en caso de que se cuente con un sistema de monitoreo de gestioacuten

Los subprocesos que lo integran son los siguientes acopio de la informacioacuten para el reporte

de avances validacioacuten de informacioacuten y registro de avances primordialmente

Evaluacioacuten externa proceso coordinado por una unidad administrativa ajena a la operacioacuten

del Pp mediante el cual se define la agenda de evaluacioacuten externa del Pp se definen las

metodologiacuteas o los teacuterminos de referencia se contratan las evaluaciones externas (de

cualquier tipo) se recaba la informacioacuten que seraacute entregada a los equipos evaluadores se

realiza el seguimiento durante el desarrollo de las evaluaciones externas se aprueban los

PAE 2017 23

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

informes finales de las evaluaciones externas se notifica a las instancias correspondientes

sobre la conclusioacuten de las evaluaciones externas y se definen y realiza el seguimiento de los

Aspectos Susceptibles de Mejora (ASM)

A partir de los procesos definidos en el modelo anterior la instancia evaluadora deberaacute realizar una

equivalencia de los procesos subprocesos o macroprocesos identificados respecto a los definidos

en el modelo de acuerdo con el Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesosrdquo Cabe

mencionar que los procesos definidos en el modelo no son limitativos por lo que si la instancia

evaluadora identifica procesos subprocesos o macroprocesos adicionales deberaacute incluirlos

Disentildeo metodoloacutegico del trabajo de campo

A partir del contexto en que opera el Pp y el alcance y enfoque metodoloacutegico de la evaluacioacuten de

procesos la instancia evaluadora deberaacute desarrollar una propuesta de estrategia y plan de trabajo

de campo a seguir para la realizacioacuten de la evaluacioacuten asimismo deberaacute incluir un cronograma

detallado de actividades

La estrategia de trabajo de campo disentildeada por la instancia evaluadora deberaacute ser entregada a la

DEV para que en conjunto con la UR del Pp sea validada antes de su implementacioacuten Dicha

estrategia deberaacute contener al menos los siguientes elementos

Justificacioacuten de las teacutecnicas de investigacioacuten a utilizar

Muestra y los criterios utilizados para su seleccioacuten

Listado de los actores a entrevistar

Instrumentos de levantamiento de informacioacuten que se aplicaraacuten y

Cronograma con las actividades a desarrollar

La instancia evaluadora iniciaraacute las actividades del trabajo de campo de manera conjunta y una vez

recibido el visto bueno de la DEV

El disentildeo de la muestra y de los instrumentos para el levantamiento de informacioacuten en campo

deberaacute considerar a la totalidad de los actores que intervienen en la ejecucioacuten de los procesos y

subprocesos o macroprocesos que integran la operacioacuten o gestioacuten del Pp asiacute como a los

destinatarios o beneficiarios de los componentes o entregables del Pp independientemente de su

ubicacioacuten geograacutefica

Algunos criterios que puede utilizar la instancia evaluadora para definir una muestra que considere

la variabilidad de la operacioacuten en los diferentes contextos en que opera el Pp son los siguientes

PAE 2017 24

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

a) El desempentildeo operativo del Pp entre municipios regionalizacioacuten geograacutefica instituciones

puacuteblicas o privadas u otros aspectos que suponen una accioacuten diferenciada de los procesos

(cuando aplique)

b) Volumen de la operacioacuten del Pp

c) Esquemas normativos del Pp y el ejercicio presupuestal en los municipios instituciones

puacuteblicas o privadas u otros aspectos que suponen una accioacuten diferenciada de los procesos

en las que opera el Pp (cuando aplique) y

d) Formas de interaccioacuten del Pp con otros niveles u oacuterdenes de gobierno (cuando aplique)

Los criterios anteriores no son limitativos por lo que la instancia evaluadora podraacute proponer criterios

adicionales que considere pertinentes para la definicioacuten de la muestra para el trabajo de campo

En el disentildeo muestral la instancia evaluadora deberaacute sentildealar los funcionarios del Pp o destinatarios

a los que se les aplicaraacuten los instrumentos de levantamiento de informacioacuten con los que se realizaraacute

el trabajo de campo asiacute como la ubicacioacuten geograacutefica de los mismos

Instrumentos de levantamiento de informacioacuten

La instancia evaluadora deberaacute disentildear los instrumentos que utilizaraacute para el levantamiento de

informacioacuten durante el trabajo de campo como son (por ejemplo) los cuestionarios por tipo de

funcionario a entrevistar para el caso de entrevistas semiestructuradas los guiones a utilizar en la

realizacioacuten de grupos focales los cuestionarios de aplicacioacuten electroacutenica las guiacuteas respectivas entre

otros Para lo anterior deberaacute considerar los siguientes temas guiacutea y preguntas de referencia

Planeacioacuten (planeacioacuten estrateacutegica programacioacuten y presupuesto)

iquestQueacute se entiende por planeacioacuten estrateacutegica para los operadores del Pp

iquestCuaacuteles son las actividades o acciones de planeacioacuten estrateacutegica del Pp que se realizan

iquestLa planeacioacuten estrateacutegica es el resultado de un ejercicio institucionalizado que involucra a

los actores clave de la gestioacuten del Pp

iquestExiste un documento resultado de la planeacioacuten estrateacutegica iquestEs claro difundido y

accesible iquestEn queacute medida es utilizado para guiar la operacioacuten del Pp

iquestLa planeacioacuten estrateacutegica estaacute vinculada con el cumplimiento entrega o generacioacuten de los

componentes o entregables del Pp

iquestLa planeacioacuten estrateacutegica establece indicadores para medir los avances en las metas

establecidas iquestLas metas son factibles y estaacuten orientadas a impulsar el desempentildeo del Pp

PAE 2017 25

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

iquestQueacute se entiende por planeacioacuten operativa y cuaacuteles son las diferencias con la planeacioacuten

estrateacutegica

Comunicacioacuten interna y externa del Pp (las preguntas que apliquen)

iquestQueacute actores intervienen en la comunicacioacuten del Pp

iquestExiste una estrategia de comunicacioacuten del Pp documentada En caso afirmativo describirla

iquestLa estrategia de comunicacioacuten del Pp (documentada o no) es adecuada

iquestLos medios utilizados el lenguaje y el contenido de los mensajes son pertinentes en funcioacuten

del puacuteblico al que van dirigidos

Solicitud de los componentes o entregables del Pp (las preguntas que apliquen)

iquestExiste un proceso claro imparcial y expliacutecito por medio del cual la poblacioacuten o aacuterea de

enfoque potencial puede solicitar los componentes o entregables que otorga el Pp

iquestLos requisitos para solicitar los componentes o entregables del Pp se presentan de manera

clara y completa

iquestLos puntos de recepcioacuten de solicitudes son accesibles y suficientes (cuando aplique)

iquestExisten mecanismos estandarizados para recibir y revisar la documentacioacuten entregada asiacute

como registrar y dar traacutemite a las solicitudes (cuando aplique)

iquestSon adecuados estos mecanismos (cuando aplique) En caso de que el Pp que apoye la

realizacioacuten de proyectos iquestse brinda asesoriacutea para la presentacioacuten de los mismos de ser asiacute

iquestes pertinente esta asesoriacutea

iquestEl proceso de solicitud de los componentes o entregables que otorga el Pp se encuentra

automatizado total o parcialmente

Para esta pregunta considerar los estados de digitalizacioacuten utilizados por la Comisioacuten Intersecretarial

para el Desarrollo del Gobierno electroacutenico seguacuten una adaptacioacuten realizada a la clasificacioacuten que

hace la ONU

Estado de digitalizacioacuten 1 traacutemites y servicios que se encuentran en estado informativo

Estado de digitalizacioacuten 2 traacutemites y servicios que cuentan con interfaces de comunicacioacuten

unidireccional

Estado de digitalizacioacuten 3 traacutemites y servicios que permiten realizar transacciones y

Estado de digitalizacioacuten 4 traacutemites y servicios que el usuario puede ejecutar de principio a

fin por medio de dispositivos digitales

PAE 2017 26

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para mayor informacioacuten referirse a ldquoFigure A4 The four stages of online service developmentrdquo en

los siguientes documentos

Lineamientos relativos a la digitalizacioacuten estandarizada de traacutemites y servicios con apego en

la Estrategia Digital Nacional

httpwwwgobmxcmsuploadsattachmentfile67232ti_1_pgcm_bases_lineam_tyspdf

United Nations E-Government Survey 2014 (paacutegina 195)

httpspublicadministrationunorgegovkbportalsegovkbdocumentsun2014-surveye-

gov_complete_survey-2014pdf

Seleccioacuten de destinatarios (cuando aplique)

iquestExiste una metodologiacutea o meacutetodo para la seleccioacuten de destinatarios o beneficiarios de los

componentes o entregables del Pp iquestLa metodologiacutea utilizada cuenta con criterios de

seleccioacuten y elegibilidad claros estandarizados y sistematizados

iquestLa seleccioacuten de destinatarios o beneficiarios de los componentes o entregables del Pp es un

proceso transparente e imparcial iquestEl resultado de la seleccioacuten es puacuteblico (cuando aplique)

iquestExiste informacioacuten en una base de datos que permita conocer quieacutenes o queacute instancias

reciben los componentes o entregables del Pp iquestQueacute informacioacuten integra esta base de datos

iquestExisten mecanismos para validar y actualizar esta base de datos iquestEstos mecanismos son

pertinentes

Produccioacuten de componentes o entregables

iquestSe cuenta con los insumos suficientes para generar el volumen de componentes o

entregables que permitan al Pp atender a su poblacioacuten o aacuterea de enfoque objetivo

iquestEl Pp tiene mecanismos para estimar la produccioacuten o generacioacuten necesaria de componentes

o entregables de acuerdo con la posible demanda o requerimientos de su poblacioacuten o aacuterea

de enfoque objetivo iquestEs adecuado este mecanismo

iquestExisten mecanismos de control de calidad para la generacioacuten de los componentes o

entregables del Pp iquestEstos mecanismos son pertinentes

iquestLas actividades de generacioacuten de componentes o entregables que otorga el Pp estaacuten

estandarizadas es decir son ejecutadas de manera homogeacutenea por todas las instancias

involucradas

PAE 2017 27

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Entrega

iquestLos componentes o entregables del Pp son proporcionados conforme a las especificaciones

y de manera oportuna a los destinatarios

iquestExisten especificaciones (programas o planes de trabajo) sobre la forma en que se deben

trasladar los componentes o entregables para (por ejemplo) asegurar su adecuada recepcioacuten

en el punto de destino iquestSon adecuadas estas especificaciones respecto a normas o

lineamientos existentes (cuando aplique)

iquestLa logiacutestica de distribucioacuten se actualiza (cuando aplique) iquestExiste un periodo para dicha

actualizacioacuten iquestEn el disentildeo y actualizacioacuten de la logiacutestica se toman en cuenta los factores

geograacuteficos y climatoloacutegicos en cada regioacuten donde opera el Pp (cuando aplique)

iquestLos puntos de entrega de los componentes o entregables son cercanos a los beneficiarios

o aacuterea de enfoque a atender y son de faacutecil acceso iquestSe considera que son suficientes iquestPor

queacute

Control (las preguntas que apliquen)

iquestEl Pp cuenta con los mecanismos para verificar que los componentes o entregables se

otorguen de acuerdo con lo establecido en la normativa especiacutefica y lleguen a la poblacioacuten

o aacuterea de enfoque que deba ser beneficiada iquestEstos mecanismos son adecuados

iquestExiste de manera sistematizada un documento que deacute cuenta de los resultados de

supervisioacuten y entrega de componentes o entregables iquestEste documento es adecuado iquestLos

resultados se utilizan para implementar mejoras en la operacioacuten del Pp

iquestExisten procedimientos estandarizados que verifiquen el cumplimiento de la

corresponsabilidad u obligatoriedad por parte de los beneficiarios o destinatarios de los

componentes o entregables del Pp (cuando aplique)

Seguimiento a destinatarios

iquestEl Pp tiene mecanismos para verificar el procedimiento de seguimiento a los destinatarios o

beneficiarios que permitan identificar si los componentes o entregables generados son

utilizados de acuerdo con lo establecido iquestCoacutemo se implementa el mecanismo iquestEste

mecanismo es adecuado

iquestExisten procedimientos estandarizados que permitan verificar el cumplimiento de la

corresponsabilidad u obligatoriedad por parte del destinatario o beneficiario (cuando

aplique)

PAE 2017 28

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

En caso de que los componentes o entregables involucren la ejecucioacuten de obra o de

infraestructura iquestel Pp cuenta con un mecanismo de seguimiento o supervisioacuten que permita

identificar si se realizaron acorde a la normativa aplicable iquestEl seguimiento o supervisioacuten

considera plazos para la revisioacuten de las condiciones de la obra o la infraestructura despueacutes

de terminada la obra

iquestEl Pp tiene mecanismos para identificar si se cumple con su Propoacutesito iquestSon suficientes y

pertinentes estos mecanismos

iquestExisten mecanismos para conocer la satisfaccioacuten del destinatario o beneficiario de los

componentes o entregables del Pp respecto de los componentes que ofrece el Pp iquestSon

adecuados estos mecanismos iquestSu operacioacuten permite una aplicacioacuten imparcial y objetiva

iquestExiste evidencia para afirmar que las quejas y sugerencias que brindan los destinatarios o

beneficiarios de los componentes o entregables del Pp son utilizadas para la mejora continua

del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

En esta seccioacuten se deberaacute realizar la medicioacuten de los atributos de eficacia oportunidad suficiencia

y pertinencia de los procesos y subprocesos o macroprocesos definidos en el mapa de procesos del

Pp A continuacioacuten se definen los atributos en el marco de la evaluacioacuten de procesos

Eficacia un proceso es eficaz en la medida en que cumple con sus metas

Oportunidad un proceso es oportuno en la medida en que otorga sus productos

(componentes o entregables) o resultados en un periodo de tiempo determinado o

adecuado para el logro de sus objetivos

Suficiencia un proceso es suficiente en la medida en que produce sus resultados de forma

completa o adecuada para el logro de sus objetivos

Pertinencia un proceso es pertinente si sus actividades y productos son adecuados para

lograr tanto sus metas especiacuteficas como sus objetivos es decir si contribuyen al

mejoramiento de la gestioacuten del Pp4

4 Las actividades son adecuadas si estaacuten en funcioacuten del logro del objetivo de cada proceso Por ejemplo si se verifica que el formato de los mensajes a difundir cumpla con las caracteriacutesticas necesarias para llegar a la poblacioacuten o aacuterea de enfoque objetivo como seriacutea una mensaje de audio en la lengua indiacutegena de la localidad donde se encuentran los posibles destinatarios o beneficiarios o bien como seriacutea un mensaje dirigido a personal operativo del Pp cuyo nivel de estudios promedio pudiera complicar la comprensioacuten de lenguaje teacutecnico utilizado

PAE 2017 29

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para la medicioacuten de los atributos de los procesos y subprocesos o macroprocesos del Pp deberaacute

realizarse una revisioacuten documental (normativa aplicable MIR evaluaciones externas sistemas de

informacioacuten y registros administrativos entre otros) misma que deberaacute complementarse con el

trabajo de campo con el objetivo de identificar disentildear y calcular indicadores relacionados con

dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de informacioacuten empleadas

La informacioacuten obtenida de estos indicadores deberaacute vaciarse en fichas propuestas por la instancia

evaluadora presentadas como en el Anexo 6 ldquoFichas de indicadores de atributos de los procesos del

Pprdquo (formato libre) Estas fichas deberaacuten considerar la medicioacuten de los atributos de eficacia

suficiencia oportunidad y pertinencia correspondientes a cada proceso y subproceso o

macroproceso

Valoracioacuten de los procesos y subprocesos de la operacioacuten del Pp

Deberaacute contener una siacutentesis de los resultados encontrados en la Evaluacioacuten de Procesos del Pp

resaltando los hallazgos maacutes relevantes que se hayan detectado y que pudiesen transformarse en

ASM

La instancia evaluadora deberaacute calcular una valoracioacuten global cuantitativa sobre la operacioacuten y la

ejecucioacuten de los procesos y subprocesos o macroprocesos del Pp a partir del siguiente esquema de

puntuacioacuten5

Eficacia

- Todos los procesos (o macroprocesos) son eficaces = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es eficaz = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es eficaz = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es eficaz = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es eficaz = 1 punto

- Ninguno de los procesos (o macroprocesos) es eficaz = 0 puntos

Oportunidad

- Todos los procesos (o macroprocesos) son oportunos = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es oportuno = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es oportuno = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es oportuno = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es oportuno = 1 punto

5 La valoracioacuten cuantitativa deberaacute estar sustentada y por tanto ser consistente con lo valorado por la instancia evaluadora en el apartado de ldquoMedicioacuten de atributos de los procesos y subprocesosrdquo

PAE 2017 30

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

- Ninguno de los procesos (o macroprocesos) es oportuno = 0 puntos

Suficiencia

- Todos los procesos (o macroprocesos) son suficientes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es suficiente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es suficiente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es suficiente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es suficiente = 1 punto

- Ninguno de los procesos (o macroprocesos) es suficiente = 0 puntos

Pertinencia

- Todos los procesos (o macroprocesos) son pertinentes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es pertinente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es pertinente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es pertinente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es pertinente = 1 punto

- Ninguno de los procesos (o macroprocesos) es pertinente = 0 puntos

A partir de los puntajes asignados en los cuatro atributos anteriores esta valoracioacuten cuantitativa

global debe considerar el total de puntos posibles de obtener (5 x 4 = 20 puntos) y los puntos

obtenidos en la Evaluacioacuten de Procesos Pp (lsquoyrsquo puntos) de modo que se indique el porcentaje de

puntos obtenidos del total de puntos posibles [(lsquoyrsquo20) x 100] = valoracioacuten cuantitativa global de la

operacioacuten del Pp

La instancia evaluadora deberaacute utilizar el Anexo 9 ldquoValoracioacuten global cuantitativardquo para documentar

argumentar y sustentar cada una de las valoraciones cuantitativas sobre la operacioacuten y la ejecucioacuten

de los procesos (o macroprocesos) del Pp

Adicionalmente en este apartado se deberaacuten integrar las recomendaciones y conclusiones que se

consideren maacutes relevantes de los procesos y subprocesos o macroprocesos del Pp las cuales deben

formularse con base en los hallazgos del trabajo de campo y de gabinete El objetivo final de las

recomendaciones es proveer informacioacuten valiosa a los operadores del Pp para realizar adecuaciones

en la ejecucioacuten de los procesos y subprocesos o macroprocesos de modo que se potencie la

consecucioacuten de resultados del Pp

Las recomendaciones que se formulen como resultado de la Evaluacioacuten de Procesos del Pp deberaacuten

tener las siguientes caracteriacutesticas

Derivarse de los hallazgos de la evaluacioacuten

PAE 2017 31

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Ser concretas y factibles

Incluir un proyecto de implementacioacuten que considere los siguientes elementos

- Breve anaacutelisis de la viabilidad o factibilidad de la implementacioacuten

- Principales responsables de la implementacioacuten

- Anaacutelisis de los efectos potenciales que puede implicar la implementacioacuten tanto en la

operacioacuten del Pp como en el logro de sus objetivos

- La comparacioacuten entre la situacioacuten actual y el resultado que se espera obtener con la

implementacioacuten de la recomendacioacuten

Estar categorizadas en dos liacuteneas de accioacuten estrateacutegicas

- Consolidacioacuten

- Reingenieriacutea de procesos o subprocesos

Al respecto la instancia evaluadora debe entender por consolidacioacuten aquellas recomendaciones que

estaacuten dirigidas a perfeccionar determinados aspectos de la operacioacuten como seriacutean algunas acciones

procedimientos o estrategias del Pp asiacute como iniciativas para el fortalecimiento de los sistemas

automatizados infraestructura entre otros

Por reingenieriacutea de procesos o subprocesos se entenderaacuten aquellas recomendaciones que apuntan

a una transformacioacuten o modificacioacuten profunda o sustancial de uno o varios de los procesos y

subprocesos del Pp Para ello se deberaacute llenar el Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de

Procesos del Pprdquo y que a su vez deben derivar en acciones de consolidacioacuten para la implementacioacuten

de los procesos transformados

Adicionalmente y de conformidad con el alcance de la Evaluacioacuten de Procesos del Pp se deberaacute

presentar una propuesta para crear o fortalecer el sistema de monitoreo de gestioacuten del Pp con

indicadores a nivel de procesos y subprocesos o macroprocesos

Asimismo a partir de todo el anaacutelisis y valoraciones realizadas se deberaacute emitir un pronunciamiento

acerca de la percepcioacuten de eficiencia que la instancia evaluadora haya tenido sobre la ejecucioacuten de

los procesos y subprocesos o macroprocesos del Pp

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible o si no hipoteacuteticos en un anexo de formato libre Anexo 10 ldquoSistema de

monitoreo e indicadores de gestioacuten del Pprdquo

PAE 2017 32

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Bitaacutecora de trabajo de campo y bases de datos

La instancia evaluadora deberaacute entregar una bitaacutecora de trabajo de campo que destaque de forma

sinteacutetica entre otros puntos las principales actividades y situaciones a las que se enfrentoacute y que

podriacutean afectar los resultados de la Evaluacioacuten de Procesos del Pp

Asimismo deberaacute entregar las bases de datos generadas a partir de la aplicacioacuten de los instrumentos

de recoleccioacuten de informacioacuten y de la recopilacioacuten de informacioacuten en el trabajo de campo Las bases

de datos deberaacuten entregarse en formatos compatibles con Excel debiendo mantener la

confidencialidad de los entrevistados pero sin alterar la informacioacuten proporcionada por estos En las

bases de datos debe estar sistematizada toda la informacioacuten recabada a partir de la aplicacioacuten de

los instrumentos de levantamiento de informacioacuten y deberaacute sustentar el anaacutelisis las valoraciones los

hallazgos y las conclusiones de la evaluacioacuten

PAE 2017 33

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Contenido del informe

Contenido miacutenimo del informe final de la evaluacioacuten

Derivado del contenido generado en las secciones anteriores deberaacuten elaborarse los siguientes

apartados en el informe final de la Evaluacioacuten de Procesos del Pp

i Introduccioacuten

ii Resumen Ejecutivo

iii Marco Legal

iv Datos Generales del Programa Presupuestario (Pp)

v Criterios Teacutecnicos para la Evaluacioacuten del Programa Presupuestario correspondiente

vi Apartados de la evaluacioacuten

Seccioacuten 1 Disentildeo

Diagnoacutestico del programa puacuteblico

Matriz de Indicadores para Resultados (MIR)

Seccioacuten 2 Procesos

Pertinencia de los proceso

Diagnoacutestico general de los procesos y subprocesos del Pp

- Contexto en que opera el Pp

- Diagnoacutestico inicial de los procesos y subprocesos

Descripcioacuten y valoracioacuten de los procesos y subprocesos del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

vii Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

viii Valoracioacuten final del Pp

ix Hallazgos

x Recomendaciones clasificadas por apartado

xi Conclusiones

xii Bibliografiacutea

xiii Anexos

Anexo 1 Descripcioacuten General del Programa

Anexo 2 Metodologiacutea para la cuantificacioacuten de las poblaciones potencial y objetivo

(Formato Libre)

Anexo 3 Evolucioacuten de la Cobertura

Anexo 4 Propuesta de mejora de la Matriz de Indicadores para Resultados

Anexo 5 Ficha de identificacioacuten y equivalencia de procesos del Pp

PAE 2017 34

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 Fichas de indicadores de atributos de los procesos del Pp (Formato libre)

Anexo 7 Diagramas de flujo de la operacioacuten del Pp

Anexo 8 Propuesta de modificacioacuten a los documentos normativos o institucionales

del Pp

Anexo 9 Valoracioacuten global cuantitativardquo

Anexo 10 Sistema de monitoreo e indicadores de gestioacuten del Pp (Formato libre)

Anexo 11 Recomendaciones de la Evaluacioacuten de Procesos del Pp

Anexo 12 Principales Fortalezas Retos y Recomendaciones

Anexo 13 Ficha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacuten

En el Resumen Ejecutivo asimismo se describiraacuten los principales hallazgos y recomendaciones del

evaluador externo

Para el desarrollo de los apartados antes referidos deberaacute atender las indicaciones que se desarrollan

en las siguientes secciones

Hallazgos y resultados Pp por Seccioacuten

Se debe realizar una valoracioacuten general del programa por seccioacuten utilizando las respuestas que

integran cada uno de los apartados En esta valoracioacuten integral se deberaacute sentildealar en queacute medida la

gestioacuten operativa conduce al logro de los objetivos del Pp

Asimismo se deben sentildealar las aacutereas de mejora las buenas praacutecticas y las fortalezas detectadas en

la operacioacuten del Pp y a partir de ello la instancia evaluadora emitiraacute recomendaciones de mejora

sobre aspectos especiacuteficos de cada proceso y subproceso o macroproceso del Pp Adicionalmente

se deberaacuten identificar los problemas o limitantes tanto normativos como operativos (ldquocuellos de

botellardquo) de coordinacioacuten entre unidades administrativas y otros que hubiese en los procesos y

subprocesos o macroprocesos del Pp entendieacutendose como aquellas praacutecticas procedimientos

actividades o traacutemites que obstaculizan la operacioacuten del Pp

En este sentido se deberaacuten identificar las situaciones en las que la normativa genere complicaciones

en la gestioacuten o ineficacia en el cumplimiento de los objetivos del Pp para lo cual se deberaacute presentar

(por cada situacioacuten identificada) una propuesta de modificacioacuten a la normativa aplicable al Pp

considerando las restricciones praacutecticas que existan para su implementacioacuten asiacute como los efectos

PAE 2017 35

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

potenciales de ser implementada Los resultados de este anaacutelisis deberaacuten describirse en el Anexo 7

ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales del Pprdquo

Para la identificacioacuten y descripcioacuten de los ldquocuellos de botellardquo buenas praacutecticas y fortalezas del Pp

se consideraraacute la informacioacuten derivada del anaacutelisis de la operacioacuten del Pp asiacute como los puntos de

vista de los principales actores que intervienen en ella Este anaacutelisis deberaacute contener las causas y las

consecuencias de los ldquocuellos de botellardquo detectados sus caracteriacutesticas y naturaleza (si son

normativas o estrictamente operativas) de igual manera se deberaacute desarrollar un anaacutelisis de las

buenas praacutecticas identificadas

Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

Se debe integrar en una sola tabla las fortalezas oportunidades debilidades y amenazas

especificadas por cada apartado de la evaluacioacuten y reportarlas en el Anexo 11 ldquoPrincipales Fortalezas

Retos y Recomendacionesrdquo en el que se deben incluir las fortalezas yo oportunidades las

debilidades yo amenazas y las recomendaciones por apartado de la evaluacioacuten

PAE 2017 36

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexos

Anexo 1 ldquoDescripcioacuten General del Programardquo

El Anexo tiene formato libre sin embargo debe contener una breve descripcioacuten de las caracteriacutesticas

maacutes relevantes del Pp en un maacuteximo de dos cuartillas Dicha descripcioacuten debe considerar los

siguientes aspectos

1 Identificacioacuten del programa

11 Nombre

12 Clave de programa

13 Dependencia yo Entidad coordinadora ejecutora

14 Antildeo de inicio de operacioacuten

2 Problema o necesidad que el Pp pretende atender atenuar o resolver

3 La contribucioacuten del Pp a las Metas y objetivos estatales a los que se vincula

4 Descripcioacuten de los objetivos del Pp asiacute como de los bienes yo servicios que ofrece

(componentes)

5 Identificacioacuten y cuantificacioacuten de la poblacioacuten o aacuterea de enfoque potencial y

objetivo

6 Presupuesto aprobado para el ejercicio fiscal en curso

7 Metas de los indicadores de Fin Propoacutesito y Componentes asiacute como los de nivel

actividad que se consideren relevantes y

8 Resumen de la valoracioacuten de la pertinencia del disentildeo del Pp respecto a la atencioacuten

del problema o necesidad

Anexo 2 ldquoMetodologiacutea para la cuantificacioacuten de la poblacioacuten o aacuterea de enfoque

potencial y objetivordquo

El Anexo tiene formato libre sin embargo se debe incluir la siguiente informacioacuten

Definicioacuten de la poblacioacuten o aacuterea de enfoque potencial objetivo y atendida

Cuantificacioacuten de la poblacioacuten potencial objetiva y atendida

Hallazgos sobre el procedimiento llevado a cabo para definir y cuantificar la poblacioacuten o

aacuterea de enfoque potencial objetivo y atendida

Recomendaciones

Propuesta orientada hacia la mejora

PAE 2017 37

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 3 ldquoEvolucioacuten de la Coberturardquo

Nombre del

Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten

Antildeo de la Evaluacioacuten

Tipo de Poblacioacuten

Unidad

de

Medida

2012 2013 2014 2015 2016

P Potencial

P Objetivo

P Atendida

119927119912 times 120783120782120782

119927119926

PAE 2017 38

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 4 ldquoPropuesta de mejora de la Matriz de Indicadores para Resultadosrdquo

Derivado del anaacutelisis y valoracioacuten de la pregunta de investigacioacuten nuacutemero 3 iquestLa estructura de

objetivos planteada por el programa mantiene loacutegica y correspondencia causal con el problema

planteado en el diagnoacutestico se realizaraacute una propuesta de mejora de MIR

Fin

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Propoacutesito

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Componente 1

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

PAE 2017 39

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Componente 2 hellip

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 40

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesos del Pprdquo

Para la identificacioacuten y clasificacioacuten de los procesos del Pp se sugieren los siguientes pasos

1 Listar los procesos identificados

Comparar los procesos identificados del Pp con aquellos correspondientes al Modelo general de

procesos Colocar en el rengloacuten correspondiente el nombre de cada proceso del Pp identificado

como equivalente

2 Colocar al final de la lista aquellos procesos del Pp que no sean equivalentes con el Modelo

general de procesos

Modelo general de

procesos

Nuacutemero

de

secuencia

Procesos o subprocesos del Pp identificados por el

evaluador

(Nombre y breve descripcioacuten)

Planeacioacuten Ejemplo (Ej) Planeacioacuten Estrateacutegica

Ej Programacioacuten

Ej Presupuestacioacuten

Comunicacioacuten interna y

externa

Ej Difusioacuten Federal

Ej Difusioacuten Local

Seleccioacuten de

destinatarios

Ej Recepcioacuten de solicitudes de becas

Ej Seleccioacuten de becarios

Produccioacuten de

entregables

Entrega

Control

Seguimiento Ej Seguimiento fiacutesico y supervisioacuten en campo

Evaluacioacuten externa Ej Publicacioacuten y lectura del PAE

Ej Definicioacuten de TdR

Ej Contratacioacuten

Ej Ejecucioacuten de la evaluacioacuten externa

Monitoreo Ej Registro de avances de indicadores

Ej Revisioacuten de registros

Ej Validacioacuten de registros e integracioacuten de informes

PAE 2017 41

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Procesos identificados por el evaluador que no coinciden con el Modelo general de procesos

PAE 2017 42

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 ldquoFichas de indicadores de atributos de los procesos del Pp (formato libre)rdquo

Para la construccioacuten de este anexo deberaacute realizarse una revisioacuten documental (normativa aplicable

MIR evaluaciones externas sistemas de informacioacuten y registros administrativos entre otros) misma

que deberaacute complementarse con el trabajo de campo con el objetivo de identificar disentildear y calcular

indicadores relacionados con dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de

informacioacuten empleadas

Ademaacutes de considerar la medicioacuten de los atributos de eficacia suficiencia oportunidad y pertinencia

de cada proceso y subproceso o macroproceso

PAE 2017 43

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 7 ldquoDiagramas de flujo de la operacioacuten del Pprdquo

Para la elaboracioacuten de los diagramas de flujo deberaacute utilizarse la notacioacuten empleada en el

documento ldquoGuiacutea para la Optimizacioacuten Estandarizacioacuten y Mejora Continua de Procesosrdquo publicada

por la SFP en la direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Para el Diagrama de Alto Nivel (Diagrama PEPSU)

Ejemplo ilustrativo

PAE 2017 44

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para el Diagrama de Flujo

PAE 2017 45

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

PAE 2017 46

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 8 ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales

del Pprdquo

Tipo de

norma-

tiva

Dice

Problema

generado

(causas y

consecuencias)

Se

recomienda

decir

Efecto esperado de

aplicar la

recomendacioacuten de

cambio

Restricciones praacutecticas

que puedan existir para

su implementacioacuten

PAE 2017 47

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 9 ldquoValoracioacuten global cuantitativa ldquo

Seccioacuten 1 Disentildeo

Disentildeo Valoracioacuten Argumento o justificacioacuten

Porcentaje del

Disentildeo del Pp

(Suma de valoracioacuten alcanzada por pregunta de la seccioacuten 1 Total maacuteximo de la

valoracioacuten de todas las preguntas de la seccioacuten 1 ) x 100

Seccioacuten 2 Procesos

Proceso Eficacia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

eficaces

(Total de procesos eficaces Total de procesos del Pp) x 100

Proceso Oportunidad

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

oportunos

(Total de procesos oportunos Total de procesos del Pp) x 100

Proceso Suficiencia

(SiacuteNo) Argumento o justificacioacuten

PAE 2017 48

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Porcentaje de

procesos

suficientes

(Total de procesos suficientes Total de procesos del Pp) x 100

Proceso Pertinencia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

pertinentes

(Total de procesos pertinentes Total de procesos del Pp) x 100

NOTA Los argumentos y justificaciones del evaluador deberaacuten considerar el anaacutelisis y valoraciones de

los subprocesos de cada proceso de modo que haya consistencia entre estos elementos Asimismo el

evaluador deberaacute expresar los resultados de la valoracioacuten cuantitativa en una graacutefica tipo radial

PAE 2017 49

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 10 ldquoSistema de monitoreo e indicadores de gestioacuten del Pp (formato libre)rdquo

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible

Nombre del Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten De Procesos

Antildeo de la Evaluacioacuten 2017

Fin Justificacioacuten Propoacutesito Justificacioacuten Componente (s) Justificacioacuten

Nombre de

Indicador

Meacutetodo de Caacutelculo

Claro SiacuteNo SiacuteNo SiacuteNo

Relevante SiacuteNo SiacuteNo SiacuteNo

Econoacutemico SiacuteNo SiacuteNo SiacuteNo

Monitoreable SiacuteNo SiacuteNo SiacuteNo

Adecuado SiacuteNo SiacuteNo SiacuteNo

Definicioacuten SiacuteNo SiacuteNo SiacuteNo

Unidad de Medida SiacuteNo SiacuteNo SiacuteNo

Frecuencia de

Medicioacuten

SiacuteNo SiacuteNo SiacuteNo

Liacutenea Base SiacuteNo SiacuteNo SiacuteNo

Metas SiacuteNo SiacuteNo SiacuteNo

Comportamiento

del Indicador

SiacuteNo SiacuteNo SiacuteNo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 50

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de Procesos del Pprdquo

En este Anexo la instancia evaluadora debe valorar si la recomendacioacuten implica una consolidacioacuten o

una reingenieriacutea del proceso

A) Consolidacioacuten

Proceso Recomendaci

oacuten

Breve

anaacutelisis de

viabilidad de

la

implementa-

cioacuten

Principales

responsables

de la

implementaci

oacuten

Situacioacuten

actual

Efectos

potenciales

esperados

Medio de

verifica-

cioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

B) Reingenieriacutea de procesos

Proceso Objetivo

Breve

anaacutelisis de

viabilidad

de la

implemen-

tacioacuten

Principales

responsables

de la

implemen-

tacioacuten

Situa-

cioacuten

actual

Metas y

efectos

potenciale

s

esperados

Elabora-

cioacuten de

flujogram

a del

nuevo

proceso

Medio

de

verifi-

cacioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

NOTA El nivel de priorizacioacuten Alto Medio o Bajo se estimaraacute considerando la mejora en la operacioacuten

del Pp la viabilidad de la implementacioacuten de la recomendacioacuten asiacute como el efecto potencial que esto

pueda tener el alcance del objetivo del Pp

PAE 2017 51

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 12 ldquoPrincipales Fortalezas Retos y Recomendacionesrdquo

Capacidades Internas Factores Externos

Fortalezas

(Cualquier capacidad con la que cuenta la dependencia o

entidad que le permita aprovechar sus recursos para la

obtencioacuten de sus objetivos)

Oportunidades

(Cualquier factor externo fuera del control de la dependencia o

entidad que puede ser aprovechado para la obtencioacuten de sus

objetivos)

Debilidades

(Cualquier limitante Interna de la dependencia o entidad que

puede afectar la obtencioacuten de sus objetivos)

Amenazas

(Cualquier factor externo fuera de control de la dependencia o

entidad que pueda afectar la obtencioacuten de sus objetivos)

PAE 2017 52

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacutenrdquo

El Informe Final de la Evaluacioacuten de Procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten

Superior deberaacuten contener una ficha con los siguientes datos

Ficha Teacutecnica con los datos generales de la evaluacioacuten

Nombre o denominacioacuten de la

evaluacioacuten

[Especificar el nombre de la evaluacioacuten considerando su tipo y ejercicio

evaluado]

Nombre o denominacioacuten del

programa evaluado

[Indicar el nombre del Pp sujeto a evaluacioacuten de acuerdo con lo

establecido en el PEF sentildealando su modalidad y clave]

Unidad Responsable de la operacioacuten

del programa

[Especificar la(s) unidad(es) responsable(s) de la administracioacuten

operacioacuten y ejecucioacuten de los programas subprogramas y proyectos del

Pp evaluado correspondientes a las dependencias y entidades]

Titular de la unidad responsable de la

operacioacuten del programa

[Indicar el nombre del(a) Titular de la Unidad Responsable de la

operacioacuten del Pp]

Antildeo del Programa Anual de

Evaluacioacuten (PAE) en que fue

considerada la evaluacioacuten

[Especificar el ejercicio fiscal al que corresponde el PAE en la que fue

programada la evaluacioacuten]

Antildeo de conclusioacuten y entrega de la

evaluacioacuten

[Indicar el antildeo en que se concluyoacute la evaluacioacuten]

Tipo de evaluacioacuten [Especificar el tipo de evaluacioacuten de acuerdo con los Lineamientos de

evaluacioacuten el nombre de la evaluacioacuten y con lo establecido en el PAE]

Nombre de la instancia evaluadora [Indicar el nombre de la firma consultoriacutea u organizacioacuten que realizoacute la

evaluacioacuten]

Nombre del(a) coordinador(a)

externo(a) de la evaluacioacuten

[Especificar el nombre del(a) responsable de la coordinacioacuten de la

evaluacioacuten dla instancia evaluadora]

Nombre de los(as) principales

colaboradores(as) del(a)

coordinador(a) de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del(a)

coordinador(a) de la evaluacioacuten]

PAE 2017 53

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Unidad Administrativa responsable de

la Coordinacioacuten de la evaluacioacuten

[De acuerdo con lo sentildealado en el PAE especificar la instancia a la que

corresponde la coordinacioacuten de la evaluacioacuten pej Secretariacutea de

Finanzas y Administracioacuten (SFA) asiacute como la unidad administrativa

mediante la cual se ejerce esta funcioacuten p ej Direccioacuten de Evaluacioacuten

de la SFA (DEV)

Nombre del(a) Titular de la unidad

administrativa responsable de

coordinar la evaluacioacuten (Aacuterea de

Evaluacioacuten)

[Especificar el nombre del(a) Titular de la Unidad responsable de dar

seguimiento a la evaluacioacuten que funge como Aacuterea de Evaluacioacuten]

Nombres de los(as) servidores(as)

puacuteblicos(as) adscritos(as) a la unidad

administrativa responsable de

coordinar la evaluacioacuten que

coadyuvaron con la revisioacuten teacutecnica

de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del

titular de la unidad administrativa responsable de dar seguimiento a la

evaluacioacuten respecto de la revisioacuten teacutecnica de la misma]

Forma de contratacioacuten de la instancia

evaluadora

[Indicar el tipo de contratacioacuten dla instancia evaluadora Especificar el

tipo de procedimiento de contratacioacuten de la instancia evaluadora

consistente con los tipos de adjudicacioacuten establecidos en la Ley de

Adquisiciones Arrendamientos y Servicios del Sector Puacuteblico]

Costo total de la evaluacioacuten con IVA

incluido

[Especificar el costo total de la evaluacioacuten incluyendo el IVA (en caso

de que se haya causado) como sigue $XXX IVA incluido]

Asimismo en este anexo se deberaacute incluir una nota metodoloacutegica con la descripcioacuten de las teacutecnicas

y los modelos utilizados por el evaluador externo acompantildeada del disentildeo por muestreo

especificando los supuestos empleados y las principales caracteriacutesticas del tamantildeo y dispersioacuten de

la muestra utilizada

DIRECTORIO

Rauacutel Saacutenchez Kobashi

Secretario de la Secretariacutea de Finanzas y Administracioacuten

Francisco Fidel Teomitzi Saacutenchez

Subsecretario de Planeacioacuten

Arturo Neponuceno Crisoacutestomo

Director de Evaluacioacuten

Rodolfo de la Rosa Cabrera

Subdireccioacuten de Evaluacioacuten de Programas

Sauacutel Federico Oropeza Orea

Jefe del Departamento de Programas Estatales y Municipales

Ana Luz Guzmaacuten Figueroa

Analista del Departamento de Programas Estatales y Municipales

Marco Antonio Saacutenchez Gonzaacutelez

Analista del Departamento de Programas Estatales y Municipales

Page 11: Términos de Referencia para la Evaluación del Desempeño ...evaluacion.puebla.gob.mx/pdf/metodologias/TdR_Est/2017/TdR... · Perfil de la instancia evaluadora ... acuerdo con las

PAE 2017 10

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Perfil de la instancia evaluadora

La instancia evaluadora debe de cubrir cuando menos los siguientes criterios

Persona fiacutesica o moral registrada ante la autoridad hacendaria competente

Acreditar la experiencia en el tema de evaluacioacuten de la gestioacuten yo poliacuteticas puacuteblicas

El Coordinador de la Evaluacioacuten cuente con maestriacutea o doctorado en ciencias sociales

ciencia poliacutetica antropologiacutea economiacutea sociologiacutea poliacuteticas puacuteblicas planeacioacuten yo

aacutereas afines a la temaacutetica de la evaluacioacuten y estar en posesioacuten del tiacutetulo universitario

con validez nacional o por universidades oficialmente reconocidas

Al menos dos antildeos de ejercicio profesional en materia de investigacioacuten

Dos antildeos de experiencia miacutenima en la realizacioacuten de actividades de evaluacioacuten interna

o externa en el sector puacuteblico o privado

Contar con referentes acadeacutemicos que demuestren su experiencia en el tema de

evaluacioacuten de poliacuteticas

Por lo que deberaacute llenar la Tabla 2 y el Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia

evaluadora y el costo de la evaluacioacutenrdquo

Tabla 2 Perfil de equipo evaluador

Cargo Requisitos

Acadeacutemicos Experiencia General

Experiencia

Especifica

Liacuteder del

equipo

evaluador

Estudios de posgrado

en ciencias sociales

econoacutemicas historia

antropologiacutea ciencia

poliacutetica administracioacuten

puacuteblica o afines

Experiencia en

evaluaciones de

programas poliacuteticas

yo investigaciones en

materia de evaluacioacuten

Experiencia en

evaluaciones en las

que se hayan

implementado

metodologiacuteas y anaacutelisis

cualitativos Que

cuente con liacuteneas de

investigacioacuten o

participacioacuten en

proyectos con temas

vinculados a los

programas a ser

evaluados

PAE 2017 11

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Tabla 2 Perfil de equipo evaluador

Cargo Requisitos

Acadeacutemicos Experiencia General

Experiencia

Especifica

Analistas

del equipo

evaluador

Se sugiere que la

instancia evaluadora

sea multidisciplinario

que cuenten con

licenciatura o estudios

de posgrado en

ciencias sociales

econoacutemicas historia

antropologiacutea ciencia

poliacutetica psicologiacutea

administracioacuten puacuteblica

o ingenieriacutea

Experiencia en

evaluaciones de

programas poliacuteticas

yo investigaciones en

materia de evaluacioacuten

Experiencia en trabajo

de campo estudios

etnograacuteficos disentildeo de

encuestas y

cuestionarios en temas

de ingenieriacutea de

procesos y en

evaluacioacuten de

programas puacuteblicos

PAE 2017 12

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Preguntas de investigacioacuten

Seccioacuten 1 Disentildeo

Diagnoacutestico del programa puacuteblico

1 iquestEl programa tiene identificado el problema y la loacutegica causal acerca de su dinaacutemica

Consideraciones

La respuesta deberaacute mostrar si el problema o necesidad para el que va dirigido el programa se

identifica como un hecho negativo el que se puede revertir o atender

Se tendraacute que identificar si se cuenta con aacuterbol de problemas (u otro elemento documentado) que

permita identificar la loacutegica causal del problema al que se busca atender juzgando la medida en que

la loacutegica causal del programa es consistente con los estudios utilizados para fundamentacioacuten de la

intervencioacuten

Se debe incluir la definicioacuten del problema o necesidad y en su caso la propuesta de modificacioacuten o

recomendaciones de mejora Asimismo se indicaraacute si el problema o necesidad considera diferencias

entre hombres y mujeres a fin de conocer las limitaciones yo las oportunidades que presenta el

entorno econoacutemico demograacutefico social cultural poliacutetico juriacutedico e institucional para la promocioacuten

de la igualdad de geacutenero

Se deberaacute que determinar si el problema identificado por el Pp tiene coincidencia con alguacuten

problema que se aborda en el PED yo en el Programa Sectorial De igual forma se deberaacute analizar

si en el aacutembito nacional o internacional se cuenta con experiencias de poliacuteticas puacuteblicas que tuvieron

o tienen como objetivo la atencioacuten del problema que se plantea atender Lo anterior sentildealando sus

logros fallos y resultados ademaacutes se solicita hacer mencioacuten sobre la incorporacioacuten de elementos

exitosos de otras estrategias en el disentildeo del programa presupuestario a evaluar

2 iquestEl programa cuenta con una identificacioacuten (cuantificacioacuten y ubicacioacuten geograacutefica) de la

poblacioacuten o aacuterea de enfoque potencial y objetivo de su intervencioacuten y eacutesta se relaciona con

la definicioacuten del problema puacuteblico que se plantea atender

Consideraciones

La instancia evaluadora deberaacute valorar la medida en que la definicioacuten del problema es traducido a

unidades concretas de personas grupos especiacuteficos o zonas geograacuteficas cuantificables y

monitoreables en referentes estadiacutesticos oficiales del estado yo federacioacuten

PAE 2017 13

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

En la respuesta se deberaacuten incluir las definiciones de la poblacioacuten o aacuterea de enfoque potencial

objetivo y atendida asiacute como su cuantificacioacuten La metodologiacutea y fuentes de informacioacuten para

determinar los tipos de poblacioacuten o aacuterea de enfoque se deben incluir en el Anexo 2 ldquoMetodologiacutea

para la cuantificacioacuten de la poblacioacuten o aacuterea de enfoque potencial y objetivordquo

Asimismo identificar si el Pp cuenta con una estrategia de cobertura institucional en que se defina

la estrategia que utilizaraacute a lo largo del tiempo para cubrir el total de su poblacioacuten o aacuterea de enfoque

potencial en caso de que no se identifique alguna estrategia el evaluador deberaacute emitir una

valoracioacuten sobre la pertinencia del disentildeo actual del Pp para alcanzar las metas de cobertura En caso

de que el disentildeo actual del Pp no permita alcanzar las metas de cobertura deberaacuten recomendarse

modificaciones concretas al disentildeo del Pp con la finalidad de que sea maacutes probable que alcance

dichas metas de cobertura

De igual forma se debe analizar la evolucioacuten de la poblacioacuten o aacuterea de enfoque atendida y su

convergencia con la poblacioacuten o aacuterea de enfoque potencial es decir si el programa ha logrado

atender a toda la poblacioacuten o aacuterea de enfoque objetivo El anaacutelisis se debe justificar y completar el

Anexo 3 ldquoEvolucioacuten de la Coberturardquo

Matriz de Indicadores para Resultados (MIR)

3 iquestLa estructura de objetivos planteada por el programa mantiene loacutegica y correspondencia

causal con el problema planteado en el diagnoacutestico

Consideraciones

Se deberaacute identificar la contribucioacuten del programa a los objetivos estrateacutegicos del Plan Estatal de

Desarrollo y de otros instrumentos de planeacioacuten de mediano y largo plazo

Se deberaacute determinar si la hipoacutetesis de intervencioacuten del programa mantiene una loacutegica causal con

la problemaacutetica que se quiere atender

Se deberaacuten analizar y valorar los elementos que componen al disentildeo del Pp (modalidad unidades

responsables propoacutesito componentes poblacioacuten o aacuterea de enfoque objetivo entre otros) y sobre

los cuales eacuteste se construye (problema puacuteblico o necesidad causas y efectos del problema situacioacuten

de la poblacioacuten o aacuterea de enfoque objetivo entre otros)

Se deberaacute valorar la MIR y verificar su loacutegica horizontal (resumen narrativo indicadores metas y

medios de verificacioacuten) y vertical asiacute como si es congruente con los elementos de diagnoacutestico

Derivado de lo anterior se elaboraraacute una propuesta de la MIR que deberaacute considerar y presentar la

Estructura Analiacutetica del Pp (aacuterbol de problemas objetivos y concentrado) Asimismo se deberaacute incluir

PAE 2017 14

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

la justificacioacuten del disentildeo propuesto o las modificaciones sugeridas y generar el Anexo 4 ldquoPropuesta

de mejora de la Matriz de Indicadores para Resultadosrdquo

Metodologiacutea de la Seccioacuten 1

Anaacutelisis de gabinete

La evaluacioacuten se realizaraacute mediante un anaacutelisis de gabinete con base en informacioacuten proporcionada

por la dependencia o unidad responsable del programa asiacute como informacioacuten adicional que la

institucioacuten evaluadora considere necesaria para justificar su anaacutelisis

En este contexto se entiende por anaacutelisis de gabinete al conjunto de actividades que involucra el

acopio la organizacioacuten y la valoracioacuten de informacioacuten concentrada en registros administrativos

bases de datos evaluaciones internas yo externas y documentacioacuten puacuteblica Sin embargo de

acuerdo con las necesidades de informacioacuten y tomando en cuenta la forma de operar de cada

programa se podraacuten programar y llevar a cabo entrevistas con responsables de los programas yo

personal de la unidad de evaluacioacuten yo planeacioacuten de la dependencia coordinadora

Valoracioacuten de disentildeo del Pp

Para cada pregunta de investigacioacuten de esta seccioacuten se deberaacute definir una valoracioacuten cuantitativa y

cualitativa que resuma la apreciacioacuten del evaluador para cada uno de los aspectos de la seccioacuten 1

con el fin de permitir obtener una valoracioacuten sinteacutetica acerca de la suficiencia de los elementos que

cumple el programa Para esto se deberaacute usar la siguiente escala likert de cinco grados

Tabla 3 Escala de Medicioacuten para la Seccioacuten 1

1 2 3 4 5

Deficiente Insuficiente Moderado Bien Suficiente

En la argumentacioacuten que presente la evaluadora se deberaacuten aportar los elementos que justifiquen

la valoracioacuten cuantitativa que se emita para cada pregunta de investigacioacuten ademaacutes de completar

el Anexo 9 ldquoValoracioacuten global cuantitativardquo de la Seccioacuten 1 de Disentildeo

PAE 2017 15

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Seccioacuten 2 Procesos

Pertinencia de los procesos

4 Diagnoacutestico general de los procesos y subprocesos del Pp

Consideraciones

La instancia evaluadora deberaacute presentar dentro de los 30 diacuteas naturales posteriores a la firma del

contrato un Diagnoacutestico General de los Procesos y Subprocesos o Macroprocesos del Pp (Producto

1) en el que se deacute cuenta de la problemaacutetica o necesidad que atiende o de la funcioacuten de gobierno

que desarrolla asiacute como del contexto y las condiciones en las que opera el Pp En este diagnoacutestico

se deben identificar los procesos y subprocesos o macroprocesos que integran la operacioacuten o

gestioacuten del Pp a partir de la normativa vigente y de las entrevistas a funcionarios de la UR realizadas

se deberaacute presentar una descripcioacuten integral con el mapa de procesos y subprocesos del Pp

A partir de este diagnoacutestico la instancia evaluadora presentaraacute para su validacioacuten a la DEV una

propuesta de los alcances y logiacutestica de la Evaluacioacuten de Procesos del Pp Asimismo el diagnoacutestico

debe estar acompantildeado de la justificacioacuten del enfoque metodoloacutegico general seleccionado para su

desarrollo

Ademaacutes en el Producto 1 se deberaacuten especificar las directrices generales y particulares que guiaraacuten

la realizacioacuten de la evaluacioacuten de procesos acordadas con la DEV y la UR del Pp por lo que la correcta

elaboracioacuten de este producto es fundamental para poder garantizar un resultado satisfactorio

En el Producto 1 ademaacutes de integrar la estrategia y plan de trabajo de campo teacutecnicas de

investigacioacuten a utilizarse disentildeo muestral e instrumentos de levantamiento de informacioacuten se

incluiraacuten dos apartados

Descripcioacuten del contexto en el que opera el Pp La instancia evaluadora deberaacute describir

los siguientes elementos del Pp todas las UR que participan en su operacioacuten o que ejercen

sus recursos los entregables que produce cada UR que participa en la operacioacuten del Pp en

el marco del mismo el problema o necesidad de poliacutetica puacuteblica identificado por el Pp

poblacioacuten o aacuterea de enfoque potencial objetivo y atendida del Pp y su cuantificacioacuten

cantidad de destinatarios por cada uno de los entregables que el Pp tuvo al cierre del uacuteltimo

ejercicio fiscal del que se tenga registro cantidad de destinatarios por cada uno de los

entregables que el Pp espera atender en el ejercicio fiscal evaluado asiacute como el contexto

organizacional y social en que se desarrolla su operacioacuten

PAE 2017 16

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Diagnoacutestico inicial de los procesos y subprocesos o macroprocesos del Pp La instancia

evaluadora deberaacute desarrollar a partir del trabajo de gabinete y de entrevistas

semiestructuradas con funcionarios de la(s) Unidad(es) Responsable(s) del Pp realizadas un

diagnoacutestico inicial de procesos del Pp en el que se identifiquen claramente los procesos y

subprocesos o macroprocesos que integran su operacioacuten o gestioacuten asiacute como las instancias

o actores que participan en ellos se deberaacute presentar una descripcioacuten integral con un mapa

de procesos y subprocesos o macroprocesos del Pp asiacute como llenar el Anexo 5 ldquoFicha de

identificacioacuten y equivalencia de procesosrdquo Las entrevistas semiestructuradas se realizaraacuten con

la finalidad de profundizar y despejar dudas sobre el mapa de los procesos y subprocesos o

macroprocesos que integran la gestioacuten operativa del Pp En esta seccioacuten la instancia

evaluadora deberaacute sentildealar cuaacuteles de los procesos y subprocesos o macroprocesos

identificados estaacuten documentados y cuaacuteles no asiacute como ndashen su casondash la normativa que los

rige por ejemplo un manual de procedimientos o de organizacioacuten lineamientos de

operacioacuten entre otros Cabe sentildealar que los procesos y subprocesos o macroprocesos que

integran la operacioacuten o gestioacuten del Pp son estructuras analiacuteticas que debe de construir la

instancia evaluadora a partir de su experiencia en el desarrollo de evaluaciones de procesos

e implementacioacuten de poliacuteticas puacuteblicas por tanto debe tenerse en cuenta que a pesar de

ser lo deseable los procesos y subprocesos o macroprocesos no necesariamente pueden

estar documentados

5 Descripcioacuten y valoracioacuten de los procesos y subprocesos del Pp

Consideraciones

Despueacutes de realizar el trabajo de campo y sistematizar la informacioacuten levantada la instancia

evaluadora deberaacute realizar la descripcioacuten y valoracioacuten de cada uno de los procesos subprocesos o

macroprocesos identificados en el Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesosrdquo

contrastando en todos los casos la evidencia documental y su ejecucioacuten en la praacutectica

Por lo anterior en esta seccioacuten se deberaacute realizar una descripcioacuten minuciosa del desarrollo y el

anaacutelisis de cada proceso y subproceso o macroproceso de acuerdo con el alcance establecido

utilizando la informacioacuten obtenida mediante el anaacutelisis de gabinete y el trabajo de campo asimismo

se deberaacute realizar una valoracioacuten integral sobre la gestioacuten de cada uno de los procesos a partir de

la gestioacuten en sus subprocesos o macroprocesos a partir de la gestioacuten de los procesos

PAE 2017 17

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

La valoracioacuten de cada proceso subproceso o macroproceso deberaacute contener la siguiente estructura

1 Descripcioacuten detallada de las actividades los elementos y los actores que integran el

desarrollo de cada proceso y subproceso o macroproceso

2 Liacutemites de cada proceso y subproceso o macroproceso asiacute como su articulacioacuten con otros

3 Insumos y recursos determinar si los insumos y los recursos disponibles son suficientes y

adecuados para la ejecucioacuten de cada proceso y subproceso o macroproceso

a Tiempo iquestel tiempo en que se ejecuta el proceso o subproceso es el adecuado acorde

a lo planificado y congruente con la normativa que aplica

b Personal iquestel personal es suficiente tiene el perfil y cuenta con la capacitacioacuten necesaria

para la ejecucioacuten del proceso o subproceso

c Recursos financieros iquestlos recursos financieros son suficientes para la ejecucioacuten del

proceso o subproceso

d Recursos materiales iquestlos recursos materiales son suficientes para la ejecucioacuten del

proceso o subproceso

e Infraestructura iquestse cuenta con la infraestructura o capacidad instalada suficiente para

la ejecucioacuten del proceso o subproceso

f Insumos tecnoloacutegicos

4 Productos iquestlos productos de cada proceso subproceso o macroproceso sirven de insumo

para ejecutar el proceso subproceso o macroproceso subsecuente

5 Sistemas de informacioacuten iquestLos sistemas de informacioacuten utilizados en la ejecucioacuten de cada

proceso subproceso o macroproceso (automatizados semiautomatizados o manuales)

funcionan como una fuente de informacioacuten uacutetil para los sistemas de monitoreo a nivel central

y para los operadores en otros niveles iquestEstos sistemas de informacioacuten automatizan algunos

procesos subprocesos o macroproceso del Pp iquestSirven como mecanismo de control interno

para el mejor de desarrollo de los procesos subprocesos o macroproceso

6 Coordinacioacuten iquestla coordinacioacuten entre los actores oacuterdenes de gobierno o dependencias

involucradas es adecuada para la ejecucioacuten del proceso subproceso o macroproceso

7 Evaluacioacuten de la pertinencia de la forma en que se ejecuta cada proceso subproceso o

macroproceso en el contexto y condiciones en que se desarrolla considerando la estructura

organizacional involucrada y la coordinacioacuten entre las unidades administrativas que

intervienen en el proceso subproceso o macroproceso

8 Identificacioacuten de las caracteriacutesticas relacionadas con la importancia estrateacutegica de cada

proceso subproceso o macroproceso

PAE 2017 18

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

9 Opinioacuten de actores (destinatarios beneficiarios usuarios clientes u operadores del Pp)

sobre la eficacia eficiencia y calidad de cada proceso subproceso o macroproceso

10 Existencia de mecanismos para conocer la satisfaccioacuten de los beneficiarios o destinatarios de

los componentes o entregables que otorga el Pp

Por otra parte en caso de que el Pp genere diversos componentes o entregables y que estos

impliquen la realizacioacuten de actividades diferentes seraacute necesario describir los procesos y

subprocesos o macroprocesos correspondientes a cada tipo de componente o entregable otorgado

En la descripcioacuten de los procesos y subprocesos o macroprocesos la instancia evaluadora de manera

coordinada con la DEV deberaacute realizar los diagramas de alto nivel y los diagramas detallados

(diagramas de flujo) que describan los procesos y subprocesos o macroprocesos del Pp Para ello se

deberaacute usar como referencia la seccioacuten ldquoVII Mapeo de procesosrdquo de la ldquoGuiacutea para la Optimizacioacuten

Estandarizacioacuten y Mejora Continua de Procesosrdquo (paacuteginas 18 a 25) elaborada por la Secretariacutea de la

Funcioacuten Puacuteblica (SFP) disponible en la siguiente direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Estos diagramas se deberaacuten elaborar de acuerdo con lo especificado en el Anexo 7 ldquoDiagramas de

flujo de la operacioacuten del Pprdquo

Metodologiacutea Seccioacuten 2

La Evaluacioacuten de Procesos del Pp se realizaraacute principalmente a partir de teacutecnicas de investigacioacuten

cualitativa como son el anaacutelisis documental la observacioacuten directa estudios de caso y multicaso

especiacuteficos entrevistas semiestructuradas y grupos focales o grupos de enfoque (focus groups)

entre otras teacutecnicas que la instancia evaluadora considere pertinentes para realizar el anaacutelisis de

gabinete y el trabajo de campo tales como la aplicacioacuten de cuestionarios de aplicacioacuten electroacutenica

o a distancia

La metodologiacutea y los instrumentos definidos asiacute como el trabajo de gabinete y de campo deberaacuten

generar evidencia empiacuterica suficiente para valorar a profundidad la forma en que se ejecutan los

procesos y subprocesos o macroprocesos que integran la operacioacuten del Pp asiacute como su contexto

institucional y organizacional

PAE 2017 19

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anaacutelisis de gabinete

Para esta seccioacuten es necesario la elaboracioacuten del diagnoacutestico de los procesos y subprocesos o

macroprocesos que integran la operacioacuten o gestioacuten del Pp la instancia evaluadora deberaacute realizar

un anaacutelisis de gabinete considerando como miacutenimo los siguientes documentos

La normativa aplicable al Pp leyes reglamentos lineamientos manuales de procedimientos

convenios contratos entre otros

Diagnoacutestico y estudios de la problemaacutetica que el Pp atiende

Diagnoacutestico del programa y estudios del marco contextual en el que opera

MIR del Pp correspondiente al ejercicio fiscal evaluado y de ejercicios anteriores que se

consideren pertinentes

Sistemas de informacioacuten automatizados semiautomatizados o manuales que apoyen a la

ejecucioacuten de los procesos y subprocesos o macroprocesos identificados del Pp

Evaluaciones externas o internas realizadas previamente al Pp

Documentos de trabajo institucionales e informes de avances de Aspectos Susceptibles de

Mejora con los que cuente el Pp

Informes de auditoriacuteas de desempentildeo o similares realizadas al Pp por la Auditoriacutea Superior

de la Federacioacuten del Estado de Puebla por la Secretariacutea de la Contraloriacutea o por cualquier

instancia fiscalizadora

Asimismo se sugiere revisar otros documentos asociados al disentildeo del Pp y a su definicioacuten de

poblacioacuten o aacuterea de enfoque potencial y objetivo asiacute como a su estrategia de integracioacuten de

destinatarios o beneficiarios de los componentes o entregables del Pp

El anaacutelisis o trabajo de gabinete deberaacute generar como resultado inicial un mapeo de los procesos y

subprocesos o macroprocesos que integran la gestioacuten operativa del Pp que constituiraacute

esencialmente el Producto 1 de la evaluacioacuten posteriormente se procesaraacute la informacioacuten recabada

en campo para la generacioacuten del informe preliminar y final de la evaluacioacuten

Alcance y enfoque de la evaluacioacuten

La instancia evaluadora deberaacute sentildealar con claridad en el informe de la evaluacioacuten cuaacuteles de los

procesos y subprocesos o macroprocesos identificados en la operacioacuten o gestioacuten del Pp se analizan

y cuaacuteles no de acuerdo con lo establecido por la Direccioacuten de Evaluacioacuten (DEV) de la Secretariacutea de

Finanzas y Administracioacuten (SFA) y la Unidad Responsable (UR) del Programa en cuestioacuten sentildealando

los elementos de anaacutelisis que justifican esta seleccioacuten y en su caso haciendo recomendaciones al

respecto

PAE 2017 20

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Un elemento que podraacute ser considerado para establecer el alcance de la evaluacioacuten es el grado de

consolidacioacuten operativa del Pp el cual podraacute determinarse a priori considerando algunos elementos

como los siguientes

1 Si existen documentos que normen los procesos y subprocesos o macroprocesos

2 Si los procesos y subprocesos o macroprocesos estaacuten estandarizados es decir si son

utilizados por todas la instancias ejecutoras de manera homogeacutenea

3 Si los procesos y subprocesos o macroprocesos estaacuten documentados y son del conocimiento

de todos los operadores

4 Si se cuenta con un sistema de monitoreo e indicadores de gestioacuten

5 Si se cuenta en los procesos y subprocesos o macroprocesos analizados con sistemas

informaacuteticos que permitan la automatizacioacuten en la ejecucioacuten de los mismos

6 Si se cuenta con mecanismos para la implementacioacuten sistemaacutetica de mejoras

Se considera que existe un mayor grado de consolidacioacuten operativa cuando existen todos los

elementos y disminuiraacute gradualmente conforme haga falta uno o maacutes de ellos hasta el menor grado

de consolidacioacuten que es cuando no existe ninguno de los elementos

El alcance de la Evaluacioacuten de Procesos del Pp implica el anaacutelisis de los procesos y subprocesos o

macroprocesos sustantivos del Pp asiacute como la respectiva priorizacioacuten de estos Se deberaacute realizar

la identificacioacuten y jerarquizacioacuten de los procesos a partir del Esquema 1 adaptaacutendolo a las

condiciones particulares del Pp3 en eacutel se observa lo siguiente

El proceso de ldquoPlaneacioacutenrdquo es el punto de partida para la implementacioacuten del Pp

posteriormente continuacutean los procesos de ldquoComunicacioacuten Interna y Externardquo ldquoSeleccioacuten de

destinatariosrdquo ldquoProduccioacuten de entregablesrdquo ldquoEntregardquo ldquoSeguimiento a destinatariosrdquo y

ldquoControlrdquo

La informacioacuten que se genera en los procesos de ldquoSeguimiento a destinatariosrdquo y ldquoControlrdquo

es un insumo directo para retroalimentar los procesos del Pp desde el de Planeacioacuten

El proceso de ldquoMonitoreordquo utiliza informacioacuten generada principalmente en los procesos de

ldquoComunicacioacutenrdquo ldquoSeleccioacuten de destinatariosrdquo ldquoProduccioacuten de entregablesrdquo ldquoEntregardquo y

ldquoSeguimiento a destinatariosrdquo a partir de ello se retroalimentan los procesos del Pp desde

la ldquoPlaneacioacutenrdquo

3 Con excepcioacuten de los procesos (con sus subprocesos) de Planeacioacuten Monitoreo y Evaluacioacuten Externa para

los cuales la instancia evaluadora uacutenicamente podraacute en caso de que lo considere pertinente agregar

subprocesos pero no suprimir subprocesos

PAE 2017 21

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

El proceso de ldquoEvaluacioacuten Externardquo requiere de informacioacuten transversal de todos los

procesos ya que se valora al Pp en su conjunto En este sentido los resultados de las

evaluaciones son un insumo para retroalimentar al Pp desde el proceso de ldquoPlaneacioacutenrdquo

Es importante sentildealar que en el Esquema 1 se muestra un modelo que es importante tomarlo en

cuenta como referencia para la identificacioacuten y definicioacuten de los procesos y subprocesos o

macroprocesos que integran la operacioacuten del Pp evaluado ademaacutes de que representa un auxiliar

en la definicioacuten del alcance y del enfoque de la Evaluacioacuten de Procesos del Pp

Esquema 1 Modelo general de procesos

Fuente Modelo de TdR para la Evaluacioacuten de Procesos Secretariacutea de Hacienda y Creacutedito Puacuteblico

A continuacioacuten se describe cada uno de los procesos que componen al modelo anterior

Planeacioacuten proceso en el que se determinan o definen el problema o necesidad aacuterbol de

problemas y objetivos poblacioacuten o aacuterea de enfoque potencial y objetivo objetivos

indicadores y metas de la MIR estrategia de cobertura plan estrateacutegico entre otros puntos

asiacute como los recursos financieros y humanos necesarios que requiere el Pp para lograr sus

objetivos En el proceso de planeacioacuten se determinan las directrices en el disentildeo e

implementacioacuten del Pp los subprocesos que lo integran son los siguientes planeacioacuten

estrateacutegica programacioacuten y presupuesto actualizacioacuten de la MIR actualizacioacuten de

normativa

PAE 2017 22

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Comunicacioacuten interna y externa proceso en el que se informan diversas caracteriacutesticas y

objetivos del Pp tanto a los actores involucrados en su funcionamiento y operacioacuten (interna)

como a su poblacioacuten o aacuterea de enfoque objetivo (externa)

Seleccioacuten de destinatarios proceso en el que se determina quieacutenes recibiraacuten los

componentes o entregables de un Pp en funcioacuten de su poblacioacuten o aacuterea de enfoque objetivo

Produccioacuten de entregables proceso en el que se elaboran los entregables o realizan los

componentes del Pp (recursos financieros o humanos apoyos bienes servicios

regulaciones documentos teacutecnicos o de planeacioacuten etc) conforme a sus documentos

normativos

Entrega proceso en el que se realiza la entrega de lo producido o generado por el Pp

(componentes o entregables) a los destinatarios o beneficiarios

Seguimiento a destinatarios actividades y mecanismos que permiten al Pp conocer coacutemo

son utilizados o aprovechados sus componentes o entregables (por sus destinatarios o

beneficiarios) para que entre otras funciones la UR del Pp identifique si se estaacute cumpliendo

con los objetivos Por ejemplo en este proceso se incluyen las actividades que un Pp

implementa para conocer el grado de satisfaccioacuten de sus destinatarios o beneficiarios

Control actividades y mecanismos implementados entre los operadores del Pp para verificar

que los diferentes procedimientos procesos y subprocesos se esteacuten ejecutando conforme a

lo planeado (control interno)

Monitoreo proceso coordinado por una unidad administrativa ajena a la operacioacuten del Pp

a traveacutes del cual se recaba registra y valida la informacioacuten sobre el avance de las metas de

los indicadores de la MIR asiacute como el seguimiento a los resultados de indicadores

adicionales a los de la MIR en caso de que se cuente con un sistema de monitoreo de gestioacuten

Los subprocesos que lo integran son los siguientes acopio de la informacioacuten para el reporte

de avances validacioacuten de informacioacuten y registro de avances primordialmente

Evaluacioacuten externa proceso coordinado por una unidad administrativa ajena a la operacioacuten

del Pp mediante el cual se define la agenda de evaluacioacuten externa del Pp se definen las

metodologiacuteas o los teacuterminos de referencia se contratan las evaluaciones externas (de

cualquier tipo) se recaba la informacioacuten que seraacute entregada a los equipos evaluadores se

realiza el seguimiento durante el desarrollo de las evaluaciones externas se aprueban los

PAE 2017 23

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

informes finales de las evaluaciones externas se notifica a las instancias correspondientes

sobre la conclusioacuten de las evaluaciones externas y se definen y realiza el seguimiento de los

Aspectos Susceptibles de Mejora (ASM)

A partir de los procesos definidos en el modelo anterior la instancia evaluadora deberaacute realizar una

equivalencia de los procesos subprocesos o macroprocesos identificados respecto a los definidos

en el modelo de acuerdo con el Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesosrdquo Cabe

mencionar que los procesos definidos en el modelo no son limitativos por lo que si la instancia

evaluadora identifica procesos subprocesos o macroprocesos adicionales deberaacute incluirlos

Disentildeo metodoloacutegico del trabajo de campo

A partir del contexto en que opera el Pp y el alcance y enfoque metodoloacutegico de la evaluacioacuten de

procesos la instancia evaluadora deberaacute desarrollar una propuesta de estrategia y plan de trabajo

de campo a seguir para la realizacioacuten de la evaluacioacuten asimismo deberaacute incluir un cronograma

detallado de actividades

La estrategia de trabajo de campo disentildeada por la instancia evaluadora deberaacute ser entregada a la

DEV para que en conjunto con la UR del Pp sea validada antes de su implementacioacuten Dicha

estrategia deberaacute contener al menos los siguientes elementos

Justificacioacuten de las teacutecnicas de investigacioacuten a utilizar

Muestra y los criterios utilizados para su seleccioacuten

Listado de los actores a entrevistar

Instrumentos de levantamiento de informacioacuten que se aplicaraacuten y

Cronograma con las actividades a desarrollar

La instancia evaluadora iniciaraacute las actividades del trabajo de campo de manera conjunta y una vez

recibido el visto bueno de la DEV

El disentildeo de la muestra y de los instrumentos para el levantamiento de informacioacuten en campo

deberaacute considerar a la totalidad de los actores que intervienen en la ejecucioacuten de los procesos y

subprocesos o macroprocesos que integran la operacioacuten o gestioacuten del Pp asiacute como a los

destinatarios o beneficiarios de los componentes o entregables del Pp independientemente de su

ubicacioacuten geograacutefica

Algunos criterios que puede utilizar la instancia evaluadora para definir una muestra que considere

la variabilidad de la operacioacuten en los diferentes contextos en que opera el Pp son los siguientes

PAE 2017 24

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

a) El desempentildeo operativo del Pp entre municipios regionalizacioacuten geograacutefica instituciones

puacuteblicas o privadas u otros aspectos que suponen una accioacuten diferenciada de los procesos

(cuando aplique)

b) Volumen de la operacioacuten del Pp

c) Esquemas normativos del Pp y el ejercicio presupuestal en los municipios instituciones

puacuteblicas o privadas u otros aspectos que suponen una accioacuten diferenciada de los procesos

en las que opera el Pp (cuando aplique) y

d) Formas de interaccioacuten del Pp con otros niveles u oacuterdenes de gobierno (cuando aplique)

Los criterios anteriores no son limitativos por lo que la instancia evaluadora podraacute proponer criterios

adicionales que considere pertinentes para la definicioacuten de la muestra para el trabajo de campo

En el disentildeo muestral la instancia evaluadora deberaacute sentildealar los funcionarios del Pp o destinatarios

a los que se les aplicaraacuten los instrumentos de levantamiento de informacioacuten con los que se realizaraacute

el trabajo de campo asiacute como la ubicacioacuten geograacutefica de los mismos

Instrumentos de levantamiento de informacioacuten

La instancia evaluadora deberaacute disentildear los instrumentos que utilizaraacute para el levantamiento de

informacioacuten durante el trabajo de campo como son (por ejemplo) los cuestionarios por tipo de

funcionario a entrevistar para el caso de entrevistas semiestructuradas los guiones a utilizar en la

realizacioacuten de grupos focales los cuestionarios de aplicacioacuten electroacutenica las guiacuteas respectivas entre

otros Para lo anterior deberaacute considerar los siguientes temas guiacutea y preguntas de referencia

Planeacioacuten (planeacioacuten estrateacutegica programacioacuten y presupuesto)

iquestQueacute se entiende por planeacioacuten estrateacutegica para los operadores del Pp

iquestCuaacuteles son las actividades o acciones de planeacioacuten estrateacutegica del Pp que se realizan

iquestLa planeacioacuten estrateacutegica es el resultado de un ejercicio institucionalizado que involucra a

los actores clave de la gestioacuten del Pp

iquestExiste un documento resultado de la planeacioacuten estrateacutegica iquestEs claro difundido y

accesible iquestEn queacute medida es utilizado para guiar la operacioacuten del Pp

iquestLa planeacioacuten estrateacutegica estaacute vinculada con el cumplimiento entrega o generacioacuten de los

componentes o entregables del Pp

iquestLa planeacioacuten estrateacutegica establece indicadores para medir los avances en las metas

establecidas iquestLas metas son factibles y estaacuten orientadas a impulsar el desempentildeo del Pp

PAE 2017 25

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

iquestQueacute se entiende por planeacioacuten operativa y cuaacuteles son las diferencias con la planeacioacuten

estrateacutegica

Comunicacioacuten interna y externa del Pp (las preguntas que apliquen)

iquestQueacute actores intervienen en la comunicacioacuten del Pp

iquestExiste una estrategia de comunicacioacuten del Pp documentada En caso afirmativo describirla

iquestLa estrategia de comunicacioacuten del Pp (documentada o no) es adecuada

iquestLos medios utilizados el lenguaje y el contenido de los mensajes son pertinentes en funcioacuten

del puacuteblico al que van dirigidos

Solicitud de los componentes o entregables del Pp (las preguntas que apliquen)

iquestExiste un proceso claro imparcial y expliacutecito por medio del cual la poblacioacuten o aacuterea de

enfoque potencial puede solicitar los componentes o entregables que otorga el Pp

iquestLos requisitos para solicitar los componentes o entregables del Pp se presentan de manera

clara y completa

iquestLos puntos de recepcioacuten de solicitudes son accesibles y suficientes (cuando aplique)

iquestExisten mecanismos estandarizados para recibir y revisar la documentacioacuten entregada asiacute

como registrar y dar traacutemite a las solicitudes (cuando aplique)

iquestSon adecuados estos mecanismos (cuando aplique) En caso de que el Pp que apoye la

realizacioacuten de proyectos iquestse brinda asesoriacutea para la presentacioacuten de los mismos de ser asiacute

iquestes pertinente esta asesoriacutea

iquestEl proceso de solicitud de los componentes o entregables que otorga el Pp se encuentra

automatizado total o parcialmente

Para esta pregunta considerar los estados de digitalizacioacuten utilizados por la Comisioacuten Intersecretarial

para el Desarrollo del Gobierno electroacutenico seguacuten una adaptacioacuten realizada a la clasificacioacuten que

hace la ONU

Estado de digitalizacioacuten 1 traacutemites y servicios que se encuentran en estado informativo

Estado de digitalizacioacuten 2 traacutemites y servicios que cuentan con interfaces de comunicacioacuten

unidireccional

Estado de digitalizacioacuten 3 traacutemites y servicios que permiten realizar transacciones y

Estado de digitalizacioacuten 4 traacutemites y servicios que el usuario puede ejecutar de principio a

fin por medio de dispositivos digitales

PAE 2017 26

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para mayor informacioacuten referirse a ldquoFigure A4 The four stages of online service developmentrdquo en

los siguientes documentos

Lineamientos relativos a la digitalizacioacuten estandarizada de traacutemites y servicios con apego en

la Estrategia Digital Nacional

httpwwwgobmxcmsuploadsattachmentfile67232ti_1_pgcm_bases_lineam_tyspdf

United Nations E-Government Survey 2014 (paacutegina 195)

httpspublicadministrationunorgegovkbportalsegovkbdocumentsun2014-surveye-

gov_complete_survey-2014pdf

Seleccioacuten de destinatarios (cuando aplique)

iquestExiste una metodologiacutea o meacutetodo para la seleccioacuten de destinatarios o beneficiarios de los

componentes o entregables del Pp iquestLa metodologiacutea utilizada cuenta con criterios de

seleccioacuten y elegibilidad claros estandarizados y sistematizados

iquestLa seleccioacuten de destinatarios o beneficiarios de los componentes o entregables del Pp es un

proceso transparente e imparcial iquestEl resultado de la seleccioacuten es puacuteblico (cuando aplique)

iquestExiste informacioacuten en una base de datos que permita conocer quieacutenes o queacute instancias

reciben los componentes o entregables del Pp iquestQueacute informacioacuten integra esta base de datos

iquestExisten mecanismos para validar y actualizar esta base de datos iquestEstos mecanismos son

pertinentes

Produccioacuten de componentes o entregables

iquestSe cuenta con los insumos suficientes para generar el volumen de componentes o

entregables que permitan al Pp atender a su poblacioacuten o aacuterea de enfoque objetivo

iquestEl Pp tiene mecanismos para estimar la produccioacuten o generacioacuten necesaria de componentes

o entregables de acuerdo con la posible demanda o requerimientos de su poblacioacuten o aacuterea

de enfoque objetivo iquestEs adecuado este mecanismo

iquestExisten mecanismos de control de calidad para la generacioacuten de los componentes o

entregables del Pp iquestEstos mecanismos son pertinentes

iquestLas actividades de generacioacuten de componentes o entregables que otorga el Pp estaacuten

estandarizadas es decir son ejecutadas de manera homogeacutenea por todas las instancias

involucradas

PAE 2017 27

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Entrega

iquestLos componentes o entregables del Pp son proporcionados conforme a las especificaciones

y de manera oportuna a los destinatarios

iquestExisten especificaciones (programas o planes de trabajo) sobre la forma en que se deben

trasladar los componentes o entregables para (por ejemplo) asegurar su adecuada recepcioacuten

en el punto de destino iquestSon adecuadas estas especificaciones respecto a normas o

lineamientos existentes (cuando aplique)

iquestLa logiacutestica de distribucioacuten se actualiza (cuando aplique) iquestExiste un periodo para dicha

actualizacioacuten iquestEn el disentildeo y actualizacioacuten de la logiacutestica se toman en cuenta los factores

geograacuteficos y climatoloacutegicos en cada regioacuten donde opera el Pp (cuando aplique)

iquestLos puntos de entrega de los componentes o entregables son cercanos a los beneficiarios

o aacuterea de enfoque a atender y son de faacutecil acceso iquestSe considera que son suficientes iquestPor

queacute

Control (las preguntas que apliquen)

iquestEl Pp cuenta con los mecanismos para verificar que los componentes o entregables se

otorguen de acuerdo con lo establecido en la normativa especiacutefica y lleguen a la poblacioacuten

o aacuterea de enfoque que deba ser beneficiada iquestEstos mecanismos son adecuados

iquestExiste de manera sistematizada un documento que deacute cuenta de los resultados de

supervisioacuten y entrega de componentes o entregables iquestEste documento es adecuado iquestLos

resultados se utilizan para implementar mejoras en la operacioacuten del Pp

iquestExisten procedimientos estandarizados que verifiquen el cumplimiento de la

corresponsabilidad u obligatoriedad por parte de los beneficiarios o destinatarios de los

componentes o entregables del Pp (cuando aplique)

Seguimiento a destinatarios

iquestEl Pp tiene mecanismos para verificar el procedimiento de seguimiento a los destinatarios o

beneficiarios que permitan identificar si los componentes o entregables generados son

utilizados de acuerdo con lo establecido iquestCoacutemo se implementa el mecanismo iquestEste

mecanismo es adecuado

iquestExisten procedimientos estandarizados que permitan verificar el cumplimiento de la

corresponsabilidad u obligatoriedad por parte del destinatario o beneficiario (cuando

aplique)

PAE 2017 28

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

En caso de que los componentes o entregables involucren la ejecucioacuten de obra o de

infraestructura iquestel Pp cuenta con un mecanismo de seguimiento o supervisioacuten que permita

identificar si se realizaron acorde a la normativa aplicable iquestEl seguimiento o supervisioacuten

considera plazos para la revisioacuten de las condiciones de la obra o la infraestructura despueacutes

de terminada la obra

iquestEl Pp tiene mecanismos para identificar si se cumple con su Propoacutesito iquestSon suficientes y

pertinentes estos mecanismos

iquestExisten mecanismos para conocer la satisfaccioacuten del destinatario o beneficiario de los

componentes o entregables del Pp respecto de los componentes que ofrece el Pp iquestSon

adecuados estos mecanismos iquestSu operacioacuten permite una aplicacioacuten imparcial y objetiva

iquestExiste evidencia para afirmar que las quejas y sugerencias que brindan los destinatarios o

beneficiarios de los componentes o entregables del Pp son utilizadas para la mejora continua

del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

En esta seccioacuten se deberaacute realizar la medicioacuten de los atributos de eficacia oportunidad suficiencia

y pertinencia de los procesos y subprocesos o macroprocesos definidos en el mapa de procesos del

Pp A continuacioacuten se definen los atributos en el marco de la evaluacioacuten de procesos

Eficacia un proceso es eficaz en la medida en que cumple con sus metas

Oportunidad un proceso es oportuno en la medida en que otorga sus productos

(componentes o entregables) o resultados en un periodo de tiempo determinado o

adecuado para el logro de sus objetivos

Suficiencia un proceso es suficiente en la medida en que produce sus resultados de forma

completa o adecuada para el logro de sus objetivos

Pertinencia un proceso es pertinente si sus actividades y productos son adecuados para

lograr tanto sus metas especiacuteficas como sus objetivos es decir si contribuyen al

mejoramiento de la gestioacuten del Pp4

4 Las actividades son adecuadas si estaacuten en funcioacuten del logro del objetivo de cada proceso Por ejemplo si se verifica que el formato de los mensajes a difundir cumpla con las caracteriacutesticas necesarias para llegar a la poblacioacuten o aacuterea de enfoque objetivo como seriacutea una mensaje de audio en la lengua indiacutegena de la localidad donde se encuentran los posibles destinatarios o beneficiarios o bien como seriacutea un mensaje dirigido a personal operativo del Pp cuyo nivel de estudios promedio pudiera complicar la comprensioacuten de lenguaje teacutecnico utilizado

PAE 2017 29

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para la medicioacuten de los atributos de los procesos y subprocesos o macroprocesos del Pp deberaacute

realizarse una revisioacuten documental (normativa aplicable MIR evaluaciones externas sistemas de

informacioacuten y registros administrativos entre otros) misma que deberaacute complementarse con el

trabajo de campo con el objetivo de identificar disentildear y calcular indicadores relacionados con

dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de informacioacuten empleadas

La informacioacuten obtenida de estos indicadores deberaacute vaciarse en fichas propuestas por la instancia

evaluadora presentadas como en el Anexo 6 ldquoFichas de indicadores de atributos de los procesos del

Pprdquo (formato libre) Estas fichas deberaacuten considerar la medicioacuten de los atributos de eficacia

suficiencia oportunidad y pertinencia correspondientes a cada proceso y subproceso o

macroproceso

Valoracioacuten de los procesos y subprocesos de la operacioacuten del Pp

Deberaacute contener una siacutentesis de los resultados encontrados en la Evaluacioacuten de Procesos del Pp

resaltando los hallazgos maacutes relevantes que se hayan detectado y que pudiesen transformarse en

ASM

La instancia evaluadora deberaacute calcular una valoracioacuten global cuantitativa sobre la operacioacuten y la

ejecucioacuten de los procesos y subprocesos o macroprocesos del Pp a partir del siguiente esquema de

puntuacioacuten5

Eficacia

- Todos los procesos (o macroprocesos) son eficaces = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es eficaz = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es eficaz = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es eficaz = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es eficaz = 1 punto

- Ninguno de los procesos (o macroprocesos) es eficaz = 0 puntos

Oportunidad

- Todos los procesos (o macroprocesos) son oportunos = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es oportuno = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es oportuno = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es oportuno = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es oportuno = 1 punto

5 La valoracioacuten cuantitativa deberaacute estar sustentada y por tanto ser consistente con lo valorado por la instancia evaluadora en el apartado de ldquoMedicioacuten de atributos de los procesos y subprocesosrdquo

PAE 2017 30

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

- Ninguno de los procesos (o macroprocesos) es oportuno = 0 puntos

Suficiencia

- Todos los procesos (o macroprocesos) son suficientes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es suficiente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es suficiente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es suficiente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es suficiente = 1 punto

- Ninguno de los procesos (o macroprocesos) es suficiente = 0 puntos

Pertinencia

- Todos los procesos (o macroprocesos) son pertinentes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es pertinente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es pertinente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es pertinente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es pertinente = 1 punto

- Ninguno de los procesos (o macroprocesos) es pertinente = 0 puntos

A partir de los puntajes asignados en los cuatro atributos anteriores esta valoracioacuten cuantitativa

global debe considerar el total de puntos posibles de obtener (5 x 4 = 20 puntos) y los puntos

obtenidos en la Evaluacioacuten de Procesos Pp (lsquoyrsquo puntos) de modo que se indique el porcentaje de

puntos obtenidos del total de puntos posibles [(lsquoyrsquo20) x 100] = valoracioacuten cuantitativa global de la

operacioacuten del Pp

La instancia evaluadora deberaacute utilizar el Anexo 9 ldquoValoracioacuten global cuantitativardquo para documentar

argumentar y sustentar cada una de las valoraciones cuantitativas sobre la operacioacuten y la ejecucioacuten

de los procesos (o macroprocesos) del Pp

Adicionalmente en este apartado se deberaacuten integrar las recomendaciones y conclusiones que se

consideren maacutes relevantes de los procesos y subprocesos o macroprocesos del Pp las cuales deben

formularse con base en los hallazgos del trabajo de campo y de gabinete El objetivo final de las

recomendaciones es proveer informacioacuten valiosa a los operadores del Pp para realizar adecuaciones

en la ejecucioacuten de los procesos y subprocesos o macroprocesos de modo que se potencie la

consecucioacuten de resultados del Pp

Las recomendaciones que se formulen como resultado de la Evaluacioacuten de Procesos del Pp deberaacuten

tener las siguientes caracteriacutesticas

Derivarse de los hallazgos de la evaluacioacuten

PAE 2017 31

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Ser concretas y factibles

Incluir un proyecto de implementacioacuten que considere los siguientes elementos

- Breve anaacutelisis de la viabilidad o factibilidad de la implementacioacuten

- Principales responsables de la implementacioacuten

- Anaacutelisis de los efectos potenciales que puede implicar la implementacioacuten tanto en la

operacioacuten del Pp como en el logro de sus objetivos

- La comparacioacuten entre la situacioacuten actual y el resultado que se espera obtener con la

implementacioacuten de la recomendacioacuten

Estar categorizadas en dos liacuteneas de accioacuten estrateacutegicas

- Consolidacioacuten

- Reingenieriacutea de procesos o subprocesos

Al respecto la instancia evaluadora debe entender por consolidacioacuten aquellas recomendaciones que

estaacuten dirigidas a perfeccionar determinados aspectos de la operacioacuten como seriacutean algunas acciones

procedimientos o estrategias del Pp asiacute como iniciativas para el fortalecimiento de los sistemas

automatizados infraestructura entre otros

Por reingenieriacutea de procesos o subprocesos se entenderaacuten aquellas recomendaciones que apuntan

a una transformacioacuten o modificacioacuten profunda o sustancial de uno o varios de los procesos y

subprocesos del Pp Para ello se deberaacute llenar el Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de

Procesos del Pprdquo y que a su vez deben derivar en acciones de consolidacioacuten para la implementacioacuten

de los procesos transformados

Adicionalmente y de conformidad con el alcance de la Evaluacioacuten de Procesos del Pp se deberaacute

presentar una propuesta para crear o fortalecer el sistema de monitoreo de gestioacuten del Pp con

indicadores a nivel de procesos y subprocesos o macroprocesos

Asimismo a partir de todo el anaacutelisis y valoraciones realizadas se deberaacute emitir un pronunciamiento

acerca de la percepcioacuten de eficiencia que la instancia evaluadora haya tenido sobre la ejecucioacuten de

los procesos y subprocesos o macroprocesos del Pp

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible o si no hipoteacuteticos en un anexo de formato libre Anexo 10 ldquoSistema de

monitoreo e indicadores de gestioacuten del Pprdquo

PAE 2017 32

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Bitaacutecora de trabajo de campo y bases de datos

La instancia evaluadora deberaacute entregar una bitaacutecora de trabajo de campo que destaque de forma

sinteacutetica entre otros puntos las principales actividades y situaciones a las que se enfrentoacute y que

podriacutean afectar los resultados de la Evaluacioacuten de Procesos del Pp

Asimismo deberaacute entregar las bases de datos generadas a partir de la aplicacioacuten de los instrumentos

de recoleccioacuten de informacioacuten y de la recopilacioacuten de informacioacuten en el trabajo de campo Las bases

de datos deberaacuten entregarse en formatos compatibles con Excel debiendo mantener la

confidencialidad de los entrevistados pero sin alterar la informacioacuten proporcionada por estos En las

bases de datos debe estar sistematizada toda la informacioacuten recabada a partir de la aplicacioacuten de

los instrumentos de levantamiento de informacioacuten y deberaacute sustentar el anaacutelisis las valoraciones los

hallazgos y las conclusiones de la evaluacioacuten

PAE 2017 33

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Contenido del informe

Contenido miacutenimo del informe final de la evaluacioacuten

Derivado del contenido generado en las secciones anteriores deberaacuten elaborarse los siguientes

apartados en el informe final de la Evaluacioacuten de Procesos del Pp

i Introduccioacuten

ii Resumen Ejecutivo

iii Marco Legal

iv Datos Generales del Programa Presupuestario (Pp)

v Criterios Teacutecnicos para la Evaluacioacuten del Programa Presupuestario correspondiente

vi Apartados de la evaluacioacuten

Seccioacuten 1 Disentildeo

Diagnoacutestico del programa puacuteblico

Matriz de Indicadores para Resultados (MIR)

Seccioacuten 2 Procesos

Pertinencia de los proceso

Diagnoacutestico general de los procesos y subprocesos del Pp

- Contexto en que opera el Pp

- Diagnoacutestico inicial de los procesos y subprocesos

Descripcioacuten y valoracioacuten de los procesos y subprocesos del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

vii Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

viii Valoracioacuten final del Pp

ix Hallazgos

x Recomendaciones clasificadas por apartado

xi Conclusiones

xii Bibliografiacutea

xiii Anexos

Anexo 1 Descripcioacuten General del Programa

Anexo 2 Metodologiacutea para la cuantificacioacuten de las poblaciones potencial y objetivo

(Formato Libre)

Anexo 3 Evolucioacuten de la Cobertura

Anexo 4 Propuesta de mejora de la Matriz de Indicadores para Resultados

Anexo 5 Ficha de identificacioacuten y equivalencia de procesos del Pp

PAE 2017 34

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 Fichas de indicadores de atributos de los procesos del Pp (Formato libre)

Anexo 7 Diagramas de flujo de la operacioacuten del Pp

Anexo 8 Propuesta de modificacioacuten a los documentos normativos o institucionales

del Pp

Anexo 9 Valoracioacuten global cuantitativardquo

Anexo 10 Sistema de monitoreo e indicadores de gestioacuten del Pp (Formato libre)

Anexo 11 Recomendaciones de la Evaluacioacuten de Procesos del Pp

Anexo 12 Principales Fortalezas Retos y Recomendaciones

Anexo 13 Ficha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacuten

En el Resumen Ejecutivo asimismo se describiraacuten los principales hallazgos y recomendaciones del

evaluador externo

Para el desarrollo de los apartados antes referidos deberaacute atender las indicaciones que se desarrollan

en las siguientes secciones

Hallazgos y resultados Pp por Seccioacuten

Se debe realizar una valoracioacuten general del programa por seccioacuten utilizando las respuestas que

integran cada uno de los apartados En esta valoracioacuten integral se deberaacute sentildealar en queacute medida la

gestioacuten operativa conduce al logro de los objetivos del Pp

Asimismo se deben sentildealar las aacutereas de mejora las buenas praacutecticas y las fortalezas detectadas en

la operacioacuten del Pp y a partir de ello la instancia evaluadora emitiraacute recomendaciones de mejora

sobre aspectos especiacuteficos de cada proceso y subproceso o macroproceso del Pp Adicionalmente

se deberaacuten identificar los problemas o limitantes tanto normativos como operativos (ldquocuellos de

botellardquo) de coordinacioacuten entre unidades administrativas y otros que hubiese en los procesos y

subprocesos o macroprocesos del Pp entendieacutendose como aquellas praacutecticas procedimientos

actividades o traacutemites que obstaculizan la operacioacuten del Pp

En este sentido se deberaacuten identificar las situaciones en las que la normativa genere complicaciones

en la gestioacuten o ineficacia en el cumplimiento de los objetivos del Pp para lo cual se deberaacute presentar

(por cada situacioacuten identificada) una propuesta de modificacioacuten a la normativa aplicable al Pp

considerando las restricciones praacutecticas que existan para su implementacioacuten asiacute como los efectos

PAE 2017 35

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

potenciales de ser implementada Los resultados de este anaacutelisis deberaacuten describirse en el Anexo 7

ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales del Pprdquo

Para la identificacioacuten y descripcioacuten de los ldquocuellos de botellardquo buenas praacutecticas y fortalezas del Pp

se consideraraacute la informacioacuten derivada del anaacutelisis de la operacioacuten del Pp asiacute como los puntos de

vista de los principales actores que intervienen en ella Este anaacutelisis deberaacute contener las causas y las

consecuencias de los ldquocuellos de botellardquo detectados sus caracteriacutesticas y naturaleza (si son

normativas o estrictamente operativas) de igual manera se deberaacute desarrollar un anaacutelisis de las

buenas praacutecticas identificadas

Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

Se debe integrar en una sola tabla las fortalezas oportunidades debilidades y amenazas

especificadas por cada apartado de la evaluacioacuten y reportarlas en el Anexo 11 ldquoPrincipales Fortalezas

Retos y Recomendacionesrdquo en el que se deben incluir las fortalezas yo oportunidades las

debilidades yo amenazas y las recomendaciones por apartado de la evaluacioacuten

PAE 2017 36

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexos

Anexo 1 ldquoDescripcioacuten General del Programardquo

El Anexo tiene formato libre sin embargo debe contener una breve descripcioacuten de las caracteriacutesticas

maacutes relevantes del Pp en un maacuteximo de dos cuartillas Dicha descripcioacuten debe considerar los

siguientes aspectos

1 Identificacioacuten del programa

11 Nombre

12 Clave de programa

13 Dependencia yo Entidad coordinadora ejecutora

14 Antildeo de inicio de operacioacuten

2 Problema o necesidad que el Pp pretende atender atenuar o resolver

3 La contribucioacuten del Pp a las Metas y objetivos estatales a los que se vincula

4 Descripcioacuten de los objetivos del Pp asiacute como de los bienes yo servicios que ofrece

(componentes)

5 Identificacioacuten y cuantificacioacuten de la poblacioacuten o aacuterea de enfoque potencial y

objetivo

6 Presupuesto aprobado para el ejercicio fiscal en curso

7 Metas de los indicadores de Fin Propoacutesito y Componentes asiacute como los de nivel

actividad que se consideren relevantes y

8 Resumen de la valoracioacuten de la pertinencia del disentildeo del Pp respecto a la atencioacuten

del problema o necesidad

Anexo 2 ldquoMetodologiacutea para la cuantificacioacuten de la poblacioacuten o aacuterea de enfoque

potencial y objetivordquo

El Anexo tiene formato libre sin embargo se debe incluir la siguiente informacioacuten

Definicioacuten de la poblacioacuten o aacuterea de enfoque potencial objetivo y atendida

Cuantificacioacuten de la poblacioacuten potencial objetiva y atendida

Hallazgos sobre el procedimiento llevado a cabo para definir y cuantificar la poblacioacuten o

aacuterea de enfoque potencial objetivo y atendida

Recomendaciones

Propuesta orientada hacia la mejora

PAE 2017 37

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 3 ldquoEvolucioacuten de la Coberturardquo

Nombre del

Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten

Antildeo de la Evaluacioacuten

Tipo de Poblacioacuten

Unidad

de

Medida

2012 2013 2014 2015 2016

P Potencial

P Objetivo

P Atendida

119927119912 times 120783120782120782

119927119926

PAE 2017 38

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 4 ldquoPropuesta de mejora de la Matriz de Indicadores para Resultadosrdquo

Derivado del anaacutelisis y valoracioacuten de la pregunta de investigacioacuten nuacutemero 3 iquestLa estructura de

objetivos planteada por el programa mantiene loacutegica y correspondencia causal con el problema

planteado en el diagnoacutestico se realizaraacute una propuesta de mejora de MIR

Fin

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Propoacutesito

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Componente 1

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

PAE 2017 39

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Componente 2 hellip

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 40

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesos del Pprdquo

Para la identificacioacuten y clasificacioacuten de los procesos del Pp se sugieren los siguientes pasos

1 Listar los procesos identificados

Comparar los procesos identificados del Pp con aquellos correspondientes al Modelo general de

procesos Colocar en el rengloacuten correspondiente el nombre de cada proceso del Pp identificado

como equivalente

2 Colocar al final de la lista aquellos procesos del Pp que no sean equivalentes con el Modelo

general de procesos

Modelo general de

procesos

Nuacutemero

de

secuencia

Procesos o subprocesos del Pp identificados por el

evaluador

(Nombre y breve descripcioacuten)

Planeacioacuten Ejemplo (Ej) Planeacioacuten Estrateacutegica

Ej Programacioacuten

Ej Presupuestacioacuten

Comunicacioacuten interna y

externa

Ej Difusioacuten Federal

Ej Difusioacuten Local

Seleccioacuten de

destinatarios

Ej Recepcioacuten de solicitudes de becas

Ej Seleccioacuten de becarios

Produccioacuten de

entregables

Entrega

Control

Seguimiento Ej Seguimiento fiacutesico y supervisioacuten en campo

Evaluacioacuten externa Ej Publicacioacuten y lectura del PAE

Ej Definicioacuten de TdR

Ej Contratacioacuten

Ej Ejecucioacuten de la evaluacioacuten externa

Monitoreo Ej Registro de avances de indicadores

Ej Revisioacuten de registros

Ej Validacioacuten de registros e integracioacuten de informes

PAE 2017 41

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Procesos identificados por el evaluador que no coinciden con el Modelo general de procesos

PAE 2017 42

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 ldquoFichas de indicadores de atributos de los procesos del Pp (formato libre)rdquo

Para la construccioacuten de este anexo deberaacute realizarse una revisioacuten documental (normativa aplicable

MIR evaluaciones externas sistemas de informacioacuten y registros administrativos entre otros) misma

que deberaacute complementarse con el trabajo de campo con el objetivo de identificar disentildear y calcular

indicadores relacionados con dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de

informacioacuten empleadas

Ademaacutes de considerar la medicioacuten de los atributos de eficacia suficiencia oportunidad y pertinencia

de cada proceso y subproceso o macroproceso

PAE 2017 43

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 7 ldquoDiagramas de flujo de la operacioacuten del Pprdquo

Para la elaboracioacuten de los diagramas de flujo deberaacute utilizarse la notacioacuten empleada en el

documento ldquoGuiacutea para la Optimizacioacuten Estandarizacioacuten y Mejora Continua de Procesosrdquo publicada

por la SFP en la direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Para el Diagrama de Alto Nivel (Diagrama PEPSU)

Ejemplo ilustrativo

PAE 2017 44

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para el Diagrama de Flujo

PAE 2017 45

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

PAE 2017 46

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 8 ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales

del Pprdquo

Tipo de

norma-

tiva

Dice

Problema

generado

(causas y

consecuencias)

Se

recomienda

decir

Efecto esperado de

aplicar la

recomendacioacuten de

cambio

Restricciones praacutecticas

que puedan existir para

su implementacioacuten

PAE 2017 47

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 9 ldquoValoracioacuten global cuantitativa ldquo

Seccioacuten 1 Disentildeo

Disentildeo Valoracioacuten Argumento o justificacioacuten

Porcentaje del

Disentildeo del Pp

(Suma de valoracioacuten alcanzada por pregunta de la seccioacuten 1 Total maacuteximo de la

valoracioacuten de todas las preguntas de la seccioacuten 1 ) x 100

Seccioacuten 2 Procesos

Proceso Eficacia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

eficaces

(Total de procesos eficaces Total de procesos del Pp) x 100

Proceso Oportunidad

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

oportunos

(Total de procesos oportunos Total de procesos del Pp) x 100

Proceso Suficiencia

(SiacuteNo) Argumento o justificacioacuten

PAE 2017 48

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Porcentaje de

procesos

suficientes

(Total de procesos suficientes Total de procesos del Pp) x 100

Proceso Pertinencia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

pertinentes

(Total de procesos pertinentes Total de procesos del Pp) x 100

NOTA Los argumentos y justificaciones del evaluador deberaacuten considerar el anaacutelisis y valoraciones de

los subprocesos de cada proceso de modo que haya consistencia entre estos elementos Asimismo el

evaluador deberaacute expresar los resultados de la valoracioacuten cuantitativa en una graacutefica tipo radial

PAE 2017 49

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 10 ldquoSistema de monitoreo e indicadores de gestioacuten del Pp (formato libre)rdquo

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible

Nombre del Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten De Procesos

Antildeo de la Evaluacioacuten 2017

Fin Justificacioacuten Propoacutesito Justificacioacuten Componente (s) Justificacioacuten

Nombre de

Indicador

Meacutetodo de Caacutelculo

Claro SiacuteNo SiacuteNo SiacuteNo

Relevante SiacuteNo SiacuteNo SiacuteNo

Econoacutemico SiacuteNo SiacuteNo SiacuteNo

Monitoreable SiacuteNo SiacuteNo SiacuteNo

Adecuado SiacuteNo SiacuteNo SiacuteNo

Definicioacuten SiacuteNo SiacuteNo SiacuteNo

Unidad de Medida SiacuteNo SiacuteNo SiacuteNo

Frecuencia de

Medicioacuten

SiacuteNo SiacuteNo SiacuteNo

Liacutenea Base SiacuteNo SiacuteNo SiacuteNo

Metas SiacuteNo SiacuteNo SiacuteNo

Comportamiento

del Indicador

SiacuteNo SiacuteNo SiacuteNo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 50

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de Procesos del Pprdquo

En este Anexo la instancia evaluadora debe valorar si la recomendacioacuten implica una consolidacioacuten o

una reingenieriacutea del proceso

A) Consolidacioacuten

Proceso Recomendaci

oacuten

Breve

anaacutelisis de

viabilidad de

la

implementa-

cioacuten

Principales

responsables

de la

implementaci

oacuten

Situacioacuten

actual

Efectos

potenciales

esperados

Medio de

verifica-

cioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

B) Reingenieriacutea de procesos

Proceso Objetivo

Breve

anaacutelisis de

viabilidad

de la

implemen-

tacioacuten

Principales

responsables

de la

implemen-

tacioacuten

Situa-

cioacuten

actual

Metas y

efectos

potenciale

s

esperados

Elabora-

cioacuten de

flujogram

a del

nuevo

proceso

Medio

de

verifi-

cacioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

NOTA El nivel de priorizacioacuten Alto Medio o Bajo se estimaraacute considerando la mejora en la operacioacuten

del Pp la viabilidad de la implementacioacuten de la recomendacioacuten asiacute como el efecto potencial que esto

pueda tener el alcance del objetivo del Pp

PAE 2017 51

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 12 ldquoPrincipales Fortalezas Retos y Recomendacionesrdquo

Capacidades Internas Factores Externos

Fortalezas

(Cualquier capacidad con la que cuenta la dependencia o

entidad que le permita aprovechar sus recursos para la

obtencioacuten de sus objetivos)

Oportunidades

(Cualquier factor externo fuera del control de la dependencia o

entidad que puede ser aprovechado para la obtencioacuten de sus

objetivos)

Debilidades

(Cualquier limitante Interna de la dependencia o entidad que

puede afectar la obtencioacuten de sus objetivos)

Amenazas

(Cualquier factor externo fuera de control de la dependencia o

entidad que pueda afectar la obtencioacuten de sus objetivos)

PAE 2017 52

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacutenrdquo

El Informe Final de la Evaluacioacuten de Procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten

Superior deberaacuten contener una ficha con los siguientes datos

Ficha Teacutecnica con los datos generales de la evaluacioacuten

Nombre o denominacioacuten de la

evaluacioacuten

[Especificar el nombre de la evaluacioacuten considerando su tipo y ejercicio

evaluado]

Nombre o denominacioacuten del

programa evaluado

[Indicar el nombre del Pp sujeto a evaluacioacuten de acuerdo con lo

establecido en el PEF sentildealando su modalidad y clave]

Unidad Responsable de la operacioacuten

del programa

[Especificar la(s) unidad(es) responsable(s) de la administracioacuten

operacioacuten y ejecucioacuten de los programas subprogramas y proyectos del

Pp evaluado correspondientes a las dependencias y entidades]

Titular de la unidad responsable de la

operacioacuten del programa

[Indicar el nombre del(a) Titular de la Unidad Responsable de la

operacioacuten del Pp]

Antildeo del Programa Anual de

Evaluacioacuten (PAE) en que fue

considerada la evaluacioacuten

[Especificar el ejercicio fiscal al que corresponde el PAE en la que fue

programada la evaluacioacuten]

Antildeo de conclusioacuten y entrega de la

evaluacioacuten

[Indicar el antildeo en que se concluyoacute la evaluacioacuten]

Tipo de evaluacioacuten [Especificar el tipo de evaluacioacuten de acuerdo con los Lineamientos de

evaluacioacuten el nombre de la evaluacioacuten y con lo establecido en el PAE]

Nombre de la instancia evaluadora [Indicar el nombre de la firma consultoriacutea u organizacioacuten que realizoacute la

evaluacioacuten]

Nombre del(a) coordinador(a)

externo(a) de la evaluacioacuten

[Especificar el nombre del(a) responsable de la coordinacioacuten de la

evaluacioacuten dla instancia evaluadora]

Nombre de los(as) principales

colaboradores(as) del(a)

coordinador(a) de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del(a)

coordinador(a) de la evaluacioacuten]

PAE 2017 53

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Unidad Administrativa responsable de

la Coordinacioacuten de la evaluacioacuten

[De acuerdo con lo sentildealado en el PAE especificar la instancia a la que

corresponde la coordinacioacuten de la evaluacioacuten pej Secretariacutea de

Finanzas y Administracioacuten (SFA) asiacute como la unidad administrativa

mediante la cual se ejerce esta funcioacuten p ej Direccioacuten de Evaluacioacuten

de la SFA (DEV)

Nombre del(a) Titular de la unidad

administrativa responsable de

coordinar la evaluacioacuten (Aacuterea de

Evaluacioacuten)

[Especificar el nombre del(a) Titular de la Unidad responsable de dar

seguimiento a la evaluacioacuten que funge como Aacuterea de Evaluacioacuten]

Nombres de los(as) servidores(as)

puacuteblicos(as) adscritos(as) a la unidad

administrativa responsable de

coordinar la evaluacioacuten que

coadyuvaron con la revisioacuten teacutecnica

de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del

titular de la unidad administrativa responsable de dar seguimiento a la

evaluacioacuten respecto de la revisioacuten teacutecnica de la misma]

Forma de contratacioacuten de la instancia

evaluadora

[Indicar el tipo de contratacioacuten dla instancia evaluadora Especificar el

tipo de procedimiento de contratacioacuten de la instancia evaluadora

consistente con los tipos de adjudicacioacuten establecidos en la Ley de

Adquisiciones Arrendamientos y Servicios del Sector Puacuteblico]

Costo total de la evaluacioacuten con IVA

incluido

[Especificar el costo total de la evaluacioacuten incluyendo el IVA (en caso

de que se haya causado) como sigue $XXX IVA incluido]

Asimismo en este anexo se deberaacute incluir una nota metodoloacutegica con la descripcioacuten de las teacutecnicas

y los modelos utilizados por el evaluador externo acompantildeada del disentildeo por muestreo

especificando los supuestos empleados y las principales caracteriacutesticas del tamantildeo y dispersioacuten de

la muestra utilizada

DIRECTORIO

Rauacutel Saacutenchez Kobashi

Secretario de la Secretariacutea de Finanzas y Administracioacuten

Francisco Fidel Teomitzi Saacutenchez

Subsecretario de Planeacioacuten

Arturo Neponuceno Crisoacutestomo

Director de Evaluacioacuten

Rodolfo de la Rosa Cabrera

Subdireccioacuten de Evaluacioacuten de Programas

Sauacutel Federico Oropeza Orea

Jefe del Departamento de Programas Estatales y Municipales

Ana Luz Guzmaacuten Figueroa

Analista del Departamento de Programas Estatales y Municipales

Marco Antonio Saacutenchez Gonzaacutelez

Analista del Departamento de Programas Estatales y Municipales

Page 12: Términos de Referencia para la Evaluación del Desempeño ...evaluacion.puebla.gob.mx/pdf/metodologias/TdR_Est/2017/TdR... · Perfil de la instancia evaluadora ... acuerdo con las

PAE 2017 11

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Tabla 2 Perfil de equipo evaluador

Cargo Requisitos

Acadeacutemicos Experiencia General

Experiencia

Especifica

Analistas

del equipo

evaluador

Se sugiere que la

instancia evaluadora

sea multidisciplinario

que cuenten con

licenciatura o estudios

de posgrado en

ciencias sociales

econoacutemicas historia

antropologiacutea ciencia

poliacutetica psicologiacutea

administracioacuten puacuteblica

o ingenieriacutea

Experiencia en

evaluaciones de

programas poliacuteticas

yo investigaciones en

materia de evaluacioacuten

Experiencia en trabajo

de campo estudios

etnograacuteficos disentildeo de

encuestas y

cuestionarios en temas

de ingenieriacutea de

procesos y en

evaluacioacuten de

programas puacuteblicos

PAE 2017 12

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Preguntas de investigacioacuten

Seccioacuten 1 Disentildeo

Diagnoacutestico del programa puacuteblico

1 iquestEl programa tiene identificado el problema y la loacutegica causal acerca de su dinaacutemica

Consideraciones

La respuesta deberaacute mostrar si el problema o necesidad para el que va dirigido el programa se

identifica como un hecho negativo el que se puede revertir o atender

Se tendraacute que identificar si se cuenta con aacuterbol de problemas (u otro elemento documentado) que

permita identificar la loacutegica causal del problema al que se busca atender juzgando la medida en que

la loacutegica causal del programa es consistente con los estudios utilizados para fundamentacioacuten de la

intervencioacuten

Se debe incluir la definicioacuten del problema o necesidad y en su caso la propuesta de modificacioacuten o

recomendaciones de mejora Asimismo se indicaraacute si el problema o necesidad considera diferencias

entre hombres y mujeres a fin de conocer las limitaciones yo las oportunidades que presenta el

entorno econoacutemico demograacutefico social cultural poliacutetico juriacutedico e institucional para la promocioacuten

de la igualdad de geacutenero

Se deberaacute que determinar si el problema identificado por el Pp tiene coincidencia con alguacuten

problema que se aborda en el PED yo en el Programa Sectorial De igual forma se deberaacute analizar

si en el aacutembito nacional o internacional se cuenta con experiencias de poliacuteticas puacuteblicas que tuvieron

o tienen como objetivo la atencioacuten del problema que se plantea atender Lo anterior sentildealando sus

logros fallos y resultados ademaacutes se solicita hacer mencioacuten sobre la incorporacioacuten de elementos

exitosos de otras estrategias en el disentildeo del programa presupuestario a evaluar

2 iquestEl programa cuenta con una identificacioacuten (cuantificacioacuten y ubicacioacuten geograacutefica) de la

poblacioacuten o aacuterea de enfoque potencial y objetivo de su intervencioacuten y eacutesta se relaciona con

la definicioacuten del problema puacuteblico que se plantea atender

Consideraciones

La instancia evaluadora deberaacute valorar la medida en que la definicioacuten del problema es traducido a

unidades concretas de personas grupos especiacuteficos o zonas geograacuteficas cuantificables y

monitoreables en referentes estadiacutesticos oficiales del estado yo federacioacuten

PAE 2017 13

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

En la respuesta se deberaacuten incluir las definiciones de la poblacioacuten o aacuterea de enfoque potencial

objetivo y atendida asiacute como su cuantificacioacuten La metodologiacutea y fuentes de informacioacuten para

determinar los tipos de poblacioacuten o aacuterea de enfoque se deben incluir en el Anexo 2 ldquoMetodologiacutea

para la cuantificacioacuten de la poblacioacuten o aacuterea de enfoque potencial y objetivordquo

Asimismo identificar si el Pp cuenta con una estrategia de cobertura institucional en que se defina

la estrategia que utilizaraacute a lo largo del tiempo para cubrir el total de su poblacioacuten o aacuterea de enfoque

potencial en caso de que no se identifique alguna estrategia el evaluador deberaacute emitir una

valoracioacuten sobre la pertinencia del disentildeo actual del Pp para alcanzar las metas de cobertura En caso

de que el disentildeo actual del Pp no permita alcanzar las metas de cobertura deberaacuten recomendarse

modificaciones concretas al disentildeo del Pp con la finalidad de que sea maacutes probable que alcance

dichas metas de cobertura

De igual forma se debe analizar la evolucioacuten de la poblacioacuten o aacuterea de enfoque atendida y su

convergencia con la poblacioacuten o aacuterea de enfoque potencial es decir si el programa ha logrado

atender a toda la poblacioacuten o aacuterea de enfoque objetivo El anaacutelisis se debe justificar y completar el

Anexo 3 ldquoEvolucioacuten de la Coberturardquo

Matriz de Indicadores para Resultados (MIR)

3 iquestLa estructura de objetivos planteada por el programa mantiene loacutegica y correspondencia

causal con el problema planteado en el diagnoacutestico

Consideraciones

Se deberaacute identificar la contribucioacuten del programa a los objetivos estrateacutegicos del Plan Estatal de

Desarrollo y de otros instrumentos de planeacioacuten de mediano y largo plazo

Se deberaacute determinar si la hipoacutetesis de intervencioacuten del programa mantiene una loacutegica causal con

la problemaacutetica que se quiere atender

Se deberaacuten analizar y valorar los elementos que componen al disentildeo del Pp (modalidad unidades

responsables propoacutesito componentes poblacioacuten o aacuterea de enfoque objetivo entre otros) y sobre

los cuales eacuteste se construye (problema puacuteblico o necesidad causas y efectos del problema situacioacuten

de la poblacioacuten o aacuterea de enfoque objetivo entre otros)

Se deberaacute valorar la MIR y verificar su loacutegica horizontal (resumen narrativo indicadores metas y

medios de verificacioacuten) y vertical asiacute como si es congruente con los elementos de diagnoacutestico

Derivado de lo anterior se elaboraraacute una propuesta de la MIR que deberaacute considerar y presentar la

Estructura Analiacutetica del Pp (aacuterbol de problemas objetivos y concentrado) Asimismo se deberaacute incluir

PAE 2017 14

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

la justificacioacuten del disentildeo propuesto o las modificaciones sugeridas y generar el Anexo 4 ldquoPropuesta

de mejora de la Matriz de Indicadores para Resultadosrdquo

Metodologiacutea de la Seccioacuten 1

Anaacutelisis de gabinete

La evaluacioacuten se realizaraacute mediante un anaacutelisis de gabinete con base en informacioacuten proporcionada

por la dependencia o unidad responsable del programa asiacute como informacioacuten adicional que la

institucioacuten evaluadora considere necesaria para justificar su anaacutelisis

En este contexto se entiende por anaacutelisis de gabinete al conjunto de actividades que involucra el

acopio la organizacioacuten y la valoracioacuten de informacioacuten concentrada en registros administrativos

bases de datos evaluaciones internas yo externas y documentacioacuten puacuteblica Sin embargo de

acuerdo con las necesidades de informacioacuten y tomando en cuenta la forma de operar de cada

programa se podraacuten programar y llevar a cabo entrevistas con responsables de los programas yo

personal de la unidad de evaluacioacuten yo planeacioacuten de la dependencia coordinadora

Valoracioacuten de disentildeo del Pp

Para cada pregunta de investigacioacuten de esta seccioacuten se deberaacute definir una valoracioacuten cuantitativa y

cualitativa que resuma la apreciacioacuten del evaluador para cada uno de los aspectos de la seccioacuten 1

con el fin de permitir obtener una valoracioacuten sinteacutetica acerca de la suficiencia de los elementos que

cumple el programa Para esto se deberaacute usar la siguiente escala likert de cinco grados

Tabla 3 Escala de Medicioacuten para la Seccioacuten 1

1 2 3 4 5

Deficiente Insuficiente Moderado Bien Suficiente

En la argumentacioacuten que presente la evaluadora se deberaacuten aportar los elementos que justifiquen

la valoracioacuten cuantitativa que se emita para cada pregunta de investigacioacuten ademaacutes de completar

el Anexo 9 ldquoValoracioacuten global cuantitativardquo de la Seccioacuten 1 de Disentildeo

PAE 2017 15

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Seccioacuten 2 Procesos

Pertinencia de los procesos

4 Diagnoacutestico general de los procesos y subprocesos del Pp

Consideraciones

La instancia evaluadora deberaacute presentar dentro de los 30 diacuteas naturales posteriores a la firma del

contrato un Diagnoacutestico General de los Procesos y Subprocesos o Macroprocesos del Pp (Producto

1) en el que se deacute cuenta de la problemaacutetica o necesidad que atiende o de la funcioacuten de gobierno

que desarrolla asiacute como del contexto y las condiciones en las que opera el Pp En este diagnoacutestico

se deben identificar los procesos y subprocesos o macroprocesos que integran la operacioacuten o

gestioacuten del Pp a partir de la normativa vigente y de las entrevistas a funcionarios de la UR realizadas

se deberaacute presentar una descripcioacuten integral con el mapa de procesos y subprocesos del Pp

A partir de este diagnoacutestico la instancia evaluadora presentaraacute para su validacioacuten a la DEV una

propuesta de los alcances y logiacutestica de la Evaluacioacuten de Procesos del Pp Asimismo el diagnoacutestico

debe estar acompantildeado de la justificacioacuten del enfoque metodoloacutegico general seleccionado para su

desarrollo

Ademaacutes en el Producto 1 se deberaacuten especificar las directrices generales y particulares que guiaraacuten

la realizacioacuten de la evaluacioacuten de procesos acordadas con la DEV y la UR del Pp por lo que la correcta

elaboracioacuten de este producto es fundamental para poder garantizar un resultado satisfactorio

En el Producto 1 ademaacutes de integrar la estrategia y plan de trabajo de campo teacutecnicas de

investigacioacuten a utilizarse disentildeo muestral e instrumentos de levantamiento de informacioacuten se

incluiraacuten dos apartados

Descripcioacuten del contexto en el que opera el Pp La instancia evaluadora deberaacute describir

los siguientes elementos del Pp todas las UR que participan en su operacioacuten o que ejercen

sus recursos los entregables que produce cada UR que participa en la operacioacuten del Pp en

el marco del mismo el problema o necesidad de poliacutetica puacuteblica identificado por el Pp

poblacioacuten o aacuterea de enfoque potencial objetivo y atendida del Pp y su cuantificacioacuten

cantidad de destinatarios por cada uno de los entregables que el Pp tuvo al cierre del uacuteltimo

ejercicio fiscal del que se tenga registro cantidad de destinatarios por cada uno de los

entregables que el Pp espera atender en el ejercicio fiscal evaluado asiacute como el contexto

organizacional y social en que se desarrolla su operacioacuten

PAE 2017 16

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Diagnoacutestico inicial de los procesos y subprocesos o macroprocesos del Pp La instancia

evaluadora deberaacute desarrollar a partir del trabajo de gabinete y de entrevistas

semiestructuradas con funcionarios de la(s) Unidad(es) Responsable(s) del Pp realizadas un

diagnoacutestico inicial de procesos del Pp en el que se identifiquen claramente los procesos y

subprocesos o macroprocesos que integran su operacioacuten o gestioacuten asiacute como las instancias

o actores que participan en ellos se deberaacute presentar una descripcioacuten integral con un mapa

de procesos y subprocesos o macroprocesos del Pp asiacute como llenar el Anexo 5 ldquoFicha de

identificacioacuten y equivalencia de procesosrdquo Las entrevistas semiestructuradas se realizaraacuten con

la finalidad de profundizar y despejar dudas sobre el mapa de los procesos y subprocesos o

macroprocesos que integran la gestioacuten operativa del Pp En esta seccioacuten la instancia

evaluadora deberaacute sentildealar cuaacuteles de los procesos y subprocesos o macroprocesos

identificados estaacuten documentados y cuaacuteles no asiacute como ndashen su casondash la normativa que los

rige por ejemplo un manual de procedimientos o de organizacioacuten lineamientos de

operacioacuten entre otros Cabe sentildealar que los procesos y subprocesos o macroprocesos que

integran la operacioacuten o gestioacuten del Pp son estructuras analiacuteticas que debe de construir la

instancia evaluadora a partir de su experiencia en el desarrollo de evaluaciones de procesos

e implementacioacuten de poliacuteticas puacuteblicas por tanto debe tenerse en cuenta que a pesar de

ser lo deseable los procesos y subprocesos o macroprocesos no necesariamente pueden

estar documentados

5 Descripcioacuten y valoracioacuten de los procesos y subprocesos del Pp

Consideraciones

Despueacutes de realizar el trabajo de campo y sistematizar la informacioacuten levantada la instancia

evaluadora deberaacute realizar la descripcioacuten y valoracioacuten de cada uno de los procesos subprocesos o

macroprocesos identificados en el Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesosrdquo

contrastando en todos los casos la evidencia documental y su ejecucioacuten en la praacutectica

Por lo anterior en esta seccioacuten se deberaacute realizar una descripcioacuten minuciosa del desarrollo y el

anaacutelisis de cada proceso y subproceso o macroproceso de acuerdo con el alcance establecido

utilizando la informacioacuten obtenida mediante el anaacutelisis de gabinete y el trabajo de campo asimismo

se deberaacute realizar una valoracioacuten integral sobre la gestioacuten de cada uno de los procesos a partir de

la gestioacuten en sus subprocesos o macroprocesos a partir de la gestioacuten de los procesos

PAE 2017 17

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

La valoracioacuten de cada proceso subproceso o macroproceso deberaacute contener la siguiente estructura

1 Descripcioacuten detallada de las actividades los elementos y los actores que integran el

desarrollo de cada proceso y subproceso o macroproceso

2 Liacutemites de cada proceso y subproceso o macroproceso asiacute como su articulacioacuten con otros

3 Insumos y recursos determinar si los insumos y los recursos disponibles son suficientes y

adecuados para la ejecucioacuten de cada proceso y subproceso o macroproceso

a Tiempo iquestel tiempo en que se ejecuta el proceso o subproceso es el adecuado acorde

a lo planificado y congruente con la normativa que aplica

b Personal iquestel personal es suficiente tiene el perfil y cuenta con la capacitacioacuten necesaria

para la ejecucioacuten del proceso o subproceso

c Recursos financieros iquestlos recursos financieros son suficientes para la ejecucioacuten del

proceso o subproceso

d Recursos materiales iquestlos recursos materiales son suficientes para la ejecucioacuten del

proceso o subproceso

e Infraestructura iquestse cuenta con la infraestructura o capacidad instalada suficiente para

la ejecucioacuten del proceso o subproceso

f Insumos tecnoloacutegicos

4 Productos iquestlos productos de cada proceso subproceso o macroproceso sirven de insumo

para ejecutar el proceso subproceso o macroproceso subsecuente

5 Sistemas de informacioacuten iquestLos sistemas de informacioacuten utilizados en la ejecucioacuten de cada

proceso subproceso o macroproceso (automatizados semiautomatizados o manuales)

funcionan como una fuente de informacioacuten uacutetil para los sistemas de monitoreo a nivel central

y para los operadores en otros niveles iquestEstos sistemas de informacioacuten automatizan algunos

procesos subprocesos o macroproceso del Pp iquestSirven como mecanismo de control interno

para el mejor de desarrollo de los procesos subprocesos o macroproceso

6 Coordinacioacuten iquestla coordinacioacuten entre los actores oacuterdenes de gobierno o dependencias

involucradas es adecuada para la ejecucioacuten del proceso subproceso o macroproceso

7 Evaluacioacuten de la pertinencia de la forma en que se ejecuta cada proceso subproceso o

macroproceso en el contexto y condiciones en que se desarrolla considerando la estructura

organizacional involucrada y la coordinacioacuten entre las unidades administrativas que

intervienen en el proceso subproceso o macroproceso

8 Identificacioacuten de las caracteriacutesticas relacionadas con la importancia estrateacutegica de cada

proceso subproceso o macroproceso

PAE 2017 18

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

9 Opinioacuten de actores (destinatarios beneficiarios usuarios clientes u operadores del Pp)

sobre la eficacia eficiencia y calidad de cada proceso subproceso o macroproceso

10 Existencia de mecanismos para conocer la satisfaccioacuten de los beneficiarios o destinatarios de

los componentes o entregables que otorga el Pp

Por otra parte en caso de que el Pp genere diversos componentes o entregables y que estos

impliquen la realizacioacuten de actividades diferentes seraacute necesario describir los procesos y

subprocesos o macroprocesos correspondientes a cada tipo de componente o entregable otorgado

En la descripcioacuten de los procesos y subprocesos o macroprocesos la instancia evaluadora de manera

coordinada con la DEV deberaacute realizar los diagramas de alto nivel y los diagramas detallados

(diagramas de flujo) que describan los procesos y subprocesos o macroprocesos del Pp Para ello se

deberaacute usar como referencia la seccioacuten ldquoVII Mapeo de procesosrdquo de la ldquoGuiacutea para la Optimizacioacuten

Estandarizacioacuten y Mejora Continua de Procesosrdquo (paacuteginas 18 a 25) elaborada por la Secretariacutea de la

Funcioacuten Puacuteblica (SFP) disponible en la siguiente direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Estos diagramas se deberaacuten elaborar de acuerdo con lo especificado en el Anexo 7 ldquoDiagramas de

flujo de la operacioacuten del Pprdquo

Metodologiacutea Seccioacuten 2

La Evaluacioacuten de Procesos del Pp se realizaraacute principalmente a partir de teacutecnicas de investigacioacuten

cualitativa como son el anaacutelisis documental la observacioacuten directa estudios de caso y multicaso

especiacuteficos entrevistas semiestructuradas y grupos focales o grupos de enfoque (focus groups)

entre otras teacutecnicas que la instancia evaluadora considere pertinentes para realizar el anaacutelisis de

gabinete y el trabajo de campo tales como la aplicacioacuten de cuestionarios de aplicacioacuten electroacutenica

o a distancia

La metodologiacutea y los instrumentos definidos asiacute como el trabajo de gabinete y de campo deberaacuten

generar evidencia empiacuterica suficiente para valorar a profundidad la forma en que se ejecutan los

procesos y subprocesos o macroprocesos que integran la operacioacuten del Pp asiacute como su contexto

institucional y organizacional

PAE 2017 19

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anaacutelisis de gabinete

Para esta seccioacuten es necesario la elaboracioacuten del diagnoacutestico de los procesos y subprocesos o

macroprocesos que integran la operacioacuten o gestioacuten del Pp la instancia evaluadora deberaacute realizar

un anaacutelisis de gabinete considerando como miacutenimo los siguientes documentos

La normativa aplicable al Pp leyes reglamentos lineamientos manuales de procedimientos

convenios contratos entre otros

Diagnoacutestico y estudios de la problemaacutetica que el Pp atiende

Diagnoacutestico del programa y estudios del marco contextual en el que opera

MIR del Pp correspondiente al ejercicio fiscal evaluado y de ejercicios anteriores que se

consideren pertinentes

Sistemas de informacioacuten automatizados semiautomatizados o manuales que apoyen a la

ejecucioacuten de los procesos y subprocesos o macroprocesos identificados del Pp

Evaluaciones externas o internas realizadas previamente al Pp

Documentos de trabajo institucionales e informes de avances de Aspectos Susceptibles de

Mejora con los que cuente el Pp

Informes de auditoriacuteas de desempentildeo o similares realizadas al Pp por la Auditoriacutea Superior

de la Federacioacuten del Estado de Puebla por la Secretariacutea de la Contraloriacutea o por cualquier

instancia fiscalizadora

Asimismo se sugiere revisar otros documentos asociados al disentildeo del Pp y a su definicioacuten de

poblacioacuten o aacuterea de enfoque potencial y objetivo asiacute como a su estrategia de integracioacuten de

destinatarios o beneficiarios de los componentes o entregables del Pp

El anaacutelisis o trabajo de gabinete deberaacute generar como resultado inicial un mapeo de los procesos y

subprocesos o macroprocesos que integran la gestioacuten operativa del Pp que constituiraacute

esencialmente el Producto 1 de la evaluacioacuten posteriormente se procesaraacute la informacioacuten recabada

en campo para la generacioacuten del informe preliminar y final de la evaluacioacuten

Alcance y enfoque de la evaluacioacuten

La instancia evaluadora deberaacute sentildealar con claridad en el informe de la evaluacioacuten cuaacuteles de los

procesos y subprocesos o macroprocesos identificados en la operacioacuten o gestioacuten del Pp se analizan

y cuaacuteles no de acuerdo con lo establecido por la Direccioacuten de Evaluacioacuten (DEV) de la Secretariacutea de

Finanzas y Administracioacuten (SFA) y la Unidad Responsable (UR) del Programa en cuestioacuten sentildealando

los elementos de anaacutelisis que justifican esta seleccioacuten y en su caso haciendo recomendaciones al

respecto

PAE 2017 20

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Un elemento que podraacute ser considerado para establecer el alcance de la evaluacioacuten es el grado de

consolidacioacuten operativa del Pp el cual podraacute determinarse a priori considerando algunos elementos

como los siguientes

1 Si existen documentos que normen los procesos y subprocesos o macroprocesos

2 Si los procesos y subprocesos o macroprocesos estaacuten estandarizados es decir si son

utilizados por todas la instancias ejecutoras de manera homogeacutenea

3 Si los procesos y subprocesos o macroprocesos estaacuten documentados y son del conocimiento

de todos los operadores

4 Si se cuenta con un sistema de monitoreo e indicadores de gestioacuten

5 Si se cuenta en los procesos y subprocesos o macroprocesos analizados con sistemas

informaacuteticos que permitan la automatizacioacuten en la ejecucioacuten de los mismos

6 Si se cuenta con mecanismos para la implementacioacuten sistemaacutetica de mejoras

Se considera que existe un mayor grado de consolidacioacuten operativa cuando existen todos los

elementos y disminuiraacute gradualmente conforme haga falta uno o maacutes de ellos hasta el menor grado

de consolidacioacuten que es cuando no existe ninguno de los elementos

El alcance de la Evaluacioacuten de Procesos del Pp implica el anaacutelisis de los procesos y subprocesos o

macroprocesos sustantivos del Pp asiacute como la respectiva priorizacioacuten de estos Se deberaacute realizar

la identificacioacuten y jerarquizacioacuten de los procesos a partir del Esquema 1 adaptaacutendolo a las

condiciones particulares del Pp3 en eacutel se observa lo siguiente

El proceso de ldquoPlaneacioacutenrdquo es el punto de partida para la implementacioacuten del Pp

posteriormente continuacutean los procesos de ldquoComunicacioacuten Interna y Externardquo ldquoSeleccioacuten de

destinatariosrdquo ldquoProduccioacuten de entregablesrdquo ldquoEntregardquo ldquoSeguimiento a destinatariosrdquo y

ldquoControlrdquo

La informacioacuten que se genera en los procesos de ldquoSeguimiento a destinatariosrdquo y ldquoControlrdquo

es un insumo directo para retroalimentar los procesos del Pp desde el de Planeacioacuten

El proceso de ldquoMonitoreordquo utiliza informacioacuten generada principalmente en los procesos de

ldquoComunicacioacutenrdquo ldquoSeleccioacuten de destinatariosrdquo ldquoProduccioacuten de entregablesrdquo ldquoEntregardquo y

ldquoSeguimiento a destinatariosrdquo a partir de ello se retroalimentan los procesos del Pp desde

la ldquoPlaneacioacutenrdquo

3 Con excepcioacuten de los procesos (con sus subprocesos) de Planeacioacuten Monitoreo y Evaluacioacuten Externa para

los cuales la instancia evaluadora uacutenicamente podraacute en caso de que lo considere pertinente agregar

subprocesos pero no suprimir subprocesos

PAE 2017 21

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

El proceso de ldquoEvaluacioacuten Externardquo requiere de informacioacuten transversal de todos los

procesos ya que se valora al Pp en su conjunto En este sentido los resultados de las

evaluaciones son un insumo para retroalimentar al Pp desde el proceso de ldquoPlaneacioacutenrdquo

Es importante sentildealar que en el Esquema 1 se muestra un modelo que es importante tomarlo en

cuenta como referencia para la identificacioacuten y definicioacuten de los procesos y subprocesos o

macroprocesos que integran la operacioacuten del Pp evaluado ademaacutes de que representa un auxiliar

en la definicioacuten del alcance y del enfoque de la Evaluacioacuten de Procesos del Pp

Esquema 1 Modelo general de procesos

Fuente Modelo de TdR para la Evaluacioacuten de Procesos Secretariacutea de Hacienda y Creacutedito Puacuteblico

A continuacioacuten se describe cada uno de los procesos que componen al modelo anterior

Planeacioacuten proceso en el que se determinan o definen el problema o necesidad aacuterbol de

problemas y objetivos poblacioacuten o aacuterea de enfoque potencial y objetivo objetivos

indicadores y metas de la MIR estrategia de cobertura plan estrateacutegico entre otros puntos

asiacute como los recursos financieros y humanos necesarios que requiere el Pp para lograr sus

objetivos En el proceso de planeacioacuten se determinan las directrices en el disentildeo e

implementacioacuten del Pp los subprocesos que lo integran son los siguientes planeacioacuten

estrateacutegica programacioacuten y presupuesto actualizacioacuten de la MIR actualizacioacuten de

normativa

PAE 2017 22

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Comunicacioacuten interna y externa proceso en el que se informan diversas caracteriacutesticas y

objetivos del Pp tanto a los actores involucrados en su funcionamiento y operacioacuten (interna)

como a su poblacioacuten o aacuterea de enfoque objetivo (externa)

Seleccioacuten de destinatarios proceso en el que se determina quieacutenes recibiraacuten los

componentes o entregables de un Pp en funcioacuten de su poblacioacuten o aacuterea de enfoque objetivo

Produccioacuten de entregables proceso en el que se elaboran los entregables o realizan los

componentes del Pp (recursos financieros o humanos apoyos bienes servicios

regulaciones documentos teacutecnicos o de planeacioacuten etc) conforme a sus documentos

normativos

Entrega proceso en el que se realiza la entrega de lo producido o generado por el Pp

(componentes o entregables) a los destinatarios o beneficiarios

Seguimiento a destinatarios actividades y mecanismos que permiten al Pp conocer coacutemo

son utilizados o aprovechados sus componentes o entregables (por sus destinatarios o

beneficiarios) para que entre otras funciones la UR del Pp identifique si se estaacute cumpliendo

con los objetivos Por ejemplo en este proceso se incluyen las actividades que un Pp

implementa para conocer el grado de satisfaccioacuten de sus destinatarios o beneficiarios

Control actividades y mecanismos implementados entre los operadores del Pp para verificar

que los diferentes procedimientos procesos y subprocesos se esteacuten ejecutando conforme a

lo planeado (control interno)

Monitoreo proceso coordinado por una unidad administrativa ajena a la operacioacuten del Pp

a traveacutes del cual se recaba registra y valida la informacioacuten sobre el avance de las metas de

los indicadores de la MIR asiacute como el seguimiento a los resultados de indicadores

adicionales a los de la MIR en caso de que se cuente con un sistema de monitoreo de gestioacuten

Los subprocesos que lo integran son los siguientes acopio de la informacioacuten para el reporte

de avances validacioacuten de informacioacuten y registro de avances primordialmente

Evaluacioacuten externa proceso coordinado por una unidad administrativa ajena a la operacioacuten

del Pp mediante el cual se define la agenda de evaluacioacuten externa del Pp se definen las

metodologiacuteas o los teacuterminos de referencia se contratan las evaluaciones externas (de

cualquier tipo) se recaba la informacioacuten que seraacute entregada a los equipos evaluadores se

realiza el seguimiento durante el desarrollo de las evaluaciones externas se aprueban los

PAE 2017 23

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

informes finales de las evaluaciones externas se notifica a las instancias correspondientes

sobre la conclusioacuten de las evaluaciones externas y se definen y realiza el seguimiento de los

Aspectos Susceptibles de Mejora (ASM)

A partir de los procesos definidos en el modelo anterior la instancia evaluadora deberaacute realizar una

equivalencia de los procesos subprocesos o macroprocesos identificados respecto a los definidos

en el modelo de acuerdo con el Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesosrdquo Cabe

mencionar que los procesos definidos en el modelo no son limitativos por lo que si la instancia

evaluadora identifica procesos subprocesos o macroprocesos adicionales deberaacute incluirlos

Disentildeo metodoloacutegico del trabajo de campo

A partir del contexto en que opera el Pp y el alcance y enfoque metodoloacutegico de la evaluacioacuten de

procesos la instancia evaluadora deberaacute desarrollar una propuesta de estrategia y plan de trabajo

de campo a seguir para la realizacioacuten de la evaluacioacuten asimismo deberaacute incluir un cronograma

detallado de actividades

La estrategia de trabajo de campo disentildeada por la instancia evaluadora deberaacute ser entregada a la

DEV para que en conjunto con la UR del Pp sea validada antes de su implementacioacuten Dicha

estrategia deberaacute contener al menos los siguientes elementos

Justificacioacuten de las teacutecnicas de investigacioacuten a utilizar

Muestra y los criterios utilizados para su seleccioacuten

Listado de los actores a entrevistar

Instrumentos de levantamiento de informacioacuten que se aplicaraacuten y

Cronograma con las actividades a desarrollar

La instancia evaluadora iniciaraacute las actividades del trabajo de campo de manera conjunta y una vez

recibido el visto bueno de la DEV

El disentildeo de la muestra y de los instrumentos para el levantamiento de informacioacuten en campo

deberaacute considerar a la totalidad de los actores que intervienen en la ejecucioacuten de los procesos y

subprocesos o macroprocesos que integran la operacioacuten o gestioacuten del Pp asiacute como a los

destinatarios o beneficiarios de los componentes o entregables del Pp independientemente de su

ubicacioacuten geograacutefica

Algunos criterios que puede utilizar la instancia evaluadora para definir una muestra que considere

la variabilidad de la operacioacuten en los diferentes contextos en que opera el Pp son los siguientes

PAE 2017 24

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

a) El desempentildeo operativo del Pp entre municipios regionalizacioacuten geograacutefica instituciones

puacuteblicas o privadas u otros aspectos que suponen una accioacuten diferenciada de los procesos

(cuando aplique)

b) Volumen de la operacioacuten del Pp

c) Esquemas normativos del Pp y el ejercicio presupuestal en los municipios instituciones

puacuteblicas o privadas u otros aspectos que suponen una accioacuten diferenciada de los procesos

en las que opera el Pp (cuando aplique) y

d) Formas de interaccioacuten del Pp con otros niveles u oacuterdenes de gobierno (cuando aplique)

Los criterios anteriores no son limitativos por lo que la instancia evaluadora podraacute proponer criterios

adicionales que considere pertinentes para la definicioacuten de la muestra para el trabajo de campo

En el disentildeo muestral la instancia evaluadora deberaacute sentildealar los funcionarios del Pp o destinatarios

a los que se les aplicaraacuten los instrumentos de levantamiento de informacioacuten con los que se realizaraacute

el trabajo de campo asiacute como la ubicacioacuten geograacutefica de los mismos

Instrumentos de levantamiento de informacioacuten

La instancia evaluadora deberaacute disentildear los instrumentos que utilizaraacute para el levantamiento de

informacioacuten durante el trabajo de campo como son (por ejemplo) los cuestionarios por tipo de

funcionario a entrevistar para el caso de entrevistas semiestructuradas los guiones a utilizar en la

realizacioacuten de grupos focales los cuestionarios de aplicacioacuten electroacutenica las guiacuteas respectivas entre

otros Para lo anterior deberaacute considerar los siguientes temas guiacutea y preguntas de referencia

Planeacioacuten (planeacioacuten estrateacutegica programacioacuten y presupuesto)

iquestQueacute se entiende por planeacioacuten estrateacutegica para los operadores del Pp

iquestCuaacuteles son las actividades o acciones de planeacioacuten estrateacutegica del Pp que se realizan

iquestLa planeacioacuten estrateacutegica es el resultado de un ejercicio institucionalizado que involucra a

los actores clave de la gestioacuten del Pp

iquestExiste un documento resultado de la planeacioacuten estrateacutegica iquestEs claro difundido y

accesible iquestEn queacute medida es utilizado para guiar la operacioacuten del Pp

iquestLa planeacioacuten estrateacutegica estaacute vinculada con el cumplimiento entrega o generacioacuten de los

componentes o entregables del Pp

iquestLa planeacioacuten estrateacutegica establece indicadores para medir los avances en las metas

establecidas iquestLas metas son factibles y estaacuten orientadas a impulsar el desempentildeo del Pp

PAE 2017 25

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

iquestQueacute se entiende por planeacioacuten operativa y cuaacuteles son las diferencias con la planeacioacuten

estrateacutegica

Comunicacioacuten interna y externa del Pp (las preguntas que apliquen)

iquestQueacute actores intervienen en la comunicacioacuten del Pp

iquestExiste una estrategia de comunicacioacuten del Pp documentada En caso afirmativo describirla

iquestLa estrategia de comunicacioacuten del Pp (documentada o no) es adecuada

iquestLos medios utilizados el lenguaje y el contenido de los mensajes son pertinentes en funcioacuten

del puacuteblico al que van dirigidos

Solicitud de los componentes o entregables del Pp (las preguntas que apliquen)

iquestExiste un proceso claro imparcial y expliacutecito por medio del cual la poblacioacuten o aacuterea de

enfoque potencial puede solicitar los componentes o entregables que otorga el Pp

iquestLos requisitos para solicitar los componentes o entregables del Pp se presentan de manera

clara y completa

iquestLos puntos de recepcioacuten de solicitudes son accesibles y suficientes (cuando aplique)

iquestExisten mecanismos estandarizados para recibir y revisar la documentacioacuten entregada asiacute

como registrar y dar traacutemite a las solicitudes (cuando aplique)

iquestSon adecuados estos mecanismos (cuando aplique) En caso de que el Pp que apoye la

realizacioacuten de proyectos iquestse brinda asesoriacutea para la presentacioacuten de los mismos de ser asiacute

iquestes pertinente esta asesoriacutea

iquestEl proceso de solicitud de los componentes o entregables que otorga el Pp se encuentra

automatizado total o parcialmente

Para esta pregunta considerar los estados de digitalizacioacuten utilizados por la Comisioacuten Intersecretarial

para el Desarrollo del Gobierno electroacutenico seguacuten una adaptacioacuten realizada a la clasificacioacuten que

hace la ONU

Estado de digitalizacioacuten 1 traacutemites y servicios que se encuentran en estado informativo

Estado de digitalizacioacuten 2 traacutemites y servicios que cuentan con interfaces de comunicacioacuten

unidireccional

Estado de digitalizacioacuten 3 traacutemites y servicios que permiten realizar transacciones y

Estado de digitalizacioacuten 4 traacutemites y servicios que el usuario puede ejecutar de principio a

fin por medio de dispositivos digitales

PAE 2017 26

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para mayor informacioacuten referirse a ldquoFigure A4 The four stages of online service developmentrdquo en

los siguientes documentos

Lineamientos relativos a la digitalizacioacuten estandarizada de traacutemites y servicios con apego en

la Estrategia Digital Nacional

httpwwwgobmxcmsuploadsattachmentfile67232ti_1_pgcm_bases_lineam_tyspdf

United Nations E-Government Survey 2014 (paacutegina 195)

httpspublicadministrationunorgegovkbportalsegovkbdocumentsun2014-surveye-

gov_complete_survey-2014pdf

Seleccioacuten de destinatarios (cuando aplique)

iquestExiste una metodologiacutea o meacutetodo para la seleccioacuten de destinatarios o beneficiarios de los

componentes o entregables del Pp iquestLa metodologiacutea utilizada cuenta con criterios de

seleccioacuten y elegibilidad claros estandarizados y sistematizados

iquestLa seleccioacuten de destinatarios o beneficiarios de los componentes o entregables del Pp es un

proceso transparente e imparcial iquestEl resultado de la seleccioacuten es puacuteblico (cuando aplique)

iquestExiste informacioacuten en una base de datos que permita conocer quieacutenes o queacute instancias

reciben los componentes o entregables del Pp iquestQueacute informacioacuten integra esta base de datos

iquestExisten mecanismos para validar y actualizar esta base de datos iquestEstos mecanismos son

pertinentes

Produccioacuten de componentes o entregables

iquestSe cuenta con los insumos suficientes para generar el volumen de componentes o

entregables que permitan al Pp atender a su poblacioacuten o aacuterea de enfoque objetivo

iquestEl Pp tiene mecanismos para estimar la produccioacuten o generacioacuten necesaria de componentes

o entregables de acuerdo con la posible demanda o requerimientos de su poblacioacuten o aacuterea

de enfoque objetivo iquestEs adecuado este mecanismo

iquestExisten mecanismos de control de calidad para la generacioacuten de los componentes o

entregables del Pp iquestEstos mecanismos son pertinentes

iquestLas actividades de generacioacuten de componentes o entregables que otorga el Pp estaacuten

estandarizadas es decir son ejecutadas de manera homogeacutenea por todas las instancias

involucradas

PAE 2017 27

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Entrega

iquestLos componentes o entregables del Pp son proporcionados conforme a las especificaciones

y de manera oportuna a los destinatarios

iquestExisten especificaciones (programas o planes de trabajo) sobre la forma en que se deben

trasladar los componentes o entregables para (por ejemplo) asegurar su adecuada recepcioacuten

en el punto de destino iquestSon adecuadas estas especificaciones respecto a normas o

lineamientos existentes (cuando aplique)

iquestLa logiacutestica de distribucioacuten se actualiza (cuando aplique) iquestExiste un periodo para dicha

actualizacioacuten iquestEn el disentildeo y actualizacioacuten de la logiacutestica se toman en cuenta los factores

geograacuteficos y climatoloacutegicos en cada regioacuten donde opera el Pp (cuando aplique)

iquestLos puntos de entrega de los componentes o entregables son cercanos a los beneficiarios

o aacuterea de enfoque a atender y son de faacutecil acceso iquestSe considera que son suficientes iquestPor

queacute

Control (las preguntas que apliquen)

iquestEl Pp cuenta con los mecanismos para verificar que los componentes o entregables se

otorguen de acuerdo con lo establecido en la normativa especiacutefica y lleguen a la poblacioacuten

o aacuterea de enfoque que deba ser beneficiada iquestEstos mecanismos son adecuados

iquestExiste de manera sistematizada un documento que deacute cuenta de los resultados de

supervisioacuten y entrega de componentes o entregables iquestEste documento es adecuado iquestLos

resultados se utilizan para implementar mejoras en la operacioacuten del Pp

iquestExisten procedimientos estandarizados que verifiquen el cumplimiento de la

corresponsabilidad u obligatoriedad por parte de los beneficiarios o destinatarios de los

componentes o entregables del Pp (cuando aplique)

Seguimiento a destinatarios

iquestEl Pp tiene mecanismos para verificar el procedimiento de seguimiento a los destinatarios o

beneficiarios que permitan identificar si los componentes o entregables generados son

utilizados de acuerdo con lo establecido iquestCoacutemo se implementa el mecanismo iquestEste

mecanismo es adecuado

iquestExisten procedimientos estandarizados que permitan verificar el cumplimiento de la

corresponsabilidad u obligatoriedad por parte del destinatario o beneficiario (cuando

aplique)

PAE 2017 28

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

En caso de que los componentes o entregables involucren la ejecucioacuten de obra o de

infraestructura iquestel Pp cuenta con un mecanismo de seguimiento o supervisioacuten que permita

identificar si se realizaron acorde a la normativa aplicable iquestEl seguimiento o supervisioacuten

considera plazos para la revisioacuten de las condiciones de la obra o la infraestructura despueacutes

de terminada la obra

iquestEl Pp tiene mecanismos para identificar si se cumple con su Propoacutesito iquestSon suficientes y

pertinentes estos mecanismos

iquestExisten mecanismos para conocer la satisfaccioacuten del destinatario o beneficiario de los

componentes o entregables del Pp respecto de los componentes que ofrece el Pp iquestSon

adecuados estos mecanismos iquestSu operacioacuten permite una aplicacioacuten imparcial y objetiva

iquestExiste evidencia para afirmar que las quejas y sugerencias que brindan los destinatarios o

beneficiarios de los componentes o entregables del Pp son utilizadas para la mejora continua

del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

En esta seccioacuten se deberaacute realizar la medicioacuten de los atributos de eficacia oportunidad suficiencia

y pertinencia de los procesos y subprocesos o macroprocesos definidos en el mapa de procesos del

Pp A continuacioacuten se definen los atributos en el marco de la evaluacioacuten de procesos

Eficacia un proceso es eficaz en la medida en que cumple con sus metas

Oportunidad un proceso es oportuno en la medida en que otorga sus productos

(componentes o entregables) o resultados en un periodo de tiempo determinado o

adecuado para el logro de sus objetivos

Suficiencia un proceso es suficiente en la medida en que produce sus resultados de forma

completa o adecuada para el logro de sus objetivos

Pertinencia un proceso es pertinente si sus actividades y productos son adecuados para

lograr tanto sus metas especiacuteficas como sus objetivos es decir si contribuyen al

mejoramiento de la gestioacuten del Pp4

4 Las actividades son adecuadas si estaacuten en funcioacuten del logro del objetivo de cada proceso Por ejemplo si se verifica que el formato de los mensajes a difundir cumpla con las caracteriacutesticas necesarias para llegar a la poblacioacuten o aacuterea de enfoque objetivo como seriacutea una mensaje de audio en la lengua indiacutegena de la localidad donde se encuentran los posibles destinatarios o beneficiarios o bien como seriacutea un mensaje dirigido a personal operativo del Pp cuyo nivel de estudios promedio pudiera complicar la comprensioacuten de lenguaje teacutecnico utilizado

PAE 2017 29

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para la medicioacuten de los atributos de los procesos y subprocesos o macroprocesos del Pp deberaacute

realizarse una revisioacuten documental (normativa aplicable MIR evaluaciones externas sistemas de

informacioacuten y registros administrativos entre otros) misma que deberaacute complementarse con el

trabajo de campo con el objetivo de identificar disentildear y calcular indicadores relacionados con

dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de informacioacuten empleadas

La informacioacuten obtenida de estos indicadores deberaacute vaciarse en fichas propuestas por la instancia

evaluadora presentadas como en el Anexo 6 ldquoFichas de indicadores de atributos de los procesos del

Pprdquo (formato libre) Estas fichas deberaacuten considerar la medicioacuten de los atributos de eficacia

suficiencia oportunidad y pertinencia correspondientes a cada proceso y subproceso o

macroproceso

Valoracioacuten de los procesos y subprocesos de la operacioacuten del Pp

Deberaacute contener una siacutentesis de los resultados encontrados en la Evaluacioacuten de Procesos del Pp

resaltando los hallazgos maacutes relevantes que se hayan detectado y que pudiesen transformarse en

ASM

La instancia evaluadora deberaacute calcular una valoracioacuten global cuantitativa sobre la operacioacuten y la

ejecucioacuten de los procesos y subprocesos o macroprocesos del Pp a partir del siguiente esquema de

puntuacioacuten5

Eficacia

- Todos los procesos (o macroprocesos) son eficaces = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es eficaz = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es eficaz = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es eficaz = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es eficaz = 1 punto

- Ninguno de los procesos (o macroprocesos) es eficaz = 0 puntos

Oportunidad

- Todos los procesos (o macroprocesos) son oportunos = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es oportuno = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es oportuno = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es oportuno = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es oportuno = 1 punto

5 La valoracioacuten cuantitativa deberaacute estar sustentada y por tanto ser consistente con lo valorado por la instancia evaluadora en el apartado de ldquoMedicioacuten de atributos de los procesos y subprocesosrdquo

PAE 2017 30

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

- Ninguno de los procesos (o macroprocesos) es oportuno = 0 puntos

Suficiencia

- Todos los procesos (o macroprocesos) son suficientes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es suficiente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es suficiente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es suficiente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es suficiente = 1 punto

- Ninguno de los procesos (o macroprocesos) es suficiente = 0 puntos

Pertinencia

- Todos los procesos (o macroprocesos) son pertinentes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es pertinente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es pertinente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es pertinente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es pertinente = 1 punto

- Ninguno de los procesos (o macroprocesos) es pertinente = 0 puntos

A partir de los puntajes asignados en los cuatro atributos anteriores esta valoracioacuten cuantitativa

global debe considerar el total de puntos posibles de obtener (5 x 4 = 20 puntos) y los puntos

obtenidos en la Evaluacioacuten de Procesos Pp (lsquoyrsquo puntos) de modo que se indique el porcentaje de

puntos obtenidos del total de puntos posibles [(lsquoyrsquo20) x 100] = valoracioacuten cuantitativa global de la

operacioacuten del Pp

La instancia evaluadora deberaacute utilizar el Anexo 9 ldquoValoracioacuten global cuantitativardquo para documentar

argumentar y sustentar cada una de las valoraciones cuantitativas sobre la operacioacuten y la ejecucioacuten

de los procesos (o macroprocesos) del Pp

Adicionalmente en este apartado se deberaacuten integrar las recomendaciones y conclusiones que se

consideren maacutes relevantes de los procesos y subprocesos o macroprocesos del Pp las cuales deben

formularse con base en los hallazgos del trabajo de campo y de gabinete El objetivo final de las

recomendaciones es proveer informacioacuten valiosa a los operadores del Pp para realizar adecuaciones

en la ejecucioacuten de los procesos y subprocesos o macroprocesos de modo que se potencie la

consecucioacuten de resultados del Pp

Las recomendaciones que se formulen como resultado de la Evaluacioacuten de Procesos del Pp deberaacuten

tener las siguientes caracteriacutesticas

Derivarse de los hallazgos de la evaluacioacuten

PAE 2017 31

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Ser concretas y factibles

Incluir un proyecto de implementacioacuten que considere los siguientes elementos

- Breve anaacutelisis de la viabilidad o factibilidad de la implementacioacuten

- Principales responsables de la implementacioacuten

- Anaacutelisis de los efectos potenciales que puede implicar la implementacioacuten tanto en la

operacioacuten del Pp como en el logro de sus objetivos

- La comparacioacuten entre la situacioacuten actual y el resultado que se espera obtener con la

implementacioacuten de la recomendacioacuten

Estar categorizadas en dos liacuteneas de accioacuten estrateacutegicas

- Consolidacioacuten

- Reingenieriacutea de procesos o subprocesos

Al respecto la instancia evaluadora debe entender por consolidacioacuten aquellas recomendaciones que

estaacuten dirigidas a perfeccionar determinados aspectos de la operacioacuten como seriacutean algunas acciones

procedimientos o estrategias del Pp asiacute como iniciativas para el fortalecimiento de los sistemas

automatizados infraestructura entre otros

Por reingenieriacutea de procesos o subprocesos se entenderaacuten aquellas recomendaciones que apuntan

a una transformacioacuten o modificacioacuten profunda o sustancial de uno o varios de los procesos y

subprocesos del Pp Para ello se deberaacute llenar el Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de

Procesos del Pprdquo y que a su vez deben derivar en acciones de consolidacioacuten para la implementacioacuten

de los procesos transformados

Adicionalmente y de conformidad con el alcance de la Evaluacioacuten de Procesos del Pp se deberaacute

presentar una propuesta para crear o fortalecer el sistema de monitoreo de gestioacuten del Pp con

indicadores a nivel de procesos y subprocesos o macroprocesos

Asimismo a partir de todo el anaacutelisis y valoraciones realizadas se deberaacute emitir un pronunciamiento

acerca de la percepcioacuten de eficiencia que la instancia evaluadora haya tenido sobre la ejecucioacuten de

los procesos y subprocesos o macroprocesos del Pp

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible o si no hipoteacuteticos en un anexo de formato libre Anexo 10 ldquoSistema de

monitoreo e indicadores de gestioacuten del Pprdquo

PAE 2017 32

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Bitaacutecora de trabajo de campo y bases de datos

La instancia evaluadora deberaacute entregar una bitaacutecora de trabajo de campo que destaque de forma

sinteacutetica entre otros puntos las principales actividades y situaciones a las que se enfrentoacute y que

podriacutean afectar los resultados de la Evaluacioacuten de Procesos del Pp

Asimismo deberaacute entregar las bases de datos generadas a partir de la aplicacioacuten de los instrumentos

de recoleccioacuten de informacioacuten y de la recopilacioacuten de informacioacuten en el trabajo de campo Las bases

de datos deberaacuten entregarse en formatos compatibles con Excel debiendo mantener la

confidencialidad de los entrevistados pero sin alterar la informacioacuten proporcionada por estos En las

bases de datos debe estar sistematizada toda la informacioacuten recabada a partir de la aplicacioacuten de

los instrumentos de levantamiento de informacioacuten y deberaacute sustentar el anaacutelisis las valoraciones los

hallazgos y las conclusiones de la evaluacioacuten

PAE 2017 33

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Contenido del informe

Contenido miacutenimo del informe final de la evaluacioacuten

Derivado del contenido generado en las secciones anteriores deberaacuten elaborarse los siguientes

apartados en el informe final de la Evaluacioacuten de Procesos del Pp

i Introduccioacuten

ii Resumen Ejecutivo

iii Marco Legal

iv Datos Generales del Programa Presupuestario (Pp)

v Criterios Teacutecnicos para la Evaluacioacuten del Programa Presupuestario correspondiente

vi Apartados de la evaluacioacuten

Seccioacuten 1 Disentildeo

Diagnoacutestico del programa puacuteblico

Matriz de Indicadores para Resultados (MIR)

Seccioacuten 2 Procesos

Pertinencia de los proceso

Diagnoacutestico general de los procesos y subprocesos del Pp

- Contexto en que opera el Pp

- Diagnoacutestico inicial de los procesos y subprocesos

Descripcioacuten y valoracioacuten de los procesos y subprocesos del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

vii Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

viii Valoracioacuten final del Pp

ix Hallazgos

x Recomendaciones clasificadas por apartado

xi Conclusiones

xii Bibliografiacutea

xiii Anexos

Anexo 1 Descripcioacuten General del Programa

Anexo 2 Metodologiacutea para la cuantificacioacuten de las poblaciones potencial y objetivo

(Formato Libre)

Anexo 3 Evolucioacuten de la Cobertura

Anexo 4 Propuesta de mejora de la Matriz de Indicadores para Resultados

Anexo 5 Ficha de identificacioacuten y equivalencia de procesos del Pp

PAE 2017 34

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 Fichas de indicadores de atributos de los procesos del Pp (Formato libre)

Anexo 7 Diagramas de flujo de la operacioacuten del Pp

Anexo 8 Propuesta de modificacioacuten a los documentos normativos o institucionales

del Pp

Anexo 9 Valoracioacuten global cuantitativardquo

Anexo 10 Sistema de monitoreo e indicadores de gestioacuten del Pp (Formato libre)

Anexo 11 Recomendaciones de la Evaluacioacuten de Procesos del Pp

Anexo 12 Principales Fortalezas Retos y Recomendaciones

Anexo 13 Ficha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacuten

En el Resumen Ejecutivo asimismo se describiraacuten los principales hallazgos y recomendaciones del

evaluador externo

Para el desarrollo de los apartados antes referidos deberaacute atender las indicaciones que se desarrollan

en las siguientes secciones

Hallazgos y resultados Pp por Seccioacuten

Se debe realizar una valoracioacuten general del programa por seccioacuten utilizando las respuestas que

integran cada uno de los apartados En esta valoracioacuten integral se deberaacute sentildealar en queacute medida la

gestioacuten operativa conduce al logro de los objetivos del Pp

Asimismo se deben sentildealar las aacutereas de mejora las buenas praacutecticas y las fortalezas detectadas en

la operacioacuten del Pp y a partir de ello la instancia evaluadora emitiraacute recomendaciones de mejora

sobre aspectos especiacuteficos de cada proceso y subproceso o macroproceso del Pp Adicionalmente

se deberaacuten identificar los problemas o limitantes tanto normativos como operativos (ldquocuellos de

botellardquo) de coordinacioacuten entre unidades administrativas y otros que hubiese en los procesos y

subprocesos o macroprocesos del Pp entendieacutendose como aquellas praacutecticas procedimientos

actividades o traacutemites que obstaculizan la operacioacuten del Pp

En este sentido se deberaacuten identificar las situaciones en las que la normativa genere complicaciones

en la gestioacuten o ineficacia en el cumplimiento de los objetivos del Pp para lo cual se deberaacute presentar

(por cada situacioacuten identificada) una propuesta de modificacioacuten a la normativa aplicable al Pp

considerando las restricciones praacutecticas que existan para su implementacioacuten asiacute como los efectos

PAE 2017 35

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

potenciales de ser implementada Los resultados de este anaacutelisis deberaacuten describirse en el Anexo 7

ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales del Pprdquo

Para la identificacioacuten y descripcioacuten de los ldquocuellos de botellardquo buenas praacutecticas y fortalezas del Pp

se consideraraacute la informacioacuten derivada del anaacutelisis de la operacioacuten del Pp asiacute como los puntos de

vista de los principales actores que intervienen en ella Este anaacutelisis deberaacute contener las causas y las

consecuencias de los ldquocuellos de botellardquo detectados sus caracteriacutesticas y naturaleza (si son

normativas o estrictamente operativas) de igual manera se deberaacute desarrollar un anaacutelisis de las

buenas praacutecticas identificadas

Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

Se debe integrar en una sola tabla las fortalezas oportunidades debilidades y amenazas

especificadas por cada apartado de la evaluacioacuten y reportarlas en el Anexo 11 ldquoPrincipales Fortalezas

Retos y Recomendacionesrdquo en el que se deben incluir las fortalezas yo oportunidades las

debilidades yo amenazas y las recomendaciones por apartado de la evaluacioacuten

PAE 2017 36

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexos

Anexo 1 ldquoDescripcioacuten General del Programardquo

El Anexo tiene formato libre sin embargo debe contener una breve descripcioacuten de las caracteriacutesticas

maacutes relevantes del Pp en un maacuteximo de dos cuartillas Dicha descripcioacuten debe considerar los

siguientes aspectos

1 Identificacioacuten del programa

11 Nombre

12 Clave de programa

13 Dependencia yo Entidad coordinadora ejecutora

14 Antildeo de inicio de operacioacuten

2 Problema o necesidad que el Pp pretende atender atenuar o resolver

3 La contribucioacuten del Pp a las Metas y objetivos estatales a los que se vincula

4 Descripcioacuten de los objetivos del Pp asiacute como de los bienes yo servicios que ofrece

(componentes)

5 Identificacioacuten y cuantificacioacuten de la poblacioacuten o aacuterea de enfoque potencial y

objetivo

6 Presupuesto aprobado para el ejercicio fiscal en curso

7 Metas de los indicadores de Fin Propoacutesito y Componentes asiacute como los de nivel

actividad que se consideren relevantes y

8 Resumen de la valoracioacuten de la pertinencia del disentildeo del Pp respecto a la atencioacuten

del problema o necesidad

Anexo 2 ldquoMetodologiacutea para la cuantificacioacuten de la poblacioacuten o aacuterea de enfoque

potencial y objetivordquo

El Anexo tiene formato libre sin embargo se debe incluir la siguiente informacioacuten

Definicioacuten de la poblacioacuten o aacuterea de enfoque potencial objetivo y atendida

Cuantificacioacuten de la poblacioacuten potencial objetiva y atendida

Hallazgos sobre el procedimiento llevado a cabo para definir y cuantificar la poblacioacuten o

aacuterea de enfoque potencial objetivo y atendida

Recomendaciones

Propuesta orientada hacia la mejora

PAE 2017 37

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 3 ldquoEvolucioacuten de la Coberturardquo

Nombre del

Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten

Antildeo de la Evaluacioacuten

Tipo de Poblacioacuten

Unidad

de

Medida

2012 2013 2014 2015 2016

P Potencial

P Objetivo

P Atendida

119927119912 times 120783120782120782

119927119926

PAE 2017 38

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 4 ldquoPropuesta de mejora de la Matriz de Indicadores para Resultadosrdquo

Derivado del anaacutelisis y valoracioacuten de la pregunta de investigacioacuten nuacutemero 3 iquestLa estructura de

objetivos planteada por el programa mantiene loacutegica y correspondencia causal con el problema

planteado en el diagnoacutestico se realizaraacute una propuesta de mejora de MIR

Fin

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Propoacutesito

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Componente 1

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

PAE 2017 39

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Componente 2 hellip

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 40

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesos del Pprdquo

Para la identificacioacuten y clasificacioacuten de los procesos del Pp se sugieren los siguientes pasos

1 Listar los procesos identificados

Comparar los procesos identificados del Pp con aquellos correspondientes al Modelo general de

procesos Colocar en el rengloacuten correspondiente el nombre de cada proceso del Pp identificado

como equivalente

2 Colocar al final de la lista aquellos procesos del Pp que no sean equivalentes con el Modelo

general de procesos

Modelo general de

procesos

Nuacutemero

de

secuencia

Procesos o subprocesos del Pp identificados por el

evaluador

(Nombre y breve descripcioacuten)

Planeacioacuten Ejemplo (Ej) Planeacioacuten Estrateacutegica

Ej Programacioacuten

Ej Presupuestacioacuten

Comunicacioacuten interna y

externa

Ej Difusioacuten Federal

Ej Difusioacuten Local

Seleccioacuten de

destinatarios

Ej Recepcioacuten de solicitudes de becas

Ej Seleccioacuten de becarios

Produccioacuten de

entregables

Entrega

Control

Seguimiento Ej Seguimiento fiacutesico y supervisioacuten en campo

Evaluacioacuten externa Ej Publicacioacuten y lectura del PAE

Ej Definicioacuten de TdR

Ej Contratacioacuten

Ej Ejecucioacuten de la evaluacioacuten externa

Monitoreo Ej Registro de avances de indicadores

Ej Revisioacuten de registros

Ej Validacioacuten de registros e integracioacuten de informes

PAE 2017 41

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Procesos identificados por el evaluador que no coinciden con el Modelo general de procesos

PAE 2017 42

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 ldquoFichas de indicadores de atributos de los procesos del Pp (formato libre)rdquo

Para la construccioacuten de este anexo deberaacute realizarse una revisioacuten documental (normativa aplicable

MIR evaluaciones externas sistemas de informacioacuten y registros administrativos entre otros) misma

que deberaacute complementarse con el trabajo de campo con el objetivo de identificar disentildear y calcular

indicadores relacionados con dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de

informacioacuten empleadas

Ademaacutes de considerar la medicioacuten de los atributos de eficacia suficiencia oportunidad y pertinencia

de cada proceso y subproceso o macroproceso

PAE 2017 43

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 7 ldquoDiagramas de flujo de la operacioacuten del Pprdquo

Para la elaboracioacuten de los diagramas de flujo deberaacute utilizarse la notacioacuten empleada en el

documento ldquoGuiacutea para la Optimizacioacuten Estandarizacioacuten y Mejora Continua de Procesosrdquo publicada

por la SFP en la direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Para el Diagrama de Alto Nivel (Diagrama PEPSU)

Ejemplo ilustrativo

PAE 2017 44

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para el Diagrama de Flujo

PAE 2017 45

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

PAE 2017 46

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 8 ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales

del Pprdquo

Tipo de

norma-

tiva

Dice

Problema

generado

(causas y

consecuencias)

Se

recomienda

decir

Efecto esperado de

aplicar la

recomendacioacuten de

cambio

Restricciones praacutecticas

que puedan existir para

su implementacioacuten

PAE 2017 47

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 9 ldquoValoracioacuten global cuantitativa ldquo

Seccioacuten 1 Disentildeo

Disentildeo Valoracioacuten Argumento o justificacioacuten

Porcentaje del

Disentildeo del Pp

(Suma de valoracioacuten alcanzada por pregunta de la seccioacuten 1 Total maacuteximo de la

valoracioacuten de todas las preguntas de la seccioacuten 1 ) x 100

Seccioacuten 2 Procesos

Proceso Eficacia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

eficaces

(Total de procesos eficaces Total de procesos del Pp) x 100

Proceso Oportunidad

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

oportunos

(Total de procesos oportunos Total de procesos del Pp) x 100

Proceso Suficiencia

(SiacuteNo) Argumento o justificacioacuten

PAE 2017 48

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Porcentaje de

procesos

suficientes

(Total de procesos suficientes Total de procesos del Pp) x 100

Proceso Pertinencia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

pertinentes

(Total de procesos pertinentes Total de procesos del Pp) x 100

NOTA Los argumentos y justificaciones del evaluador deberaacuten considerar el anaacutelisis y valoraciones de

los subprocesos de cada proceso de modo que haya consistencia entre estos elementos Asimismo el

evaluador deberaacute expresar los resultados de la valoracioacuten cuantitativa en una graacutefica tipo radial

PAE 2017 49

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 10 ldquoSistema de monitoreo e indicadores de gestioacuten del Pp (formato libre)rdquo

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible

Nombre del Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten De Procesos

Antildeo de la Evaluacioacuten 2017

Fin Justificacioacuten Propoacutesito Justificacioacuten Componente (s) Justificacioacuten

Nombre de

Indicador

Meacutetodo de Caacutelculo

Claro SiacuteNo SiacuteNo SiacuteNo

Relevante SiacuteNo SiacuteNo SiacuteNo

Econoacutemico SiacuteNo SiacuteNo SiacuteNo

Monitoreable SiacuteNo SiacuteNo SiacuteNo

Adecuado SiacuteNo SiacuteNo SiacuteNo

Definicioacuten SiacuteNo SiacuteNo SiacuteNo

Unidad de Medida SiacuteNo SiacuteNo SiacuteNo

Frecuencia de

Medicioacuten

SiacuteNo SiacuteNo SiacuteNo

Liacutenea Base SiacuteNo SiacuteNo SiacuteNo

Metas SiacuteNo SiacuteNo SiacuteNo

Comportamiento

del Indicador

SiacuteNo SiacuteNo SiacuteNo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 50

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de Procesos del Pprdquo

En este Anexo la instancia evaluadora debe valorar si la recomendacioacuten implica una consolidacioacuten o

una reingenieriacutea del proceso

A) Consolidacioacuten

Proceso Recomendaci

oacuten

Breve

anaacutelisis de

viabilidad de

la

implementa-

cioacuten

Principales

responsables

de la

implementaci

oacuten

Situacioacuten

actual

Efectos

potenciales

esperados

Medio de

verifica-

cioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

B) Reingenieriacutea de procesos

Proceso Objetivo

Breve

anaacutelisis de

viabilidad

de la

implemen-

tacioacuten

Principales

responsables

de la

implemen-

tacioacuten

Situa-

cioacuten

actual

Metas y

efectos

potenciale

s

esperados

Elabora-

cioacuten de

flujogram

a del

nuevo

proceso

Medio

de

verifi-

cacioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

NOTA El nivel de priorizacioacuten Alto Medio o Bajo se estimaraacute considerando la mejora en la operacioacuten

del Pp la viabilidad de la implementacioacuten de la recomendacioacuten asiacute como el efecto potencial que esto

pueda tener el alcance del objetivo del Pp

PAE 2017 51

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 12 ldquoPrincipales Fortalezas Retos y Recomendacionesrdquo

Capacidades Internas Factores Externos

Fortalezas

(Cualquier capacidad con la que cuenta la dependencia o

entidad que le permita aprovechar sus recursos para la

obtencioacuten de sus objetivos)

Oportunidades

(Cualquier factor externo fuera del control de la dependencia o

entidad que puede ser aprovechado para la obtencioacuten de sus

objetivos)

Debilidades

(Cualquier limitante Interna de la dependencia o entidad que

puede afectar la obtencioacuten de sus objetivos)

Amenazas

(Cualquier factor externo fuera de control de la dependencia o

entidad que pueda afectar la obtencioacuten de sus objetivos)

PAE 2017 52

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacutenrdquo

El Informe Final de la Evaluacioacuten de Procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten

Superior deberaacuten contener una ficha con los siguientes datos

Ficha Teacutecnica con los datos generales de la evaluacioacuten

Nombre o denominacioacuten de la

evaluacioacuten

[Especificar el nombre de la evaluacioacuten considerando su tipo y ejercicio

evaluado]

Nombre o denominacioacuten del

programa evaluado

[Indicar el nombre del Pp sujeto a evaluacioacuten de acuerdo con lo

establecido en el PEF sentildealando su modalidad y clave]

Unidad Responsable de la operacioacuten

del programa

[Especificar la(s) unidad(es) responsable(s) de la administracioacuten

operacioacuten y ejecucioacuten de los programas subprogramas y proyectos del

Pp evaluado correspondientes a las dependencias y entidades]

Titular de la unidad responsable de la

operacioacuten del programa

[Indicar el nombre del(a) Titular de la Unidad Responsable de la

operacioacuten del Pp]

Antildeo del Programa Anual de

Evaluacioacuten (PAE) en que fue

considerada la evaluacioacuten

[Especificar el ejercicio fiscal al que corresponde el PAE en la que fue

programada la evaluacioacuten]

Antildeo de conclusioacuten y entrega de la

evaluacioacuten

[Indicar el antildeo en que se concluyoacute la evaluacioacuten]

Tipo de evaluacioacuten [Especificar el tipo de evaluacioacuten de acuerdo con los Lineamientos de

evaluacioacuten el nombre de la evaluacioacuten y con lo establecido en el PAE]

Nombre de la instancia evaluadora [Indicar el nombre de la firma consultoriacutea u organizacioacuten que realizoacute la

evaluacioacuten]

Nombre del(a) coordinador(a)

externo(a) de la evaluacioacuten

[Especificar el nombre del(a) responsable de la coordinacioacuten de la

evaluacioacuten dla instancia evaluadora]

Nombre de los(as) principales

colaboradores(as) del(a)

coordinador(a) de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del(a)

coordinador(a) de la evaluacioacuten]

PAE 2017 53

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Unidad Administrativa responsable de

la Coordinacioacuten de la evaluacioacuten

[De acuerdo con lo sentildealado en el PAE especificar la instancia a la que

corresponde la coordinacioacuten de la evaluacioacuten pej Secretariacutea de

Finanzas y Administracioacuten (SFA) asiacute como la unidad administrativa

mediante la cual se ejerce esta funcioacuten p ej Direccioacuten de Evaluacioacuten

de la SFA (DEV)

Nombre del(a) Titular de la unidad

administrativa responsable de

coordinar la evaluacioacuten (Aacuterea de

Evaluacioacuten)

[Especificar el nombre del(a) Titular de la Unidad responsable de dar

seguimiento a la evaluacioacuten que funge como Aacuterea de Evaluacioacuten]

Nombres de los(as) servidores(as)

puacuteblicos(as) adscritos(as) a la unidad

administrativa responsable de

coordinar la evaluacioacuten que

coadyuvaron con la revisioacuten teacutecnica

de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del

titular de la unidad administrativa responsable de dar seguimiento a la

evaluacioacuten respecto de la revisioacuten teacutecnica de la misma]

Forma de contratacioacuten de la instancia

evaluadora

[Indicar el tipo de contratacioacuten dla instancia evaluadora Especificar el

tipo de procedimiento de contratacioacuten de la instancia evaluadora

consistente con los tipos de adjudicacioacuten establecidos en la Ley de

Adquisiciones Arrendamientos y Servicios del Sector Puacuteblico]

Costo total de la evaluacioacuten con IVA

incluido

[Especificar el costo total de la evaluacioacuten incluyendo el IVA (en caso

de que se haya causado) como sigue $XXX IVA incluido]

Asimismo en este anexo se deberaacute incluir una nota metodoloacutegica con la descripcioacuten de las teacutecnicas

y los modelos utilizados por el evaluador externo acompantildeada del disentildeo por muestreo

especificando los supuestos empleados y las principales caracteriacutesticas del tamantildeo y dispersioacuten de

la muestra utilizada

DIRECTORIO

Rauacutel Saacutenchez Kobashi

Secretario de la Secretariacutea de Finanzas y Administracioacuten

Francisco Fidel Teomitzi Saacutenchez

Subsecretario de Planeacioacuten

Arturo Neponuceno Crisoacutestomo

Director de Evaluacioacuten

Rodolfo de la Rosa Cabrera

Subdireccioacuten de Evaluacioacuten de Programas

Sauacutel Federico Oropeza Orea

Jefe del Departamento de Programas Estatales y Municipales

Ana Luz Guzmaacuten Figueroa

Analista del Departamento de Programas Estatales y Municipales

Marco Antonio Saacutenchez Gonzaacutelez

Analista del Departamento de Programas Estatales y Municipales

Page 13: Términos de Referencia para la Evaluación del Desempeño ...evaluacion.puebla.gob.mx/pdf/metodologias/TdR_Est/2017/TdR... · Perfil de la instancia evaluadora ... acuerdo con las

PAE 2017 12

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Preguntas de investigacioacuten

Seccioacuten 1 Disentildeo

Diagnoacutestico del programa puacuteblico

1 iquestEl programa tiene identificado el problema y la loacutegica causal acerca de su dinaacutemica

Consideraciones

La respuesta deberaacute mostrar si el problema o necesidad para el que va dirigido el programa se

identifica como un hecho negativo el que se puede revertir o atender

Se tendraacute que identificar si se cuenta con aacuterbol de problemas (u otro elemento documentado) que

permita identificar la loacutegica causal del problema al que se busca atender juzgando la medida en que

la loacutegica causal del programa es consistente con los estudios utilizados para fundamentacioacuten de la

intervencioacuten

Se debe incluir la definicioacuten del problema o necesidad y en su caso la propuesta de modificacioacuten o

recomendaciones de mejora Asimismo se indicaraacute si el problema o necesidad considera diferencias

entre hombres y mujeres a fin de conocer las limitaciones yo las oportunidades que presenta el

entorno econoacutemico demograacutefico social cultural poliacutetico juriacutedico e institucional para la promocioacuten

de la igualdad de geacutenero

Se deberaacute que determinar si el problema identificado por el Pp tiene coincidencia con alguacuten

problema que se aborda en el PED yo en el Programa Sectorial De igual forma se deberaacute analizar

si en el aacutembito nacional o internacional se cuenta con experiencias de poliacuteticas puacuteblicas que tuvieron

o tienen como objetivo la atencioacuten del problema que se plantea atender Lo anterior sentildealando sus

logros fallos y resultados ademaacutes se solicita hacer mencioacuten sobre la incorporacioacuten de elementos

exitosos de otras estrategias en el disentildeo del programa presupuestario a evaluar

2 iquestEl programa cuenta con una identificacioacuten (cuantificacioacuten y ubicacioacuten geograacutefica) de la

poblacioacuten o aacuterea de enfoque potencial y objetivo de su intervencioacuten y eacutesta se relaciona con

la definicioacuten del problema puacuteblico que se plantea atender

Consideraciones

La instancia evaluadora deberaacute valorar la medida en que la definicioacuten del problema es traducido a

unidades concretas de personas grupos especiacuteficos o zonas geograacuteficas cuantificables y

monitoreables en referentes estadiacutesticos oficiales del estado yo federacioacuten

PAE 2017 13

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

En la respuesta se deberaacuten incluir las definiciones de la poblacioacuten o aacuterea de enfoque potencial

objetivo y atendida asiacute como su cuantificacioacuten La metodologiacutea y fuentes de informacioacuten para

determinar los tipos de poblacioacuten o aacuterea de enfoque se deben incluir en el Anexo 2 ldquoMetodologiacutea

para la cuantificacioacuten de la poblacioacuten o aacuterea de enfoque potencial y objetivordquo

Asimismo identificar si el Pp cuenta con una estrategia de cobertura institucional en que se defina

la estrategia que utilizaraacute a lo largo del tiempo para cubrir el total de su poblacioacuten o aacuterea de enfoque

potencial en caso de que no se identifique alguna estrategia el evaluador deberaacute emitir una

valoracioacuten sobre la pertinencia del disentildeo actual del Pp para alcanzar las metas de cobertura En caso

de que el disentildeo actual del Pp no permita alcanzar las metas de cobertura deberaacuten recomendarse

modificaciones concretas al disentildeo del Pp con la finalidad de que sea maacutes probable que alcance

dichas metas de cobertura

De igual forma se debe analizar la evolucioacuten de la poblacioacuten o aacuterea de enfoque atendida y su

convergencia con la poblacioacuten o aacuterea de enfoque potencial es decir si el programa ha logrado

atender a toda la poblacioacuten o aacuterea de enfoque objetivo El anaacutelisis se debe justificar y completar el

Anexo 3 ldquoEvolucioacuten de la Coberturardquo

Matriz de Indicadores para Resultados (MIR)

3 iquestLa estructura de objetivos planteada por el programa mantiene loacutegica y correspondencia

causal con el problema planteado en el diagnoacutestico

Consideraciones

Se deberaacute identificar la contribucioacuten del programa a los objetivos estrateacutegicos del Plan Estatal de

Desarrollo y de otros instrumentos de planeacioacuten de mediano y largo plazo

Se deberaacute determinar si la hipoacutetesis de intervencioacuten del programa mantiene una loacutegica causal con

la problemaacutetica que se quiere atender

Se deberaacuten analizar y valorar los elementos que componen al disentildeo del Pp (modalidad unidades

responsables propoacutesito componentes poblacioacuten o aacuterea de enfoque objetivo entre otros) y sobre

los cuales eacuteste se construye (problema puacuteblico o necesidad causas y efectos del problema situacioacuten

de la poblacioacuten o aacuterea de enfoque objetivo entre otros)

Se deberaacute valorar la MIR y verificar su loacutegica horizontal (resumen narrativo indicadores metas y

medios de verificacioacuten) y vertical asiacute como si es congruente con los elementos de diagnoacutestico

Derivado de lo anterior se elaboraraacute una propuesta de la MIR que deberaacute considerar y presentar la

Estructura Analiacutetica del Pp (aacuterbol de problemas objetivos y concentrado) Asimismo se deberaacute incluir

PAE 2017 14

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

la justificacioacuten del disentildeo propuesto o las modificaciones sugeridas y generar el Anexo 4 ldquoPropuesta

de mejora de la Matriz de Indicadores para Resultadosrdquo

Metodologiacutea de la Seccioacuten 1

Anaacutelisis de gabinete

La evaluacioacuten se realizaraacute mediante un anaacutelisis de gabinete con base en informacioacuten proporcionada

por la dependencia o unidad responsable del programa asiacute como informacioacuten adicional que la

institucioacuten evaluadora considere necesaria para justificar su anaacutelisis

En este contexto se entiende por anaacutelisis de gabinete al conjunto de actividades que involucra el

acopio la organizacioacuten y la valoracioacuten de informacioacuten concentrada en registros administrativos

bases de datos evaluaciones internas yo externas y documentacioacuten puacuteblica Sin embargo de

acuerdo con las necesidades de informacioacuten y tomando en cuenta la forma de operar de cada

programa se podraacuten programar y llevar a cabo entrevistas con responsables de los programas yo

personal de la unidad de evaluacioacuten yo planeacioacuten de la dependencia coordinadora

Valoracioacuten de disentildeo del Pp

Para cada pregunta de investigacioacuten de esta seccioacuten se deberaacute definir una valoracioacuten cuantitativa y

cualitativa que resuma la apreciacioacuten del evaluador para cada uno de los aspectos de la seccioacuten 1

con el fin de permitir obtener una valoracioacuten sinteacutetica acerca de la suficiencia de los elementos que

cumple el programa Para esto se deberaacute usar la siguiente escala likert de cinco grados

Tabla 3 Escala de Medicioacuten para la Seccioacuten 1

1 2 3 4 5

Deficiente Insuficiente Moderado Bien Suficiente

En la argumentacioacuten que presente la evaluadora se deberaacuten aportar los elementos que justifiquen

la valoracioacuten cuantitativa que se emita para cada pregunta de investigacioacuten ademaacutes de completar

el Anexo 9 ldquoValoracioacuten global cuantitativardquo de la Seccioacuten 1 de Disentildeo

PAE 2017 15

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Seccioacuten 2 Procesos

Pertinencia de los procesos

4 Diagnoacutestico general de los procesos y subprocesos del Pp

Consideraciones

La instancia evaluadora deberaacute presentar dentro de los 30 diacuteas naturales posteriores a la firma del

contrato un Diagnoacutestico General de los Procesos y Subprocesos o Macroprocesos del Pp (Producto

1) en el que se deacute cuenta de la problemaacutetica o necesidad que atiende o de la funcioacuten de gobierno

que desarrolla asiacute como del contexto y las condiciones en las que opera el Pp En este diagnoacutestico

se deben identificar los procesos y subprocesos o macroprocesos que integran la operacioacuten o

gestioacuten del Pp a partir de la normativa vigente y de las entrevistas a funcionarios de la UR realizadas

se deberaacute presentar una descripcioacuten integral con el mapa de procesos y subprocesos del Pp

A partir de este diagnoacutestico la instancia evaluadora presentaraacute para su validacioacuten a la DEV una

propuesta de los alcances y logiacutestica de la Evaluacioacuten de Procesos del Pp Asimismo el diagnoacutestico

debe estar acompantildeado de la justificacioacuten del enfoque metodoloacutegico general seleccionado para su

desarrollo

Ademaacutes en el Producto 1 se deberaacuten especificar las directrices generales y particulares que guiaraacuten

la realizacioacuten de la evaluacioacuten de procesos acordadas con la DEV y la UR del Pp por lo que la correcta

elaboracioacuten de este producto es fundamental para poder garantizar un resultado satisfactorio

En el Producto 1 ademaacutes de integrar la estrategia y plan de trabajo de campo teacutecnicas de

investigacioacuten a utilizarse disentildeo muestral e instrumentos de levantamiento de informacioacuten se

incluiraacuten dos apartados

Descripcioacuten del contexto en el que opera el Pp La instancia evaluadora deberaacute describir

los siguientes elementos del Pp todas las UR que participan en su operacioacuten o que ejercen

sus recursos los entregables que produce cada UR que participa en la operacioacuten del Pp en

el marco del mismo el problema o necesidad de poliacutetica puacuteblica identificado por el Pp

poblacioacuten o aacuterea de enfoque potencial objetivo y atendida del Pp y su cuantificacioacuten

cantidad de destinatarios por cada uno de los entregables que el Pp tuvo al cierre del uacuteltimo

ejercicio fiscal del que se tenga registro cantidad de destinatarios por cada uno de los

entregables que el Pp espera atender en el ejercicio fiscal evaluado asiacute como el contexto

organizacional y social en que se desarrolla su operacioacuten

PAE 2017 16

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Diagnoacutestico inicial de los procesos y subprocesos o macroprocesos del Pp La instancia

evaluadora deberaacute desarrollar a partir del trabajo de gabinete y de entrevistas

semiestructuradas con funcionarios de la(s) Unidad(es) Responsable(s) del Pp realizadas un

diagnoacutestico inicial de procesos del Pp en el que se identifiquen claramente los procesos y

subprocesos o macroprocesos que integran su operacioacuten o gestioacuten asiacute como las instancias

o actores que participan en ellos se deberaacute presentar una descripcioacuten integral con un mapa

de procesos y subprocesos o macroprocesos del Pp asiacute como llenar el Anexo 5 ldquoFicha de

identificacioacuten y equivalencia de procesosrdquo Las entrevistas semiestructuradas se realizaraacuten con

la finalidad de profundizar y despejar dudas sobre el mapa de los procesos y subprocesos o

macroprocesos que integran la gestioacuten operativa del Pp En esta seccioacuten la instancia

evaluadora deberaacute sentildealar cuaacuteles de los procesos y subprocesos o macroprocesos

identificados estaacuten documentados y cuaacuteles no asiacute como ndashen su casondash la normativa que los

rige por ejemplo un manual de procedimientos o de organizacioacuten lineamientos de

operacioacuten entre otros Cabe sentildealar que los procesos y subprocesos o macroprocesos que

integran la operacioacuten o gestioacuten del Pp son estructuras analiacuteticas que debe de construir la

instancia evaluadora a partir de su experiencia en el desarrollo de evaluaciones de procesos

e implementacioacuten de poliacuteticas puacuteblicas por tanto debe tenerse en cuenta que a pesar de

ser lo deseable los procesos y subprocesos o macroprocesos no necesariamente pueden

estar documentados

5 Descripcioacuten y valoracioacuten de los procesos y subprocesos del Pp

Consideraciones

Despueacutes de realizar el trabajo de campo y sistematizar la informacioacuten levantada la instancia

evaluadora deberaacute realizar la descripcioacuten y valoracioacuten de cada uno de los procesos subprocesos o

macroprocesos identificados en el Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesosrdquo

contrastando en todos los casos la evidencia documental y su ejecucioacuten en la praacutectica

Por lo anterior en esta seccioacuten se deberaacute realizar una descripcioacuten minuciosa del desarrollo y el

anaacutelisis de cada proceso y subproceso o macroproceso de acuerdo con el alcance establecido

utilizando la informacioacuten obtenida mediante el anaacutelisis de gabinete y el trabajo de campo asimismo

se deberaacute realizar una valoracioacuten integral sobre la gestioacuten de cada uno de los procesos a partir de

la gestioacuten en sus subprocesos o macroprocesos a partir de la gestioacuten de los procesos

PAE 2017 17

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

La valoracioacuten de cada proceso subproceso o macroproceso deberaacute contener la siguiente estructura

1 Descripcioacuten detallada de las actividades los elementos y los actores que integran el

desarrollo de cada proceso y subproceso o macroproceso

2 Liacutemites de cada proceso y subproceso o macroproceso asiacute como su articulacioacuten con otros

3 Insumos y recursos determinar si los insumos y los recursos disponibles son suficientes y

adecuados para la ejecucioacuten de cada proceso y subproceso o macroproceso

a Tiempo iquestel tiempo en que se ejecuta el proceso o subproceso es el adecuado acorde

a lo planificado y congruente con la normativa que aplica

b Personal iquestel personal es suficiente tiene el perfil y cuenta con la capacitacioacuten necesaria

para la ejecucioacuten del proceso o subproceso

c Recursos financieros iquestlos recursos financieros son suficientes para la ejecucioacuten del

proceso o subproceso

d Recursos materiales iquestlos recursos materiales son suficientes para la ejecucioacuten del

proceso o subproceso

e Infraestructura iquestse cuenta con la infraestructura o capacidad instalada suficiente para

la ejecucioacuten del proceso o subproceso

f Insumos tecnoloacutegicos

4 Productos iquestlos productos de cada proceso subproceso o macroproceso sirven de insumo

para ejecutar el proceso subproceso o macroproceso subsecuente

5 Sistemas de informacioacuten iquestLos sistemas de informacioacuten utilizados en la ejecucioacuten de cada

proceso subproceso o macroproceso (automatizados semiautomatizados o manuales)

funcionan como una fuente de informacioacuten uacutetil para los sistemas de monitoreo a nivel central

y para los operadores en otros niveles iquestEstos sistemas de informacioacuten automatizan algunos

procesos subprocesos o macroproceso del Pp iquestSirven como mecanismo de control interno

para el mejor de desarrollo de los procesos subprocesos o macroproceso

6 Coordinacioacuten iquestla coordinacioacuten entre los actores oacuterdenes de gobierno o dependencias

involucradas es adecuada para la ejecucioacuten del proceso subproceso o macroproceso

7 Evaluacioacuten de la pertinencia de la forma en que se ejecuta cada proceso subproceso o

macroproceso en el contexto y condiciones en que se desarrolla considerando la estructura

organizacional involucrada y la coordinacioacuten entre las unidades administrativas que

intervienen en el proceso subproceso o macroproceso

8 Identificacioacuten de las caracteriacutesticas relacionadas con la importancia estrateacutegica de cada

proceso subproceso o macroproceso

PAE 2017 18

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

9 Opinioacuten de actores (destinatarios beneficiarios usuarios clientes u operadores del Pp)

sobre la eficacia eficiencia y calidad de cada proceso subproceso o macroproceso

10 Existencia de mecanismos para conocer la satisfaccioacuten de los beneficiarios o destinatarios de

los componentes o entregables que otorga el Pp

Por otra parte en caso de que el Pp genere diversos componentes o entregables y que estos

impliquen la realizacioacuten de actividades diferentes seraacute necesario describir los procesos y

subprocesos o macroprocesos correspondientes a cada tipo de componente o entregable otorgado

En la descripcioacuten de los procesos y subprocesos o macroprocesos la instancia evaluadora de manera

coordinada con la DEV deberaacute realizar los diagramas de alto nivel y los diagramas detallados

(diagramas de flujo) que describan los procesos y subprocesos o macroprocesos del Pp Para ello se

deberaacute usar como referencia la seccioacuten ldquoVII Mapeo de procesosrdquo de la ldquoGuiacutea para la Optimizacioacuten

Estandarizacioacuten y Mejora Continua de Procesosrdquo (paacuteginas 18 a 25) elaborada por la Secretariacutea de la

Funcioacuten Puacuteblica (SFP) disponible en la siguiente direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Estos diagramas se deberaacuten elaborar de acuerdo con lo especificado en el Anexo 7 ldquoDiagramas de

flujo de la operacioacuten del Pprdquo

Metodologiacutea Seccioacuten 2

La Evaluacioacuten de Procesos del Pp se realizaraacute principalmente a partir de teacutecnicas de investigacioacuten

cualitativa como son el anaacutelisis documental la observacioacuten directa estudios de caso y multicaso

especiacuteficos entrevistas semiestructuradas y grupos focales o grupos de enfoque (focus groups)

entre otras teacutecnicas que la instancia evaluadora considere pertinentes para realizar el anaacutelisis de

gabinete y el trabajo de campo tales como la aplicacioacuten de cuestionarios de aplicacioacuten electroacutenica

o a distancia

La metodologiacutea y los instrumentos definidos asiacute como el trabajo de gabinete y de campo deberaacuten

generar evidencia empiacuterica suficiente para valorar a profundidad la forma en que se ejecutan los

procesos y subprocesos o macroprocesos que integran la operacioacuten del Pp asiacute como su contexto

institucional y organizacional

PAE 2017 19

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anaacutelisis de gabinete

Para esta seccioacuten es necesario la elaboracioacuten del diagnoacutestico de los procesos y subprocesos o

macroprocesos que integran la operacioacuten o gestioacuten del Pp la instancia evaluadora deberaacute realizar

un anaacutelisis de gabinete considerando como miacutenimo los siguientes documentos

La normativa aplicable al Pp leyes reglamentos lineamientos manuales de procedimientos

convenios contratos entre otros

Diagnoacutestico y estudios de la problemaacutetica que el Pp atiende

Diagnoacutestico del programa y estudios del marco contextual en el que opera

MIR del Pp correspondiente al ejercicio fiscal evaluado y de ejercicios anteriores que se

consideren pertinentes

Sistemas de informacioacuten automatizados semiautomatizados o manuales que apoyen a la

ejecucioacuten de los procesos y subprocesos o macroprocesos identificados del Pp

Evaluaciones externas o internas realizadas previamente al Pp

Documentos de trabajo institucionales e informes de avances de Aspectos Susceptibles de

Mejora con los que cuente el Pp

Informes de auditoriacuteas de desempentildeo o similares realizadas al Pp por la Auditoriacutea Superior

de la Federacioacuten del Estado de Puebla por la Secretariacutea de la Contraloriacutea o por cualquier

instancia fiscalizadora

Asimismo se sugiere revisar otros documentos asociados al disentildeo del Pp y a su definicioacuten de

poblacioacuten o aacuterea de enfoque potencial y objetivo asiacute como a su estrategia de integracioacuten de

destinatarios o beneficiarios de los componentes o entregables del Pp

El anaacutelisis o trabajo de gabinete deberaacute generar como resultado inicial un mapeo de los procesos y

subprocesos o macroprocesos que integran la gestioacuten operativa del Pp que constituiraacute

esencialmente el Producto 1 de la evaluacioacuten posteriormente se procesaraacute la informacioacuten recabada

en campo para la generacioacuten del informe preliminar y final de la evaluacioacuten

Alcance y enfoque de la evaluacioacuten

La instancia evaluadora deberaacute sentildealar con claridad en el informe de la evaluacioacuten cuaacuteles de los

procesos y subprocesos o macroprocesos identificados en la operacioacuten o gestioacuten del Pp se analizan

y cuaacuteles no de acuerdo con lo establecido por la Direccioacuten de Evaluacioacuten (DEV) de la Secretariacutea de

Finanzas y Administracioacuten (SFA) y la Unidad Responsable (UR) del Programa en cuestioacuten sentildealando

los elementos de anaacutelisis que justifican esta seleccioacuten y en su caso haciendo recomendaciones al

respecto

PAE 2017 20

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Un elemento que podraacute ser considerado para establecer el alcance de la evaluacioacuten es el grado de

consolidacioacuten operativa del Pp el cual podraacute determinarse a priori considerando algunos elementos

como los siguientes

1 Si existen documentos que normen los procesos y subprocesos o macroprocesos

2 Si los procesos y subprocesos o macroprocesos estaacuten estandarizados es decir si son

utilizados por todas la instancias ejecutoras de manera homogeacutenea

3 Si los procesos y subprocesos o macroprocesos estaacuten documentados y son del conocimiento

de todos los operadores

4 Si se cuenta con un sistema de monitoreo e indicadores de gestioacuten

5 Si se cuenta en los procesos y subprocesos o macroprocesos analizados con sistemas

informaacuteticos que permitan la automatizacioacuten en la ejecucioacuten de los mismos

6 Si se cuenta con mecanismos para la implementacioacuten sistemaacutetica de mejoras

Se considera que existe un mayor grado de consolidacioacuten operativa cuando existen todos los

elementos y disminuiraacute gradualmente conforme haga falta uno o maacutes de ellos hasta el menor grado

de consolidacioacuten que es cuando no existe ninguno de los elementos

El alcance de la Evaluacioacuten de Procesos del Pp implica el anaacutelisis de los procesos y subprocesos o

macroprocesos sustantivos del Pp asiacute como la respectiva priorizacioacuten de estos Se deberaacute realizar

la identificacioacuten y jerarquizacioacuten de los procesos a partir del Esquema 1 adaptaacutendolo a las

condiciones particulares del Pp3 en eacutel se observa lo siguiente

El proceso de ldquoPlaneacioacutenrdquo es el punto de partida para la implementacioacuten del Pp

posteriormente continuacutean los procesos de ldquoComunicacioacuten Interna y Externardquo ldquoSeleccioacuten de

destinatariosrdquo ldquoProduccioacuten de entregablesrdquo ldquoEntregardquo ldquoSeguimiento a destinatariosrdquo y

ldquoControlrdquo

La informacioacuten que se genera en los procesos de ldquoSeguimiento a destinatariosrdquo y ldquoControlrdquo

es un insumo directo para retroalimentar los procesos del Pp desde el de Planeacioacuten

El proceso de ldquoMonitoreordquo utiliza informacioacuten generada principalmente en los procesos de

ldquoComunicacioacutenrdquo ldquoSeleccioacuten de destinatariosrdquo ldquoProduccioacuten de entregablesrdquo ldquoEntregardquo y

ldquoSeguimiento a destinatariosrdquo a partir de ello se retroalimentan los procesos del Pp desde

la ldquoPlaneacioacutenrdquo

3 Con excepcioacuten de los procesos (con sus subprocesos) de Planeacioacuten Monitoreo y Evaluacioacuten Externa para

los cuales la instancia evaluadora uacutenicamente podraacute en caso de que lo considere pertinente agregar

subprocesos pero no suprimir subprocesos

PAE 2017 21

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

El proceso de ldquoEvaluacioacuten Externardquo requiere de informacioacuten transversal de todos los

procesos ya que se valora al Pp en su conjunto En este sentido los resultados de las

evaluaciones son un insumo para retroalimentar al Pp desde el proceso de ldquoPlaneacioacutenrdquo

Es importante sentildealar que en el Esquema 1 se muestra un modelo que es importante tomarlo en

cuenta como referencia para la identificacioacuten y definicioacuten de los procesos y subprocesos o

macroprocesos que integran la operacioacuten del Pp evaluado ademaacutes de que representa un auxiliar

en la definicioacuten del alcance y del enfoque de la Evaluacioacuten de Procesos del Pp

Esquema 1 Modelo general de procesos

Fuente Modelo de TdR para la Evaluacioacuten de Procesos Secretariacutea de Hacienda y Creacutedito Puacuteblico

A continuacioacuten se describe cada uno de los procesos que componen al modelo anterior

Planeacioacuten proceso en el que se determinan o definen el problema o necesidad aacuterbol de

problemas y objetivos poblacioacuten o aacuterea de enfoque potencial y objetivo objetivos

indicadores y metas de la MIR estrategia de cobertura plan estrateacutegico entre otros puntos

asiacute como los recursos financieros y humanos necesarios que requiere el Pp para lograr sus

objetivos En el proceso de planeacioacuten se determinan las directrices en el disentildeo e

implementacioacuten del Pp los subprocesos que lo integran son los siguientes planeacioacuten

estrateacutegica programacioacuten y presupuesto actualizacioacuten de la MIR actualizacioacuten de

normativa

PAE 2017 22

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Comunicacioacuten interna y externa proceso en el que se informan diversas caracteriacutesticas y

objetivos del Pp tanto a los actores involucrados en su funcionamiento y operacioacuten (interna)

como a su poblacioacuten o aacuterea de enfoque objetivo (externa)

Seleccioacuten de destinatarios proceso en el que se determina quieacutenes recibiraacuten los

componentes o entregables de un Pp en funcioacuten de su poblacioacuten o aacuterea de enfoque objetivo

Produccioacuten de entregables proceso en el que se elaboran los entregables o realizan los

componentes del Pp (recursos financieros o humanos apoyos bienes servicios

regulaciones documentos teacutecnicos o de planeacioacuten etc) conforme a sus documentos

normativos

Entrega proceso en el que se realiza la entrega de lo producido o generado por el Pp

(componentes o entregables) a los destinatarios o beneficiarios

Seguimiento a destinatarios actividades y mecanismos que permiten al Pp conocer coacutemo

son utilizados o aprovechados sus componentes o entregables (por sus destinatarios o

beneficiarios) para que entre otras funciones la UR del Pp identifique si se estaacute cumpliendo

con los objetivos Por ejemplo en este proceso se incluyen las actividades que un Pp

implementa para conocer el grado de satisfaccioacuten de sus destinatarios o beneficiarios

Control actividades y mecanismos implementados entre los operadores del Pp para verificar

que los diferentes procedimientos procesos y subprocesos se esteacuten ejecutando conforme a

lo planeado (control interno)

Monitoreo proceso coordinado por una unidad administrativa ajena a la operacioacuten del Pp

a traveacutes del cual se recaba registra y valida la informacioacuten sobre el avance de las metas de

los indicadores de la MIR asiacute como el seguimiento a los resultados de indicadores

adicionales a los de la MIR en caso de que se cuente con un sistema de monitoreo de gestioacuten

Los subprocesos que lo integran son los siguientes acopio de la informacioacuten para el reporte

de avances validacioacuten de informacioacuten y registro de avances primordialmente

Evaluacioacuten externa proceso coordinado por una unidad administrativa ajena a la operacioacuten

del Pp mediante el cual se define la agenda de evaluacioacuten externa del Pp se definen las

metodologiacuteas o los teacuterminos de referencia se contratan las evaluaciones externas (de

cualquier tipo) se recaba la informacioacuten que seraacute entregada a los equipos evaluadores se

realiza el seguimiento durante el desarrollo de las evaluaciones externas se aprueban los

PAE 2017 23

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

informes finales de las evaluaciones externas se notifica a las instancias correspondientes

sobre la conclusioacuten de las evaluaciones externas y se definen y realiza el seguimiento de los

Aspectos Susceptibles de Mejora (ASM)

A partir de los procesos definidos en el modelo anterior la instancia evaluadora deberaacute realizar una

equivalencia de los procesos subprocesos o macroprocesos identificados respecto a los definidos

en el modelo de acuerdo con el Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesosrdquo Cabe

mencionar que los procesos definidos en el modelo no son limitativos por lo que si la instancia

evaluadora identifica procesos subprocesos o macroprocesos adicionales deberaacute incluirlos

Disentildeo metodoloacutegico del trabajo de campo

A partir del contexto en que opera el Pp y el alcance y enfoque metodoloacutegico de la evaluacioacuten de

procesos la instancia evaluadora deberaacute desarrollar una propuesta de estrategia y plan de trabajo

de campo a seguir para la realizacioacuten de la evaluacioacuten asimismo deberaacute incluir un cronograma

detallado de actividades

La estrategia de trabajo de campo disentildeada por la instancia evaluadora deberaacute ser entregada a la

DEV para que en conjunto con la UR del Pp sea validada antes de su implementacioacuten Dicha

estrategia deberaacute contener al menos los siguientes elementos

Justificacioacuten de las teacutecnicas de investigacioacuten a utilizar

Muestra y los criterios utilizados para su seleccioacuten

Listado de los actores a entrevistar

Instrumentos de levantamiento de informacioacuten que se aplicaraacuten y

Cronograma con las actividades a desarrollar

La instancia evaluadora iniciaraacute las actividades del trabajo de campo de manera conjunta y una vez

recibido el visto bueno de la DEV

El disentildeo de la muestra y de los instrumentos para el levantamiento de informacioacuten en campo

deberaacute considerar a la totalidad de los actores que intervienen en la ejecucioacuten de los procesos y

subprocesos o macroprocesos que integran la operacioacuten o gestioacuten del Pp asiacute como a los

destinatarios o beneficiarios de los componentes o entregables del Pp independientemente de su

ubicacioacuten geograacutefica

Algunos criterios que puede utilizar la instancia evaluadora para definir una muestra que considere

la variabilidad de la operacioacuten en los diferentes contextos en que opera el Pp son los siguientes

PAE 2017 24

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

a) El desempentildeo operativo del Pp entre municipios regionalizacioacuten geograacutefica instituciones

puacuteblicas o privadas u otros aspectos que suponen una accioacuten diferenciada de los procesos

(cuando aplique)

b) Volumen de la operacioacuten del Pp

c) Esquemas normativos del Pp y el ejercicio presupuestal en los municipios instituciones

puacuteblicas o privadas u otros aspectos que suponen una accioacuten diferenciada de los procesos

en las que opera el Pp (cuando aplique) y

d) Formas de interaccioacuten del Pp con otros niveles u oacuterdenes de gobierno (cuando aplique)

Los criterios anteriores no son limitativos por lo que la instancia evaluadora podraacute proponer criterios

adicionales que considere pertinentes para la definicioacuten de la muestra para el trabajo de campo

En el disentildeo muestral la instancia evaluadora deberaacute sentildealar los funcionarios del Pp o destinatarios

a los que se les aplicaraacuten los instrumentos de levantamiento de informacioacuten con los que se realizaraacute

el trabajo de campo asiacute como la ubicacioacuten geograacutefica de los mismos

Instrumentos de levantamiento de informacioacuten

La instancia evaluadora deberaacute disentildear los instrumentos que utilizaraacute para el levantamiento de

informacioacuten durante el trabajo de campo como son (por ejemplo) los cuestionarios por tipo de

funcionario a entrevistar para el caso de entrevistas semiestructuradas los guiones a utilizar en la

realizacioacuten de grupos focales los cuestionarios de aplicacioacuten electroacutenica las guiacuteas respectivas entre

otros Para lo anterior deberaacute considerar los siguientes temas guiacutea y preguntas de referencia

Planeacioacuten (planeacioacuten estrateacutegica programacioacuten y presupuesto)

iquestQueacute se entiende por planeacioacuten estrateacutegica para los operadores del Pp

iquestCuaacuteles son las actividades o acciones de planeacioacuten estrateacutegica del Pp que se realizan

iquestLa planeacioacuten estrateacutegica es el resultado de un ejercicio institucionalizado que involucra a

los actores clave de la gestioacuten del Pp

iquestExiste un documento resultado de la planeacioacuten estrateacutegica iquestEs claro difundido y

accesible iquestEn queacute medida es utilizado para guiar la operacioacuten del Pp

iquestLa planeacioacuten estrateacutegica estaacute vinculada con el cumplimiento entrega o generacioacuten de los

componentes o entregables del Pp

iquestLa planeacioacuten estrateacutegica establece indicadores para medir los avances en las metas

establecidas iquestLas metas son factibles y estaacuten orientadas a impulsar el desempentildeo del Pp

PAE 2017 25

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

iquestQueacute se entiende por planeacioacuten operativa y cuaacuteles son las diferencias con la planeacioacuten

estrateacutegica

Comunicacioacuten interna y externa del Pp (las preguntas que apliquen)

iquestQueacute actores intervienen en la comunicacioacuten del Pp

iquestExiste una estrategia de comunicacioacuten del Pp documentada En caso afirmativo describirla

iquestLa estrategia de comunicacioacuten del Pp (documentada o no) es adecuada

iquestLos medios utilizados el lenguaje y el contenido de los mensajes son pertinentes en funcioacuten

del puacuteblico al que van dirigidos

Solicitud de los componentes o entregables del Pp (las preguntas que apliquen)

iquestExiste un proceso claro imparcial y expliacutecito por medio del cual la poblacioacuten o aacuterea de

enfoque potencial puede solicitar los componentes o entregables que otorga el Pp

iquestLos requisitos para solicitar los componentes o entregables del Pp se presentan de manera

clara y completa

iquestLos puntos de recepcioacuten de solicitudes son accesibles y suficientes (cuando aplique)

iquestExisten mecanismos estandarizados para recibir y revisar la documentacioacuten entregada asiacute

como registrar y dar traacutemite a las solicitudes (cuando aplique)

iquestSon adecuados estos mecanismos (cuando aplique) En caso de que el Pp que apoye la

realizacioacuten de proyectos iquestse brinda asesoriacutea para la presentacioacuten de los mismos de ser asiacute

iquestes pertinente esta asesoriacutea

iquestEl proceso de solicitud de los componentes o entregables que otorga el Pp se encuentra

automatizado total o parcialmente

Para esta pregunta considerar los estados de digitalizacioacuten utilizados por la Comisioacuten Intersecretarial

para el Desarrollo del Gobierno electroacutenico seguacuten una adaptacioacuten realizada a la clasificacioacuten que

hace la ONU

Estado de digitalizacioacuten 1 traacutemites y servicios que se encuentran en estado informativo

Estado de digitalizacioacuten 2 traacutemites y servicios que cuentan con interfaces de comunicacioacuten

unidireccional

Estado de digitalizacioacuten 3 traacutemites y servicios que permiten realizar transacciones y

Estado de digitalizacioacuten 4 traacutemites y servicios que el usuario puede ejecutar de principio a

fin por medio de dispositivos digitales

PAE 2017 26

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para mayor informacioacuten referirse a ldquoFigure A4 The four stages of online service developmentrdquo en

los siguientes documentos

Lineamientos relativos a la digitalizacioacuten estandarizada de traacutemites y servicios con apego en

la Estrategia Digital Nacional

httpwwwgobmxcmsuploadsattachmentfile67232ti_1_pgcm_bases_lineam_tyspdf

United Nations E-Government Survey 2014 (paacutegina 195)

httpspublicadministrationunorgegovkbportalsegovkbdocumentsun2014-surveye-

gov_complete_survey-2014pdf

Seleccioacuten de destinatarios (cuando aplique)

iquestExiste una metodologiacutea o meacutetodo para la seleccioacuten de destinatarios o beneficiarios de los

componentes o entregables del Pp iquestLa metodologiacutea utilizada cuenta con criterios de

seleccioacuten y elegibilidad claros estandarizados y sistematizados

iquestLa seleccioacuten de destinatarios o beneficiarios de los componentes o entregables del Pp es un

proceso transparente e imparcial iquestEl resultado de la seleccioacuten es puacuteblico (cuando aplique)

iquestExiste informacioacuten en una base de datos que permita conocer quieacutenes o queacute instancias

reciben los componentes o entregables del Pp iquestQueacute informacioacuten integra esta base de datos

iquestExisten mecanismos para validar y actualizar esta base de datos iquestEstos mecanismos son

pertinentes

Produccioacuten de componentes o entregables

iquestSe cuenta con los insumos suficientes para generar el volumen de componentes o

entregables que permitan al Pp atender a su poblacioacuten o aacuterea de enfoque objetivo

iquestEl Pp tiene mecanismos para estimar la produccioacuten o generacioacuten necesaria de componentes

o entregables de acuerdo con la posible demanda o requerimientos de su poblacioacuten o aacuterea

de enfoque objetivo iquestEs adecuado este mecanismo

iquestExisten mecanismos de control de calidad para la generacioacuten de los componentes o

entregables del Pp iquestEstos mecanismos son pertinentes

iquestLas actividades de generacioacuten de componentes o entregables que otorga el Pp estaacuten

estandarizadas es decir son ejecutadas de manera homogeacutenea por todas las instancias

involucradas

PAE 2017 27

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Entrega

iquestLos componentes o entregables del Pp son proporcionados conforme a las especificaciones

y de manera oportuna a los destinatarios

iquestExisten especificaciones (programas o planes de trabajo) sobre la forma en que se deben

trasladar los componentes o entregables para (por ejemplo) asegurar su adecuada recepcioacuten

en el punto de destino iquestSon adecuadas estas especificaciones respecto a normas o

lineamientos existentes (cuando aplique)

iquestLa logiacutestica de distribucioacuten se actualiza (cuando aplique) iquestExiste un periodo para dicha

actualizacioacuten iquestEn el disentildeo y actualizacioacuten de la logiacutestica se toman en cuenta los factores

geograacuteficos y climatoloacutegicos en cada regioacuten donde opera el Pp (cuando aplique)

iquestLos puntos de entrega de los componentes o entregables son cercanos a los beneficiarios

o aacuterea de enfoque a atender y son de faacutecil acceso iquestSe considera que son suficientes iquestPor

queacute

Control (las preguntas que apliquen)

iquestEl Pp cuenta con los mecanismos para verificar que los componentes o entregables se

otorguen de acuerdo con lo establecido en la normativa especiacutefica y lleguen a la poblacioacuten

o aacuterea de enfoque que deba ser beneficiada iquestEstos mecanismos son adecuados

iquestExiste de manera sistematizada un documento que deacute cuenta de los resultados de

supervisioacuten y entrega de componentes o entregables iquestEste documento es adecuado iquestLos

resultados se utilizan para implementar mejoras en la operacioacuten del Pp

iquestExisten procedimientos estandarizados que verifiquen el cumplimiento de la

corresponsabilidad u obligatoriedad por parte de los beneficiarios o destinatarios de los

componentes o entregables del Pp (cuando aplique)

Seguimiento a destinatarios

iquestEl Pp tiene mecanismos para verificar el procedimiento de seguimiento a los destinatarios o

beneficiarios que permitan identificar si los componentes o entregables generados son

utilizados de acuerdo con lo establecido iquestCoacutemo se implementa el mecanismo iquestEste

mecanismo es adecuado

iquestExisten procedimientos estandarizados que permitan verificar el cumplimiento de la

corresponsabilidad u obligatoriedad por parte del destinatario o beneficiario (cuando

aplique)

PAE 2017 28

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

En caso de que los componentes o entregables involucren la ejecucioacuten de obra o de

infraestructura iquestel Pp cuenta con un mecanismo de seguimiento o supervisioacuten que permita

identificar si se realizaron acorde a la normativa aplicable iquestEl seguimiento o supervisioacuten

considera plazos para la revisioacuten de las condiciones de la obra o la infraestructura despueacutes

de terminada la obra

iquestEl Pp tiene mecanismos para identificar si se cumple con su Propoacutesito iquestSon suficientes y

pertinentes estos mecanismos

iquestExisten mecanismos para conocer la satisfaccioacuten del destinatario o beneficiario de los

componentes o entregables del Pp respecto de los componentes que ofrece el Pp iquestSon

adecuados estos mecanismos iquestSu operacioacuten permite una aplicacioacuten imparcial y objetiva

iquestExiste evidencia para afirmar que las quejas y sugerencias que brindan los destinatarios o

beneficiarios de los componentes o entregables del Pp son utilizadas para la mejora continua

del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

En esta seccioacuten se deberaacute realizar la medicioacuten de los atributos de eficacia oportunidad suficiencia

y pertinencia de los procesos y subprocesos o macroprocesos definidos en el mapa de procesos del

Pp A continuacioacuten se definen los atributos en el marco de la evaluacioacuten de procesos

Eficacia un proceso es eficaz en la medida en que cumple con sus metas

Oportunidad un proceso es oportuno en la medida en que otorga sus productos

(componentes o entregables) o resultados en un periodo de tiempo determinado o

adecuado para el logro de sus objetivos

Suficiencia un proceso es suficiente en la medida en que produce sus resultados de forma

completa o adecuada para el logro de sus objetivos

Pertinencia un proceso es pertinente si sus actividades y productos son adecuados para

lograr tanto sus metas especiacuteficas como sus objetivos es decir si contribuyen al

mejoramiento de la gestioacuten del Pp4

4 Las actividades son adecuadas si estaacuten en funcioacuten del logro del objetivo de cada proceso Por ejemplo si se verifica que el formato de los mensajes a difundir cumpla con las caracteriacutesticas necesarias para llegar a la poblacioacuten o aacuterea de enfoque objetivo como seriacutea una mensaje de audio en la lengua indiacutegena de la localidad donde se encuentran los posibles destinatarios o beneficiarios o bien como seriacutea un mensaje dirigido a personal operativo del Pp cuyo nivel de estudios promedio pudiera complicar la comprensioacuten de lenguaje teacutecnico utilizado

PAE 2017 29

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para la medicioacuten de los atributos de los procesos y subprocesos o macroprocesos del Pp deberaacute

realizarse una revisioacuten documental (normativa aplicable MIR evaluaciones externas sistemas de

informacioacuten y registros administrativos entre otros) misma que deberaacute complementarse con el

trabajo de campo con el objetivo de identificar disentildear y calcular indicadores relacionados con

dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de informacioacuten empleadas

La informacioacuten obtenida de estos indicadores deberaacute vaciarse en fichas propuestas por la instancia

evaluadora presentadas como en el Anexo 6 ldquoFichas de indicadores de atributos de los procesos del

Pprdquo (formato libre) Estas fichas deberaacuten considerar la medicioacuten de los atributos de eficacia

suficiencia oportunidad y pertinencia correspondientes a cada proceso y subproceso o

macroproceso

Valoracioacuten de los procesos y subprocesos de la operacioacuten del Pp

Deberaacute contener una siacutentesis de los resultados encontrados en la Evaluacioacuten de Procesos del Pp

resaltando los hallazgos maacutes relevantes que se hayan detectado y que pudiesen transformarse en

ASM

La instancia evaluadora deberaacute calcular una valoracioacuten global cuantitativa sobre la operacioacuten y la

ejecucioacuten de los procesos y subprocesos o macroprocesos del Pp a partir del siguiente esquema de

puntuacioacuten5

Eficacia

- Todos los procesos (o macroprocesos) son eficaces = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es eficaz = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es eficaz = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es eficaz = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es eficaz = 1 punto

- Ninguno de los procesos (o macroprocesos) es eficaz = 0 puntos

Oportunidad

- Todos los procesos (o macroprocesos) son oportunos = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es oportuno = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es oportuno = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es oportuno = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es oportuno = 1 punto

5 La valoracioacuten cuantitativa deberaacute estar sustentada y por tanto ser consistente con lo valorado por la instancia evaluadora en el apartado de ldquoMedicioacuten de atributos de los procesos y subprocesosrdquo

PAE 2017 30

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

- Ninguno de los procesos (o macroprocesos) es oportuno = 0 puntos

Suficiencia

- Todos los procesos (o macroprocesos) son suficientes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es suficiente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es suficiente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es suficiente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es suficiente = 1 punto

- Ninguno de los procesos (o macroprocesos) es suficiente = 0 puntos

Pertinencia

- Todos los procesos (o macroprocesos) son pertinentes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es pertinente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es pertinente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es pertinente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es pertinente = 1 punto

- Ninguno de los procesos (o macroprocesos) es pertinente = 0 puntos

A partir de los puntajes asignados en los cuatro atributos anteriores esta valoracioacuten cuantitativa

global debe considerar el total de puntos posibles de obtener (5 x 4 = 20 puntos) y los puntos

obtenidos en la Evaluacioacuten de Procesos Pp (lsquoyrsquo puntos) de modo que se indique el porcentaje de

puntos obtenidos del total de puntos posibles [(lsquoyrsquo20) x 100] = valoracioacuten cuantitativa global de la

operacioacuten del Pp

La instancia evaluadora deberaacute utilizar el Anexo 9 ldquoValoracioacuten global cuantitativardquo para documentar

argumentar y sustentar cada una de las valoraciones cuantitativas sobre la operacioacuten y la ejecucioacuten

de los procesos (o macroprocesos) del Pp

Adicionalmente en este apartado se deberaacuten integrar las recomendaciones y conclusiones que se

consideren maacutes relevantes de los procesos y subprocesos o macroprocesos del Pp las cuales deben

formularse con base en los hallazgos del trabajo de campo y de gabinete El objetivo final de las

recomendaciones es proveer informacioacuten valiosa a los operadores del Pp para realizar adecuaciones

en la ejecucioacuten de los procesos y subprocesos o macroprocesos de modo que se potencie la

consecucioacuten de resultados del Pp

Las recomendaciones que se formulen como resultado de la Evaluacioacuten de Procesos del Pp deberaacuten

tener las siguientes caracteriacutesticas

Derivarse de los hallazgos de la evaluacioacuten

PAE 2017 31

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Ser concretas y factibles

Incluir un proyecto de implementacioacuten que considere los siguientes elementos

- Breve anaacutelisis de la viabilidad o factibilidad de la implementacioacuten

- Principales responsables de la implementacioacuten

- Anaacutelisis de los efectos potenciales que puede implicar la implementacioacuten tanto en la

operacioacuten del Pp como en el logro de sus objetivos

- La comparacioacuten entre la situacioacuten actual y el resultado que se espera obtener con la

implementacioacuten de la recomendacioacuten

Estar categorizadas en dos liacuteneas de accioacuten estrateacutegicas

- Consolidacioacuten

- Reingenieriacutea de procesos o subprocesos

Al respecto la instancia evaluadora debe entender por consolidacioacuten aquellas recomendaciones que

estaacuten dirigidas a perfeccionar determinados aspectos de la operacioacuten como seriacutean algunas acciones

procedimientos o estrategias del Pp asiacute como iniciativas para el fortalecimiento de los sistemas

automatizados infraestructura entre otros

Por reingenieriacutea de procesos o subprocesos se entenderaacuten aquellas recomendaciones que apuntan

a una transformacioacuten o modificacioacuten profunda o sustancial de uno o varios de los procesos y

subprocesos del Pp Para ello se deberaacute llenar el Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de

Procesos del Pprdquo y que a su vez deben derivar en acciones de consolidacioacuten para la implementacioacuten

de los procesos transformados

Adicionalmente y de conformidad con el alcance de la Evaluacioacuten de Procesos del Pp se deberaacute

presentar una propuesta para crear o fortalecer el sistema de monitoreo de gestioacuten del Pp con

indicadores a nivel de procesos y subprocesos o macroprocesos

Asimismo a partir de todo el anaacutelisis y valoraciones realizadas se deberaacute emitir un pronunciamiento

acerca de la percepcioacuten de eficiencia que la instancia evaluadora haya tenido sobre la ejecucioacuten de

los procesos y subprocesos o macroprocesos del Pp

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible o si no hipoteacuteticos en un anexo de formato libre Anexo 10 ldquoSistema de

monitoreo e indicadores de gestioacuten del Pprdquo

PAE 2017 32

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Bitaacutecora de trabajo de campo y bases de datos

La instancia evaluadora deberaacute entregar una bitaacutecora de trabajo de campo que destaque de forma

sinteacutetica entre otros puntos las principales actividades y situaciones a las que se enfrentoacute y que

podriacutean afectar los resultados de la Evaluacioacuten de Procesos del Pp

Asimismo deberaacute entregar las bases de datos generadas a partir de la aplicacioacuten de los instrumentos

de recoleccioacuten de informacioacuten y de la recopilacioacuten de informacioacuten en el trabajo de campo Las bases

de datos deberaacuten entregarse en formatos compatibles con Excel debiendo mantener la

confidencialidad de los entrevistados pero sin alterar la informacioacuten proporcionada por estos En las

bases de datos debe estar sistematizada toda la informacioacuten recabada a partir de la aplicacioacuten de

los instrumentos de levantamiento de informacioacuten y deberaacute sustentar el anaacutelisis las valoraciones los

hallazgos y las conclusiones de la evaluacioacuten

PAE 2017 33

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Contenido del informe

Contenido miacutenimo del informe final de la evaluacioacuten

Derivado del contenido generado en las secciones anteriores deberaacuten elaborarse los siguientes

apartados en el informe final de la Evaluacioacuten de Procesos del Pp

i Introduccioacuten

ii Resumen Ejecutivo

iii Marco Legal

iv Datos Generales del Programa Presupuestario (Pp)

v Criterios Teacutecnicos para la Evaluacioacuten del Programa Presupuestario correspondiente

vi Apartados de la evaluacioacuten

Seccioacuten 1 Disentildeo

Diagnoacutestico del programa puacuteblico

Matriz de Indicadores para Resultados (MIR)

Seccioacuten 2 Procesos

Pertinencia de los proceso

Diagnoacutestico general de los procesos y subprocesos del Pp

- Contexto en que opera el Pp

- Diagnoacutestico inicial de los procesos y subprocesos

Descripcioacuten y valoracioacuten de los procesos y subprocesos del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

vii Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

viii Valoracioacuten final del Pp

ix Hallazgos

x Recomendaciones clasificadas por apartado

xi Conclusiones

xii Bibliografiacutea

xiii Anexos

Anexo 1 Descripcioacuten General del Programa

Anexo 2 Metodologiacutea para la cuantificacioacuten de las poblaciones potencial y objetivo

(Formato Libre)

Anexo 3 Evolucioacuten de la Cobertura

Anexo 4 Propuesta de mejora de la Matriz de Indicadores para Resultados

Anexo 5 Ficha de identificacioacuten y equivalencia de procesos del Pp

PAE 2017 34

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 Fichas de indicadores de atributos de los procesos del Pp (Formato libre)

Anexo 7 Diagramas de flujo de la operacioacuten del Pp

Anexo 8 Propuesta de modificacioacuten a los documentos normativos o institucionales

del Pp

Anexo 9 Valoracioacuten global cuantitativardquo

Anexo 10 Sistema de monitoreo e indicadores de gestioacuten del Pp (Formato libre)

Anexo 11 Recomendaciones de la Evaluacioacuten de Procesos del Pp

Anexo 12 Principales Fortalezas Retos y Recomendaciones

Anexo 13 Ficha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacuten

En el Resumen Ejecutivo asimismo se describiraacuten los principales hallazgos y recomendaciones del

evaluador externo

Para el desarrollo de los apartados antes referidos deberaacute atender las indicaciones que se desarrollan

en las siguientes secciones

Hallazgos y resultados Pp por Seccioacuten

Se debe realizar una valoracioacuten general del programa por seccioacuten utilizando las respuestas que

integran cada uno de los apartados En esta valoracioacuten integral se deberaacute sentildealar en queacute medida la

gestioacuten operativa conduce al logro de los objetivos del Pp

Asimismo se deben sentildealar las aacutereas de mejora las buenas praacutecticas y las fortalezas detectadas en

la operacioacuten del Pp y a partir de ello la instancia evaluadora emitiraacute recomendaciones de mejora

sobre aspectos especiacuteficos de cada proceso y subproceso o macroproceso del Pp Adicionalmente

se deberaacuten identificar los problemas o limitantes tanto normativos como operativos (ldquocuellos de

botellardquo) de coordinacioacuten entre unidades administrativas y otros que hubiese en los procesos y

subprocesos o macroprocesos del Pp entendieacutendose como aquellas praacutecticas procedimientos

actividades o traacutemites que obstaculizan la operacioacuten del Pp

En este sentido se deberaacuten identificar las situaciones en las que la normativa genere complicaciones

en la gestioacuten o ineficacia en el cumplimiento de los objetivos del Pp para lo cual se deberaacute presentar

(por cada situacioacuten identificada) una propuesta de modificacioacuten a la normativa aplicable al Pp

considerando las restricciones praacutecticas que existan para su implementacioacuten asiacute como los efectos

PAE 2017 35

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

potenciales de ser implementada Los resultados de este anaacutelisis deberaacuten describirse en el Anexo 7

ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales del Pprdquo

Para la identificacioacuten y descripcioacuten de los ldquocuellos de botellardquo buenas praacutecticas y fortalezas del Pp

se consideraraacute la informacioacuten derivada del anaacutelisis de la operacioacuten del Pp asiacute como los puntos de

vista de los principales actores que intervienen en ella Este anaacutelisis deberaacute contener las causas y las

consecuencias de los ldquocuellos de botellardquo detectados sus caracteriacutesticas y naturaleza (si son

normativas o estrictamente operativas) de igual manera se deberaacute desarrollar un anaacutelisis de las

buenas praacutecticas identificadas

Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

Se debe integrar en una sola tabla las fortalezas oportunidades debilidades y amenazas

especificadas por cada apartado de la evaluacioacuten y reportarlas en el Anexo 11 ldquoPrincipales Fortalezas

Retos y Recomendacionesrdquo en el que se deben incluir las fortalezas yo oportunidades las

debilidades yo amenazas y las recomendaciones por apartado de la evaluacioacuten

PAE 2017 36

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexos

Anexo 1 ldquoDescripcioacuten General del Programardquo

El Anexo tiene formato libre sin embargo debe contener una breve descripcioacuten de las caracteriacutesticas

maacutes relevantes del Pp en un maacuteximo de dos cuartillas Dicha descripcioacuten debe considerar los

siguientes aspectos

1 Identificacioacuten del programa

11 Nombre

12 Clave de programa

13 Dependencia yo Entidad coordinadora ejecutora

14 Antildeo de inicio de operacioacuten

2 Problema o necesidad que el Pp pretende atender atenuar o resolver

3 La contribucioacuten del Pp a las Metas y objetivos estatales a los que se vincula

4 Descripcioacuten de los objetivos del Pp asiacute como de los bienes yo servicios que ofrece

(componentes)

5 Identificacioacuten y cuantificacioacuten de la poblacioacuten o aacuterea de enfoque potencial y

objetivo

6 Presupuesto aprobado para el ejercicio fiscal en curso

7 Metas de los indicadores de Fin Propoacutesito y Componentes asiacute como los de nivel

actividad que se consideren relevantes y

8 Resumen de la valoracioacuten de la pertinencia del disentildeo del Pp respecto a la atencioacuten

del problema o necesidad

Anexo 2 ldquoMetodologiacutea para la cuantificacioacuten de la poblacioacuten o aacuterea de enfoque

potencial y objetivordquo

El Anexo tiene formato libre sin embargo se debe incluir la siguiente informacioacuten

Definicioacuten de la poblacioacuten o aacuterea de enfoque potencial objetivo y atendida

Cuantificacioacuten de la poblacioacuten potencial objetiva y atendida

Hallazgos sobre el procedimiento llevado a cabo para definir y cuantificar la poblacioacuten o

aacuterea de enfoque potencial objetivo y atendida

Recomendaciones

Propuesta orientada hacia la mejora

PAE 2017 37

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 3 ldquoEvolucioacuten de la Coberturardquo

Nombre del

Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten

Antildeo de la Evaluacioacuten

Tipo de Poblacioacuten

Unidad

de

Medida

2012 2013 2014 2015 2016

P Potencial

P Objetivo

P Atendida

119927119912 times 120783120782120782

119927119926

PAE 2017 38

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 4 ldquoPropuesta de mejora de la Matriz de Indicadores para Resultadosrdquo

Derivado del anaacutelisis y valoracioacuten de la pregunta de investigacioacuten nuacutemero 3 iquestLa estructura de

objetivos planteada por el programa mantiene loacutegica y correspondencia causal con el problema

planteado en el diagnoacutestico se realizaraacute una propuesta de mejora de MIR

Fin

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Propoacutesito

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Componente 1

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

PAE 2017 39

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Componente 2 hellip

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 40

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesos del Pprdquo

Para la identificacioacuten y clasificacioacuten de los procesos del Pp se sugieren los siguientes pasos

1 Listar los procesos identificados

Comparar los procesos identificados del Pp con aquellos correspondientes al Modelo general de

procesos Colocar en el rengloacuten correspondiente el nombre de cada proceso del Pp identificado

como equivalente

2 Colocar al final de la lista aquellos procesos del Pp que no sean equivalentes con el Modelo

general de procesos

Modelo general de

procesos

Nuacutemero

de

secuencia

Procesos o subprocesos del Pp identificados por el

evaluador

(Nombre y breve descripcioacuten)

Planeacioacuten Ejemplo (Ej) Planeacioacuten Estrateacutegica

Ej Programacioacuten

Ej Presupuestacioacuten

Comunicacioacuten interna y

externa

Ej Difusioacuten Federal

Ej Difusioacuten Local

Seleccioacuten de

destinatarios

Ej Recepcioacuten de solicitudes de becas

Ej Seleccioacuten de becarios

Produccioacuten de

entregables

Entrega

Control

Seguimiento Ej Seguimiento fiacutesico y supervisioacuten en campo

Evaluacioacuten externa Ej Publicacioacuten y lectura del PAE

Ej Definicioacuten de TdR

Ej Contratacioacuten

Ej Ejecucioacuten de la evaluacioacuten externa

Monitoreo Ej Registro de avances de indicadores

Ej Revisioacuten de registros

Ej Validacioacuten de registros e integracioacuten de informes

PAE 2017 41

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Procesos identificados por el evaluador que no coinciden con el Modelo general de procesos

PAE 2017 42

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 ldquoFichas de indicadores de atributos de los procesos del Pp (formato libre)rdquo

Para la construccioacuten de este anexo deberaacute realizarse una revisioacuten documental (normativa aplicable

MIR evaluaciones externas sistemas de informacioacuten y registros administrativos entre otros) misma

que deberaacute complementarse con el trabajo de campo con el objetivo de identificar disentildear y calcular

indicadores relacionados con dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de

informacioacuten empleadas

Ademaacutes de considerar la medicioacuten de los atributos de eficacia suficiencia oportunidad y pertinencia

de cada proceso y subproceso o macroproceso

PAE 2017 43

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 7 ldquoDiagramas de flujo de la operacioacuten del Pprdquo

Para la elaboracioacuten de los diagramas de flujo deberaacute utilizarse la notacioacuten empleada en el

documento ldquoGuiacutea para la Optimizacioacuten Estandarizacioacuten y Mejora Continua de Procesosrdquo publicada

por la SFP en la direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Para el Diagrama de Alto Nivel (Diagrama PEPSU)

Ejemplo ilustrativo

PAE 2017 44

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para el Diagrama de Flujo

PAE 2017 45

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

PAE 2017 46

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 8 ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales

del Pprdquo

Tipo de

norma-

tiva

Dice

Problema

generado

(causas y

consecuencias)

Se

recomienda

decir

Efecto esperado de

aplicar la

recomendacioacuten de

cambio

Restricciones praacutecticas

que puedan existir para

su implementacioacuten

PAE 2017 47

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 9 ldquoValoracioacuten global cuantitativa ldquo

Seccioacuten 1 Disentildeo

Disentildeo Valoracioacuten Argumento o justificacioacuten

Porcentaje del

Disentildeo del Pp

(Suma de valoracioacuten alcanzada por pregunta de la seccioacuten 1 Total maacuteximo de la

valoracioacuten de todas las preguntas de la seccioacuten 1 ) x 100

Seccioacuten 2 Procesos

Proceso Eficacia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

eficaces

(Total de procesos eficaces Total de procesos del Pp) x 100

Proceso Oportunidad

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

oportunos

(Total de procesos oportunos Total de procesos del Pp) x 100

Proceso Suficiencia

(SiacuteNo) Argumento o justificacioacuten

PAE 2017 48

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Porcentaje de

procesos

suficientes

(Total de procesos suficientes Total de procesos del Pp) x 100

Proceso Pertinencia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

pertinentes

(Total de procesos pertinentes Total de procesos del Pp) x 100

NOTA Los argumentos y justificaciones del evaluador deberaacuten considerar el anaacutelisis y valoraciones de

los subprocesos de cada proceso de modo que haya consistencia entre estos elementos Asimismo el

evaluador deberaacute expresar los resultados de la valoracioacuten cuantitativa en una graacutefica tipo radial

PAE 2017 49

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 10 ldquoSistema de monitoreo e indicadores de gestioacuten del Pp (formato libre)rdquo

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible

Nombre del Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten De Procesos

Antildeo de la Evaluacioacuten 2017

Fin Justificacioacuten Propoacutesito Justificacioacuten Componente (s) Justificacioacuten

Nombre de

Indicador

Meacutetodo de Caacutelculo

Claro SiacuteNo SiacuteNo SiacuteNo

Relevante SiacuteNo SiacuteNo SiacuteNo

Econoacutemico SiacuteNo SiacuteNo SiacuteNo

Monitoreable SiacuteNo SiacuteNo SiacuteNo

Adecuado SiacuteNo SiacuteNo SiacuteNo

Definicioacuten SiacuteNo SiacuteNo SiacuteNo

Unidad de Medida SiacuteNo SiacuteNo SiacuteNo

Frecuencia de

Medicioacuten

SiacuteNo SiacuteNo SiacuteNo

Liacutenea Base SiacuteNo SiacuteNo SiacuteNo

Metas SiacuteNo SiacuteNo SiacuteNo

Comportamiento

del Indicador

SiacuteNo SiacuteNo SiacuteNo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 50

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de Procesos del Pprdquo

En este Anexo la instancia evaluadora debe valorar si la recomendacioacuten implica una consolidacioacuten o

una reingenieriacutea del proceso

A) Consolidacioacuten

Proceso Recomendaci

oacuten

Breve

anaacutelisis de

viabilidad de

la

implementa-

cioacuten

Principales

responsables

de la

implementaci

oacuten

Situacioacuten

actual

Efectos

potenciales

esperados

Medio de

verifica-

cioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

B) Reingenieriacutea de procesos

Proceso Objetivo

Breve

anaacutelisis de

viabilidad

de la

implemen-

tacioacuten

Principales

responsables

de la

implemen-

tacioacuten

Situa-

cioacuten

actual

Metas y

efectos

potenciale

s

esperados

Elabora-

cioacuten de

flujogram

a del

nuevo

proceso

Medio

de

verifi-

cacioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

NOTA El nivel de priorizacioacuten Alto Medio o Bajo se estimaraacute considerando la mejora en la operacioacuten

del Pp la viabilidad de la implementacioacuten de la recomendacioacuten asiacute como el efecto potencial que esto

pueda tener el alcance del objetivo del Pp

PAE 2017 51

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 12 ldquoPrincipales Fortalezas Retos y Recomendacionesrdquo

Capacidades Internas Factores Externos

Fortalezas

(Cualquier capacidad con la que cuenta la dependencia o

entidad que le permita aprovechar sus recursos para la

obtencioacuten de sus objetivos)

Oportunidades

(Cualquier factor externo fuera del control de la dependencia o

entidad que puede ser aprovechado para la obtencioacuten de sus

objetivos)

Debilidades

(Cualquier limitante Interna de la dependencia o entidad que

puede afectar la obtencioacuten de sus objetivos)

Amenazas

(Cualquier factor externo fuera de control de la dependencia o

entidad que pueda afectar la obtencioacuten de sus objetivos)

PAE 2017 52

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacutenrdquo

El Informe Final de la Evaluacioacuten de Procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten

Superior deberaacuten contener una ficha con los siguientes datos

Ficha Teacutecnica con los datos generales de la evaluacioacuten

Nombre o denominacioacuten de la

evaluacioacuten

[Especificar el nombre de la evaluacioacuten considerando su tipo y ejercicio

evaluado]

Nombre o denominacioacuten del

programa evaluado

[Indicar el nombre del Pp sujeto a evaluacioacuten de acuerdo con lo

establecido en el PEF sentildealando su modalidad y clave]

Unidad Responsable de la operacioacuten

del programa

[Especificar la(s) unidad(es) responsable(s) de la administracioacuten

operacioacuten y ejecucioacuten de los programas subprogramas y proyectos del

Pp evaluado correspondientes a las dependencias y entidades]

Titular de la unidad responsable de la

operacioacuten del programa

[Indicar el nombre del(a) Titular de la Unidad Responsable de la

operacioacuten del Pp]

Antildeo del Programa Anual de

Evaluacioacuten (PAE) en que fue

considerada la evaluacioacuten

[Especificar el ejercicio fiscal al que corresponde el PAE en la que fue

programada la evaluacioacuten]

Antildeo de conclusioacuten y entrega de la

evaluacioacuten

[Indicar el antildeo en que se concluyoacute la evaluacioacuten]

Tipo de evaluacioacuten [Especificar el tipo de evaluacioacuten de acuerdo con los Lineamientos de

evaluacioacuten el nombre de la evaluacioacuten y con lo establecido en el PAE]

Nombre de la instancia evaluadora [Indicar el nombre de la firma consultoriacutea u organizacioacuten que realizoacute la

evaluacioacuten]

Nombre del(a) coordinador(a)

externo(a) de la evaluacioacuten

[Especificar el nombre del(a) responsable de la coordinacioacuten de la

evaluacioacuten dla instancia evaluadora]

Nombre de los(as) principales

colaboradores(as) del(a)

coordinador(a) de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del(a)

coordinador(a) de la evaluacioacuten]

PAE 2017 53

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Unidad Administrativa responsable de

la Coordinacioacuten de la evaluacioacuten

[De acuerdo con lo sentildealado en el PAE especificar la instancia a la que

corresponde la coordinacioacuten de la evaluacioacuten pej Secretariacutea de

Finanzas y Administracioacuten (SFA) asiacute como la unidad administrativa

mediante la cual se ejerce esta funcioacuten p ej Direccioacuten de Evaluacioacuten

de la SFA (DEV)

Nombre del(a) Titular de la unidad

administrativa responsable de

coordinar la evaluacioacuten (Aacuterea de

Evaluacioacuten)

[Especificar el nombre del(a) Titular de la Unidad responsable de dar

seguimiento a la evaluacioacuten que funge como Aacuterea de Evaluacioacuten]

Nombres de los(as) servidores(as)

puacuteblicos(as) adscritos(as) a la unidad

administrativa responsable de

coordinar la evaluacioacuten que

coadyuvaron con la revisioacuten teacutecnica

de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del

titular de la unidad administrativa responsable de dar seguimiento a la

evaluacioacuten respecto de la revisioacuten teacutecnica de la misma]

Forma de contratacioacuten de la instancia

evaluadora

[Indicar el tipo de contratacioacuten dla instancia evaluadora Especificar el

tipo de procedimiento de contratacioacuten de la instancia evaluadora

consistente con los tipos de adjudicacioacuten establecidos en la Ley de

Adquisiciones Arrendamientos y Servicios del Sector Puacuteblico]

Costo total de la evaluacioacuten con IVA

incluido

[Especificar el costo total de la evaluacioacuten incluyendo el IVA (en caso

de que se haya causado) como sigue $XXX IVA incluido]

Asimismo en este anexo se deberaacute incluir una nota metodoloacutegica con la descripcioacuten de las teacutecnicas

y los modelos utilizados por el evaluador externo acompantildeada del disentildeo por muestreo

especificando los supuestos empleados y las principales caracteriacutesticas del tamantildeo y dispersioacuten de

la muestra utilizada

DIRECTORIO

Rauacutel Saacutenchez Kobashi

Secretario de la Secretariacutea de Finanzas y Administracioacuten

Francisco Fidel Teomitzi Saacutenchez

Subsecretario de Planeacioacuten

Arturo Neponuceno Crisoacutestomo

Director de Evaluacioacuten

Rodolfo de la Rosa Cabrera

Subdireccioacuten de Evaluacioacuten de Programas

Sauacutel Federico Oropeza Orea

Jefe del Departamento de Programas Estatales y Municipales

Ana Luz Guzmaacuten Figueroa

Analista del Departamento de Programas Estatales y Municipales

Marco Antonio Saacutenchez Gonzaacutelez

Analista del Departamento de Programas Estatales y Municipales

Page 14: Términos de Referencia para la Evaluación del Desempeño ...evaluacion.puebla.gob.mx/pdf/metodologias/TdR_Est/2017/TdR... · Perfil de la instancia evaluadora ... acuerdo con las

PAE 2017 13

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

En la respuesta se deberaacuten incluir las definiciones de la poblacioacuten o aacuterea de enfoque potencial

objetivo y atendida asiacute como su cuantificacioacuten La metodologiacutea y fuentes de informacioacuten para

determinar los tipos de poblacioacuten o aacuterea de enfoque se deben incluir en el Anexo 2 ldquoMetodologiacutea

para la cuantificacioacuten de la poblacioacuten o aacuterea de enfoque potencial y objetivordquo

Asimismo identificar si el Pp cuenta con una estrategia de cobertura institucional en que se defina

la estrategia que utilizaraacute a lo largo del tiempo para cubrir el total de su poblacioacuten o aacuterea de enfoque

potencial en caso de que no se identifique alguna estrategia el evaluador deberaacute emitir una

valoracioacuten sobre la pertinencia del disentildeo actual del Pp para alcanzar las metas de cobertura En caso

de que el disentildeo actual del Pp no permita alcanzar las metas de cobertura deberaacuten recomendarse

modificaciones concretas al disentildeo del Pp con la finalidad de que sea maacutes probable que alcance

dichas metas de cobertura

De igual forma se debe analizar la evolucioacuten de la poblacioacuten o aacuterea de enfoque atendida y su

convergencia con la poblacioacuten o aacuterea de enfoque potencial es decir si el programa ha logrado

atender a toda la poblacioacuten o aacuterea de enfoque objetivo El anaacutelisis se debe justificar y completar el

Anexo 3 ldquoEvolucioacuten de la Coberturardquo

Matriz de Indicadores para Resultados (MIR)

3 iquestLa estructura de objetivos planteada por el programa mantiene loacutegica y correspondencia

causal con el problema planteado en el diagnoacutestico

Consideraciones

Se deberaacute identificar la contribucioacuten del programa a los objetivos estrateacutegicos del Plan Estatal de

Desarrollo y de otros instrumentos de planeacioacuten de mediano y largo plazo

Se deberaacute determinar si la hipoacutetesis de intervencioacuten del programa mantiene una loacutegica causal con

la problemaacutetica que se quiere atender

Se deberaacuten analizar y valorar los elementos que componen al disentildeo del Pp (modalidad unidades

responsables propoacutesito componentes poblacioacuten o aacuterea de enfoque objetivo entre otros) y sobre

los cuales eacuteste se construye (problema puacuteblico o necesidad causas y efectos del problema situacioacuten

de la poblacioacuten o aacuterea de enfoque objetivo entre otros)

Se deberaacute valorar la MIR y verificar su loacutegica horizontal (resumen narrativo indicadores metas y

medios de verificacioacuten) y vertical asiacute como si es congruente con los elementos de diagnoacutestico

Derivado de lo anterior se elaboraraacute una propuesta de la MIR que deberaacute considerar y presentar la

Estructura Analiacutetica del Pp (aacuterbol de problemas objetivos y concentrado) Asimismo se deberaacute incluir

PAE 2017 14

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

la justificacioacuten del disentildeo propuesto o las modificaciones sugeridas y generar el Anexo 4 ldquoPropuesta

de mejora de la Matriz de Indicadores para Resultadosrdquo

Metodologiacutea de la Seccioacuten 1

Anaacutelisis de gabinete

La evaluacioacuten se realizaraacute mediante un anaacutelisis de gabinete con base en informacioacuten proporcionada

por la dependencia o unidad responsable del programa asiacute como informacioacuten adicional que la

institucioacuten evaluadora considere necesaria para justificar su anaacutelisis

En este contexto se entiende por anaacutelisis de gabinete al conjunto de actividades que involucra el

acopio la organizacioacuten y la valoracioacuten de informacioacuten concentrada en registros administrativos

bases de datos evaluaciones internas yo externas y documentacioacuten puacuteblica Sin embargo de

acuerdo con las necesidades de informacioacuten y tomando en cuenta la forma de operar de cada

programa se podraacuten programar y llevar a cabo entrevistas con responsables de los programas yo

personal de la unidad de evaluacioacuten yo planeacioacuten de la dependencia coordinadora

Valoracioacuten de disentildeo del Pp

Para cada pregunta de investigacioacuten de esta seccioacuten se deberaacute definir una valoracioacuten cuantitativa y

cualitativa que resuma la apreciacioacuten del evaluador para cada uno de los aspectos de la seccioacuten 1

con el fin de permitir obtener una valoracioacuten sinteacutetica acerca de la suficiencia de los elementos que

cumple el programa Para esto se deberaacute usar la siguiente escala likert de cinco grados

Tabla 3 Escala de Medicioacuten para la Seccioacuten 1

1 2 3 4 5

Deficiente Insuficiente Moderado Bien Suficiente

En la argumentacioacuten que presente la evaluadora se deberaacuten aportar los elementos que justifiquen

la valoracioacuten cuantitativa que se emita para cada pregunta de investigacioacuten ademaacutes de completar

el Anexo 9 ldquoValoracioacuten global cuantitativardquo de la Seccioacuten 1 de Disentildeo

PAE 2017 15

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Seccioacuten 2 Procesos

Pertinencia de los procesos

4 Diagnoacutestico general de los procesos y subprocesos del Pp

Consideraciones

La instancia evaluadora deberaacute presentar dentro de los 30 diacuteas naturales posteriores a la firma del

contrato un Diagnoacutestico General de los Procesos y Subprocesos o Macroprocesos del Pp (Producto

1) en el que se deacute cuenta de la problemaacutetica o necesidad que atiende o de la funcioacuten de gobierno

que desarrolla asiacute como del contexto y las condiciones en las que opera el Pp En este diagnoacutestico

se deben identificar los procesos y subprocesos o macroprocesos que integran la operacioacuten o

gestioacuten del Pp a partir de la normativa vigente y de las entrevistas a funcionarios de la UR realizadas

se deberaacute presentar una descripcioacuten integral con el mapa de procesos y subprocesos del Pp

A partir de este diagnoacutestico la instancia evaluadora presentaraacute para su validacioacuten a la DEV una

propuesta de los alcances y logiacutestica de la Evaluacioacuten de Procesos del Pp Asimismo el diagnoacutestico

debe estar acompantildeado de la justificacioacuten del enfoque metodoloacutegico general seleccionado para su

desarrollo

Ademaacutes en el Producto 1 se deberaacuten especificar las directrices generales y particulares que guiaraacuten

la realizacioacuten de la evaluacioacuten de procesos acordadas con la DEV y la UR del Pp por lo que la correcta

elaboracioacuten de este producto es fundamental para poder garantizar un resultado satisfactorio

En el Producto 1 ademaacutes de integrar la estrategia y plan de trabajo de campo teacutecnicas de

investigacioacuten a utilizarse disentildeo muestral e instrumentos de levantamiento de informacioacuten se

incluiraacuten dos apartados

Descripcioacuten del contexto en el que opera el Pp La instancia evaluadora deberaacute describir

los siguientes elementos del Pp todas las UR que participan en su operacioacuten o que ejercen

sus recursos los entregables que produce cada UR que participa en la operacioacuten del Pp en

el marco del mismo el problema o necesidad de poliacutetica puacuteblica identificado por el Pp

poblacioacuten o aacuterea de enfoque potencial objetivo y atendida del Pp y su cuantificacioacuten

cantidad de destinatarios por cada uno de los entregables que el Pp tuvo al cierre del uacuteltimo

ejercicio fiscal del que se tenga registro cantidad de destinatarios por cada uno de los

entregables que el Pp espera atender en el ejercicio fiscal evaluado asiacute como el contexto

organizacional y social en que se desarrolla su operacioacuten

PAE 2017 16

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Diagnoacutestico inicial de los procesos y subprocesos o macroprocesos del Pp La instancia

evaluadora deberaacute desarrollar a partir del trabajo de gabinete y de entrevistas

semiestructuradas con funcionarios de la(s) Unidad(es) Responsable(s) del Pp realizadas un

diagnoacutestico inicial de procesos del Pp en el que se identifiquen claramente los procesos y

subprocesos o macroprocesos que integran su operacioacuten o gestioacuten asiacute como las instancias

o actores que participan en ellos se deberaacute presentar una descripcioacuten integral con un mapa

de procesos y subprocesos o macroprocesos del Pp asiacute como llenar el Anexo 5 ldquoFicha de

identificacioacuten y equivalencia de procesosrdquo Las entrevistas semiestructuradas se realizaraacuten con

la finalidad de profundizar y despejar dudas sobre el mapa de los procesos y subprocesos o

macroprocesos que integran la gestioacuten operativa del Pp En esta seccioacuten la instancia

evaluadora deberaacute sentildealar cuaacuteles de los procesos y subprocesos o macroprocesos

identificados estaacuten documentados y cuaacuteles no asiacute como ndashen su casondash la normativa que los

rige por ejemplo un manual de procedimientos o de organizacioacuten lineamientos de

operacioacuten entre otros Cabe sentildealar que los procesos y subprocesos o macroprocesos que

integran la operacioacuten o gestioacuten del Pp son estructuras analiacuteticas que debe de construir la

instancia evaluadora a partir de su experiencia en el desarrollo de evaluaciones de procesos

e implementacioacuten de poliacuteticas puacuteblicas por tanto debe tenerse en cuenta que a pesar de

ser lo deseable los procesos y subprocesos o macroprocesos no necesariamente pueden

estar documentados

5 Descripcioacuten y valoracioacuten de los procesos y subprocesos del Pp

Consideraciones

Despueacutes de realizar el trabajo de campo y sistematizar la informacioacuten levantada la instancia

evaluadora deberaacute realizar la descripcioacuten y valoracioacuten de cada uno de los procesos subprocesos o

macroprocesos identificados en el Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesosrdquo

contrastando en todos los casos la evidencia documental y su ejecucioacuten en la praacutectica

Por lo anterior en esta seccioacuten se deberaacute realizar una descripcioacuten minuciosa del desarrollo y el

anaacutelisis de cada proceso y subproceso o macroproceso de acuerdo con el alcance establecido

utilizando la informacioacuten obtenida mediante el anaacutelisis de gabinete y el trabajo de campo asimismo

se deberaacute realizar una valoracioacuten integral sobre la gestioacuten de cada uno de los procesos a partir de

la gestioacuten en sus subprocesos o macroprocesos a partir de la gestioacuten de los procesos

PAE 2017 17

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

La valoracioacuten de cada proceso subproceso o macroproceso deberaacute contener la siguiente estructura

1 Descripcioacuten detallada de las actividades los elementos y los actores que integran el

desarrollo de cada proceso y subproceso o macroproceso

2 Liacutemites de cada proceso y subproceso o macroproceso asiacute como su articulacioacuten con otros

3 Insumos y recursos determinar si los insumos y los recursos disponibles son suficientes y

adecuados para la ejecucioacuten de cada proceso y subproceso o macroproceso

a Tiempo iquestel tiempo en que se ejecuta el proceso o subproceso es el adecuado acorde

a lo planificado y congruente con la normativa que aplica

b Personal iquestel personal es suficiente tiene el perfil y cuenta con la capacitacioacuten necesaria

para la ejecucioacuten del proceso o subproceso

c Recursos financieros iquestlos recursos financieros son suficientes para la ejecucioacuten del

proceso o subproceso

d Recursos materiales iquestlos recursos materiales son suficientes para la ejecucioacuten del

proceso o subproceso

e Infraestructura iquestse cuenta con la infraestructura o capacidad instalada suficiente para

la ejecucioacuten del proceso o subproceso

f Insumos tecnoloacutegicos

4 Productos iquestlos productos de cada proceso subproceso o macroproceso sirven de insumo

para ejecutar el proceso subproceso o macroproceso subsecuente

5 Sistemas de informacioacuten iquestLos sistemas de informacioacuten utilizados en la ejecucioacuten de cada

proceso subproceso o macroproceso (automatizados semiautomatizados o manuales)

funcionan como una fuente de informacioacuten uacutetil para los sistemas de monitoreo a nivel central

y para los operadores en otros niveles iquestEstos sistemas de informacioacuten automatizan algunos

procesos subprocesos o macroproceso del Pp iquestSirven como mecanismo de control interno

para el mejor de desarrollo de los procesos subprocesos o macroproceso

6 Coordinacioacuten iquestla coordinacioacuten entre los actores oacuterdenes de gobierno o dependencias

involucradas es adecuada para la ejecucioacuten del proceso subproceso o macroproceso

7 Evaluacioacuten de la pertinencia de la forma en que se ejecuta cada proceso subproceso o

macroproceso en el contexto y condiciones en que se desarrolla considerando la estructura

organizacional involucrada y la coordinacioacuten entre las unidades administrativas que

intervienen en el proceso subproceso o macroproceso

8 Identificacioacuten de las caracteriacutesticas relacionadas con la importancia estrateacutegica de cada

proceso subproceso o macroproceso

PAE 2017 18

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

9 Opinioacuten de actores (destinatarios beneficiarios usuarios clientes u operadores del Pp)

sobre la eficacia eficiencia y calidad de cada proceso subproceso o macroproceso

10 Existencia de mecanismos para conocer la satisfaccioacuten de los beneficiarios o destinatarios de

los componentes o entregables que otorga el Pp

Por otra parte en caso de que el Pp genere diversos componentes o entregables y que estos

impliquen la realizacioacuten de actividades diferentes seraacute necesario describir los procesos y

subprocesos o macroprocesos correspondientes a cada tipo de componente o entregable otorgado

En la descripcioacuten de los procesos y subprocesos o macroprocesos la instancia evaluadora de manera

coordinada con la DEV deberaacute realizar los diagramas de alto nivel y los diagramas detallados

(diagramas de flujo) que describan los procesos y subprocesos o macroprocesos del Pp Para ello se

deberaacute usar como referencia la seccioacuten ldquoVII Mapeo de procesosrdquo de la ldquoGuiacutea para la Optimizacioacuten

Estandarizacioacuten y Mejora Continua de Procesosrdquo (paacuteginas 18 a 25) elaborada por la Secretariacutea de la

Funcioacuten Puacuteblica (SFP) disponible en la siguiente direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Estos diagramas se deberaacuten elaborar de acuerdo con lo especificado en el Anexo 7 ldquoDiagramas de

flujo de la operacioacuten del Pprdquo

Metodologiacutea Seccioacuten 2

La Evaluacioacuten de Procesos del Pp se realizaraacute principalmente a partir de teacutecnicas de investigacioacuten

cualitativa como son el anaacutelisis documental la observacioacuten directa estudios de caso y multicaso

especiacuteficos entrevistas semiestructuradas y grupos focales o grupos de enfoque (focus groups)

entre otras teacutecnicas que la instancia evaluadora considere pertinentes para realizar el anaacutelisis de

gabinete y el trabajo de campo tales como la aplicacioacuten de cuestionarios de aplicacioacuten electroacutenica

o a distancia

La metodologiacutea y los instrumentos definidos asiacute como el trabajo de gabinete y de campo deberaacuten

generar evidencia empiacuterica suficiente para valorar a profundidad la forma en que se ejecutan los

procesos y subprocesos o macroprocesos que integran la operacioacuten del Pp asiacute como su contexto

institucional y organizacional

PAE 2017 19

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anaacutelisis de gabinete

Para esta seccioacuten es necesario la elaboracioacuten del diagnoacutestico de los procesos y subprocesos o

macroprocesos que integran la operacioacuten o gestioacuten del Pp la instancia evaluadora deberaacute realizar

un anaacutelisis de gabinete considerando como miacutenimo los siguientes documentos

La normativa aplicable al Pp leyes reglamentos lineamientos manuales de procedimientos

convenios contratos entre otros

Diagnoacutestico y estudios de la problemaacutetica que el Pp atiende

Diagnoacutestico del programa y estudios del marco contextual en el que opera

MIR del Pp correspondiente al ejercicio fiscal evaluado y de ejercicios anteriores que se

consideren pertinentes

Sistemas de informacioacuten automatizados semiautomatizados o manuales que apoyen a la

ejecucioacuten de los procesos y subprocesos o macroprocesos identificados del Pp

Evaluaciones externas o internas realizadas previamente al Pp

Documentos de trabajo institucionales e informes de avances de Aspectos Susceptibles de

Mejora con los que cuente el Pp

Informes de auditoriacuteas de desempentildeo o similares realizadas al Pp por la Auditoriacutea Superior

de la Federacioacuten del Estado de Puebla por la Secretariacutea de la Contraloriacutea o por cualquier

instancia fiscalizadora

Asimismo se sugiere revisar otros documentos asociados al disentildeo del Pp y a su definicioacuten de

poblacioacuten o aacuterea de enfoque potencial y objetivo asiacute como a su estrategia de integracioacuten de

destinatarios o beneficiarios de los componentes o entregables del Pp

El anaacutelisis o trabajo de gabinete deberaacute generar como resultado inicial un mapeo de los procesos y

subprocesos o macroprocesos que integran la gestioacuten operativa del Pp que constituiraacute

esencialmente el Producto 1 de la evaluacioacuten posteriormente se procesaraacute la informacioacuten recabada

en campo para la generacioacuten del informe preliminar y final de la evaluacioacuten

Alcance y enfoque de la evaluacioacuten

La instancia evaluadora deberaacute sentildealar con claridad en el informe de la evaluacioacuten cuaacuteles de los

procesos y subprocesos o macroprocesos identificados en la operacioacuten o gestioacuten del Pp se analizan

y cuaacuteles no de acuerdo con lo establecido por la Direccioacuten de Evaluacioacuten (DEV) de la Secretariacutea de

Finanzas y Administracioacuten (SFA) y la Unidad Responsable (UR) del Programa en cuestioacuten sentildealando

los elementos de anaacutelisis que justifican esta seleccioacuten y en su caso haciendo recomendaciones al

respecto

PAE 2017 20

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Un elemento que podraacute ser considerado para establecer el alcance de la evaluacioacuten es el grado de

consolidacioacuten operativa del Pp el cual podraacute determinarse a priori considerando algunos elementos

como los siguientes

1 Si existen documentos que normen los procesos y subprocesos o macroprocesos

2 Si los procesos y subprocesos o macroprocesos estaacuten estandarizados es decir si son

utilizados por todas la instancias ejecutoras de manera homogeacutenea

3 Si los procesos y subprocesos o macroprocesos estaacuten documentados y son del conocimiento

de todos los operadores

4 Si se cuenta con un sistema de monitoreo e indicadores de gestioacuten

5 Si se cuenta en los procesos y subprocesos o macroprocesos analizados con sistemas

informaacuteticos que permitan la automatizacioacuten en la ejecucioacuten de los mismos

6 Si se cuenta con mecanismos para la implementacioacuten sistemaacutetica de mejoras

Se considera que existe un mayor grado de consolidacioacuten operativa cuando existen todos los

elementos y disminuiraacute gradualmente conforme haga falta uno o maacutes de ellos hasta el menor grado

de consolidacioacuten que es cuando no existe ninguno de los elementos

El alcance de la Evaluacioacuten de Procesos del Pp implica el anaacutelisis de los procesos y subprocesos o

macroprocesos sustantivos del Pp asiacute como la respectiva priorizacioacuten de estos Se deberaacute realizar

la identificacioacuten y jerarquizacioacuten de los procesos a partir del Esquema 1 adaptaacutendolo a las

condiciones particulares del Pp3 en eacutel se observa lo siguiente

El proceso de ldquoPlaneacioacutenrdquo es el punto de partida para la implementacioacuten del Pp

posteriormente continuacutean los procesos de ldquoComunicacioacuten Interna y Externardquo ldquoSeleccioacuten de

destinatariosrdquo ldquoProduccioacuten de entregablesrdquo ldquoEntregardquo ldquoSeguimiento a destinatariosrdquo y

ldquoControlrdquo

La informacioacuten que se genera en los procesos de ldquoSeguimiento a destinatariosrdquo y ldquoControlrdquo

es un insumo directo para retroalimentar los procesos del Pp desde el de Planeacioacuten

El proceso de ldquoMonitoreordquo utiliza informacioacuten generada principalmente en los procesos de

ldquoComunicacioacutenrdquo ldquoSeleccioacuten de destinatariosrdquo ldquoProduccioacuten de entregablesrdquo ldquoEntregardquo y

ldquoSeguimiento a destinatariosrdquo a partir de ello se retroalimentan los procesos del Pp desde

la ldquoPlaneacioacutenrdquo

3 Con excepcioacuten de los procesos (con sus subprocesos) de Planeacioacuten Monitoreo y Evaluacioacuten Externa para

los cuales la instancia evaluadora uacutenicamente podraacute en caso de que lo considere pertinente agregar

subprocesos pero no suprimir subprocesos

PAE 2017 21

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

El proceso de ldquoEvaluacioacuten Externardquo requiere de informacioacuten transversal de todos los

procesos ya que se valora al Pp en su conjunto En este sentido los resultados de las

evaluaciones son un insumo para retroalimentar al Pp desde el proceso de ldquoPlaneacioacutenrdquo

Es importante sentildealar que en el Esquema 1 se muestra un modelo que es importante tomarlo en

cuenta como referencia para la identificacioacuten y definicioacuten de los procesos y subprocesos o

macroprocesos que integran la operacioacuten del Pp evaluado ademaacutes de que representa un auxiliar

en la definicioacuten del alcance y del enfoque de la Evaluacioacuten de Procesos del Pp

Esquema 1 Modelo general de procesos

Fuente Modelo de TdR para la Evaluacioacuten de Procesos Secretariacutea de Hacienda y Creacutedito Puacuteblico

A continuacioacuten se describe cada uno de los procesos que componen al modelo anterior

Planeacioacuten proceso en el que se determinan o definen el problema o necesidad aacuterbol de

problemas y objetivos poblacioacuten o aacuterea de enfoque potencial y objetivo objetivos

indicadores y metas de la MIR estrategia de cobertura plan estrateacutegico entre otros puntos

asiacute como los recursos financieros y humanos necesarios que requiere el Pp para lograr sus

objetivos En el proceso de planeacioacuten se determinan las directrices en el disentildeo e

implementacioacuten del Pp los subprocesos que lo integran son los siguientes planeacioacuten

estrateacutegica programacioacuten y presupuesto actualizacioacuten de la MIR actualizacioacuten de

normativa

PAE 2017 22

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Comunicacioacuten interna y externa proceso en el que se informan diversas caracteriacutesticas y

objetivos del Pp tanto a los actores involucrados en su funcionamiento y operacioacuten (interna)

como a su poblacioacuten o aacuterea de enfoque objetivo (externa)

Seleccioacuten de destinatarios proceso en el que se determina quieacutenes recibiraacuten los

componentes o entregables de un Pp en funcioacuten de su poblacioacuten o aacuterea de enfoque objetivo

Produccioacuten de entregables proceso en el que se elaboran los entregables o realizan los

componentes del Pp (recursos financieros o humanos apoyos bienes servicios

regulaciones documentos teacutecnicos o de planeacioacuten etc) conforme a sus documentos

normativos

Entrega proceso en el que se realiza la entrega de lo producido o generado por el Pp

(componentes o entregables) a los destinatarios o beneficiarios

Seguimiento a destinatarios actividades y mecanismos que permiten al Pp conocer coacutemo

son utilizados o aprovechados sus componentes o entregables (por sus destinatarios o

beneficiarios) para que entre otras funciones la UR del Pp identifique si se estaacute cumpliendo

con los objetivos Por ejemplo en este proceso se incluyen las actividades que un Pp

implementa para conocer el grado de satisfaccioacuten de sus destinatarios o beneficiarios

Control actividades y mecanismos implementados entre los operadores del Pp para verificar

que los diferentes procedimientos procesos y subprocesos se esteacuten ejecutando conforme a

lo planeado (control interno)

Monitoreo proceso coordinado por una unidad administrativa ajena a la operacioacuten del Pp

a traveacutes del cual se recaba registra y valida la informacioacuten sobre el avance de las metas de

los indicadores de la MIR asiacute como el seguimiento a los resultados de indicadores

adicionales a los de la MIR en caso de que se cuente con un sistema de monitoreo de gestioacuten

Los subprocesos que lo integran son los siguientes acopio de la informacioacuten para el reporte

de avances validacioacuten de informacioacuten y registro de avances primordialmente

Evaluacioacuten externa proceso coordinado por una unidad administrativa ajena a la operacioacuten

del Pp mediante el cual se define la agenda de evaluacioacuten externa del Pp se definen las

metodologiacuteas o los teacuterminos de referencia se contratan las evaluaciones externas (de

cualquier tipo) se recaba la informacioacuten que seraacute entregada a los equipos evaluadores se

realiza el seguimiento durante el desarrollo de las evaluaciones externas se aprueban los

PAE 2017 23

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

informes finales de las evaluaciones externas se notifica a las instancias correspondientes

sobre la conclusioacuten de las evaluaciones externas y se definen y realiza el seguimiento de los

Aspectos Susceptibles de Mejora (ASM)

A partir de los procesos definidos en el modelo anterior la instancia evaluadora deberaacute realizar una

equivalencia de los procesos subprocesos o macroprocesos identificados respecto a los definidos

en el modelo de acuerdo con el Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesosrdquo Cabe

mencionar que los procesos definidos en el modelo no son limitativos por lo que si la instancia

evaluadora identifica procesos subprocesos o macroprocesos adicionales deberaacute incluirlos

Disentildeo metodoloacutegico del trabajo de campo

A partir del contexto en que opera el Pp y el alcance y enfoque metodoloacutegico de la evaluacioacuten de

procesos la instancia evaluadora deberaacute desarrollar una propuesta de estrategia y plan de trabajo

de campo a seguir para la realizacioacuten de la evaluacioacuten asimismo deberaacute incluir un cronograma

detallado de actividades

La estrategia de trabajo de campo disentildeada por la instancia evaluadora deberaacute ser entregada a la

DEV para que en conjunto con la UR del Pp sea validada antes de su implementacioacuten Dicha

estrategia deberaacute contener al menos los siguientes elementos

Justificacioacuten de las teacutecnicas de investigacioacuten a utilizar

Muestra y los criterios utilizados para su seleccioacuten

Listado de los actores a entrevistar

Instrumentos de levantamiento de informacioacuten que se aplicaraacuten y

Cronograma con las actividades a desarrollar

La instancia evaluadora iniciaraacute las actividades del trabajo de campo de manera conjunta y una vez

recibido el visto bueno de la DEV

El disentildeo de la muestra y de los instrumentos para el levantamiento de informacioacuten en campo

deberaacute considerar a la totalidad de los actores que intervienen en la ejecucioacuten de los procesos y

subprocesos o macroprocesos que integran la operacioacuten o gestioacuten del Pp asiacute como a los

destinatarios o beneficiarios de los componentes o entregables del Pp independientemente de su

ubicacioacuten geograacutefica

Algunos criterios que puede utilizar la instancia evaluadora para definir una muestra que considere

la variabilidad de la operacioacuten en los diferentes contextos en que opera el Pp son los siguientes

PAE 2017 24

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

a) El desempentildeo operativo del Pp entre municipios regionalizacioacuten geograacutefica instituciones

puacuteblicas o privadas u otros aspectos que suponen una accioacuten diferenciada de los procesos

(cuando aplique)

b) Volumen de la operacioacuten del Pp

c) Esquemas normativos del Pp y el ejercicio presupuestal en los municipios instituciones

puacuteblicas o privadas u otros aspectos que suponen una accioacuten diferenciada de los procesos

en las que opera el Pp (cuando aplique) y

d) Formas de interaccioacuten del Pp con otros niveles u oacuterdenes de gobierno (cuando aplique)

Los criterios anteriores no son limitativos por lo que la instancia evaluadora podraacute proponer criterios

adicionales que considere pertinentes para la definicioacuten de la muestra para el trabajo de campo

En el disentildeo muestral la instancia evaluadora deberaacute sentildealar los funcionarios del Pp o destinatarios

a los que se les aplicaraacuten los instrumentos de levantamiento de informacioacuten con los que se realizaraacute

el trabajo de campo asiacute como la ubicacioacuten geograacutefica de los mismos

Instrumentos de levantamiento de informacioacuten

La instancia evaluadora deberaacute disentildear los instrumentos que utilizaraacute para el levantamiento de

informacioacuten durante el trabajo de campo como son (por ejemplo) los cuestionarios por tipo de

funcionario a entrevistar para el caso de entrevistas semiestructuradas los guiones a utilizar en la

realizacioacuten de grupos focales los cuestionarios de aplicacioacuten electroacutenica las guiacuteas respectivas entre

otros Para lo anterior deberaacute considerar los siguientes temas guiacutea y preguntas de referencia

Planeacioacuten (planeacioacuten estrateacutegica programacioacuten y presupuesto)

iquestQueacute se entiende por planeacioacuten estrateacutegica para los operadores del Pp

iquestCuaacuteles son las actividades o acciones de planeacioacuten estrateacutegica del Pp que se realizan

iquestLa planeacioacuten estrateacutegica es el resultado de un ejercicio institucionalizado que involucra a

los actores clave de la gestioacuten del Pp

iquestExiste un documento resultado de la planeacioacuten estrateacutegica iquestEs claro difundido y

accesible iquestEn queacute medida es utilizado para guiar la operacioacuten del Pp

iquestLa planeacioacuten estrateacutegica estaacute vinculada con el cumplimiento entrega o generacioacuten de los

componentes o entregables del Pp

iquestLa planeacioacuten estrateacutegica establece indicadores para medir los avances en las metas

establecidas iquestLas metas son factibles y estaacuten orientadas a impulsar el desempentildeo del Pp

PAE 2017 25

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

iquestQueacute se entiende por planeacioacuten operativa y cuaacuteles son las diferencias con la planeacioacuten

estrateacutegica

Comunicacioacuten interna y externa del Pp (las preguntas que apliquen)

iquestQueacute actores intervienen en la comunicacioacuten del Pp

iquestExiste una estrategia de comunicacioacuten del Pp documentada En caso afirmativo describirla

iquestLa estrategia de comunicacioacuten del Pp (documentada o no) es adecuada

iquestLos medios utilizados el lenguaje y el contenido de los mensajes son pertinentes en funcioacuten

del puacuteblico al que van dirigidos

Solicitud de los componentes o entregables del Pp (las preguntas que apliquen)

iquestExiste un proceso claro imparcial y expliacutecito por medio del cual la poblacioacuten o aacuterea de

enfoque potencial puede solicitar los componentes o entregables que otorga el Pp

iquestLos requisitos para solicitar los componentes o entregables del Pp se presentan de manera

clara y completa

iquestLos puntos de recepcioacuten de solicitudes son accesibles y suficientes (cuando aplique)

iquestExisten mecanismos estandarizados para recibir y revisar la documentacioacuten entregada asiacute

como registrar y dar traacutemite a las solicitudes (cuando aplique)

iquestSon adecuados estos mecanismos (cuando aplique) En caso de que el Pp que apoye la

realizacioacuten de proyectos iquestse brinda asesoriacutea para la presentacioacuten de los mismos de ser asiacute

iquestes pertinente esta asesoriacutea

iquestEl proceso de solicitud de los componentes o entregables que otorga el Pp se encuentra

automatizado total o parcialmente

Para esta pregunta considerar los estados de digitalizacioacuten utilizados por la Comisioacuten Intersecretarial

para el Desarrollo del Gobierno electroacutenico seguacuten una adaptacioacuten realizada a la clasificacioacuten que

hace la ONU

Estado de digitalizacioacuten 1 traacutemites y servicios que se encuentran en estado informativo

Estado de digitalizacioacuten 2 traacutemites y servicios que cuentan con interfaces de comunicacioacuten

unidireccional

Estado de digitalizacioacuten 3 traacutemites y servicios que permiten realizar transacciones y

Estado de digitalizacioacuten 4 traacutemites y servicios que el usuario puede ejecutar de principio a

fin por medio de dispositivos digitales

PAE 2017 26

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para mayor informacioacuten referirse a ldquoFigure A4 The four stages of online service developmentrdquo en

los siguientes documentos

Lineamientos relativos a la digitalizacioacuten estandarizada de traacutemites y servicios con apego en

la Estrategia Digital Nacional

httpwwwgobmxcmsuploadsattachmentfile67232ti_1_pgcm_bases_lineam_tyspdf

United Nations E-Government Survey 2014 (paacutegina 195)

httpspublicadministrationunorgegovkbportalsegovkbdocumentsun2014-surveye-

gov_complete_survey-2014pdf

Seleccioacuten de destinatarios (cuando aplique)

iquestExiste una metodologiacutea o meacutetodo para la seleccioacuten de destinatarios o beneficiarios de los

componentes o entregables del Pp iquestLa metodologiacutea utilizada cuenta con criterios de

seleccioacuten y elegibilidad claros estandarizados y sistematizados

iquestLa seleccioacuten de destinatarios o beneficiarios de los componentes o entregables del Pp es un

proceso transparente e imparcial iquestEl resultado de la seleccioacuten es puacuteblico (cuando aplique)

iquestExiste informacioacuten en una base de datos que permita conocer quieacutenes o queacute instancias

reciben los componentes o entregables del Pp iquestQueacute informacioacuten integra esta base de datos

iquestExisten mecanismos para validar y actualizar esta base de datos iquestEstos mecanismos son

pertinentes

Produccioacuten de componentes o entregables

iquestSe cuenta con los insumos suficientes para generar el volumen de componentes o

entregables que permitan al Pp atender a su poblacioacuten o aacuterea de enfoque objetivo

iquestEl Pp tiene mecanismos para estimar la produccioacuten o generacioacuten necesaria de componentes

o entregables de acuerdo con la posible demanda o requerimientos de su poblacioacuten o aacuterea

de enfoque objetivo iquestEs adecuado este mecanismo

iquestExisten mecanismos de control de calidad para la generacioacuten de los componentes o

entregables del Pp iquestEstos mecanismos son pertinentes

iquestLas actividades de generacioacuten de componentes o entregables que otorga el Pp estaacuten

estandarizadas es decir son ejecutadas de manera homogeacutenea por todas las instancias

involucradas

PAE 2017 27

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Entrega

iquestLos componentes o entregables del Pp son proporcionados conforme a las especificaciones

y de manera oportuna a los destinatarios

iquestExisten especificaciones (programas o planes de trabajo) sobre la forma en que se deben

trasladar los componentes o entregables para (por ejemplo) asegurar su adecuada recepcioacuten

en el punto de destino iquestSon adecuadas estas especificaciones respecto a normas o

lineamientos existentes (cuando aplique)

iquestLa logiacutestica de distribucioacuten se actualiza (cuando aplique) iquestExiste un periodo para dicha

actualizacioacuten iquestEn el disentildeo y actualizacioacuten de la logiacutestica se toman en cuenta los factores

geograacuteficos y climatoloacutegicos en cada regioacuten donde opera el Pp (cuando aplique)

iquestLos puntos de entrega de los componentes o entregables son cercanos a los beneficiarios

o aacuterea de enfoque a atender y son de faacutecil acceso iquestSe considera que son suficientes iquestPor

queacute

Control (las preguntas que apliquen)

iquestEl Pp cuenta con los mecanismos para verificar que los componentes o entregables se

otorguen de acuerdo con lo establecido en la normativa especiacutefica y lleguen a la poblacioacuten

o aacuterea de enfoque que deba ser beneficiada iquestEstos mecanismos son adecuados

iquestExiste de manera sistematizada un documento que deacute cuenta de los resultados de

supervisioacuten y entrega de componentes o entregables iquestEste documento es adecuado iquestLos

resultados se utilizan para implementar mejoras en la operacioacuten del Pp

iquestExisten procedimientos estandarizados que verifiquen el cumplimiento de la

corresponsabilidad u obligatoriedad por parte de los beneficiarios o destinatarios de los

componentes o entregables del Pp (cuando aplique)

Seguimiento a destinatarios

iquestEl Pp tiene mecanismos para verificar el procedimiento de seguimiento a los destinatarios o

beneficiarios que permitan identificar si los componentes o entregables generados son

utilizados de acuerdo con lo establecido iquestCoacutemo se implementa el mecanismo iquestEste

mecanismo es adecuado

iquestExisten procedimientos estandarizados que permitan verificar el cumplimiento de la

corresponsabilidad u obligatoriedad por parte del destinatario o beneficiario (cuando

aplique)

PAE 2017 28

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

En caso de que los componentes o entregables involucren la ejecucioacuten de obra o de

infraestructura iquestel Pp cuenta con un mecanismo de seguimiento o supervisioacuten que permita

identificar si se realizaron acorde a la normativa aplicable iquestEl seguimiento o supervisioacuten

considera plazos para la revisioacuten de las condiciones de la obra o la infraestructura despueacutes

de terminada la obra

iquestEl Pp tiene mecanismos para identificar si se cumple con su Propoacutesito iquestSon suficientes y

pertinentes estos mecanismos

iquestExisten mecanismos para conocer la satisfaccioacuten del destinatario o beneficiario de los

componentes o entregables del Pp respecto de los componentes que ofrece el Pp iquestSon

adecuados estos mecanismos iquestSu operacioacuten permite una aplicacioacuten imparcial y objetiva

iquestExiste evidencia para afirmar que las quejas y sugerencias que brindan los destinatarios o

beneficiarios de los componentes o entregables del Pp son utilizadas para la mejora continua

del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

En esta seccioacuten se deberaacute realizar la medicioacuten de los atributos de eficacia oportunidad suficiencia

y pertinencia de los procesos y subprocesos o macroprocesos definidos en el mapa de procesos del

Pp A continuacioacuten se definen los atributos en el marco de la evaluacioacuten de procesos

Eficacia un proceso es eficaz en la medida en que cumple con sus metas

Oportunidad un proceso es oportuno en la medida en que otorga sus productos

(componentes o entregables) o resultados en un periodo de tiempo determinado o

adecuado para el logro de sus objetivos

Suficiencia un proceso es suficiente en la medida en que produce sus resultados de forma

completa o adecuada para el logro de sus objetivos

Pertinencia un proceso es pertinente si sus actividades y productos son adecuados para

lograr tanto sus metas especiacuteficas como sus objetivos es decir si contribuyen al

mejoramiento de la gestioacuten del Pp4

4 Las actividades son adecuadas si estaacuten en funcioacuten del logro del objetivo de cada proceso Por ejemplo si se verifica que el formato de los mensajes a difundir cumpla con las caracteriacutesticas necesarias para llegar a la poblacioacuten o aacuterea de enfoque objetivo como seriacutea una mensaje de audio en la lengua indiacutegena de la localidad donde se encuentran los posibles destinatarios o beneficiarios o bien como seriacutea un mensaje dirigido a personal operativo del Pp cuyo nivel de estudios promedio pudiera complicar la comprensioacuten de lenguaje teacutecnico utilizado

PAE 2017 29

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para la medicioacuten de los atributos de los procesos y subprocesos o macroprocesos del Pp deberaacute

realizarse una revisioacuten documental (normativa aplicable MIR evaluaciones externas sistemas de

informacioacuten y registros administrativos entre otros) misma que deberaacute complementarse con el

trabajo de campo con el objetivo de identificar disentildear y calcular indicadores relacionados con

dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de informacioacuten empleadas

La informacioacuten obtenida de estos indicadores deberaacute vaciarse en fichas propuestas por la instancia

evaluadora presentadas como en el Anexo 6 ldquoFichas de indicadores de atributos de los procesos del

Pprdquo (formato libre) Estas fichas deberaacuten considerar la medicioacuten de los atributos de eficacia

suficiencia oportunidad y pertinencia correspondientes a cada proceso y subproceso o

macroproceso

Valoracioacuten de los procesos y subprocesos de la operacioacuten del Pp

Deberaacute contener una siacutentesis de los resultados encontrados en la Evaluacioacuten de Procesos del Pp

resaltando los hallazgos maacutes relevantes que se hayan detectado y que pudiesen transformarse en

ASM

La instancia evaluadora deberaacute calcular una valoracioacuten global cuantitativa sobre la operacioacuten y la

ejecucioacuten de los procesos y subprocesos o macroprocesos del Pp a partir del siguiente esquema de

puntuacioacuten5

Eficacia

- Todos los procesos (o macroprocesos) son eficaces = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es eficaz = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es eficaz = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es eficaz = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es eficaz = 1 punto

- Ninguno de los procesos (o macroprocesos) es eficaz = 0 puntos

Oportunidad

- Todos los procesos (o macroprocesos) son oportunos = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es oportuno = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es oportuno = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es oportuno = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es oportuno = 1 punto

5 La valoracioacuten cuantitativa deberaacute estar sustentada y por tanto ser consistente con lo valorado por la instancia evaluadora en el apartado de ldquoMedicioacuten de atributos de los procesos y subprocesosrdquo

PAE 2017 30

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

- Ninguno de los procesos (o macroprocesos) es oportuno = 0 puntos

Suficiencia

- Todos los procesos (o macroprocesos) son suficientes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es suficiente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es suficiente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es suficiente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es suficiente = 1 punto

- Ninguno de los procesos (o macroprocesos) es suficiente = 0 puntos

Pertinencia

- Todos los procesos (o macroprocesos) son pertinentes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es pertinente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es pertinente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es pertinente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es pertinente = 1 punto

- Ninguno de los procesos (o macroprocesos) es pertinente = 0 puntos

A partir de los puntajes asignados en los cuatro atributos anteriores esta valoracioacuten cuantitativa

global debe considerar el total de puntos posibles de obtener (5 x 4 = 20 puntos) y los puntos

obtenidos en la Evaluacioacuten de Procesos Pp (lsquoyrsquo puntos) de modo que se indique el porcentaje de

puntos obtenidos del total de puntos posibles [(lsquoyrsquo20) x 100] = valoracioacuten cuantitativa global de la

operacioacuten del Pp

La instancia evaluadora deberaacute utilizar el Anexo 9 ldquoValoracioacuten global cuantitativardquo para documentar

argumentar y sustentar cada una de las valoraciones cuantitativas sobre la operacioacuten y la ejecucioacuten

de los procesos (o macroprocesos) del Pp

Adicionalmente en este apartado se deberaacuten integrar las recomendaciones y conclusiones que se

consideren maacutes relevantes de los procesos y subprocesos o macroprocesos del Pp las cuales deben

formularse con base en los hallazgos del trabajo de campo y de gabinete El objetivo final de las

recomendaciones es proveer informacioacuten valiosa a los operadores del Pp para realizar adecuaciones

en la ejecucioacuten de los procesos y subprocesos o macroprocesos de modo que se potencie la

consecucioacuten de resultados del Pp

Las recomendaciones que se formulen como resultado de la Evaluacioacuten de Procesos del Pp deberaacuten

tener las siguientes caracteriacutesticas

Derivarse de los hallazgos de la evaluacioacuten

PAE 2017 31

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Ser concretas y factibles

Incluir un proyecto de implementacioacuten que considere los siguientes elementos

- Breve anaacutelisis de la viabilidad o factibilidad de la implementacioacuten

- Principales responsables de la implementacioacuten

- Anaacutelisis de los efectos potenciales que puede implicar la implementacioacuten tanto en la

operacioacuten del Pp como en el logro de sus objetivos

- La comparacioacuten entre la situacioacuten actual y el resultado que se espera obtener con la

implementacioacuten de la recomendacioacuten

Estar categorizadas en dos liacuteneas de accioacuten estrateacutegicas

- Consolidacioacuten

- Reingenieriacutea de procesos o subprocesos

Al respecto la instancia evaluadora debe entender por consolidacioacuten aquellas recomendaciones que

estaacuten dirigidas a perfeccionar determinados aspectos de la operacioacuten como seriacutean algunas acciones

procedimientos o estrategias del Pp asiacute como iniciativas para el fortalecimiento de los sistemas

automatizados infraestructura entre otros

Por reingenieriacutea de procesos o subprocesos se entenderaacuten aquellas recomendaciones que apuntan

a una transformacioacuten o modificacioacuten profunda o sustancial de uno o varios de los procesos y

subprocesos del Pp Para ello se deberaacute llenar el Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de

Procesos del Pprdquo y que a su vez deben derivar en acciones de consolidacioacuten para la implementacioacuten

de los procesos transformados

Adicionalmente y de conformidad con el alcance de la Evaluacioacuten de Procesos del Pp se deberaacute

presentar una propuesta para crear o fortalecer el sistema de monitoreo de gestioacuten del Pp con

indicadores a nivel de procesos y subprocesos o macroprocesos

Asimismo a partir de todo el anaacutelisis y valoraciones realizadas se deberaacute emitir un pronunciamiento

acerca de la percepcioacuten de eficiencia que la instancia evaluadora haya tenido sobre la ejecucioacuten de

los procesos y subprocesos o macroprocesos del Pp

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible o si no hipoteacuteticos en un anexo de formato libre Anexo 10 ldquoSistema de

monitoreo e indicadores de gestioacuten del Pprdquo

PAE 2017 32

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Bitaacutecora de trabajo de campo y bases de datos

La instancia evaluadora deberaacute entregar una bitaacutecora de trabajo de campo que destaque de forma

sinteacutetica entre otros puntos las principales actividades y situaciones a las que se enfrentoacute y que

podriacutean afectar los resultados de la Evaluacioacuten de Procesos del Pp

Asimismo deberaacute entregar las bases de datos generadas a partir de la aplicacioacuten de los instrumentos

de recoleccioacuten de informacioacuten y de la recopilacioacuten de informacioacuten en el trabajo de campo Las bases

de datos deberaacuten entregarse en formatos compatibles con Excel debiendo mantener la

confidencialidad de los entrevistados pero sin alterar la informacioacuten proporcionada por estos En las

bases de datos debe estar sistematizada toda la informacioacuten recabada a partir de la aplicacioacuten de

los instrumentos de levantamiento de informacioacuten y deberaacute sustentar el anaacutelisis las valoraciones los

hallazgos y las conclusiones de la evaluacioacuten

PAE 2017 33

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Contenido del informe

Contenido miacutenimo del informe final de la evaluacioacuten

Derivado del contenido generado en las secciones anteriores deberaacuten elaborarse los siguientes

apartados en el informe final de la Evaluacioacuten de Procesos del Pp

i Introduccioacuten

ii Resumen Ejecutivo

iii Marco Legal

iv Datos Generales del Programa Presupuestario (Pp)

v Criterios Teacutecnicos para la Evaluacioacuten del Programa Presupuestario correspondiente

vi Apartados de la evaluacioacuten

Seccioacuten 1 Disentildeo

Diagnoacutestico del programa puacuteblico

Matriz de Indicadores para Resultados (MIR)

Seccioacuten 2 Procesos

Pertinencia de los proceso

Diagnoacutestico general de los procesos y subprocesos del Pp

- Contexto en que opera el Pp

- Diagnoacutestico inicial de los procesos y subprocesos

Descripcioacuten y valoracioacuten de los procesos y subprocesos del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

vii Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

viii Valoracioacuten final del Pp

ix Hallazgos

x Recomendaciones clasificadas por apartado

xi Conclusiones

xii Bibliografiacutea

xiii Anexos

Anexo 1 Descripcioacuten General del Programa

Anexo 2 Metodologiacutea para la cuantificacioacuten de las poblaciones potencial y objetivo

(Formato Libre)

Anexo 3 Evolucioacuten de la Cobertura

Anexo 4 Propuesta de mejora de la Matriz de Indicadores para Resultados

Anexo 5 Ficha de identificacioacuten y equivalencia de procesos del Pp

PAE 2017 34

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 Fichas de indicadores de atributos de los procesos del Pp (Formato libre)

Anexo 7 Diagramas de flujo de la operacioacuten del Pp

Anexo 8 Propuesta de modificacioacuten a los documentos normativos o institucionales

del Pp

Anexo 9 Valoracioacuten global cuantitativardquo

Anexo 10 Sistema de monitoreo e indicadores de gestioacuten del Pp (Formato libre)

Anexo 11 Recomendaciones de la Evaluacioacuten de Procesos del Pp

Anexo 12 Principales Fortalezas Retos y Recomendaciones

Anexo 13 Ficha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacuten

En el Resumen Ejecutivo asimismo se describiraacuten los principales hallazgos y recomendaciones del

evaluador externo

Para el desarrollo de los apartados antes referidos deberaacute atender las indicaciones que se desarrollan

en las siguientes secciones

Hallazgos y resultados Pp por Seccioacuten

Se debe realizar una valoracioacuten general del programa por seccioacuten utilizando las respuestas que

integran cada uno de los apartados En esta valoracioacuten integral se deberaacute sentildealar en queacute medida la

gestioacuten operativa conduce al logro de los objetivos del Pp

Asimismo se deben sentildealar las aacutereas de mejora las buenas praacutecticas y las fortalezas detectadas en

la operacioacuten del Pp y a partir de ello la instancia evaluadora emitiraacute recomendaciones de mejora

sobre aspectos especiacuteficos de cada proceso y subproceso o macroproceso del Pp Adicionalmente

se deberaacuten identificar los problemas o limitantes tanto normativos como operativos (ldquocuellos de

botellardquo) de coordinacioacuten entre unidades administrativas y otros que hubiese en los procesos y

subprocesos o macroprocesos del Pp entendieacutendose como aquellas praacutecticas procedimientos

actividades o traacutemites que obstaculizan la operacioacuten del Pp

En este sentido se deberaacuten identificar las situaciones en las que la normativa genere complicaciones

en la gestioacuten o ineficacia en el cumplimiento de los objetivos del Pp para lo cual se deberaacute presentar

(por cada situacioacuten identificada) una propuesta de modificacioacuten a la normativa aplicable al Pp

considerando las restricciones praacutecticas que existan para su implementacioacuten asiacute como los efectos

PAE 2017 35

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

potenciales de ser implementada Los resultados de este anaacutelisis deberaacuten describirse en el Anexo 7

ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales del Pprdquo

Para la identificacioacuten y descripcioacuten de los ldquocuellos de botellardquo buenas praacutecticas y fortalezas del Pp

se consideraraacute la informacioacuten derivada del anaacutelisis de la operacioacuten del Pp asiacute como los puntos de

vista de los principales actores que intervienen en ella Este anaacutelisis deberaacute contener las causas y las

consecuencias de los ldquocuellos de botellardquo detectados sus caracteriacutesticas y naturaleza (si son

normativas o estrictamente operativas) de igual manera se deberaacute desarrollar un anaacutelisis de las

buenas praacutecticas identificadas

Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

Se debe integrar en una sola tabla las fortalezas oportunidades debilidades y amenazas

especificadas por cada apartado de la evaluacioacuten y reportarlas en el Anexo 11 ldquoPrincipales Fortalezas

Retos y Recomendacionesrdquo en el que se deben incluir las fortalezas yo oportunidades las

debilidades yo amenazas y las recomendaciones por apartado de la evaluacioacuten

PAE 2017 36

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexos

Anexo 1 ldquoDescripcioacuten General del Programardquo

El Anexo tiene formato libre sin embargo debe contener una breve descripcioacuten de las caracteriacutesticas

maacutes relevantes del Pp en un maacuteximo de dos cuartillas Dicha descripcioacuten debe considerar los

siguientes aspectos

1 Identificacioacuten del programa

11 Nombre

12 Clave de programa

13 Dependencia yo Entidad coordinadora ejecutora

14 Antildeo de inicio de operacioacuten

2 Problema o necesidad que el Pp pretende atender atenuar o resolver

3 La contribucioacuten del Pp a las Metas y objetivos estatales a los que se vincula

4 Descripcioacuten de los objetivos del Pp asiacute como de los bienes yo servicios que ofrece

(componentes)

5 Identificacioacuten y cuantificacioacuten de la poblacioacuten o aacuterea de enfoque potencial y

objetivo

6 Presupuesto aprobado para el ejercicio fiscal en curso

7 Metas de los indicadores de Fin Propoacutesito y Componentes asiacute como los de nivel

actividad que se consideren relevantes y

8 Resumen de la valoracioacuten de la pertinencia del disentildeo del Pp respecto a la atencioacuten

del problema o necesidad

Anexo 2 ldquoMetodologiacutea para la cuantificacioacuten de la poblacioacuten o aacuterea de enfoque

potencial y objetivordquo

El Anexo tiene formato libre sin embargo se debe incluir la siguiente informacioacuten

Definicioacuten de la poblacioacuten o aacuterea de enfoque potencial objetivo y atendida

Cuantificacioacuten de la poblacioacuten potencial objetiva y atendida

Hallazgos sobre el procedimiento llevado a cabo para definir y cuantificar la poblacioacuten o

aacuterea de enfoque potencial objetivo y atendida

Recomendaciones

Propuesta orientada hacia la mejora

PAE 2017 37

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 3 ldquoEvolucioacuten de la Coberturardquo

Nombre del

Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten

Antildeo de la Evaluacioacuten

Tipo de Poblacioacuten

Unidad

de

Medida

2012 2013 2014 2015 2016

P Potencial

P Objetivo

P Atendida

119927119912 times 120783120782120782

119927119926

PAE 2017 38

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 4 ldquoPropuesta de mejora de la Matriz de Indicadores para Resultadosrdquo

Derivado del anaacutelisis y valoracioacuten de la pregunta de investigacioacuten nuacutemero 3 iquestLa estructura de

objetivos planteada por el programa mantiene loacutegica y correspondencia causal con el problema

planteado en el diagnoacutestico se realizaraacute una propuesta de mejora de MIR

Fin

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Propoacutesito

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Componente 1

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

PAE 2017 39

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Componente 2 hellip

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 40

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesos del Pprdquo

Para la identificacioacuten y clasificacioacuten de los procesos del Pp se sugieren los siguientes pasos

1 Listar los procesos identificados

Comparar los procesos identificados del Pp con aquellos correspondientes al Modelo general de

procesos Colocar en el rengloacuten correspondiente el nombre de cada proceso del Pp identificado

como equivalente

2 Colocar al final de la lista aquellos procesos del Pp que no sean equivalentes con el Modelo

general de procesos

Modelo general de

procesos

Nuacutemero

de

secuencia

Procesos o subprocesos del Pp identificados por el

evaluador

(Nombre y breve descripcioacuten)

Planeacioacuten Ejemplo (Ej) Planeacioacuten Estrateacutegica

Ej Programacioacuten

Ej Presupuestacioacuten

Comunicacioacuten interna y

externa

Ej Difusioacuten Federal

Ej Difusioacuten Local

Seleccioacuten de

destinatarios

Ej Recepcioacuten de solicitudes de becas

Ej Seleccioacuten de becarios

Produccioacuten de

entregables

Entrega

Control

Seguimiento Ej Seguimiento fiacutesico y supervisioacuten en campo

Evaluacioacuten externa Ej Publicacioacuten y lectura del PAE

Ej Definicioacuten de TdR

Ej Contratacioacuten

Ej Ejecucioacuten de la evaluacioacuten externa

Monitoreo Ej Registro de avances de indicadores

Ej Revisioacuten de registros

Ej Validacioacuten de registros e integracioacuten de informes

PAE 2017 41

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Procesos identificados por el evaluador que no coinciden con el Modelo general de procesos

PAE 2017 42

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 ldquoFichas de indicadores de atributos de los procesos del Pp (formato libre)rdquo

Para la construccioacuten de este anexo deberaacute realizarse una revisioacuten documental (normativa aplicable

MIR evaluaciones externas sistemas de informacioacuten y registros administrativos entre otros) misma

que deberaacute complementarse con el trabajo de campo con el objetivo de identificar disentildear y calcular

indicadores relacionados con dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de

informacioacuten empleadas

Ademaacutes de considerar la medicioacuten de los atributos de eficacia suficiencia oportunidad y pertinencia

de cada proceso y subproceso o macroproceso

PAE 2017 43

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 7 ldquoDiagramas de flujo de la operacioacuten del Pprdquo

Para la elaboracioacuten de los diagramas de flujo deberaacute utilizarse la notacioacuten empleada en el

documento ldquoGuiacutea para la Optimizacioacuten Estandarizacioacuten y Mejora Continua de Procesosrdquo publicada

por la SFP en la direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Para el Diagrama de Alto Nivel (Diagrama PEPSU)

Ejemplo ilustrativo

PAE 2017 44

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para el Diagrama de Flujo

PAE 2017 45

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

PAE 2017 46

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 8 ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales

del Pprdquo

Tipo de

norma-

tiva

Dice

Problema

generado

(causas y

consecuencias)

Se

recomienda

decir

Efecto esperado de

aplicar la

recomendacioacuten de

cambio

Restricciones praacutecticas

que puedan existir para

su implementacioacuten

PAE 2017 47

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 9 ldquoValoracioacuten global cuantitativa ldquo

Seccioacuten 1 Disentildeo

Disentildeo Valoracioacuten Argumento o justificacioacuten

Porcentaje del

Disentildeo del Pp

(Suma de valoracioacuten alcanzada por pregunta de la seccioacuten 1 Total maacuteximo de la

valoracioacuten de todas las preguntas de la seccioacuten 1 ) x 100

Seccioacuten 2 Procesos

Proceso Eficacia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

eficaces

(Total de procesos eficaces Total de procesos del Pp) x 100

Proceso Oportunidad

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

oportunos

(Total de procesos oportunos Total de procesos del Pp) x 100

Proceso Suficiencia

(SiacuteNo) Argumento o justificacioacuten

PAE 2017 48

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Porcentaje de

procesos

suficientes

(Total de procesos suficientes Total de procesos del Pp) x 100

Proceso Pertinencia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

pertinentes

(Total de procesos pertinentes Total de procesos del Pp) x 100

NOTA Los argumentos y justificaciones del evaluador deberaacuten considerar el anaacutelisis y valoraciones de

los subprocesos de cada proceso de modo que haya consistencia entre estos elementos Asimismo el

evaluador deberaacute expresar los resultados de la valoracioacuten cuantitativa en una graacutefica tipo radial

PAE 2017 49

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 10 ldquoSistema de monitoreo e indicadores de gestioacuten del Pp (formato libre)rdquo

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible

Nombre del Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten De Procesos

Antildeo de la Evaluacioacuten 2017

Fin Justificacioacuten Propoacutesito Justificacioacuten Componente (s) Justificacioacuten

Nombre de

Indicador

Meacutetodo de Caacutelculo

Claro SiacuteNo SiacuteNo SiacuteNo

Relevante SiacuteNo SiacuteNo SiacuteNo

Econoacutemico SiacuteNo SiacuteNo SiacuteNo

Monitoreable SiacuteNo SiacuteNo SiacuteNo

Adecuado SiacuteNo SiacuteNo SiacuteNo

Definicioacuten SiacuteNo SiacuteNo SiacuteNo

Unidad de Medida SiacuteNo SiacuteNo SiacuteNo

Frecuencia de

Medicioacuten

SiacuteNo SiacuteNo SiacuteNo

Liacutenea Base SiacuteNo SiacuteNo SiacuteNo

Metas SiacuteNo SiacuteNo SiacuteNo

Comportamiento

del Indicador

SiacuteNo SiacuteNo SiacuteNo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 50

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de Procesos del Pprdquo

En este Anexo la instancia evaluadora debe valorar si la recomendacioacuten implica una consolidacioacuten o

una reingenieriacutea del proceso

A) Consolidacioacuten

Proceso Recomendaci

oacuten

Breve

anaacutelisis de

viabilidad de

la

implementa-

cioacuten

Principales

responsables

de la

implementaci

oacuten

Situacioacuten

actual

Efectos

potenciales

esperados

Medio de

verifica-

cioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

B) Reingenieriacutea de procesos

Proceso Objetivo

Breve

anaacutelisis de

viabilidad

de la

implemen-

tacioacuten

Principales

responsables

de la

implemen-

tacioacuten

Situa-

cioacuten

actual

Metas y

efectos

potenciale

s

esperados

Elabora-

cioacuten de

flujogram

a del

nuevo

proceso

Medio

de

verifi-

cacioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

NOTA El nivel de priorizacioacuten Alto Medio o Bajo se estimaraacute considerando la mejora en la operacioacuten

del Pp la viabilidad de la implementacioacuten de la recomendacioacuten asiacute como el efecto potencial que esto

pueda tener el alcance del objetivo del Pp

PAE 2017 51

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 12 ldquoPrincipales Fortalezas Retos y Recomendacionesrdquo

Capacidades Internas Factores Externos

Fortalezas

(Cualquier capacidad con la que cuenta la dependencia o

entidad que le permita aprovechar sus recursos para la

obtencioacuten de sus objetivos)

Oportunidades

(Cualquier factor externo fuera del control de la dependencia o

entidad que puede ser aprovechado para la obtencioacuten de sus

objetivos)

Debilidades

(Cualquier limitante Interna de la dependencia o entidad que

puede afectar la obtencioacuten de sus objetivos)

Amenazas

(Cualquier factor externo fuera de control de la dependencia o

entidad que pueda afectar la obtencioacuten de sus objetivos)

PAE 2017 52

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacutenrdquo

El Informe Final de la Evaluacioacuten de Procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten

Superior deberaacuten contener una ficha con los siguientes datos

Ficha Teacutecnica con los datos generales de la evaluacioacuten

Nombre o denominacioacuten de la

evaluacioacuten

[Especificar el nombre de la evaluacioacuten considerando su tipo y ejercicio

evaluado]

Nombre o denominacioacuten del

programa evaluado

[Indicar el nombre del Pp sujeto a evaluacioacuten de acuerdo con lo

establecido en el PEF sentildealando su modalidad y clave]

Unidad Responsable de la operacioacuten

del programa

[Especificar la(s) unidad(es) responsable(s) de la administracioacuten

operacioacuten y ejecucioacuten de los programas subprogramas y proyectos del

Pp evaluado correspondientes a las dependencias y entidades]

Titular de la unidad responsable de la

operacioacuten del programa

[Indicar el nombre del(a) Titular de la Unidad Responsable de la

operacioacuten del Pp]

Antildeo del Programa Anual de

Evaluacioacuten (PAE) en que fue

considerada la evaluacioacuten

[Especificar el ejercicio fiscal al que corresponde el PAE en la que fue

programada la evaluacioacuten]

Antildeo de conclusioacuten y entrega de la

evaluacioacuten

[Indicar el antildeo en que se concluyoacute la evaluacioacuten]

Tipo de evaluacioacuten [Especificar el tipo de evaluacioacuten de acuerdo con los Lineamientos de

evaluacioacuten el nombre de la evaluacioacuten y con lo establecido en el PAE]

Nombre de la instancia evaluadora [Indicar el nombre de la firma consultoriacutea u organizacioacuten que realizoacute la

evaluacioacuten]

Nombre del(a) coordinador(a)

externo(a) de la evaluacioacuten

[Especificar el nombre del(a) responsable de la coordinacioacuten de la

evaluacioacuten dla instancia evaluadora]

Nombre de los(as) principales

colaboradores(as) del(a)

coordinador(a) de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del(a)

coordinador(a) de la evaluacioacuten]

PAE 2017 53

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Unidad Administrativa responsable de

la Coordinacioacuten de la evaluacioacuten

[De acuerdo con lo sentildealado en el PAE especificar la instancia a la que

corresponde la coordinacioacuten de la evaluacioacuten pej Secretariacutea de

Finanzas y Administracioacuten (SFA) asiacute como la unidad administrativa

mediante la cual se ejerce esta funcioacuten p ej Direccioacuten de Evaluacioacuten

de la SFA (DEV)

Nombre del(a) Titular de la unidad

administrativa responsable de

coordinar la evaluacioacuten (Aacuterea de

Evaluacioacuten)

[Especificar el nombre del(a) Titular de la Unidad responsable de dar

seguimiento a la evaluacioacuten que funge como Aacuterea de Evaluacioacuten]

Nombres de los(as) servidores(as)

puacuteblicos(as) adscritos(as) a la unidad

administrativa responsable de

coordinar la evaluacioacuten que

coadyuvaron con la revisioacuten teacutecnica

de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del

titular de la unidad administrativa responsable de dar seguimiento a la

evaluacioacuten respecto de la revisioacuten teacutecnica de la misma]

Forma de contratacioacuten de la instancia

evaluadora

[Indicar el tipo de contratacioacuten dla instancia evaluadora Especificar el

tipo de procedimiento de contratacioacuten de la instancia evaluadora

consistente con los tipos de adjudicacioacuten establecidos en la Ley de

Adquisiciones Arrendamientos y Servicios del Sector Puacuteblico]

Costo total de la evaluacioacuten con IVA

incluido

[Especificar el costo total de la evaluacioacuten incluyendo el IVA (en caso

de que se haya causado) como sigue $XXX IVA incluido]

Asimismo en este anexo se deberaacute incluir una nota metodoloacutegica con la descripcioacuten de las teacutecnicas

y los modelos utilizados por el evaluador externo acompantildeada del disentildeo por muestreo

especificando los supuestos empleados y las principales caracteriacutesticas del tamantildeo y dispersioacuten de

la muestra utilizada

DIRECTORIO

Rauacutel Saacutenchez Kobashi

Secretario de la Secretariacutea de Finanzas y Administracioacuten

Francisco Fidel Teomitzi Saacutenchez

Subsecretario de Planeacioacuten

Arturo Neponuceno Crisoacutestomo

Director de Evaluacioacuten

Rodolfo de la Rosa Cabrera

Subdireccioacuten de Evaluacioacuten de Programas

Sauacutel Federico Oropeza Orea

Jefe del Departamento de Programas Estatales y Municipales

Ana Luz Guzmaacuten Figueroa

Analista del Departamento de Programas Estatales y Municipales

Marco Antonio Saacutenchez Gonzaacutelez

Analista del Departamento de Programas Estatales y Municipales

Page 15: Términos de Referencia para la Evaluación del Desempeño ...evaluacion.puebla.gob.mx/pdf/metodologias/TdR_Est/2017/TdR... · Perfil de la instancia evaluadora ... acuerdo con las

PAE 2017 14

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

la justificacioacuten del disentildeo propuesto o las modificaciones sugeridas y generar el Anexo 4 ldquoPropuesta

de mejora de la Matriz de Indicadores para Resultadosrdquo

Metodologiacutea de la Seccioacuten 1

Anaacutelisis de gabinete

La evaluacioacuten se realizaraacute mediante un anaacutelisis de gabinete con base en informacioacuten proporcionada

por la dependencia o unidad responsable del programa asiacute como informacioacuten adicional que la

institucioacuten evaluadora considere necesaria para justificar su anaacutelisis

En este contexto se entiende por anaacutelisis de gabinete al conjunto de actividades que involucra el

acopio la organizacioacuten y la valoracioacuten de informacioacuten concentrada en registros administrativos

bases de datos evaluaciones internas yo externas y documentacioacuten puacuteblica Sin embargo de

acuerdo con las necesidades de informacioacuten y tomando en cuenta la forma de operar de cada

programa se podraacuten programar y llevar a cabo entrevistas con responsables de los programas yo

personal de la unidad de evaluacioacuten yo planeacioacuten de la dependencia coordinadora

Valoracioacuten de disentildeo del Pp

Para cada pregunta de investigacioacuten de esta seccioacuten se deberaacute definir una valoracioacuten cuantitativa y

cualitativa que resuma la apreciacioacuten del evaluador para cada uno de los aspectos de la seccioacuten 1

con el fin de permitir obtener una valoracioacuten sinteacutetica acerca de la suficiencia de los elementos que

cumple el programa Para esto se deberaacute usar la siguiente escala likert de cinco grados

Tabla 3 Escala de Medicioacuten para la Seccioacuten 1

1 2 3 4 5

Deficiente Insuficiente Moderado Bien Suficiente

En la argumentacioacuten que presente la evaluadora se deberaacuten aportar los elementos que justifiquen

la valoracioacuten cuantitativa que se emita para cada pregunta de investigacioacuten ademaacutes de completar

el Anexo 9 ldquoValoracioacuten global cuantitativardquo de la Seccioacuten 1 de Disentildeo

PAE 2017 15

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Seccioacuten 2 Procesos

Pertinencia de los procesos

4 Diagnoacutestico general de los procesos y subprocesos del Pp

Consideraciones

La instancia evaluadora deberaacute presentar dentro de los 30 diacuteas naturales posteriores a la firma del

contrato un Diagnoacutestico General de los Procesos y Subprocesos o Macroprocesos del Pp (Producto

1) en el que se deacute cuenta de la problemaacutetica o necesidad que atiende o de la funcioacuten de gobierno

que desarrolla asiacute como del contexto y las condiciones en las que opera el Pp En este diagnoacutestico

se deben identificar los procesos y subprocesos o macroprocesos que integran la operacioacuten o

gestioacuten del Pp a partir de la normativa vigente y de las entrevistas a funcionarios de la UR realizadas

se deberaacute presentar una descripcioacuten integral con el mapa de procesos y subprocesos del Pp

A partir de este diagnoacutestico la instancia evaluadora presentaraacute para su validacioacuten a la DEV una

propuesta de los alcances y logiacutestica de la Evaluacioacuten de Procesos del Pp Asimismo el diagnoacutestico

debe estar acompantildeado de la justificacioacuten del enfoque metodoloacutegico general seleccionado para su

desarrollo

Ademaacutes en el Producto 1 se deberaacuten especificar las directrices generales y particulares que guiaraacuten

la realizacioacuten de la evaluacioacuten de procesos acordadas con la DEV y la UR del Pp por lo que la correcta

elaboracioacuten de este producto es fundamental para poder garantizar un resultado satisfactorio

En el Producto 1 ademaacutes de integrar la estrategia y plan de trabajo de campo teacutecnicas de

investigacioacuten a utilizarse disentildeo muestral e instrumentos de levantamiento de informacioacuten se

incluiraacuten dos apartados

Descripcioacuten del contexto en el que opera el Pp La instancia evaluadora deberaacute describir

los siguientes elementos del Pp todas las UR que participan en su operacioacuten o que ejercen

sus recursos los entregables que produce cada UR que participa en la operacioacuten del Pp en

el marco del mismo el problema o necesidad de poliacutetica puacuteblica identificado por el Pp

poblacioacuten o aacuterea de enfoque potencial objetivo y atendida del Pp y su cuantificacioacuten

cantidad de destinatarios por cada uno de los entregables que el Pp tuvo al cierre del uacuteltimo

ejercicio fiscal del que se tenga registro cantidad de destinatarios por cada uno de los

entregables que el Pp espera atender en el ejercicio fiscal evaluado asiacute como el contexto

organizacional y social en que se desarrolla su operacioacuten

PAE 2017 16

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Diagnoacutestico inicial de los procesos y subprocesos o macroprocesos del Pp La instancia

evaluadora deberaacute desarrollar a partir del trabajo de gabinete y de entrevistas

semiestructuradas con funcionarios de la(s) Unidad(es) Responsable(s) del Pp realizadas un

diagnoacutestico inicial de procesos del Pp en el que se identifiquen claramente los procesos y

subprocesos o macroprocesos que integran su operacioacuten o gestioacuten asiacute como las instancias

o actores que participan en ellos se deberaacute presentar una descripcioacuten integral con un mapa

de procesos y subprocesos o macroprocesos del Pp asiacute como llenar el Anexo 5 ldquoFicha de

identificacioacuten y equivalencia de procesosrdquo Las entrevistas semiestructuradas se realizaraacuten con

la finalidad de profundizar y despejar dudas sobre el mapa de los procesos y subprocesos o

macroprocesos que integran la gestioacuten operativa del Pp En esta seccioacuten la instancia

evaluadora deberaacute sentildealar cuaacuteles de los procesos y subprocesos o macroprocesos

identificados estaacuten documentados y cuaacuteles no asiacute como ndashen su casondash la normativa que los

rige por ejemplo un manual de procedimientos o de organizacioacuten lineamientos de

operacioacuten entre otros Cabe sentildealar que los procesos y subprocesos o macroprocesos que

integran la operacioacuten o gestioacuten del Pp son estructuras analiacuteticas que debe de construir la

instancia evaluadora a partir de su experiencia en el desarrollo de evaluaciones de procesos

e implementacioacuten de poliacuteticas puacuteblicas por tanto debe tenerse en cuenta que a pesar de

ser lo deseable los procesos y subprocesos o macroprocesos no necesariamente pueden

estar documentados

5 Descripcioacuten y valoracioacuten de los procesos y subprocesos del Pp

Consideraciones

Despueacutes de realizar el trabajo de campo y sistematizar la informacioacuten levantada la instancia

evaluadora deberaacute realizar la descripcioacuten y valoracioacuten de cada uno de los procesos subprocesos o

macroprocesos identificados en el Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesosrdquo

contrastando en todos los casos la evidencia documental y su ejecucioacuten en la praacutectica

Por lo anterior en esta seccioacuten se deberaacute realizar una descripcioacuten minuciosa del desarrollo y el

anaacutelisis de cada proceso y subproceso o macroproceso de acuerdo con el alcance establecido

utilizando la informacioacuten obtenida mediante el anaacutelisis de gabinete y el trabajo de campo asimismo

se deberaacute realizar una valoracioacuten integral sobre la gestioacuten de cada uno de los procesos a partir de

la gestioacuten en sus subprocesos o macroprocesos a partir de la gestioacuten de los procesos

PAE 2017 17

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

La valoracioacuten de cada proceso subproceso o macroproceso deberaacute contener la siguiente estructura

1 Descripcioacuten detallada de las actividades los elementos y los actores que integran el

desarrollo de cada proceso y subproceso o macroproceso

2 Liacutemites de cada proceso y subproceso o macroproceso asiacute como su articulacioacuten con otros

3 Insumos y recursos determinar si los insumos y los recursos disponibles son suficientes y

adecuados para la ejecucioacuten de cada proceso y subproceso o macroproceso

a Tiempo iquestel tiempo en que se ejecuta el proceso o subproceso es el adecuado acorde

a lo planificado y congruente con la normativa que aplica

b Personal iquestel personal es suficiente tiene el perfil y cuenta con la capacitacioacuten necesaria

para la ejecucioacuten del proceso o subproceso

c Recursos financieros iquestlos recursos financieros son suficientes para la ejecucioacuten del

proceso o subproceso

d Recursos materiales iquestlos recursos materiales son suficientes para la ejecucioacuten del

proceso o subproceso

e Infraestructura iquestse cuenta con la infraestructura o capacidad instalada suficiente para

la ejecucioacuten del proceso o subproceso

f Insumos tecnoloacutegicos

4 Productos iquestlos productos de cada proceso subproceso o macroproceso sirven de insumo

para ejecutar el proceso subproceso o macroproceso subsecuente

5 Sistemas de informacioacuten iquestLos sistemas de informacioacuten utilizados en la ejecucioacuten de cada

proceso subproceso o macroproceso (automatizados semiautomatizados o manuales)

funcionan como una fuente de informacioacuten uacutetil para los sistemas de monitoreo a nivel central

y para los operadores en otros niveles iquestEstos sistemas de informacioacuten automatizan algunos

procesos subprocesos o macroproceso del Pp iquestSirven como mecanismo de control interno

para el mejor de desarrollo de los procesos subprocesos o macroproceso

6 Coordinacioacuten iquestla coordinacioacuten entre los actores oacuterdenes de gobierno o dependencias

involucradas es adecuada para la ejecucioacuten del proceso subproceso o macroproceso

7 Evaluacioacuten de la pertinencia de la forma en que se ejecuta cada proceso subproceso o

macroproceso en el contexto y condiciones en que se desarrolla considerando la estructura

organizacional involucrada y la coordinacioacuten entre las unidades administrativas que

intervienen en el proceso subproceso o macroproceso

8 Identificacioacuten de las caracteriacutesticas relacionadas con la importancia estrateacutegica de cada

proceso subproceso o macroproceso

PAE 2017 18

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

9 Opinioacuten de actores (destinatarios beneficiarios usuarios clientes u operadores del Pp)

sobre la eficacia eficiencia y calidad de cada proceso subproceso o macroproceso

10 Existencia de mecanismos para conocer la satisfaccioacuten de los beneficiarios o destinatarios de

los componentes o entregables que otorga el Pp

Por otra parte en caso de que el Pp genere diversos componentes o entregables y que estos

impliquen la realizacioacuten de actividades diferentes seraacute necesario describir los procesos y

subprocesos o macroprocesos correspondientes a cada tipo de componente o entregable otorgado

En la descripcioacuten de los procesos y subprocesos o macroprocesos la instancia evaluadora de manera

coordinada con la DEV deberaacute realizar los diagramas de alto nivel y los diagramas detallados

(diagramas de flujo) que describan los procesos y subprocesos o macroprocesos del Pp Para ello se

deberaacute usar como referencia la seccioacuten ldquoVII Mapeo de procesosrdquo de la ldquoGuiacutea para la Optimizacioacuten

Estandarizacioacuten y Mejora Continua de Procesosrdquo (paacuteginas 18 a 25) elaborada por la Secretariacutea de la

Funcioacuten Puacuteblica (SFP) disponible en la siguiente direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Estos diagramas se deberaacuten elaborar de acuerdo con lo especificado en el Anexo 7 ldquoDiagramas de

flujo de la operacioacuten del Pprdquo

Metodologiacutea Seccioacuten 2

La Evaluacioacuten de Procesos del Pp se realizaraacute principalmente a partir de teacutecnicas de investigacioacuten

cualitativa como son el anaacutelisis documental la observacioacuten directa estudios de caso y multicaso

especiacuteficos entrevistas semiestructuradas y grupos focales o grupos de enfoque (focus groups)

entre otras teacutecnicas que la instancia evaluadora considere pertinentes para realizar el anaacutelisis de

gabinete y el trabajo de campo tales como la aplicacioacuten de cuestionarios de aplicacioacuten electroacutenica

o a distancia

La metodologiacutea y los instrumentos definidos asiacute como el trabajo de gabinete y de campo deberaacuten

generar evidencia empiacuterica suficiente para valorar a profundidad la forma en que se ejecutan los

procesos y subprocesos o macroprocesos que integran la operacioacuten del Pp asiacute como su contexto

institucional y organizacional

PAE 2017 19

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anaacutelisis de gabinete

Para esta seccioacuten es necesario la elaboracioacuten del diagnoacutestico de los procesos y subprocesos o

macroprocesos que integran la operacioacuten o gestioacuten del Pp la instancia evaluadora deberaacute realizar

un anaacutelisis de gabinete considerando como miacutenimo los siguientes documentos

La normativa aplicable al Pp leyes reglamentos lineamientos manuales de procedimientos

convenios contratos entre otros

Diagnoacutestico y estudios de la problemaacutetica que el Pp atiende

Diagnoacutestico del programa y estudios del marco contextual en el que opera

MIR del Pp correspondiente al ejercicio fiscal evaluado y de ejercicios anteriores que se

consideren pertinentes

Sistemas de informacioacuten automatizados semiautomatizados o manuales que apoyen a la

ejecucioacuten de los procesos y subprocesos o macroprocesos identificados del Pp

Evaluaciones externas o internas realizadas previamente al Pp

Documentos de trabajo institucionales e informes de avances de Aspectos Susceptibles de

Mejora con los que cuente el Pp

Informes de auditoriacuteas de desempentildeo o similares realizadas al Pp por la Auditoriacutea Superior

de la Federacioacuten del Estado de Puebla por la Secretariacutea de la Contraloriacutea o por cualquier

instancia fiscalizadora

Asimismo se sugiere revisar otros documentos asociados al disentildeo del Pp y a su definicioacuten de

poblacioacuten o aacuterea de enfoque potencial y objetivo asiacute como a su estrategia de integracioacuten de

destinatarios o beneficiarios de los componentes o entregables del Pp

El anaacutelisis o trabajo de gabinete deberaacute generar como resultado inicial un mapeo de los procesos y

subprocesos o macroprocesos que integran la gestioacuten operativa del Pp que constituiraacute

esencialmente el Producto 1 de la evaluacioacuten posteriormente se procesaraacute la informacioacuten recabada

en campo para la generacioacuten del informe preliminar y final de la evaluacioacuten

Alcance y enfoque de la evaluacioacuten

La instancia evaluadora deberaacute sentildealar con claridad en el informe de la evaluacioacuten cuaacuteles de los

procesos y subprocesos o macroprocesos identificados en la operacioacuten o gestioacuten del Pp se analizan

y cuaacuteles no de acuerdo con lo establecido por la Direccioacuten de Evaluacioacuten (DEV) de la Secretariacutea de

Finanzas y Administracioacuten (SFA) y la Unidad Responsable (UR) del Programa en cuestioacuten sentildealando

los elementos de anaacutelisis que justifican esta seleccioacuten y en su caso haciendo recomendaciones al

respecto

PAE 2017 20

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Un elemento que podraacute ser considerado para establecer el alcance de la evaluacioacuten es el grado de

consolidacioacuten operativa del Pp el cual podraacute determinarse a priori considerando algunos elementos

como los siguientes

1 Si existen documentos que normen los procesos y subprocesos o macroprocesos

2 Si los procesos y subprocesos o macroprocesos estaacuten estandarizados es decir si son

utilizados por todas la instancias ejecutoras de manera homogeacutenea

3 Si los procesos y subprocesos o macroprocesos estaacuten documentados y son del conocimiento

de todos los operadores

4 Si se cuenta con un sistema de monitoreo e indicadores de gestioacuten

5 Si se cuenta en los procesos y subprocesos o macroprocesos analizados con sistemas

informaacuteticos que permitan la automatizacioacuten en la ejecucioacuten de los mismos

6 Si se cuenta con mecanismos para la implementacioacuten sistemaacutetica de mejoras

Se considera que existe un mayor grado de consolidacioacuten operativa cuando existen todos los

elementos y disminuiraacute gradualmente conforme haga falta uno o maacutes de ellos hasta el menor grado

de consolidacioacuten que es cuando no existe ninguno de los elementos

El alcance de la Evaluacioacuten de Procesos del Pp implica el anaacutelisis de los procesos y subprocesos o

macroprocesos sustantivos del Pp asiacute como la respectiva priorizacioacuten de estos Se deberaacute realizar

la identificacioacuten y jerarquizacioacuten de los procesos a partir del Esquema 1 adaptaacutendolo a las

condiciones particulares del Pp3 en eacutel se observa lo siguiente

El proceso de ldquoPlaneacioacutenrdquo es el punto de partida para la implementacioacuten del Pp

posteriormente continuacutean los procesos de ldquoComunicacioacuten Interna y Externardquo ldquoSeleccioacuten de

destinatariosrdquo ldquoProduccioacuten de entregablesrdquo ldquoEntregardquo ldquoSeguimiento a destinatariosrdquo y

ldquoControlrdquo

La informacioacuten que se genera en los procesos de ldquoSeguimiento a destinatariosrdquo y ldquoControlrdquo

es un insumo directo para retroalimentar los procesos del Pp desde el de Planeacioacuten

El proceso de ldquoMonitoreordquo utiliza informacioacuten generada principalmente en los procesos de

ldquoComunicacioacutenrdquo ldquoSeleccioacuten de destinatariosrdquo ldquoProduccioacuten de entregablesrdquo ldquoEntregardquo y

ldquoSeguimiento a destinatariosrdquo a partir de ello se retroalimentan los procesos del Pp desde

la ldquoPlaneacioacutenrdquo

3 Con excepcioacuten de los procesos (con sus subprocesos) de Planeacioacuten Monitoreo y Evaluacioacuten Externa para

los cuales la instancia evaluadora uacutenicamente podraacute en caso de que lo considere pertinente agregar

subprocesos pero no suprimir subprocesos

PAE 2017 21

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

El proceso de ldquoEvaluacioacuten Externardquo requiere de informacioacuten transversal de todos los

procesos ya que se valora al Pp en su conjunto En este sentido los resultados de las

evaluaciones son un insumo para retroalimentar al Pp desde el proceso de ldquoPlaneacioacutenrdquo

Es importante sentildealar que en el Esquema 1 se muestra un modelo que es importante tomarlo en

cuenta como referencia para la identificacioacuten y definicioacuten de los procesos y subprocesos o

macroprocesos que integran la operacioacuten del Pp evaluado ademaacutes de que representa un auxiliar

en la definicioacuten del alcance y del enfoque de la Evaluacioacuten de Procesos del Pp

Esquema 1 Modelo general de procesos

Fuente Modelo de TdR para la Evaluacioacuten de Procesos Secretariacutea de Hacienda y Creacutedito Puacuteblico

A continuacioacuten se describe cada uno de los procesos que componen al modelo anterior

Planeacioacuten proceso en el que se determinan o definen el problema o necesidad aacuterbol de

problemas y objetivos poblacioacuten o aacuterea de enfoque potencial y objetivo objetivos

indicadores y metas de la MIR estrategia de cobertura plan estrateacutegico entre otros puntos

asiacute como los recursos financieros y humanos necesarios que requiere el Pp para lograr sus

objetivos En el proceso de planeacioacuten se determinan las directrices en el disentildeo e

implementacioacuten del Pp los subprocesos que lo integran son los siguientes planeacioacuten

estrateacutegica programacioacuten y presupuesto actualizacioacuten de la MIR actualizacioacuten de

normativa

PAE 2017 22

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Comunicacioacuten interna y externa proceso en el que se informan diversas caracteriacutesticas y

objetivos del Pp tanto a los actores involucrados en su funcionamiento y operacioacuten (interna)

como a su poblacioacuten o aacuterea de enfoque objetivo (externa)

Seleccioacuten de destinatarios proceso en el que se determina quieacutenes recibiraacuten los

componentes o entregables de un Pp en funcioacuten de su poblacioacuten o aacuterea de enfoque objetivo

Produccioacuten de entregables proceso en el que se elaboran los entregables o realizan los

componentes del Pp (recursos financieros o humanos apoyos bienes servicios

regulaciones documentos teacutecnicos o de planeacioacuten etc) conforme a sus documentos

normativos

Entrega proceso en el que se realiza la entrega de lo producido o generado por el Pp

(componentes o entregables) a los destinatarios o beneficiarios

Seguimiento a destinatarios actividades y mecanismos que permiten al Pp conocer coacutemo

son utilizados o aprovechados sus componentes o entregables (por sus destinatarios o

beneficiarios) para que entre otras funciones la UR del Pp identifique si se estaacute cumpliendo

con los objetivos Por ejemplo en este proceso se incluyen las actividades que un Pp

implementa para conocer el grado de satisfaccioacuten de sus destinatarios o beneficiarios

Control actividades y mecanismos implementados entre los operadores del Pp para verificar

que los diferentes procedimientos procesos y subprocesos se esteacuten ejecutando conforme a

lo planeado (control interno)

Monitoreo proceso coordinado por una unidad administrativa ajena a la operacioacuten del Pp

a traveacutes del cual se recaba registra y valida la informacioacuten sobre el avance de las metas de

los indicadores de la MIR asiacute como el seguimiento a los resultados de indicadores

adicionales a los de la MIR en caso de que se cuente con un sistema de monitoreo de gestioacuten

Los subprocesos que lo integran son los siguientes acopio de la informacioacuten para el reporte

de avances validacioacuten de informacioacuten y registro de avances primordialmente

Evaluacioacuten externa proceso coordinado por una unidad administrativa ajena a la operacioacuten

del Pp mediante el cual se define la agenda de evaluacioacuten externa del Pp se definen las

metodologiacuteas o los teacuterminos de referencia se contratan las evaluaciones externas (de

cualquier tipo) se recaba la informacioacuten que seraacute entregada a los equipos evaluadores se

realiza el seguimiento durante el desarrollo de las evaluaciones externas se aprueban los

PAE 2017 23

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

informes finales de las evaluaciones externas se notifica a las instancias correspondientes

sobre la conclusioacuten de las evaluaciones externas y se definen y realiza el seguimiento de los

Aspectos Susceptibles de Mejora (ASM)

A partir de los procesos definidos en el modelo anterior la instancia evaluadora deberaacute realizar una

equivalencia de los procesos subprocesos o macroprocesos identificados respecto a los definidos

en el modelo de acuerdo con el Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesosrdquo Cabe

mencionar que los procesos definidos en el modelo no son limitativos por lo que si la instancia

evaluadora identifica procesos subprocesos o macroprocesos adicionales deberaacute incluirlos

Disentildeo metodoloacutegico del trabajo de campo

A partir del contexto en que opera el Pp y el alcance y enfoque metodoloacutegico de la evaluacioacuten de

procesos la instancia evaluadora deberaacute desarrollar una propuesta de estrategia y plan de trabajo

de campo a seguir para la realizacioacuten de la evaluacioacuten asimismo deberaacute incluir un cronograma

detallado de actividades

La estrategia de trabajo de campo disentildeada por la instancia evaluadora deberaacute ser entregada a la

DEV para que en conjunto con la UR del Pp sea validada antes de su implementacioacuten Dicha

estrategia deberaacute contener al menos los siguientes elementos

Justificacioacuten de las teacutecnicas de investigacioacuten a utilizar

Muestra y los criterios utilizados para su seleccioacuten

Listado de los actores a entrevistar

Instrumentos de levantamiento de informacioacuten que se aplicaraacuten y

Cronograma con las actividades a desarrollar

La instancia evaluadora iniciaraacute las actividades del trabajo de campo de manera conjunta y una vez

recibido el visto bueno de la DEV

El disentildeo de la muestra y de los instrumentos para el levantamiento de informacioacuten en campo

deberaacute considerar a la totalidad de los actores que intervienen en la ejecucioacuten de los procesos y

subprocesos o macroprocesos que integran la operacioacuten o gestioacuten del Pp asiacute como a los

destinatarios o beneficiarios de los componentes o entregables del Pp independientemente de su

ubicacioacuten geograacutefica

Algunos criterios que puede utilizar la instancia evaluadora para definir una muestra que considere

la variabilidad de la operacioacuten en los diferentes contextos en que opera el Pp son los siguientes

PAE 2017 24

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

a) El desempentildeo operativo del Pp entre municipios regionalizacioacuten geograacutefica instituciones

puacuteblicas o privadas u otros aspectos que suponen una accioacuten diferenciada de los procesos

(cuando aplique)

b) Volumen de la operacioacuten del Pp

c) Esquemas normativos del Pp y el ejercicio presupuestal en los municipios instituciones

puacuteblicas o privadas u otros aspectos que suponen una accioacuten diferenciada de los procesos

en las que opera el Pp (cuando aplique) y

d) Formas de interaccioacuten del Pp con otros niveles u oacuterdenes de gobierno (cuando aplique)

Los criterios anteriores no son limitativos por lo que la instancia evaluadora podraacute proponer criterios

adicionales que considere pertinentes para la definicioacuten de la muestra para el trabajo de campo

En el disentildeo muestral la instancia evaluadora deberaacute sentildealar los funcionarios del Pp o destinatarios

a los que se les aplicaraacuten los instrumentos de levantamiento de informacioacuten con los que se realizaraacute

el trabajo de campo asiacute como la ubicacioacuten geograacutefica de los mismos

Instrumentos de levantamiento de informacioacuten

La instancia evaluadora deberaacute disentildear los instrumentos que utilizaraacute para el levantamiento de

informacioacuten durante el trabajo de campo como son (por ejemplo) los cuestionarios por tipo de

funcionario a entrevistar para el caso de entrevistas semiestructuradas los guiones a utilizar en la

realizacioacuten de grupos focales los cuestionarios de aplicacioacuten electroacutenica las guiacuteas respectivas entre

otros Para lo anterior deberaacute considerar los siguientes temas guiacutea y preguntas de referencia

Planeacioacuten (planeacioacuten estrateacutegica programacioacuten y presupuesto)

iquestQueacute se entiende por planeacioacuten estrateacutegica para los operadores del Pp

iquestCuaacuteles son las actividades o acciones de planeacioacuten estrateacutegica del Pp que se realizan

iquestLa planeacioacuten estrateacutegica es el resultado de un ejercicio institucionalizado que involucra a

los actores clave de la gestioacuten del Pp

iquestExiste un documento resultado de la planeacioacuten estrateacutegica iquestEs claro difundido y

accesible iquestEn queacute medida es utilizado para guiar la operacioacuten del Pp

iquestLa planeacioacuten estrateacutegica estaacute vinculada con el cumplimiento entrega o generacioacuten de los

componentes o entregables del Pp

iquestLa planeacioacuten estrateacutegica establece indicadores para medir los avances en las metas

establecidas iquestLas metas son factibles y estaacuten orientadas a impulsar el desempentildeo del Pp

PAE 2017 25

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

iquestQueacute se entiende por planeacioacuten operativa y cuaacuteles son las diferencias con la planeacioacuten

estrateacutegica

Comunicacioacuten interna y externa del Pp (las preguntas que apliquen)

iquestQueacute actores intervienen en la comunicacioacuten del Pp

iquestExiste una estrategia de comunicacioacuten del Pp documentada En caso afirmativo describirla

iquestLa estrategia de comunicacioacuten del Pp (documentada o no) es adecuada

iquestLos medios utilizados el lenguaje y el contenido de los mensajes son pertinentes en funcioacuten

del puacuteblico al que van dirigidos

Solicitud de los componentes o entregables del Pp (las preguntas que apliquen)

iquestExiste un proceso claro imparcial y expliacutecito por medio del cual la poblacioacuten o aacuterea de

enfoque potencial puede solicitar los componentes o entregables que otorga el Pp

iquestLos requisitos para solicitar los componentes o entregables del Pp se presentan de manera

clara y completa

iquestLos puntos de recepcioacuten de solicitudes son accesibles y suficientes (cuando aplique)

iquestExisten mecanismos estandarizados para recibir y revisar la documentacioacuten entregada asiacute

como registrar y dar traacutemite a las solicitudes (cuando aplique)

iquestSon adecuados estos mecanismos (cuando aplique) En caso de que el Pp que apoye la

realizacioacuten de proyectos iquestse brinda asesoriacutea para la presentacioacuten de los mismos de ser asiacute

iquestes pertinente esta asesoriacutea

iquestEl proceso de solicitud de los componentes o entregables que otorga el Pp se encuentra

automatizado total o parcialmente

Para esta pregunta considerar los estados de digitalizacioacuten utilizados por la Comisioacuten Intersecretarial

para el Desarrollo del Gobierno electroacutenico seguacuten una adaptacioacuten realizada a la clasificacioacuten que

hace la ONU

Estado de digitalizacioacuten 1 traacutemites y servicios que se encuentran en estado informativo

Estado de digitalizacioacuten 2 traacutemites y servicios que cuentan con interfaces de comunicacioacuten

unidireccional

Estado de digitalizacioacuten 3 traacutemites y servicios que permiten realizar transacciones y

Estado de digitalizacioacuten 4 traacutemites y servicios que el usuario puede ejecutar de principio a

fin por medio de dispositivos digitales

PAE 2017 26

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para mayor informacioacuten referirse a ldquoFigure A4 The four stages of online service developmentrdquo en

los siguientes documentos

Lineamientos relativos a la digitalizacioacuten estandarizada de traacutemites y servicios con apego en

la Estrategia Digital Nacional

httpwwwgobmxcmsuploadsattachmentfile67232ti_1_pgcm_bases_lineam_tyspdf

United Nations E-Government Survey 2014 (paacutegina 195)

httpspublicadministrationunorgegovkbportalsegovkbdocumentsun2014-surveye-

gov_complete_survey-2014pdf

Seleccioacuten de destinatarios (cuando aplique)

iquestExiste una metodologiacutea o meacutetodo para la seleccioacuten de destinatarios o beneficiarios de los

componentes o entregables del Pp iquestLa metodologiacutea utilizada cuenta con criterios de

seleccioacuten y elegibilidad claros estandarizados y sistematizados

iquestLa seleccioacuten de destinatarios o beneficiarios de los componentes o entregables del Pp es un

proceso transparente e imparcial iquestEl resultado de la seleccioacuten es puacuteblico (cuando aplique)

iquestExiste informacioacuten en una base de datos que permita conocer quieacutenes o queacute instancias

reciben los componentes o entregables del Pp iquestQueacute informacioacuten integra esta base de datos

iquestExisten mecanismos para validar y actualizar esta base de datos iquestEstos mecanismos son

pertinentes

Produccioacuten de componentes o entregables

iquestSe cuenta con los insumos suficientes para generar el volumen de componentes o

entregables que permitan al Pp atender a su poblacioacuten o aacuterea de enfoque objetivo

iquestEl Pp tiene mecanismos para estimar la produccioacuten o generacioacuten necesaria de componentes

o entregables de acuerdo con la posible demanda o requerimientos de su poblacioacuten o aacuterea

de enfoque objetivo iquestEs adecuado este mecanismo

iquestExisten mecanismos de control de calidad para la generacioacuten de los componentes o

entregables del Pp iquestEstos mecanismos son pertinentes

iquestLas actividades de generacioacuten de componentes o entregables que otorga el Pp estaacuten

estandarizadas es decir son ejecutadas de manera homogeacutenea por todas las instancias

involucradas

PAE 2017 27

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Entrega

iquestLos componentes o entregables del Pp son proporcionados conforme a las especificaciones

y de manera oportuna a los destinatarios

iquestExisten especificaciones (programas o planes de trabajo) sobre la forma en que se deben

trasladar los componentes o entregables para (por ejemplo) asegurar su adecuada recepcioacuten

en el punto de destino iquestSon adecuadas estas especificaciones respecto a normas o

lineamientos existentes (cuando aplique)

iquestLa logiacutestica de distribucioacuten se actualiza (cuando aplique) iquestExiste un periodo para dicha

actualizacioacuten iquestEn el disentildeo y actualizacioacuten de la logiacutestica se toman en cuenta los factores

geograacuteficos y climatoloacutegicos en cada regioacuten donde opera el Pp (cuando aplique)

iquestLos puntos de entrega de los componentes o entregables son cercanos a los beneficiarios

o aacuterea de enfoque a atender y son de faacutecil acceso iquestSe considera que son suficientes iquestPor

queacute

Control (las preguntas que apliquen)

iquestEl Pp cuenta con los mecanismos para verificar que los componentes o entregables se

otorguen de acuerdo con lo establecido en la normativa especiacutefica y lleguen a la poblacioacuten

o aacuterea de enfoque que deba ser beneficiada iquestEstos mecanismos son adecuados

iquestExiste de manera sistematizada un documento que deacute cuenta de los resultados de

supervisioacuten y entrega de componentes o entregables iquestEste documento es adecuado iquestLos

resultados se utilizan para implementar mejoras en la operacioacuten del Pp

iquestExisten procedimientos estandarizados que verifiquen el cumplimiento de la

corresponsabilidad u obligatoriedad por parte de los beneficiarios o destinatarios de los

componentes o entregables del Pp (cuando aplique)

Seguimiento a destinatarios

iquestEl Pp tiene mecanismos para verificar el procedimiento de seguimiento a los destinatarios o

beneficiarios que permitan identificar si los componentes o entregables generados son

utilizados de acuerdo con lo establecido iquestCoacutemo se implementa el mecanismo iquestEste

mecanismo es adecuado

iquestExisten procedimientos estandarizados que permitan verificar el cumplimiento de la

corresponsabilidad u obligatoriedad por parte del destinatario o beneficiario (cuando

aplique)

PAE 2017 28

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

En caso de que los componentes o entregables involucren la ejecucioacuten de obra o de

infraestructura iquestel Pp cuenta con un mecanismo de seguimiento o supervisioacuten que permita

identificar si se realizaron acorde a la normativa aplicable iquestEl seguimiento o supervisioacuten

considera plazos para la revisioacuten de las condiciones de la obra o la infraestructura despueacutes

de terminada la obra

iquestEl Pp tiene mecanismos para identificar si se cumple con su Propoacutesito iquestSon suficientes y

pertinentes estos mecanismos

iquestExisten mecanismos para conocer la satisfaccioacuten del destinatario o beneficiario de los

componentes o entregables del Pp respecto de los componentes que ofrece el Pp iquestSon

adecuados estos mecanismos iquestSu operacioacuten permite una aplicacioacuten imparcial y objetiva

iquestExiste evidencia para afirmar que las quejas y sugerencias que brindan los destinatarios o

beneficiarios de los componentes o entregables del Pp son utilizadas para la mejora continua

del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

En esta seccioacuten se deberaacute realizar la medicioacuten de los atributos de eficacia oportunidad suficiencia

y pertinencia de los procesos y subprocesos o macroprocesos definidos en el mapa de procesos del

Pp A continuacioacuten se definen los atributos en el marco de la evaluacioacuten de procesos

Eficacia un proceso es eficaz en la medida en que cumple con sus metas

Oportunidad un proceso es oportuno en la medida en que otorga sus productos

(componentes o entregables) o resultados en un periodo de tiempo determinado o

adecuado para el logro de sus objetivos

Suficiencia un proceso es suficiente en la medida en que produce sus resultados de forma

completa o adecuada para el logro de sus objetivos

Pertinencia un proceso es pertinente si sus actividades y productos son adecuados para

lograr tanto sus metas especiacuteficas como sus objetivos es decir si contribuyen al

mejoramiento de la gestioacuten del Pp4

4 Las actividades son adecuadas si estaacuten en funcioacuten del logro del objetivo de cada proceso Por ejemplo si se verifica que el formato de los mensajes a difundir cumpla con las caracteriacutesticas necesarias para llegar a la poblacioacuten o aacuterea de enfoque objetivo como seriacutea una mensaje de audio en la lengua indiacutegena de la localidad donde se encuentran los posibles destinatarios o beneficiarios o bien como seriacutea un mensaje dirigido a personal operativo del Pp cuyo nivel de estudios promedio pudiera complicar la comprensioacuten de lenguaje teacutecnico utilizado

PAE 2017 29

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para la medicioacuten de los atributos de los procesos y subprocesos o macroprocesos del Pp deberaacute

realizarse una revisioacuten documental (normativa aplicable MIR evaluaciones externas sistemas de

informacioacuten y registros administrativos entre otros) misma que deberaacute complementarse con el

trabajo de campo con el objetivo de identificar disentildear y calcular indicadores relacionados con

dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de informacioacuten empleadas

La informacioacuten obtenida de estos indicadores deberaacute vaciarse en fichas propuestas por la instancia

evaluadora presentadas como en el Anexo 6 ldquoFichas de indicadores de atributos de los procesos del

Pprdquo (formato libre) Estas fichas deberaacuten considerar la medicioacuten de los atributos de eficacia

suficiencia oportunidad y pertinencia correspondientes a cada proceso y subproceso o

macroproceso

Valoracioacuten de los procesos y subprocesos de la operacioacuten del Pp

Deberaacute contener una siacutentesis de los resultados encontrados en la Evaluacioacuten de Procesos del Pp

resaltando los hallazgos maacutes relevantes que se hayan detectado y que pudiesen transformarse en

ASM

La instancia evaluadora deberaacute calcular una valoracioacuten global cuantitativa sobre la operacioacuten y la

ejecucioacuten de los procesos y subprocesos o macroprocesos del Pp a partir del siguiente esquema de

puntuacioacuten5

Eficacia

- Todos los procesos (o macroprocesos) son eficaces = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es eficaz = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es eficaz = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es eficaz = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es eficaz = 1 punto

- Ninguno de los procesos (o macroprocesos) es eficaz = 0 puntos

Oportunidad

- Todos los procesos (o macroprocesos) son oportunos = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es oportuno = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es oportuno = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es oportuno = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es oportuno = 1 punto

5 La valoracioacuten cuantitativa deberaacute estar sustentada y por tanto ser consistente con lo valorado por la instancia evaluadora en el apartado de ldquoMedicioacuten de atributos de los procesos y subprocesosrdquo

PAE 2017 30

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

- Ninguno de los procesos (o macroprocesos) es oportuno = 0 puntos

Suficiencia

- Todos los procesos (o macroprocesos) son suficientes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es suficiente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es suficiente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es suficiente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es suficiente = 1 punto

- Ninguno de los procesos (o macroprocesos) es suficiente = 0 puntos

Pertinencia

- Todos los procesos (o macroprocesos) son pertinentes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es pertinente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es pertinente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es pertinente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es pertinente = 1 punto

- Ninguno de los procesos (o macroprocesos) es pertinente = 0 puntos

A partir de los puntajes asignados en los cuatro atributos anteriores esta valoracioacuten cuantitativa

global debe considerar el total de puntos posibles de obtener (5 x 4 = 20 puntos) y los puntos

obtenidos en la Evaluacioacuten de Procesos Pp (lsquoyrsquo puntos) de modo que se indique el porcentaje de

puntos obtenidos del total de puntos posibles [(lsquoyrsquo20) x 100] = valoracioacuten cuantitativa global de la

operacioacuten del Pp

La instancia evaluadora deberaacute utilizar el Anexo 9 ldquoValoracioacuten global cuantitativardquo para documentar

argumentar y sustentar cada una de las valoraciones cuantitativas sobre la operacioacuten y la ejecucioacuten

de los procesos (o macroprocesos) del Pp

Adicionalmente en este apartado se deberaacuten integrar las recomendaciones y conclusiones que se

consideren maacutes relevantes de los procesos y subprocesos o macroprocesos del Pp las cuales deben

formularse con base en los hallazgos del trabajo de campo y de gabinete El objetivo final de las

recomendaciones es proveer informacioacuten valiosa a los operadores del Pp para realizar adecuaciones

en la ejecucioacuten de los procesos y subprocesos o macroprocesos de modo que se potencie la

consecucioacuten de resultados del Pp

Las recomendaciones que se formulen como resultado de la Evaluacioacuten de Procesos del Pp deberaacuten

tener las siguientes caracteriacutesticas

Derivarse de los hallazgos de la evaluacioacuten

PAE 2017 31

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Ser concretas y factibles

Incluir un proyecto de implementacioacuten que considere los siguientes elementos

- Breve anaacutelisis de la viabilidad o factibilidad de la implementacioacuten

- Principales responsables de la implementacioacuten

- Anaacutelisis de los efectos potenciales que puede implicar la implementacioacuten tanto en la

operacioacuten del Pp como en el logro de sus objetivos

- La comparacioacuten entre la situacioacuten actual y el resultado que se espera obtener con la

implementacioacuten de la recomendacioacuten

Estar categorizadas en dos liacuteneas de accioacuten estrateacutegicas

- Consolidacioacuten

- Reingenieriacutea de procesos o subprocesos

Al respecto la instancia evaluadora debe entender por consolidacioacuten aquellas recomendaciones que

estaacuten dirigidas a perfeccionar determinados aspectos de la operacioacuten como seriacutean algunas acciones

procedimientos o estrategias del Pp asiacute como iniciativas para el fortalecimiento de los sistemas

automatizados infraestructura entre otros

Por reingenieriacutea de procesos o subprocesos se entenderaacuten aquellas recomendaciones que apuntan

a una transformacioacuten o modificacioacuten profunda o sustancial de uno o varios de los procesos y

subprocesos del Pp Para ello se deberaacute llenar el Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de

Procesos del Pprdquo y que a su vez deben derivar en acciones de consolidacioacuten para la implementacioacuten

de los procesos transformados

Adicionalmente y de conformidad con el alcance de la Evaluacioacuten de Procesos del Pp se deberaacute

presentar una propuesta para crear o fortalecer el sistema de monitoreo de gestioacuten del Pp con

indicadores a nivel de procesos y subprocesos o macroprocesos

Asimismo a partir de todo el anaacutelisis y valoraciones realizadas se deberaacute emitir un pronunciamiento

acerca de la percepcioacuten de eficiencia que la instancia evaluadora haya tenido sobre la ejecucioacuten de

los procesos y subprocesos o macroprocesos del Pp

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible o si no hipoteacuteticos en un anexo de formato libre Anexo 10 ldquoSistema de

monitoreo e indicadores de gestioacuten del Pprdquo

PAE 2017 32

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Bitaacutecora de trabajo de campo y bases de datos

La instancia evaluadora deberaacute entregar una bitaacutecora de trabajo de campo que destaque de forma

sinteacutetica entre otros puntos las principales actividades y situaciones a las que se enfrentoacute y que

podriacutean afectar los resultados de la Evaluacioacuten de Procesos del Pp

Asimismo deberaacute entregar las bases de datos generadas a partir de la aplicacioacuten de los instrumentos

de recoleccioacuten de informacioacuten y de la recopilacioacuten de informacioacuten en el trabajo de campo Las bases

de datos deberaacuten entregarse en formatos compatibles con Excel debiendo mantener la

confidencialidad de los entrevistados pero sin alterar la informacioacuten proporcionada por estos En las

bases de datos debe estar sistematizada toda la informacioacuten recabada a partir de la aplicacioacuten de

los instrumentos de levantamiento de informacioacuten y deberaacute sustentar el anaacutelisis las valoraciones los

hallazgos y las conclusiones de la evaluacioacuten

PAE 2017 33

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Contenido del informe

Contenido miacutenimo del informe final de la evaluacioacuten

Derivado del contenido generado en las secciones anteriores deberaacuten elaborarse los siguientes

apartados en el informe final de la Evaluacioacuten de Procesos del Pp

i Introduccioacuten

ii Resumen Ejecutivo

iii Marco Legal

iv Datos Generales del Programa Presupuestario (Pp)

v Criterios Teacutecnicos para la Evaluacioacuten del Programa Presupuestario correspondiente

vi Apartados de la evaluacioacuten

Seccioacuten 1 Disentildeo

Diagnoacutestico del programa puacuteblico

Matriz de Indicadores para Resultados (MIR)

Seccioacuten 2 Procesos

Pertinencia de los proceso

Diagnoacutestico general de los procesos y subprocesos del Pp

- Contexto en que opera el Pp

- Diagnoacutestico inicial de los procesos y subprocesos

Descripcioacuten y valoracioacuten de los procesos y subprocesos del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

vii Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

viii Valoracioacuten final del Pp

ix Hallazgos

x Recomendaciones clasificadas por apartado

xi Conclusiones

xii Bibliografiacutea

xiii Anexos

Anexo 1 Descripcioacuten General del Programa

Anexo 2 Metodologiacutea para la cuantificacioacuten de las poblaciones potencial y objetivo

(Formato Libre)

Anexo 3 Evolucioacuten de la Cobertura

Anexo 4 Propuesta de mejora de la Matriz de Indicadores para Resultados

Anexo 5 Ficha de identificacioacuten y equivalencia de procesos del Pp

PAE 2017 34

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 Fichas de indicadores de atributos de los procesos del Pp (Formato libre)

Anexo 7 Diagramas de flujo de la operacioacuten del Pp

Anexo 8 Propuesta de modificacioacuten a los documentos normativos o institucionales

del Pp

Anexo 9 Valoracioacuten global cuantitativardquo

Anexo 10 Sistema de monitoreo e indicadores de gestioacuten del Pp (Formato libre)

Anexo 11 Recomendaciones de la Evaluacioacuten de Procesos del Pp

Anexo 12 Principales Fortalezas Retos y Recomendaciones

Anexo 13 Ficha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacuten

En el Resumen Ejecutivo asimismo se describiraacuten los principales hallazgos y recomendaciones del

evaluador externo

Para el desarrollo de los apartados antes referidos deberaacute atender las indicaciones que se desarrollan

en las siguientes secciones

Hallazgos y resultados Pp por Seccioacuten

Se debe realizar una valoracioacuten general del programa por seccioacuten utilizando las respuestas que

integran cada uno de los apartados En esta valoracioacuten integral se deberaacute sentildealar en queacute medida la

gestioacuten operativa conduce al logro de los objetivos del Pp

Asimismo se deben sentildealar las aacutereas de mejora las buenas praacutecticas y las fortalezas detectadas en

la operacioacuten del Pp y a partir de ello la instancia evaluadora emitiraacute recomendaciones de mejora

sobre aspectos especiacuteficos de cada proceso y subproceso o macroproceso del Pp Adicionalmente

se deberaacuten identificar los problemas o limitantes tanto normativos como operativos (ldquocuellos de

botellardquo) de coordinacioacuten entre unidades administrativas y otros que hubiese en los procesos y

subprocesos o macroprocesos del Pp entendieacutendose como aquellas praacutecticas procedimientos

actividades o traacutemites que obstaculizan la operacioacuten del Pp

En este sentido se deberaacuten identificar las situaciones en las que la normativa genere complicaciones

en la gestioacuten o ineficacia en el cumplimiento de los objetivos del Pp para lo cual se deberaacute presentar

(por cada situacioacuten identificada) una propuesta de modificacioacuten a la normativa aplicable al Pp

considerando las restricciones praacutecticas que existan para su implementacioacuten asiacute como los efectos

PAE 2017 35

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

potenciales de ser implementada Los resultados de este anaacutelisis deberaacuten describirse en el Anexo 7

ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales del Pprdquo

Para la identificacioacuten y descripcioacuten de los ldquocuellos de botellardquo buenas praacutecticas y fortalezas del Pp

se consideraraacute la informacioacuten derivada del anaacutelisis de la operacioacuten del Pp asiacute como los puntos de

vista de los principales actores que intervienen en ella Este anaacutelisis deberaacute contener las causas y las

consecuencias de los ldquocuellos de botellardquo detectados sus caracteriacutesticas y naturaleza (si son

normativas o estrictamente operativas) de igual manera se deberaacute desarrollar un anaacutelisis de las

buenas praacutecticas identificadas

Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

Se debe integrar en una sola tabla las fortalezas oportunidades debilidades y amenazas

especificadas por cada apartado de la evaluacioacuten y reportarlas en el Anexo 11 ldquoPrincipales Fortalezas

Retos y Recomendacionesrdquo en el que se deben incluir las fortalezas yo oportunidades las

debilidades yo amenazas y las recomendaciones por apartado de la evaluacioacuten

PAE 2017 36

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexos

Anexo 1 ldquoDescripcioacuten General del Programardquo

El Anexo tiene formato libre sin embargo debe contener una breve descripcioacuten de las caracteriacutesticas

maacutes relevantes del Pp en un maacuteximo de dos cuartillas Dicha descripcioacuten debe considerar los

siguientes aspectos

1 Identificacioacuten del programa

11 Nombre

12 Clave de programa

13 Dependencia yo Entidad coordinadora ejecutora

14 Antildeo de inicio de operacioacuten

2 Problema o necesidad que el Pp pretende atender atenuar o resolver

3 La contribucioacuten del Pp a las Metas y objetivos estatales a los que se vincula

4 Descripcioacuten de los objetivos del Pp asiacute como de los bienes yo servicios que ofrece

(componentes)

5 Identificacioacuten y cuantificacioacuten de la poblacioacuten o aacuterea de enfoque potencial y

objetivo

6 Presupuesto aprobado para el ejercicio fiscal en curso

7 Metas de los indicadores de Fin Propoacutesito y Componentes asiacute como los de nivel

actividad que se consideren relevantes y

8 Resumen de la valoracioacuten de la pertinencia del disentildeo del Pp respecto a la atencioacuten

del problema o necesidad

Anexo 2 ldquoMetodologiacutea para la cuantificacioacuten de la poblacioacuten o aacuterea de enfoque

potencial y objetivordquo

El Anexo tiene formato libre sin embargo se debe incluir la siguiente informacioacuten

Definicioacuten de la poblacioacuten o aacuterea de enfoque potencial objetivo y atendida

Cuantificacioacuten de la poblacioacuten potencial objetiva y atendida

Hallazgos sobre el procedimiento llevado a cabo para definir y cuantificar la poblacioacuten o

aacuterea de enfoque potencial objetivo y atendida

Recomendaciones

Propuesta orientada hacia la mejora

PAE 2017 37

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 3 ldquoEvolucioacuten de la Coberturardquo

Nombre del

Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten

Antildeo de la Evaluacioacuten

Tipo de Poblacioacuten

Unidad

de

Medida

2012 2013 2014 2015 2016

P Potencial

P Objetivo

P Atendida

119927119912 times 120783120782120782

119927119926

PAE 2017 38

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 4 ldquoPropuesta de mejora de la Matriz de Indicadores para Resultadosrdquo

Derivado del anaacutelisis y valoracioacuten de la pregunta de investigacioacuten nuacutemero 3 iquestLa estructura de

objetivos planteada por el programa mantiene loacutegica y correspondencia causal con el problema

planteado en el diagnoacutestico se realizaraacute una propuesta de mejora de MIR

Fin

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Propoacutesito

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Componente 1

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

PAE 2017 39

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Componente 2 hellip

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 40

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesos del Pprdquo

Para la identificacioacuten y clasificacioacuten de los procesos del Pp se sugieren los siguientes pasos

1 Listar los procesos identificados

Comparar los procesos identificados del Pp con aquellos correspondientes al Modelo general de

procesos Colocar en el rengloacuten correspondiente el nombre de cada proceso del Pp identificado

como equivalente

2 Colocar al final de la lista aquellos procesos del Pp que no sean equivalentes con el Modelo

general de procesos

Modelo general de

procesos

Nuacutemero

de

secuencia

Procesos o subprocesos del Pp identificados por el

evaluador

(Nombre y breve descripcioacuten)

Planeacioacuten Ejemplo (Ej) Planeacioacuten Estrateacutegica

Ej Programacioacuten

Ej Presupuestacioacuten

Comunicacioacuten interna y

externa

Ej Difusioacuten Federal

Ej Difusioacuten Local

Seleccioacuten de

destinatarios

Ej Recepcioacuten de solicitudes de becas

Ej Seleccioacuten de becarios

Produccioacuten de

entregables

Entrega

Control

Seguimiento Ej Seguimiento fiacutesico y supervisioacuten en campo

Evaluacioacuten externa Ej Publicacioacuten y lectura del PAE

Ej Definicioacuten de TdR

Ej Contratacioacuten

Ej Ejecucioacuten de la evaluacioacuten externa

Monitoreo Ej Registro de avances de indicadores

Ej Revisioacuten de registros

Ej Validacioacuten de registros e integracioacuten de informes

PAE 2017 41

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Procesos identificados por el evaluador que no coinciden con el Modelo general de procesos

PAE 2017 42

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 ldquoFichas de indicadores de atributos de los procesos del Pp (formato libre)rdquo

Para la construccioacuten de este anexo deberaacute realizarse una revisioacuten documental (normativa aplicable

MIR evaluaciones externas sistemas de informacioacuten y registros administrativos entre otros) misma

que deberaacute complementarse con el trabajo de campo con el objetivo de identificar disentildear y calcular

indicadores relacionados con dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de

informacioacuten empleadas

Ademaacutes de considerar la medicioacuten de los atributos de eficacia suficiencia oportunidad y pertinencia

de cada proceso y subproceso o macroproceso

PAE 2017 43

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 7 ldquoDiagramas de flujo de la operacioacuten del Pprdquo

Para la elaboracioacuten de los diagramas de flujo deberaacute utilizarse la notacioacuten empleada en el

documento ldquoGuiacutea para la Optimizacioacuten Estandarizacioacuten y Mejora Continua de Procesosrdquo publicada

por la SFP en la direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Para el Diagrama de Alto Nivel (Diagrama PEPSU)

Ejemplo ilustrativo

PAE 2017 44

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para el Diagrama de Flujo

PAE 2017 45

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

PAE 2017 46

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 8 ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales

del Pprdquo

Tipo de

norma-

tiva

Dice

Problema

generado

(causas y

consecuencias)

Se

recomienda

decir

Efecto esperado de

aplicar la

recomendacioacuten de

cambio

Restricciones praacutecticas

que puedan existir para

su implementacioacuten

PAE 2017 47

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 9 ldquoValoracioacuten global cuantitativa ldquo

Seccioacuten 1 Disentildeo

Disentildeo Valoracioacuten Argumento o justificacioacuten

Porcentaje del

Disentildeo del Pp

(Suma de valoracioacuten alcanzada por pregunta de la seccioacuten 1 Total maacuteximo de la

valoracioacuten de todas las preguntas de la seccioacuten 1 ) x 100

Seccioacuten 2 Procesos

Proceso Eficacia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

eficaces

(Total de procesos eficaces Total de procesos del Pp) x 100

Proceso Oportunidad

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

oportunos

(Total de procesos oportunos Total de procesos del Pp) x 100

Proceso Suficiencia

(SiacuteNo) Argumento o justificacioacuten

PAE 2017 48

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Porcentaje de

procesos

suficientes

(Total de procesos suficientes Total de procesos del Pp) x 100

Proceso Pertinencia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

pertinentes

(Total de procesos pertinentes Total de procesos del Pp) x 100

NOTA Los argumentos y justificaciones del evaluador deberaacuten considerar el anaacutelisis y valoraciones de

los subprocesos de cada proceso de modo que haya consistencia entre estos elementos Asimismo el

evaluador deberaacute expresar los resultados de la valoracioacuten cuantitativa en una graacutefica tipo radial

PAE 2017 49

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 10 ldquoSistema de monitoreo e indicadores de gestioacuten del Pp (formato libre)rdquo

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible

Nombre del Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten De Procesos

Antildeo de la Evaluacioacuten 2017

Fin Justificacioacuten Propoacutesito Justificacioacuten Componente (s) Justificacioacuten

Nombre de

Indicador

Meacutetodo de Caacutelculo

Claro SiacuteNo SiacuteNo SiacuteNo

Relevante SiacuteNo SiacuteNo SiacuteNo

Econoacutemico SiacuteNo SiacuteNo SiacuteNo

Monitoreable SiacuteNo SiacuteNo SiacuteNo

Adecuado SiacuteNo SiacuteNo SiacuteNo

Definicioacuten SiacuteNo SiacuteNo SiacuteNo

Unidad de Medida SiacuteNo SiacuteNo SiacuteNo

Frecuencia de

Medicioacuten

SiacuteNo SiacuteNo SiacuteNo

Liacutenea Base SiacuteNo SiacuteNo SiacuteNo

Metas SiacuteNo SiacuteNo SiacuteNo

Comportamiento

del Indicador

SiacuteNo SiacuteNo SiacuteNo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 50

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de Procesos del Pprdquo

En este Anexo la instancia evaluadora debe valorar si la recomendacioacuten implica una consolidacioacuten o

una reingenieriacutea del proceso

A) Consolidacioacuten

Proceso Recomendaci

oacuten

Breve

anaacutelisis de

viabilidad de

la

implementa-

cioacuten

Principales

responsables

de la

implementaci

oacuten

Situacioacuten

actual

Efectos

potenciales

esperados

Medio de

verifica-

cioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

B) Reingenieriacutea de procesos

Proceso Objetivo

Breve

anaacutelisis de

viabilidad

de la

implemen-

tacioacuten

Principales

responsables

de la

implemen-

tacioacuten

Situa-

cioacuten

actual

Metas y

efectos

potenciale

s

esperados

Elabora-

cioacuten de

flujogram

a del

nuevo

proceso

Medio

de

verifi-

cacioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

NOTA El nivel de priorizacioacuten Alto Medio o Bajo se estimaraacute considerando la mejora en la operacioacuten

del Pp la viabilidad de la implementacioacuten de la recomendacioacuten asiacute como el efecto potencial que esto

pueda tener el alcance del objetivo del Pp

PAE 2017 51

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 12 ldquoPrincipales Fortalezas Retos y Recomendacionesrdquo

Capacidades Internas Factores Externos

Fortalezas

(Cualquier capacidad con la que cuenta la dependencia o

entidad que le permita aprovechar sus recursos para la

obtencioacuten de sus objetivos)

Oportunidades

(Cualquier factor externo fuera del control de la dependencia o

entidad que puede ser aprovechado para la obtencioacuten de sus

objetivos)

Debilidades

(Cualquier limitante Interna de la dependencia o entidad que

puede afectar la obtencioacuten de sus objetivos)

Amenazas

(Cualquier factor externo fuera de control de la dependencia o

entidad que pueda afectar la obtencioacuten de sus objetivos)

PAE 2017 52

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacutenrdquo

El Informe Final de la Evaluacioacuten de Procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten

Superior deberaacuten contener una ficha con los siguientes datos

Ficha Teacutecnica con los datos generales de la evaluacioacuten

Nombre o denominacioacuten de la

evaluacioacuten

[Especificar el nombre de la evaluacioacuten considerando su tipo y ejercicio

evaluado]

Nombre o denominacioacuten del

programa evaluado

[Indicar el nombre del Pp sujeto a evaluacioacuten de acuerdo con lo

establecido en el PEF sentildealando su modalidad y clave]

Unidad Responsable de la operacioacuten

del programa

[Especificar la(s) unidad(es) responsable(s) de la administracioacuten

operacioacuten y ejecucioacuten de los programas subprogramas y proyectos del

Pp evaluado correspondientes a las dependencias y entidades]

Titular de la unidad responsable de la

operacioacuten del programa

[Indicar el nombre del(a) Titular de la Unidad Responsable de la

operacioacuten del Pp]

Antildeo del Programa Anual de

Evaluacioacuten (PAE) en que fue

considerada la evaluacioacuten

[Especificar el ejercicio fiscal al que corresponde el PAE en la que fue

programada la evaluacioacuten]

Antildeo de conclusioacuten y entrega de la

evaluacioacuten

[Indicar el antildeo en que se concluyoacute la evaluacioacuten]

Tipo de evaluacioacuten [Especificar el tipo de evaluacioacuten de acuerdo con los Lineamientos de

evaluacioacuten el nombre de la evaluacioacuten y con lo establecido en el PAE]

Nombre de la instancia evaluadora [Indicar el nombre de la firma consultoriacutea u organizacioacuten que realizoacute la

evaluacioacuten]

Nombre del(a) coordinador(a)

externo(a) de la evaluacioacuten

[Especificar el nombre del(a) responsable de la coordinacioacuten de la

evaluacioacuten dla instancia evaluadora]

Nombre de los(as) principales

colaboradores(as) del(a)

coordinador(a) de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del(a)

coordinador(a) de la evaluacioacuten]

PAE 2017 53

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Unidad Administrativa responsable de

la Coordinacioacuten de la evaluacioacuten

[De acuerdo con lo sentildealado en el PAE especificar la instancia a la que

corresponde la coordinacioacuten de la evaluacioacuten pej Secretariacutea de

Finanzas y Administracioacuten (SFA) asiacute como la unidad administrativa

mediante la cual se ejerce esta funcioacuten p ej Direccioacuten de Evaluacioacuten

de la SFA (DEV)

Nombre del(a) Titular de la unidad

administrativa responsable de

coordinar la evaluacioacuten (Aacuterea de

Evaluacioacuten)

[Especificar el nombre del(a) Titular de la Unidad responsable de dar

seguimiento a la evaluacioacuten que funge como Aacuterea de Evaluacioacuten]

Nombres de los(as) servidores(as)

puacuteblicos(as) adscritos(as) a la unidad

administrativa responsable de

coordinar la evaluacioacuten que

coadyuvaron con la revisioacuten teacutecnica

de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del

titular de la unidad administrativa responsable de dar seguimiento a la

evaluacioacuten respecto de la revisioacuten teacutecnica de la misma]

Forma de contratacioacuten de la instancia

evaluadora

[Indicar el tipo de contratacioacuten dla instancia evaluadora Especificar el

tipo de procedimiento de contratacioacuten de la instancia evaluadora

consistente con los tipos de adjudicacioacuten establecidos en la Ley de

Adquisiciones Arrendamientos y Servicios del Sector Puacuteblico]

Costo total de la evaluacioacuten con IVA

incluido

[Especificar el costo total de la evaluacioacuten incluyendo el IVA (en caso

de que se haya causado) como sigue $XXX IVA incluido]

Asimismo en este anexo se deberaacute incluir una nota metodoloacutegica con la descripcioacuten de las teacutecnicas

y los modelos utilizados por el evaluador externo acompantildeada del disentildeo por muestreo

especificando los supuestos empleados y las principales caracteriacutesticas del tamantildeo y dispersioacuten de

la muestra utilizada

DIRECTORIO

Rauacutel Saacutenchez Kobashi

Secretario de la Secretariacutea de Finanzas y Administracioacuten

Francisco Fidel Teomitzi Saacutenchez

Subsecretario de Planeacioacuten

Arturo Neponuceno Crisoacutestomo

Director de Evaluacioacuten

Rodolfo de la Rosa Cabrera

Subdireccioacuten de Evaluacioacuten de Programas

Sauacutel Federico Oropeza Orea

Jefe del Departamento de Programas Estatales y Municipales

Ana Luz Guzmaacuten Figueroa

Analista del Departamento de Programas Estatales y Municipales

Marco Antonio Saacutenchez Gonzaacutelez

Analista del Departamento de Programas Estatales y Municipales

Page 16: Términos de Referencia para la Evaluación del Desempeño ...evaluacion.puebla.gob.mx/pdf/metodologias/TdR_Est/2017/TdR... · Perfil de la instancia evaluadora ... acuerdo con las

PAE 2017 15

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Seccioacuten 2 Procesos

Pertinencia de los procesos

4 Diagnoacutestico general de los procesos y subprocesos del Pp

Consideraciones

La instancia evaluadora deberaacute presentar dentro de los 30 diacuteas naturales posteriores a la firma del

contrato un Diagnoacutestico General de los Procesos y Subprocesos o Macroprocesos del Pp (Producto

1) en el que se deacute cuenta de la problemaacutetica o necesidad que atiende o de la funcioacuten de gobierno

que desarrolla asiacute como del contexto y las condiciones en las que opera el Pp En este diagnoacutestico

se deben identificar los procesos y subprocesos o macroprocesos que integran la operacioacuten o

gestioacuten del Pp a partir de la normativa vigente y de las entrevistas a funcionarios de la UR realizadas

se deberaacute presentar una descripcioacuten integral con el mapa de procesos y subprocesos del Pp

A partir de este diagnoacutestico la instancia evaluadora presentaraacute para su validacioacuten a la DEV una

propuesta de los alcances y logiacutestica de la Evaluacioacuten de Procesos del Pp Asimismo el diagnoacutestico

debe estar acompantildeado de la justificacioacuten del enfoque metodoloacutegico general seleccionado para su

desarrollo

Ademaacutes en el Producto 1 se deberaacuten especificar las directrices generales y particulares que guiaraacuten

la realizacioacuten de la evaluacioacuten de procesos acordadas con la DEV y la UR del Pp por lo que la correcta

elaboracioacuten de este producto es fundamental para poder garantizar un resultado satisfactorio

En el Producto 1 ademaacutes de integrar la estrategia y plan de trabajo de campo teacutecnicas de

investigacioacuten a utilizarse disentildeo muestral e instrumentos de levantamiento de informacioacuten se

incluiraacuten dos apartados

Descripcioacuten del contexto en el que opera el Pp La instancia evaluadora deberaacute describir

los siguientes elementos del Pp todas las UR que participan en su operacioacuten o que ejercen

sus recursos los entregables que produce cada UR que participa en la operacioacuten del Pp en

el marco del mismo el problema o necesidad de poliacutetica puacuteblica identificado por el Pp

poblacioacuten o aacuterea de enfoque potencial objetivo y atendida del Pp y su cuantificacioacuten

cantidad de destinatarios por cada uno de los entregables que el Pp tuvo al cierre del uacuteltimo

ejercicio fiscal del que se tenga registro cantidad de destinatarios por cada uno de los

entregables que el Pp espera atender en el ejercicio fiscal evaluado asiacute como el contexto

organizacional y social en que se desarrolla su operacioacuten

PAE 2017 16

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Diagnoacutestico inicial de los procesos y subprocesos o macroprocesos del Pp La instancia

evaluadora deberaacute desarrollar a partir del trabajo de gabinete y de entrevistas

semiestructuradas con funcionarios de la(s) Unidad(es) Responsable(s) del Pp realizadas un

diagnoacutestico inicial de procesos del Pp en el que se identifiquen claramente los procesos y

subprocesos o macroprocesos que integran su operacioacuten o gestioacuten asiacute como las instancias

o actores que participan en ellos se deberaacute presentar una descripcioacuten integral con un mapa

de procesos y subprocesos o macroprocesos del Pp asiacute como llenar el Anexo 5 ldquoFicha de

identificacioacuten y equivalencia de procesosrdquo Las entrevistas semiestructuradas se realizaraacuten con

la finalidad de profundizar y despejar dudas sobre el mapa de los procesos y subprocesos o

macroprocesos que integran la gestioacuten operativa del Pp En esta seccioacuten la instancia

evaluadora deberaacute sentildealar cuaacuteles de los procesos y subprocesos o macroprocesos

identificados estaacuten documentados y cuaacuteles no asiacute como ndashen su casondash la normativa que los

rige por ejemplo un manual de procedimientos o de organizacioacuten lineamientos de

operacioacuten entre otros Cabe sentildealar que los procesos y subprocesos o macroprocesos que

integran la operacioacuten o gestioacuten del Pp son estructuras analiacuteticas que debe de construir la

instancia evaluadora a partir de su experiencia en el desarrollo de evaluaciones de procesos

e implementacioacuten de poliacuteticas puacuteblicas por tanto debe tenerse en cuenta que a pesar de

ser lo deseable los procesos y subprocesos o macroprocesos no necesariamente pueden

estar documentados

5 Descripcioacuten y valoracioacuten de los procesos y subprocesos del Pp

Consideraciones

Despueacutes de realizar el trabajo de campo y sistematizar la informacioacuten levantada la instancia

evaluadora deberaacute realizar la descripcioacuten y valoracioacuten de cada uno de los procesos subprocesos o

macroprocesos identificados en el Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesosrdquo

contrastando en todos los casos la evidencia documental y su ejecucioacuten en la praacutectica

Por lo anterior en esta seccioacuten se deberaacute realizar una descripcioacuten minuciosa del desarrollo y el

anaacutelisis de cada proceso y subproceso o macroproceso de acuerdo con el alcance establecido

utilizando la informacioacuten obtenida mediante el anaacutelisis de gabinete y el trabajo de campo asimismo

se deberaacute realizar una valoracioacuten integral sobre la gestioacuten de cada uno de los procesos a partir de

la gestioacuten en sus subprocesos o macroprocesos a partir de la gestioacuten de los procesos

PAE 2017 17

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

La valoracioacuten de cada proceso subproceso o macroproceso deberaacute contener la siguiente estructura

1 Descripcioacuten detallada de las actividades los elementos y los actores que integran el

desarrollo de cada proceso y subproceso o macroproceso

2 Liacutemites de cada proceso y subproceso o macroproceso asiacute como su articulacioacuten con otros

3 Insumos y recursos determinar si los insumos y los recursos disponibles son suficientes y

adecuados para la ejecucioacuten de cada proceso y subproceso o macroproceso

a Tiempo iquestel tiempo en que se ejecuta el proceso o subproceso es el adecuado acorde

a lo planificado y congruente con la normativa que aplica

b Personal iquestel personal es suficiente tiene el perfil y cuenta con la capacitacioacuten necesaria

para la ejecucioacuten del proceso o subproceso

c Recursos financieros iquestlos recursos financieros son suficientes para la ejecucioacuten del

proceso o subproceso

d Recursos materiales iquestlos recursos materiales son suficientes para la ejecucioacuten del

proceso o subproceso

e Infraestructura iquestse cuenta con la infraestructura o capacidad instalada suficiente para

la ejecucioacuten del proceso o subproceso

f Insumos tecnoloacutegicos

4 Productos iquestlos productos de cada proceso subproceso o macroproceso sirven de insumo

para ejecutar el proceso subproceso o macroproceso subsecuente

5 Sistemas de informacioacuten iquestLos sistemas de informacioacuten utilizados en la ejecucioacuten de cada

proceso subproceso o macroproceso (automatizados semiautomatizados o manuales)

funcionan como una fuente de informacioacuten uacutetil para los sistemas de monitoreo a nivel central

y para los operadores en otros niveles iquestEstos sistemas de informacioacuten automatizan algunos

procesos subprocesos o macroproceso del Pp iquestSirven como mecanismo de control interno

para el mejor de desarrollo de los procesos subprocesos o macroproceso

6 Coordinacioacuten iquestla coordinacioacuten entre los actores oacuterdenes de gobierno o dependencias

involucradas es adecuada para la ejecucioacuten del proceso subproceso o macroproceso

7 Evaluacioacuten de la pertinencia de la forma en que se ejecuta cada proceso subproceso o

macroproceso en el contexto y condiciones en que se desarrolla considerando la estructura

organizacional involucrada y la coordinacioacuten entre las unidades administrativas que

intervienen en el proceso subproceso o macroproceso

8 Identificacioacuten de las caracteriacutesticas relacionadas con la importancia estrateacutegica de cada

proceso subproceso o macroproceso

PAE 2017 18

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

9 Opinioacuten de actores (destinatarios beneficiarios usuarios clientes u operadores del Pp)

sobre la eficacia eficiencia y calidad de cada proceso subproceso o macroproceso

10 Existencia de mecanismos para conocer la satisfaccioacuten de los beneficiarios o destinatarios de

los componentes o entregables que otorga el Pp

Por otra parte en caso de que el Pp genere diversos componentes o entregables y que estos

impliquen la realizacioacuten de actividades diferentes seraacute necesario describir los procesos y

subprocesos o macroprocesos correspondientes a cada tipo de componente o entregable otorgado

En la descripcioacuten de los procesos y subprocesos o macroprocesos la instancia evaluadora de manera

coordinada con la DEV deberaacute realizar los diagramas de alto nivel y los diagramas detallados

(diagramas de flujo) que describan los procesos y subprocesos o macroprocesos del Pp Para ello se

deberaacute usar como referencia la seccioacuten ldquoVII Mapeo de procesosrdquo de la ldquoGuiacutea para la Optimizacioacuten

Estandarizacioacuten y Mejora Continua de Procesosrdquo (paacuteginas 18 a 25) elaborada por la Secretariacutea de la

Funcioacuten Puacuteblica (SFP) disponible en la siguiente direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Estos diagramas se deberaacuten elaborar de acuerdo con lo especificado en el Anexo 7 ldquoDiagramas de

flujo de la operacioacuten del Pprdquo

Metodologiacutea Seccioacuten 2

La Evaluacioacuten de Procesos del Pp se realizaraacute principalmente a partir de teacutecnicas de investigacioacuten

cualitativa como son el anaacutelisis documental la observacioacuten directa estudios de caso y multicaso

especiacuteficos entrevistas semiestructuradas y grupos focales o grupos de enfoque (focus groups)

entre otras teacutecnicas que la instancia evaluadora considere pertinentes para realizar el anaacutelisis de

gabinete y el trabajo de campo tales como la aplicacioacuten de cuestionarios de aplicacioacuten electroacutenica

o a distancia

La metodologiacutea y los instrumentos definidos asiacute como el trabajo de gabinete y de campo deberaacuten

generar evidencia empiacuterica suficiente para valorar a profundidad la forma en que se ejecutan los

procesos y subprocesos o macroprocesos que integran la operacioacuten del Pp asiacute como su contexto

institucional y organizacional

PAE 2017 19

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anaacutelisis de gabinete

Para esta seccioacuten es necesario la elaboracioacuten del diagnoacutestico de los procesos y subprocesos o

macroprocesos que integran la operacioacuten o gestioacuten del Pp la instancia evaluadora deberaacute realizar

un anaacutelisis de gabinete considerando como miacutenimo los siguientes documentos

La normativa aplicable al Pp leyes reglamentos lineamientos manuales de procedimientos

convenios contratos entre otros

Diagnoacutestico y estudios de la problemaacutetica que el Pp atiende

Diagnoacutestico del programa y estudios del marco contextual en el que opera

MIR del Pp correspondiente al ejercicio fiscal evaluado y de ejercicios anteriores que se

consideren pertinentes

Sistemas de informacioacuten automatizados semiautomatizados o manuales que apoyen a la

ejecucioacuten de los procesos y subprocesos o macroprocesos identificados del Pp

Evaluaciones externas o internas realizadas previamente al Pp

Documentos de trabajo institucionales e informes de avances de Aspectos Susceptibles de

Mejora con los que cuente el Pp

Informes de auditoriacuteas de desempentildeo o similares realizadas al Pp por la Auditoriacutea Superior

de la Federacioacuten del Estado de Puebla por la Secretariacutea de la Contraloriacutea o por cualquier

instancia fiscalizadora

Asimismo se sugiere revisar otros documentos asociados al disentildeo del Pp y a su definicioacuten de

poblacioacuten o aacuterea de enfoque potencial y objetivo asiacute como a su estrategia de integracioacuten de

destinatarios o beneficiarios de los componentes o entregables del Pp

El anaacutelisis o trabajo de gabinete deberaacute generar como resultado inicial un mapeo de los procesos y

subprocesos o macroprocesos que integran la gestioacuten operativa del Pp que constituiraacute

esencialmente el Producto 1 de la evaluacioacuten posteriormente se procesaraacute la informacioacuten recabada

en campo para la generacioacuten del informe preliminar y final de la evaluacioacuten

Alcance y enfoque de la evaluacioacuten

La instancia evaluadora deberaacute sentildealar con claridad en el informe de la evaluacioacuten cuaacuteles de los

procesos y subprocesos o macroprocesos identificados en la operacioacuten o gestioacuten del Pp se analizan

y cuaacuteles no de acuerdo con lo establecido por la Direccioacuten de Evaluacioacuten (DEV) de la Secretariacutea de

Finanzas y Administracioacuten (SFA) y la Unidad Responsable (UR) del Programa en cuestioacuten sentildealando

los elementos de anaacutelisis que justifican esta seleccioacuten y en su caso haciendo recomendaciones al

respecto

PAE 2017 20

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Un elemento que podraacute ser considerado para establecer el alcance de la evaluacioacuten es el grado de

consolidacioacuten operativa del Pp el cual podraacute determinarse a priori considerando algunos elementos

como los siguientes

1 Si existen documentos que normen los procesos y subprocesos o macroprocesos

2 Si los procesos y subprocesos o macroprocesos estaacuten estandarizados es decir si son

utilizados por todas la instancias ejecutoras de manera homogeacutenea

3 Si los procesos y subprocesos o macroprocesos estaacuten documentados y son del conocimiento

de todos los operadores

4 Si se cuenta con un sistema de monitoreo e indicadores de gestioacuten

5 Si se cuenta en los procesos y subprocesos o macroprocesos analizados con sistemas

informaacuteticos que permitan la automatizacioacuten en la ejecucioacuten de los mismos

6 Si se cuenta con mecanismos para la implementacioacuten sistemaacutetica de mejoras

Se considera que existe un mayor grado de consolidacioacuten operativa cuando existen todos los

elementos y disminuiraacute gradualmente conforme haga falta uno o maacutes de ellos hasta el menor grado

de consolidacioacuten que es cuando no existe ninguno de los elementos

El alcance de la Evaluacioacuten de Procesos del Pp implica el anaacutelisis de los procesos y subprocesos o

macroprocesos sustantivos del Pp asiacute como la respectiva priorizacioacuten de estos Se deberaacute realizar

la identificacioacuten y jerarquizacioacuten de los procesos a partir del Esquema 1 adaptaacutendolo a las

condiciones particulares del Pp3 en eacutel se observa lo siguiente

El proceso de ldquoPlaneacioacutenrdquo es el punto de partida para la implementacioacuten del Pp

posteriormente continuacutean los procesos de ldquoComunicacioacuten Interna y Externardquo ldquoSeleccioacuten de

destinatariosrdquo ldquoProduccioacuten de entregablesrdquo ldquoEntregardquo ldquoSeguimiento a destinatariosrdquo y

ldquoControlrdquo

La informacioacuten que se genera en los procesos de ldquoSeguimiento a destinatariosrdquo y ldquoControlrdquo

es un insumo directo para retroalimentar los procesos del Pp desde el de Planeacioacuten

El proceso de ldquoMonitoreordquo utiliza informacioacuten generada principalmente en los procesos de

ldquoComunicacioacutenrdquo ldquoSeleccioacuten de destinatariosrdquo ldquoProduccioacuten de entregablesrdquo ldquoEntregardquo y

ldquoSeguimiento a destinatariosrdquo a partir de ello se retroalimentan los procesos del Pp desde

la ldquoPlaneacioacutenrdquo

3 Con excepcioacuten de los procesos (con sus subprocesos) de Planeacioacuten Monitoreo y Evaluacioacuten Externa para

los cuales la instancia evaluadora uacutenicamente podraacute en caso de que lo considere pertinente agregar

subprocesos pero no suprimir subprocesos

PAE 2017 21

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

El proceso de ldquoEvaluacioacuten Externardquo requiere de informacioacuten transversal de todos los

procesos ya que se valora al Pp en su conjunto En este sentido los resultados de las

evaluaciones son un insumo para retroalimentar al Pp desde el proceso de ldquoPlaneacioacutenrdquo

Es importante sentildealar que en el Esquema 1 se muestra un modelo que es importante tomarlo en

cuenta como referencia para la identificacioacuten y definicioacuten de los procesos y subprocesos o

macroprocesos que integran la operacioacuten del Pp evaluado ademaacutes de que representa un auxiliar

en la definicioacuten del alcance y del enfoque de la Evaluacioacuten de Procesos del Pp

Esquema 1 Modelo general de procesos

Fuente Modelo de TdR para la Evaluacioacuten de Procesos Secretariacutea de Hacienda y Creacutedito Puacuteblico

A continuacioacuten se describe cada uno de los procesos que componen al modelo anterior

Planeacioacuten proceso en el que se determinan o definen el problema o necesidad aacuterbol de

problemas y objetivos poblacioacuten o aacuterea de enfoque potencial y objetivo objetivos

indicadores y metas de la MIR estrategia de cobertura plan estrateacutegico entre otros puntos

asiacute como los recursos financieros y humanos necesarios que requiere el Pp para lograr sus

objetivos En el proceso de planeacioacuten se determinan las directrices en el disentildeo e

implementacioacuten del Pp los subprocesos que lo integran son los siguientes planeacioacuten

estrateacutegica programacioacuten y presupuesto actualizacioacuten de la MIR actualizacioacuten de

normativa

PAE 2017 22

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Comunicacioacuten interna y externa proceso en el que se informan diversas caracteriacutesticas y

objetivos del Pp tanto a los actores involucrados en su funcionamiento y operacioacuten (interna)

como a su poblacioacuten o aacuterea de enfoque objetivo (externa)

Seleccioacuten de destinatarios proceso en el que se determina quieacutenes recibiraacuten los

componentes o entregables de un Pp en funcioacuten de su poblacioacuten o aacuterea de enfoque objetivo

Produccioacuten de entregables proceso en el que se elaboran los entregables o realizan los

componentes del Pp (recursos financieros o humanos apoyos bienes servicios

regulaciones documentos teacutecnicos o de planeacioacuten etc) conforme a sus documentos

normativos

Entrega proceso en el que se realiza la entrega de lo producido o generado por el Pp

(componentes o entregables) a los destinatarios o beneficiarios

Seguimiento a destinatarios actividades y mecanismos que permiten al Pp conocer coacutemo

son utilizados o aprovechados sus componentes o entregables (por sus destinatarios o

beneficiarios) para que entre otras funciones la UR del Pp identifique si se estaacute cumpliendo

con los objetivos Por ejemplo en este proceso se incluyen las actividades que un Pp

implementa para conocer el grado de satisfaccioacuten de sus destinatarios o beneficiarios

Control actividades y mecanismos implementados entre los operadores del Pp para verificar

que los diferentes procedimientos procesos y subprocesos se esteacuten ejecutando conforme a

lo planeado (control interno)

Monitoreo proceso coordinado por una unidad administrativa ajena a la operacioacuten del Pp

a traveacutes del cual se recaba registra y valida la informacioacuten sobre el avance de las metas de

los indicadores de la MIR asiacute como el seguimiento a los resultados de indicadores

adicionales a los de la MIR en caso de que se cuente con un sistema de monitoreo de gestioacuten

Los subprocesos que lo integran son los siguientes acopio de la informacioacuten para el reporte

de avances validacioacuten de informacioacuten y registro de avances primordialmente

Evaluacioacuten externa proceso coordinado por una unidad administrativa ajena a la operacioacuten

del Pp mediante el cual se define la agenda de evaluacioacuten externa del Pp se definen las

metodologiacuteas o los teacuterminos de referencia se contratan las evaluaciones externas (de

cualquier tipo) se recaba la informacioacuten que seraacute entregada a los equipos evaluadores se

realiza el seguimiento durante el desarrollo de las evaluaciones externas se aprueban los

PAE 2017 23

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

informes finales de las evaluaciones externas se notifica a las instancias correspondientes

sobre la conclusioacuten de las evaluaciones externas y se definen y realiza el seguimiento de los

Aspectos Susceptibles de Mejora (ASM)

A partir de los procesos definidos en el modelo anterior la instancia evaluadora deberaacute realizar una

equivalencia de los procesos subprocesos o macroprocesos identificados respecto a los definidos

en el modelo de acuerdo con el Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesosrdquo Cabe

mencionar que los procesos definidos en el modelo no son limitativos por lo que si la instancia

evaluadora identifica procesos subprocesos o macroprocesos adicionales deberaacute incluirlos

Disentildeo metodoloacutegico del trabajo de campo

A partir del contexto en que opera el Pp y el alcance y enfoque metodoloacutegico de la evaluacioacuten de

procesos la instancia evaluadora deberaacute desarrollar una propuesta de estrategia y plan de trabajo

de campo a seguir para la realizacioacuten de la evaluacioacuten asimismo deberaacute incluir un cronograma

detallado de actividades

La estrategia de trabajo de campo disentildeada por la instancia evaluadora deberaacute ser entregada a la

DEV para que en conjunto con la UR del Pp sea validada antes de su implementacioacuten Dicha

estrategia deberaacute contener al menos los siguientes elementos

Justificacioacuten de las teacutecnicas de investigacioacuten a utilizar

Muestra y los criterios utilizados para su seleccioacuten

Listado de los actores a entrevistar

Instrumentos de levantamiento de informacioacuten que se aplicaraacuten y

Cronograma con las actividades a desarrollar

La instancia evaluadora iniciaraacute las actividades del trabajo de campo de manera conjunta y una vez

recibido el visto bueno de la DEV

El disentildeo de la muestra y de los instrumentos para el levantamiento de informacioacuten en campo

deberaacute considerar a la totalidad de los actores que intervienen en la ejecucioacuten de los procesos y

subprocesos o macroprocesos que integran la operacioacuten o gestioacuten del Pp asiacute como a los

destinatarios o beneficiarios de los componentes o entregables del Pp independientemente de su

ubicacioacuten geograacutefica

Algunos criterios que puede utilizar la instancia evaluadora para definir una muestra que considere

la variabilidad de la operacioacuten en los diferentes contextos en que opera el Pp son los siguientes

PAE 2017 24

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

a) El desempentildeo operativo del Pp entre municipios regionalizacioacuten geograacutefica instituciones

puacuteblicas o privadas u otros aspectos que suponen una accioacuten diferenciada de los procesos

(cuando aplique)

b) Volumen de la operacioacuten del Pp

c) Esquemas normativos del Pp y el ejercicio presupuestal en los municipios instituciones

puacuteblicas o privadas u otros aspectos que suponen una accioacuten diferenciada de los procesos

en las que opera el Pp (cuando aplique) y

d) Formas de interaccioacuten del Pp con otros niveles u oacuterdenes de gobierno (cuando aplique)

Los criterios anteriores no son limitativos por lo que la instancia evaluadora podraacute proponer criterios

adicionales que considere pertinentes para la definicioacuten de la muestra para el trabajo de campo

En el disentildeo muestral la instancia evaluadora deberaacute sentildealar los funcionarios del Pp o destinatarios

a los que se les aplicaraacuten los instrumentos de levantamiento de informacioacuten con los que se realizaraacute

el trabajo de campo asiacute como la ubicacioacuten geograacutefica de los mismos

Instrumentos de levantamiento de informacioacuten

La instancia evaluadora deberaacute disentildear los instrumentos que utilizaraacute para el levantamiento de

informacioacuten durante el trabajo de campo como son (por ejemplo) los cuestionarios por tipo de

funcionario a entrevistar para el caso de entrevistas semiestructuradas los guiones a utilizar en la

realizacioacuten de grupos focales los cuestionarios de aplicacioacuten electroacutenica las guiacuteas respectivas entre

otros Para lo anterior deberaacute considerar los siguientes temas guiacutea y preguntas de referencia

Planeacioacuten (planeacioacuten estrateacutegica programacioacuten y presupuesto)

iquestQueacute se entiende por planeacioacuten estrateacutegica para los operadores del Pp

iquestCuaacuteles son las actividades o acciones de planeacioacuten estrateacutegica del Pp que se realizan

iquestLa planeacioacuten estrateacutegica es el resultado de un ejercicio institucionalizado que involucra a

los actores clave de la gestioacuten del Pp

iquestExiste un documento resultado de la planeacioacuten estrateacutegica iquestEs claro difundido y

accesible iquestEn queacute medida es utilizado para guiar la operacioacuten del Pp

iquestLa planeacioacuten estrateacutegica estaacute vinculada con el cumplimiento entrega o generacioacuten de los

componentes o entregables del Pp

iquestLa planeacioacuten estrateacutegica establece indicadores para medir los avances en las metas

establecidas iquestLas metas son factibles y estaacuten orientadas a impulsar el desempentildeo del Pp

PAE 2017 25

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

iquestQueacute se entiende por planeacioacuten operativa y cuaacuteles son las diferencias con la planeacioacuten

estrateacutegica

Comunicacioacuten interna y externa del Pp (las preguntas que apliquen)

iquestQueacute actores intervienen en la comunicacioacuten del Pp

iquestExiste una estrategia de comunicacioacuten del Pp documentada En caso afirmativo describirla

iquestLa estrategia de comunicacioacuten del Pp (documentada o no) es adecuada

iquestLos medios utilizados el lenguaje y el contenido de los mensajes son pertinentes en funcioacuten

del puacuteblico al que van dirigidos

Solicitud de los componentes o entregables del Pp (las preguntas que apliquen)

iquestExiste un proceso claro imparcial y expliacutecito por medio del cual la poblacioacuten o aacuterea de

enfoque potencial puede solicitar los componentes o entregables que otorga el Pp

iquestLos requisitos para solicitar los componentes o entregables del Pp se presentan de manera

clara y completa

iquestLos puntos de recepcioacuten de solicitudes son accesibles y suficientes (cuando aplique)

iquestExisten mecanismos estandarizados para recibir y revisar la documentacioacuten entregada asiacute

como registrar y dar traacutemite a las solicitudes (cuando aplique)

iquestSon adecuados estos mecanismos (cuando aplique) En caso de que el Pp que apoye la

realizacioacuten de proyectos iquestse brinda asesoriacutea para la presentacioacuten de los mismos de ser asiacute

iquestes pertinente esta asesoriacutea

iquestEl proceso de solicitud de los componentes o entregables que otorga el Pp se encuentra

automatizado total o parcialmente

Para esta pregunta considerar los estados de digitalizacioacuten utilizados por la Comisioacuten Intersecretarial

para el Desarrollo del Gobierno electroacutenico seguacuten una adaptacioacuten realizada a la clasificacioacuten que

hace la ONU

Estado de digitalizacioacuten 1 traacutemites y servicios que se encuentran en estado informativo

Estado de digitalizacioacuten 2 traacutemites y servicios que cuentan con interfaces de comunicacioacuten

unidireccional

Estado de digitalizacioacuten 3 traacutemites y servicios que permiten realizar transacciones y

Estado de digitalizacioacuten 4 traacutemites y servicios que el usuario puede ejecutar de principio a

fin por medio de dispositivos digitales

PAE 2017 26

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para mayor informacioacuten referirse a ldquoFigure A4 The four stages of online service developmentrdquo en

los siguientes documentos

Lineamientos relativos a la digitalizacioacuten estandarizada de traacutemites y servicios con apego en

la Estrategia Digital Nacional

httpwwwgobmxcmsuploadsattachmentfile67232ti_1_pgcm_bases_lineam_tyspdf

United Nations E-Government Survey 2014 (paacutegina 195)

httpspublicadministrationunorgegovkbportalsegovkbdocumentsun2014-surveye-

gov_complete_survey-2014pdf

Seleccioacuten de destinatarios (cuando aplique)

iquestExiste una metodologiacutea o meacutetodo para la seleccioacuten de destinatarios o beneficiarios de los

componentes o entregables del Pp iquestLa metodologiacutea utilizada cuenta con criterios de

seleccioacuten y elegibilidad claros estandarizados y sistematizados

iquestLa seleccioacuten de destinatarios o beneficiarios de los componentes o entregables del Pp es un

proceso transparente e imparcial iquestEl resultado de la seleccioacuten es puacuteblico (cuando aplique)

iquestExiste informacioacuten en una base de datos que permita conocer quieacutenes o queacute instancias

reciben los componentes o entregables del Pp iquestQueacute informacioacuten integra esta base de datos

iquestExisten mecanismos para validar y actualizar esta base de datos iquestEstos mecanismos son

pertinentes

Produccioacuten de componentes o entregables

iquestSe cuenta con los insumos suficientes para generar el volumen de componentes o

entregables que permitan al Pp atender a su poblacioacuten o aacuterea de enfoque objetivo

iquestEl Pp tiene mecanismos para estimar la produccioacuten o generacioacuten necesaria de componentes

o entregables de acuerdo con la posible demanda o requerimientos de su poblacioacuten o aacuterea

de enfoque objetivo iquestEs adecuado este mecanismo

iquestExisten mecanismos de control de calidad para la generacioacuten de los componentes o

entregables del Pp iquestEstos mecanismos son pertinentes

iquestLas actividades de generacioacuten de componentes o entregables que otorga el Pp estaacuten

estandarizadas es decir son ejecutadas de manera homogeacutenea por todas las instancias

involucradas

PAE 2017 27

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Entrega

iquestLos componentes o entregables del Pp son proporcionados conforme a las especificaciones

y de manera oportuna a los destinatarios

iquestExisten especificaciones (programas o planes de trabajo) sobre la forma en que se deben

trasladar los componentes o entregables para (por ejemplo) asegurar su adecuada recepcioacuten

en el punto de destino iquestSon adecuadas estas especificaciones respecto a normas o

lineamientos existentes (cuando aplique)

iquestLa logiacutestica de distribucioacuten se actualiza (cuando aplique) iquestExiste un periodo para dicha

actualizacioacuten iquestEn el disentildeo y actualizacioacuten de la logiacutestica se toman en cuenta los factores

geograacuteficos y climatoloacutegicos en cada regioacuten donde opera el Pp (cuando aplique)

iquestLos puntos de entrega de los componentes o entregables son cercanos a los beneficiarios

o aacuterea de enfoque a atender y son de faacutecil acceso iquestSe considera que son suficientes iquestPor

queacute

Control (las preguntas que apliquen)

iquestEl Pp cuenta con los mecanismos para verificar que los componentes o entregables se

otorguen de acuerdo con lo establecido en la normativa especiacutefica y lleguen a la poblacioacuten

o aacuterea de enfoque que deba ser beneficiada iquestEstos mecanismos son adecuados

iquestExiste de manera sistematizada un documento que deacute cuenta de los resultados de

supervisioacuten y entrega de componentes o entregables iquestEste documento es adecuado iquestLos

resultados se utilizan para implementar mejoras en la operacioacuten del Pp

iquestExisten procedimientos estandarizados que verifiquen el cumplimiento de la

corresponsabilidad u obligatoriedad por parte de los beneficiarios o destinatarios de los

componentes o entregables del Pp (cuando aplique)

Seguimiento a destinatarios

iquestEl Pp tiene mecanismos para verificar el procedimiento de seguimiento a los destinatarios o

beneficiarios que permitan identificar si los componentes o entregables generados son

utilizados de acuerdo con lo establecido iquestCoacutemo se implementa el mecanismo iquestEste

mecanismo es adecuado

iquestExisten procedimientos estandarizados que permitan verificar el cumplimiento de la

corresponsabilidad u obligatoriedad por parte del destinatario o beneficiario (cuando

aplique)

PAE 2017 28

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

En caso de que los componentes o entregables involucren la ejecucioacuten de obra o de

infraestructura iquestel Pp cuenta con un mecanismo de seguimiento o supervisioacuten que permita

identificar si se realizaron acorde a la normativa aplicable iquestEl seguimiento o supervisioacuten

considera plazos para la revisioacuten de las condiciones de la obra o la infraestructura despueacutes

de terminada la obra

iquestEl Pp tiene mecanismos para identificar si se cumple con su Propoacutesito iquestSon suficientes y

pertinentes estos mecanismos

iquestExisten mecanismos para conocer la satisfaccioacuten del destinatario o beneficiario de los

componentes o entregables del Pp respecto de los componentes que ofrece el Pp iquestSon

adecuados estos mecanismos iquestSu operacioacuten permite una aplicacioacuten imparcial y objetiva

iquestExiste evidencia para afirmar que las quejas y sugerencias que brindan los destinatarios o

beneficiarios de los componentes o entregables del Pp son utilizadas para la mejora continua

del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

En esta seccioacuten se deberaacute realizar la medicioacuten de los atributos de eficacia oportunidad suficiencia

y pertinencia de los procesos y subprocesos o macroprocesos definidos en el mapa de procesos del

Pp A continuacioacuten se definen los atributos en el marco de la evaluacioacuten de procesos

Eficacia un proceso es eficaz en la medida en que cumple con sus metas

Oportunidad un proceso es oportuno en la medida en que otorga sus productos

(componentes o entregables) o resultados en un periodo de tiempo determinado o

adecuado para el logro de sus objetivos

Suficiencia un proceso es suficiente en la medida en que produce sus resultados de forma

completa o adecuada para el logro de sus objetivos

Pertinencia un proceso es pertinente si sus actividades y productos son adecuados para

lograr tanto sus metas especiacuteficas como sus objetivos es decir si contribuyen al

mejoramiento de la gestioacuten del Pp4

4 Las actividades son adecuadas si estaacuten en funcioacuten del logro del objetivo de cada proceso Por ejemplo si se verifica que el formato de los mensajes a difundir cumpla con las caracteriacutesticas necesarias para llegar a la poblacioacuten o aacuterea de enfoque objetivo como seriacutea una mensaje de audio en la lengua indiacutegena de la localidad donde se encuentran los posibles destinatarios o beneficiarios o bien como seriacutea un mensaje dirigido a personal operativo del Pp cuyo nivel de estudios promedio pudiera complicar la comprensioacuten de lenguaje teacutecnico utilizado

PAE 2017 29

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para la medicioacuten de los atributos de los procesos y subprocesos o macroprocesos del Pp deberaacute

realizarse una revisioacuten documental (normativa aplicable MIR evaluaciones externas sistemas de

informacioacuten y registros administrativos entre otros) misma que deberaacute complementarse con el

trabajo de campo con el objetivo de identificar disentildear y calcular indicadores relacionados con

dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de informacioacuten empleadas

La informacioacuten obtenida de estos indicadores deberaacute vaciarse en fichas propuestas por la instancia

evaluadora presentadas como en el Anexo 6 ldquoFichas de indicadores de atributos de los procesos del

Pprdquo (formato libre) Estas fichas deberaacuten considerar la medicioacuten de los atributos de eficacia

suficiencia oportunidad y pertinencia correspondientes a cada proceso y subproceso o

macroproceso

Valoracioacuten de los procesos y subprocesos de la operacioacuten del Pp

Deberaacute contener una siacutentesis de los resultados encontrados en la Evaluacioacuten de Procesos del Pp

resaltando los hallazgos maacutes relevantes que se hayan detectado y que pudiesen transformarse en

ASM

La instancia evaluadora deberaacute calcular una valoracioacuten global cuantitativa sobre la operacioacuten y la

ejecucioacuten de los procesos y subprocesos o macroprocesos del Pp a partir del siguiente esquema de

puntuacioacuten5

Eficacia

- Todos los procesos (o macroprocesos) son eficaces = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es eficaz = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es eficaz = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es eficaz = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es eficaz = 1 punto

- Ninguno de los procesos (o macroprocesos) es eficaz = 0 puntos

Oportunidad

- Todos los procesos (o macroprocesos) son oportunos = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es oportuno = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es oportuno = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es oportuno = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es oportuno = 1 punto

5 La valoracioacuten cuantitativa deberaacute estar sustentada y por tanto ser consistente con lo valorado por la instancia evaluadora en el apartado de ldquoMedicioacuten de atributos de los procesos y subprocesosrdquo

PAE 2017 30

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

- Ninguno de los procesos (o macroprocesos) es oportuno = 0 puntos

Suficiencia

- Todos los procesos (o macroprocesos) son suficientes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es suficiente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es suficiente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es suficiente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es suficiente = 1 punto

- Ninguno de los procesos (o macroprocesos) es suficiente = 0 puntos

Pertinencia

- Todos los procesos (o macroprocesos) son pertinentes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es pertinente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es pertinente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es pertinente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es pertinente = 1 punto

- Ninguno de los procesos (o macroprocesos) es pertinente = 0 puntos

A partir de los puntajes asignados en los cuatro atributos anteriores esta valoracioacuten cuantitativa

global debe considerar el total de puntos posibles de obtener (5 x 4 = 20 puntos) y los puntos

obtenidos en la Evaluacioacuten de Procesos Pp (lsquoyrsquo puntos) de modo que se indique el porcentaje de

puntos obtenidos del total de puntos posibles [(lsquoyrsquo20) x 100] = valoracioacuten cuantitativa global de la

operacioacuten del Pp

La instancia evaluadora deberaacute utilizar el Anexo 9 ldquoValoracioacuten global cuantitativardquo para documentar

argumentar y sustentar cada una de las valoraciones cuantitativas sobre la operacioacuten y la ejecucioacuten

de los procesos (o macroprocesos) del Pp

Adicionalmente en este apartado se deberaacuten integrar las recomendaciones y conclusiones que se

consideren maacutes relevantes de los procesos y subprocesos o macroprocesos del Pp las cuales deben

formularse con base en los hallazgos del trabajo de campo y de gabinete El objetivo final de las

recomendaciones es proveer informacioacuten valiosa a los operadores del Pp para realizar adecuaciones

en la ejecucioacuten de los procesos y subprocesos o macroprocesos de modo que se potencie la

consecucioacuten de resultados del Pp

Las recomendaciones que se formulen como resultado de la Evaluacioacuten de Procesos del Pp deberaacuten

tener las siguientes caracteriacutesticas

Derivarse de los hallazgos de la evaluacioacuten

PAE 2017 31

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Ser concretas y factibles

Incluir un proyecto de implementacioacuten que considere los siguientes elementos

- Breve anaacutelisis de la viabilidad o factibilidad de la implementacioacuten

- Principales responsables de la implementacioacuten

- Anaacutelisis de los efectos potenciales que puede implicar la implementacioacuten tanto en la

operacioacuten del Pp como en el logro de sus objetivos

- La comparacioacuten entre la situacioacuten actual y el resultado que se espera obtener con la

implementacioacuten de la recomendacioacuten

Estar categorizadas en dos liacuteneas de accioacuten estrateacutegicas

- Consolidacioacuten

- Reingenieriacutea de procesos o subprocesos

Al respecto la instancia evaluadora debe entender por consolidacioacuten aquellas recomendaciones que

estaacuten dirigidas a perfeccionar determinados aspectos de la operacioacuten como seriacutean algunas acciones

procedimientos o estrategias del Pp asiacute como iniciativas para el fortalecimiento de los sistemas

automatizados infraestructura entre otros

Por reingenieriacutea de procesos o subprocesos se entenderaacuten aquellas recomendaciones que apuntan

a una transformacioacuten o modificacioacuten profunda o sustancial de uno o varios de los procesos y

subprocesos del Pp Para ello se deberaacute llenar el Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de

Procesos del Pprdquo y que a su vez deben derivar en acciones de consolidacioacuten para la implementacioacuten

de los procesos transformados

Adicionalmente y de conformidad con el alcance de la Evaluacioacuten de Procesos del Pp se deberaacute

presentar una propuesta para crear o fortalecer el sistema de monitoreo de gestioacuten del Pp con

indicadores a nivel de procesos y subprocesos o macroprocesos

Asimismo a partir de todo el anaacutelisis y valoraciones realizadas se deberaacute emitir un pronunciamiento

acerca de la percepcioacuten de eficiencia que la instancia evaluadora haya tenido sobre la ejecucioacuten de

los procesos y subprocesos o macroprocesos del Pp

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible o si no hipoteacuteticos en un anexo de formato libre Anexo 10 ldquoSistema de

monitoreo e indicadores de gestioacuten del Pprdquo

PAE 2017 32

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Bitaacutecora de trabajo de campo y bases de datos

La instancia evaluadora deberaacute entregar una bitaacutecora de trabajo de campo que destaque de forma

sinteacutetica entre otros puntos las principales actividades y situaciones a las que se enfrentoacute y que

podriacutean afectar los resultados de la Evaluacioacuten de Procesos del Pp

Asimismo deberaacute entregar las bases de datos generadas a partir de la aplicacioacuten de los instrumentos

de recoleccioacuten de informacioacuten y de la recopilacioacuten de informacioacuten en el trabajo de campo Las bases

de datos deberaacuten entregarse en formatos compatibles con Excel debiendo mantener la

confidencialidad de los entrevistados pero sin alterar la informacioacuten proporcionada por estos En las

bases de datos debe estar sistematizada toda la informacioacuten recabada a partir de la aplicacioacuten de

los instrumentos de levantamiento de informacioacuten y deberaacute sustentar el anaacutelisis las valoraciones los

hallazgos y las conclusiones de la evaluacioacuten

PAE 2017 33

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Contenido del informe

Contenido miacutenimo del informe final de la evaluacioacuten

Derivado del contenido generado en las secciones anteriores deberaacuten elaborarse los siguientes

apartados en el informe final de la Evaluacioacuten de Procesos del Pp

i Introduccioacuten

ii Resumen Ejecutivo

iii Marco Legal

iv Datos Generales del Programa Presupuestario (Pp)

v Criterios Teacutecnicos para la Evaluacioacuten del Programa Presupuestario correspondiente

vi Apartados de la evaluacioacuten

Seccioacuten 1 Disentildeo

Diagnoacutestico del programa puacuteblico

Matriz de Indicadores para Resultados (MIR)

Seccioacuten 2 Procesos

Pertinencia de los proceso

Diagnoacutestico general de los procesos y subprocesos del Pp

- Contexto en que opera el Pp

- Diagnoacutestico inicial de los procesos y subprocesos

Descripcioacuten y valoracioacuten de los procesos y subprocesos del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

vii Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

viii Valoracioacuten final del Pp

ix Hallazgos

x Recomendaciones clasificadas por apartado

xi Conclusiones

xii Bibliografiacutea

xiii Anexos

Anexo 1 Descripcioacuten General del Programa

Anexo 2 Metodologiacutea para la cuantificacioacuten de las poblaciones potencial y objetivo

(Formato Libre)

Anexo 3 Evolucioacuten de la Cobertura

Anexo 4 Propuesta de mejora de la Matriz de Indicadores para Resultados

Anexo 5 Ficha de identificacioacuten y equivalencia de procesos del Pp

PAE 2017 34

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 Fichas de indicadores de atributos de los procesos del Pp (Formato libre)

Anexo 7 Diagramas de flujo de la operacioacuten del Pp

Anexo 8 Propuesta de modificacioacuten a los documentos normativos o institucionales

del Pp

Anexo 9 Valoracioacuten global cuantitativardquo

Anexo 10 Sistema de monitoreo e indicadores de gestioacuten del Pp (Formato libre)

Anexo 11 Recomendaciones de la Evaluacioacuten de Procesos del Pp

Anexo 12 Principales Fortalezas Retos y Recomendaciones

Anexo 13 Ficha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacuten

En el Resumen Ejecutivo asimismo se describiraacuten los principales hallazgos y recomendaciones del

evaluador externo

Para el desarrollo de los apartados antes referidos deberaacute atender las indicaciones que se desarrollan

en las siguientes secciones

Hallazgos y resultados Pp por Seccioacuten

Se debe realizar una valoracioacuten general del programa por seccioacuten utilizando las respuestas que

integran cada uno de los apartados En esta valoracioacuten integral se deberaacute sentildealar en queacute medida la

gestioacuten operativa conduce al logro de los objetivos del Pp

Asimismo se deben sentildealar las aacutereas de mejora las buenas praacutecticas y las fortalezas detectadas en

la operacioacuten del Pp y a partir de ello la instancia evaluadora emitiraacute recomendaciones de mejora

sobre aspectos especiacuteficos de cada proceso y subproceso o macroproceso del Pp Adicionalmente

se deberaacuten identificar los problemas o limitantes tanto normativos como operativos (ldquocuellos de

botellardquo) de coordinacioacuten entre unidades administrativas y otros que hubiese en los procesos y

subprocesos o macroprocesos del Pp entendieacutendose como aquellas praacutecticas procedimientos

actividades o traacutemites que obstaculizan la operacioacuten del Pp

En este sentido se deberaacuten identificar las situaciones en las que la normativa genere complicaciones

en la gestioacuten o ineficacia en el cumplimiento de los objetivos del Pp para lo cual se deberaacute presentar

(por cada situacioacuten identificada) una propuesta de modificacioacuten a la normativa aplicable al Pp

considerando las restricciones praacutecticas que existan para su implementacioacuten asiacute como los efectos

PAE 2017 35

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

potenciales de ser implementada Los resultados de este anaacutelisis deberaacuten describirse en el Anexo 7

ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales del Pprdquo

Para la identificacioacuten y descripcioacuten de los ldquocuellos de botellardquo buenas praacutecticas y fortalezas del Pp

se consideraraacute la informacioacuten derivada del anaacutelisis de la operacioacuten del Pp asiacute como los puntos de

vista de los principales actores que intervienen en ella Este anaacutelisis deberaacute contener las causas y las

consecuencias de los ldquocuellos de botellardquo detectados sus caracteriacutesticas y naturaleza (si son

normativas o estrictamente operativas) de igual manera se deberaacute desarrollar un anaacutelisis de las

buenas praacutecticas identificadas

Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

Se debe integrar en una sola tabla las fortalezas oportunidades debilidades y amenazas

especificadas por cada apartado de la evaluacioacuten y reportarlas en el Anexo 11 ldquoPrincipales Fortalezas

Retos y Recomendacionesrdquo en el que se deben incluir las fortalezas yo oportunidades las

debilidades yo amenazas y las recomendaciones por apartado de la evaluacioacuten

PAE 2017 36

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexos

Anexo 1 ldquoDescripcioacuten General del Programardquo

El Anexo tiene formato libre sin embargo debe contener una breve descripcioacuten de las caracteriacutesticas

maacutes relevantes del Pp en un maacuteximo de dos cuartillas Dicha descripcioacuten debe considerar los

siguientes aspectos

1 Identificacioacuten del programa

11 Nombre

12 Clave de programa

13 Dependencia yo Entidad coordinadora ejecutora

14 Antildeo de inicio de operacioacuten

2 Problema o necesidad que el Pp pretende atender atenuar o resolver

3 La contribucioacuten del Pp a las Metas y objetivos estatales a los que se vincula

4 Descripcioacuten de los objetivos del Pp asiacute como de los bienes yo servicios que ofrece

(componentes)

5 Identificacioacuten y cuantificacioacuten de la poblacioacuten o aacuterea de enfoque potencial y

objetivo

6 Presupuesto aprobado para el ejercicio fiscal en curso

7 Metas de los indicadores de Fin Propoacutesito y Componentes asiacute como los de nivel

actividad que se consideren relevantes y

8 Resumen de la valoracioacuten de la pertinencia del disentildeo del Pp respecto a la atencioacuten

del problema o necesidad

Anexo 2 ldquoMetodologiacutea para la cuantificacioacuten de la poblacioacuten o aacuterea de enfoque

potencial y objetivordquo

El Anexo tiene formato libre sin embargo se debe incluir la siguiente informacioacuten

Definicioacuten de la poblacioacuten o aacuterea de enfoque potencial objetivo y atendida

Cuantificacioacuten de la poblacioacuten potencial objetiva y atendida

Hallazgos sobre el procedimiento llevado a cabo para definir y cuantificar la poblacioacuten o

aacuterea de enfoque potencial objetivo y atendida

Recomendaciones

Propuesta orientada hacia la mejora

PAE 2017 37

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 3 ldquoEvolucioacuten de la Coberturardquo

Nombre del

Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten

Antildeo de la Evaluacioacuten

Tipo de Poblacioacuten

Unidad

de

Medida

2012 2013 2014 2015 2016

P Potencial

P Objetivo

P Atendida

119927119912 times 120783120782120782

119927119926

PAE 2017 38

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 4 ldquoPropuesta de mejora de la Matriz de Indicadores para Resultadosrdquo

Derivado del anaacutelisis y valoracioacuten de la pregunta de investigacioacuten nuacutemero 3 iquestLa estructura de

objetivos planteada por el programa mantiene loacutegica y correspondencia causal con el problema

planteado en el diagnoacutestico se realizaraacute una propuesta de mejora de MIR

Fin

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Propoacutesito

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Componente 1

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

PAE 2017 39

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Componente 2 hellip

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 40

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesos del Pprdquo

Para la identificacioacuten y clasificacioacuten de los procesos del Pp se sugieren los siguientes pasos

1 Listar los procesos identificados

Comparar los procesos identificados del Pp con aquellos correspondientes al Modelo general de

procesos Colocar en el rengloacuten correspondiente el nombre de cada proceso del Pp identificado

como equivalente

2 Colocar al final de la lista aquellos procesos del Pp que no sean equivalentes con el Modelo

general de procesos

Modelo general de

procesos

Nuacutemero

de

secuencia

Procesos o subprocesos del Pp identificados por el

evaluador

(Nombre y breve descripcioacuten)

Planeacioacuten Ejemplo (Ej) Planeacioacuten Estrateacutegica

Ej Programacioacuten

Ej Presupuestacioacuten

Comunicacioacuten interna y

externa

Ej Difusioacuten Federal

Ej Difusioacuten Local

Seleccioacuten de

destinatarios

Ej Recepcioacuten de solicitudes de becas

Ej Seleccioacuten de becarios

Produccioacuten de

entregables

Entrega

Control

Seguimiento Ej Seguimiento fiacutesico y supervisioacuten en campo

Evaluacioacuten externa Ej Publicacioacuten y lectura del PAE

Ej Definicioacuten de TdR

Ej Contratacioacuten

Ej Ejecucioacuten de la evaluacioacuten externa

Monitoreo Ej Registro de avances de indicadores

Ej Revisioacuten de registros

Ej Validacioacuten de registros e integracioacuten de informes

PAE 2017 41

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Procesos identificados por el evaluador que no coinciden con el Modelo general de procesos

PAE 2017 42

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 ldquoFichas de indicadores de atributos de los procesos del Pp (formato libre)rdquo

Para la construccioacuten de este anexo deberaacute realizarse una revisioacuten documental (normativa aplicable

MIR evaluaciones externas sistemas de informacioacuten y registros administrativos entre otros) misma

que deberaacute complementarse con el trabajo de campo con el objetivo de identificar disentildear y calcular

indicadores relacionados con dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de

informacioacuten empleadas

Ademaacutes de considerar la medicioacuten de los atributos de eficacia suficiencia oportunidad y pertinencia

de cada proceso y subproceso o macroproceso

PAE 2017 43

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 7 ldquoDiagramas de flujo de la operacioacuten del Pprdquo

Para la elaboracioacuten de los diagramas de flujo deberaacute utilizarse la notacioacuten empleada en el

documento ldquoGuiacutea para la Optimizacioacuten Estandarizacioacuten y Mejora Continua de Procesosrdquo publicada

por la SFP en la direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Para el Diagrama de Alto Nivel (Diagrama PEPSU)

Ejemplo ilustrativo

PAE 2017 44

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para el Diagrama de Flujo

PAE 2017 45

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

PAE 2017 46

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 8 ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales

del Pprdquo

Tipo de

norma-

tiva

Dice

Problema

generado

(causas y

consecuencias)

Se

recomienda

decir

Efecto esperado de

aplicar la

recomendacioacuten de

cambio

Restricciones praacutecticas

que puedan existir para

su implementacioacuten

PAE 2017 47

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 9 ldquoValoracioacuten global cuantitativa ldquo

Seccioacuten 1 Disentildeo

Disentildeo Valoracioacuten Argumento o justificacioacuten

Porcentaje del

Disentildeo del Pp

(Suma de valoracioacuten alcanzada por pregunta de la seccioacuten 1 Total maacuteximo de la

valoracioacuten de todas las preguntas de la seccioacuten 1 ) x 100

Seccioacuten 2 Procesos

Proceso Eficacia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

eficaces

(Total de procesos eficaces Total de procesos del Pp) x 100

Proceso Oportunidad

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

oportunos

(Total de procesos oportunos Total de procesos del Pp) x 100

Proceso Suficiencia

(SiacuteNo) Argumento o justificacioacuten

PAE 2017 48

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Porcentaje de

procesos

suficientes

(Total de procesos suficientes Total de procesos del Pp) x 100

Proceso Pertinencia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

pertinentes

(Total de procesos pertinentes Total de procesos del Pp) x 100

NOTA Los argumentos y justificaciones del evaluador deberaacuten considerar el anaacutelisis y valoraciones de

los subprocesos de cada proceso de modo que haya consistencia entre estos elementos Asimismo el

evaluador deberaacute expresar los resultados de la valoracioacuten cuantitativa en una graacutefica tipo radial

PAE 2017 49

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 10 ldquoSistema de monitoreo e indicadores de gestioacuten del Pp (formato libre)rdquo

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible

Nombre del Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten De Procesos

Antildeo de la Evaluacioacuten 2017

Fin Justificacioacuten Propoacutesito Justificacioacuten Componente (s) Justificacioacuten

Nombre de

Indicador

Meacutetodo de Caacutelculo

Claro SiacuteNo SiacuteNo SiacuteNo

Relevante SiacuteNo SiacuteNo SiacuteNo

Econoacutemico SiacuteNo SiacuteNo SiacuteNo

Monitoreable SiacuteNo SiacuteNo SiacuteNo

Adecuado SiacuteNo SiacuteNo SiacuteNo

Definicioacuten SiacuteNo SiacuteNo SiacuteNo

Unidad de Medida SiacuteNo SiacuteNo SiacuteNo

Frecuencia de

Medicioacuten

SiacuteNo SiacuteNo SiacuteNo

Liacutenea Base SiacuteNo SiacuteNo SiacuteNo

Metas SiacuteNo SiacuteNo SiacuteNo

Comportamiento

del Indicador

SiacuteNo SiacuteNo SiacuteNo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 50

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de Procesos del Pprdquo

En este Anexo la instancia evaluadora debe valorar si la recomendacioacuten implica una consolidacioacuten o

una reingenieriacutea del proceso

A) Consolidacioacuten

Proceso Recomendaci

oacuten

Breve

anaacutelisis de

viabilidad de

la

implementa-

cioacuten

Principales

responsables

de la

implementaci

oacuten

Situacioacuten

actual

Efectos

potenciales

esperados

Medio de

verifica-

cioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

B) Reingenieriacutea de procesos

Proceso Objetivo

Breve

anaacutelisis de

viabilidad

de la

implemen-

tacioacuten

Principales

responsables

de la

implemen-

tacioacuten

Situa-

cioacuten

actual

Metas y

efectos

potenciale

s

esperados

Elabora-

cioacuten de

flujogram

a del

nuevo

proceso

Medio

de

verifi-

cacioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

NOTA El nivel de priorizacioacuten Alto Medio o Bajo se estimaraacute considerando la mejora en la operacioacuten

del Pp la viabilidad de la implementacioacuten de la recomendacioacuten asiacute como el efecto potencial que esto

pueda tener el alcance del objetivo del Pp

PAE 2017 51

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 12 ldquoPrincipales Fortalezas Retos y Recomendacionesrdquo

Capacidades Internas Factores Externos

Fortalezas

(Cualquier capacidad con la que cuenta la dependencia o

entidad que le permita aprovechar sus recursos para la

obtencioacuten de sus objetivos)

Oportunidades

(Cualquier factor externo fuera del control de la dependencia o

entidad que puede ser aprovechado para la obtencioacuten de sus

objetivos)

Debilidades

(Cualquier limitante Interna de la dependencia o entidad que

puede afectar la obtencioacuten de sus objetivos)

Amenazas

(Cualquier factor externo fuera de control de la dependencia o

entidad que pueda afectar la obtencioacuten de sus objetivos)

PAE 2017 52

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacutenrdquo

El Informe Final de la Evaluacioacuten de Procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten

Superior deberaacuten contener una ficha con los siguientes datos

Ficha Teacutecnica con los datos generales de la evaluacioacuten

Nombre o denominacioacuten de la

evaluacioacuten

[Especificar el nombre de la evaluacioacuten considerando su tipo y ejercicio

evaluado]

Nombre o denominacioacuten del

programa evaluado

[Indicar el nombre del Pp sujeto a evaluacioacuten de acuerdo con lo

establecido en el PEF sentildealando su modalidad y clave]

Unidad Responsable de la operacioacuten

del programa

[Especificar la(s) unidad(es) responsable(s) de la administracioacuten

operacioacuten y ejecucioacuten de los programas subprogramas y proyectos del

Pp evaluado correspondientes a las dependencias y entidades]

Titular de la unidad responsable de la

operacioacuten del programa

[Indicar el nombre del(a) Titular de la Unidad Responsable de la

operacioacuten del Pp]

Antildeo del Programa Anual de

Evaluacioacuten (PAE) en que fue

considerada la evaluacioacuten

[Especificar el ejercicio fiscal al que corresponde el PAE en la que fue

programada la evaluacioacuten]

Antildeo de conclusioacuten y entrega de la

evaluacioacuten

[Indicar el antildeo en que se concluyoacute la evaluacioacuten]

Tipo de evaluacioacuten [Especificar el tipo de evaluacioacuten de acuerdo con los Lineamientos de

evaluacioacuten el nombre de la evaluacioacuten y con lo establecido en el PAE]

Nombre de la instancia evaluadora [Indicar el nombre de la firma consultoriacutea u organizacioacuten que realizoacute la

evaluacioacuten]

Nombre del(a) coordinador(a)

externo(a) de la evaluacioacuten

[Especificar el nombre del(a) responsable de la coordinacioacuten de la

evaluacioacuten dla instancia evaluadora]

Nombre de los(as) principales

colaboradores(as) del(a)

coordinador(a) de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del(a)

coordinador(a) de la evaluacioacuten]

PAE 2017 53

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Unidad Administrativa responsable de

la Coordinacioacuten de la evaluacioacuten

[De acuerdo con lo sentildealado en el PAE especificar la instancia a la que

corresponde la coordinacioacuten de la evaluacioacuten pej Secretariacutea de

Finanzas y Administracioacuten (SFA) asiacute como la unidad administrativa

mediante la cual se ejerce esta funcioacuten p ej Direccioacuten de Evaluacioacuten

de la SFA (DEV)

Nombre del(a) Titular de la unidad

administrativa responsable de

coordinar la evaluacioacuten (Aacuterea de

Evaluacioacuten)

[Especificar el nombre del(a) Titular de la Unidad responsable de dar

seguimiento a la evaluacioacuten que funge como Aacuterea de Evaluacioacuten]

Nombres de los(as) servidores(as)

puacuteblicos(as) adscritos(as) a la unidad

administrativa responsable de

coordinar la evaluacioacuten que

coadyuvaron con la revisioacuten teacutecnica

de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del

titular de la unidad administrativa responsable de dar seguimiento a la

evaluacioacuten respecto de la revisioacuten teacutecnica de la misma]

Forma de contratacioacuten de la instancia

evaluadora

[Indicar el tipo de contratacioacuten dla instancia evaluadora Especificar el

tipo de procedimiento de contratacioacuten de la instancia evaluadora

consistente con los tipos de adjudicacioacuten establecidos en la Ley de

Adquisiciones Arrendamientos y Servicios del Sector Puacuteblico]

Costo total de la evaluacioacuten con IVA

incluido

[Especificar el costo total de la evaluacioacuten incluyendo el IVA (en caso

de que se haya causado) como sigue $XXX IVA incluido]

Asimismo en este anexo se deberaacute incluir una nota metodoloacutegica con la descripcioacuten de las teacutecnicas

y los modelos utilizados por el evaluador externo acompantildeada del disentildeo por muestreo

especificando los supuestos empleados y las principales caracteriacutesticas del tamantildeo y dispersioacuten de

la muestra utilizada

DIRECTORIO

Rauacutel Saacutenchez Kobashi

Secretario de la Secretariacutea de Finanzas y Administracioacuten

Francisco Fidel Teomitzi Saacutenchez

Subsecretario de Planeacioacuten

Arturo Neponuceno Crisoacutestomo

Director de Evaluacioacuten

Rodolfo de la Rosa Cabrera

Subdireccioacuten de Evaluacioacuten de Programas

Sauacutel Federico Oropeza Orea

Jefe del Departamento de Programas Estatales y Municipales

Ana Luz Guzmaacuten Figueroa

Analista del Departamento de Programas Estatales y Municipales

Marco Antonio Saacutenchez Gonzaacutelez

Analista del Departamento de Programas Estatales y Municipales

Page 17: Términos de Referencia para la Evaluación del Desempeño ...evaluacion.puebla.gob.mx/pdf/metodologias/TdR_Est/2017/TdR... · Perfil de la instancia evaluadora ... acuerdo con las

PAE 2017 16

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Diagnoacutestico inicial de los procesos y subprocesos o macroprocesos del Pp La instancia

evaluadora deberaacute desarrollar a partir del trabajo de gabinete y de entrevistas

semiestructuradas con funcionarios de la(s) Unidad(es) Responsable(s) del Pp realizadas un

diagnoacutestico inicial de procesos del Pp en el que se identifiquen claramente los procesos y

subprocesos o macroprocesos que integran su operacioacuten o gestioacuten asiacute como las instancias

o actores que participan en ellos se deberaacute presentar una descripcioacuten integral con un mapa

de procesos y subprocesos o macroprocesos del Pp asiacute como llenar el Anexo 5 ldquoFicha de

identificacioacuten y equivalencia de procesosrdquo Las entrevistas semiestructuradas se realizaraacuten con

la finalidad de profundizar y despejar dudas sobre el mapa de los procesos y subprocesos o

macroprocesos que integran la gestioacuten operativa del Pp En esta seccioacuten la instancia

evaluadora deberaacute sentildealar cuaacuteles de los procesos y subprocesos o macroprocesos

identificados estaacuten documentados y cuaacuteles no asiacute como ndashen su casondash la normativa que los

rige por ejemplo un manual de procedimientos o de organizacioacuten lineamientos de

operacioacuten entre otros Cabe sentildealar que los procesos y subprocesos o macroprocesos que

integran la operacioacuten o gestioacuten del Pp son estructuras analiacuteticas que debe de construir la

instancia evaluadora a partir de su experiencia en el desarrollo de evaluaciones de procesos

e implementacioacuten de poliacuteticas puacuteblicas por tanto debe tenerse en cuenta que a pesar de

ser lo deseable los procesos y subprocesos o macroprocesos no necesariamente pueden

estar documentados

5 Descripcioacuten y valoracioacuten de los procesos y subprocesos del Pp

Consideraciones

Despueacutes de realizar el trabajo de campo y sistematizar la informacioacuten levantada la instancia

evaluadora deberaacute realizar la descripcioacuten y valoracioacuten de cada uno de los procesos subprocesos o

macroprocesos identificados en el Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesosrdquo

contrastando en todos los casos la evidencia documental y su ejecucioacuten en la praacutectica

Por lo anterior en esta seccioacuten se deberaacute realizar una descripcioacuten minuciosa del desarrollo y el

anaacutelisis de cada proceso y subproceso o macroproceso de acuerdo con el alcance establecido

utilizando la informacioacuten obtenida mediante el anaacutelisis de gabinete y el trabajo de campo asimismo

se deberaacute realizar una valoracioacuten integral sobre la gestioacuten de cada uno de los procesos a partir de

la gestioacuten en sus subprocesos o macroprocesos a partir de la gestioacuten de los procesos

PAE 2017 17

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

La valoracioacuten de cada proceso subproceso o macroproceso deberaacute contener la siguiente estructura

1 Descripcioacuten detallada de las actividades los elementos y los actores que integran el

desarrollo de cada proceso y subproceso o macroproceso

2 Liacutemites de cada proceso y subproceso o macroproceso asiacute como su articulacioacuten con otros

3 Insumos y recursos determinar si los insumos y los recursos disponibles son suficientes y

adecuados para la ejecucioacuten de cada proceso y subproceso o macroproceso

a Tiempo iquestel tiempo en que se ejecuta el proceso o subproceso es el adecuado acorde

a lo planificado y congruente con la normativa que aplica

b Personal iquestel personal es suficiente tiene el perfil y cuenta con la capacitacioacuten necesaria

para la ejecucioacuten del proceso o subproceso

c Recursos financieros iquestlos recursos financieros son suficientes para la ejecucioacuten del

proceso o subproceso

d Recursos materiales iquestlos recursos materiales son suficientes para la ejecucioacuten del

proceso o subproceso

e Infraestructura iquestse cuenta con la infraestructura o capacidad instalada suficiente para

la ejecucioacuten del proceso o subproceso

f Insumos tecnoloacutegicos

4 Productos iquestlos productos de cada proceso subproceso o macroproceso sirven de insumo

para ejecutar el proceso subproceso o macroproceso subsecuente

5 Sistemas de informacioacuten iquestLos sistemas de informacioacuten utilizados en la ejecucioacuten de cada

proceso subproceso o macroproceso (automatizados semiautomatizados o manuales)

funcionan como una fuente de informacioacuten uacutetil para los sistemas de monitoreo a nivel central

y para los operadores en otros niveles iquestEstos sistemas de informacioacuten automatizan algunos

procesos subprocesos o macroproceso del Pp iquestSirven como mecanismo de control interno

para el mejor de desarrollo de los procesos subprocesos o macroproceso

6 Coordinacioacuten iquestla coordinacioacuten entre los actores oacuterdenes de gobierno o dependencias

involucradas es adecuada para la ejecucioacuten del proceso subproceso o macroproceso

7 Evaluacioacuten de la pertinencia de la forma en que se ejecuta cada proceso subproceso o

macroproceso en el contexto y condiciones en que se desarrolla considerando la estructura

organizacional involucrada y la coordinacioacuten entre las unidades administrativas que

intervienen en el proceso subproceso o macroproceso

8 Identificacioacuten de las caracteriacutesticas relacionadas con la importancia estrateacutegica de cada

proceso subproceso o macroproceso

PAE 2017 18

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

9 Opinioacuten de actores (destinatarios beneficiarios usuarios clientes u operadores del Pp)

sobre la eficacia eficiencia y calidad de cada proceso subproceso o macroproceso

10 Existencia de mecanismos para conocer la satisfaccioacuten de los beneficiarios o destinatarios de

los componentes o entregables que otorga el Pp

Por otra parte en caso de que el Pp genere diversos componentes o entregables y que estos

impliquen la realizacioacuten de actividades diferentes seraacute necesario describir los procesos y

subprocesos o macroprocesos correspondientes a cada tipo de componente o entregable otorgado

En la descripcioacuten de los procesos y subprocesos o macroprocesos la instancia evaluadora de manera

coordinada con la DEV deberaacute realizar los diagramas de alto nivel y los diagramas detallados

(diagramas de flujo) que describan los procesos y subprocesos o macroprocesos del Pp Para ello se

deberaacute usar como referencia la seccioacuten ldquoVII Mapeo de procesosrdquo de la ldquoGuiacutea para la Optimizacioacuten

Estandarizacioacuten y Mejora Continua de Procesosrdquo (paacuteginas 18 a 25) elaborada por la Secretariacutea de la

Funcioacuten Puacuteblica (SFP) disponible en la siguiente direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Estos diagramas se deberaacuten elaborar de acuerdo con lo especificado en el Anexo 7 ldquoDiagramas de

flujo de la operacioacuten del Pprdquo

Metodologiacutea Seccioacuten 2

La Evaluacioacuten de Procesos del Pp se realizaraacute principalmente a partir de teacutecnicas de investigacioacuten

cualitativa como son el anaacutelisis documental la observacioacuten directa estudios de caso y multicaso

especiacuteficos entrevistas semiestructuradas y grupos focales o grupos de enfoque (focus groups)

entre otras teacutecnicas que la instancia evaluadora considere pertinentes para realizar el anaacutelisis de

gabinete y el trabajo de campo tales como la aplicacioacuten de cuestionarios de aplicacioacuten electroacutenica

o a distancia

La metodologiacutea y los instrumentos definidos asiacute como el trabajo de gabinete y de campo deberaacuten

generar evidencia empiacuterica suficiente para valorar a profundidad la forma en que se ejecutan los

procesos y subprocesos o macroprocesos que integran la operacioacuten del Pp asiacute como su contexto

institucional y organizacional

PAE 2017 19

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anaacutelisis de gabinete

Para esta seccioacuten es necesario la elaboracioacuten del diagnoacutestico de los procesos y subprocesos o

macroprocesos que integran la operacioacuten o gestioacuten del Pp la instancia evaluadora deberaacute realizar

un anaacutelisis de gabinete considerando como miacutenimo los siguientes documentos

La normativa aplicable al Pp leyes reglamentos lineamientos manuales de procedimientos

convenios contratos entre otros

Diagnoacutestico y estudios de la problemaacutetica que el Pp atiende

Diagnoacutestico del programa y estudios del marco contextual en el que opera

MIR del Pp correspondiente al ejercicio fiscal evaluado y de ejercicios anteriores que se

consideren pertinentes

Sistemas de informacioacuten automatizados semiautomatizados o manuales que apoyen a la

ejecucioacuten de los procesos y subprocesos o macroprocesos identificados del Pp

Evaluaciones externas o internas realizadas previamente al Pp

Documentos de trabajo institucionales e informes de avances de Aspectos Susceptibles de

Mejora con los que cuente el Pp

Informes de auditoriacuteas de desempentildeo o similares realizadas al Pp por la Auditoriacutea Superior

de la Federacioacuten del Estado de Puebla por la Secretariacutea de la Contraloriacutea o por cualquier

instancia fiscalizadora

Asimismo se sugiere revisar otros documentos asociados al disentildeo del Pp y a su definicioacuten de

poblacioacuten o aacuterea de enfoque potencial y objetivo asiacute como a su estrategia de integracioacuten de

destinatarios o beneficiarios de los componentes o entregables del Pp

El anaacutelisis o trabajo de gabinete deberaacute generar como resultado inicial un mapeo de los procesos y

subprocesos o macroprocesos que integran la gestioacuten operativa del Pp que constituiraacute

esencialmente el Producto 1 de la evaluacioacuten posteriormente se procesaraacute la informacioacuten recabada

en campo para la generacioacuten del informe preliminar y final de la evaluacioacuten

Alcance y enfoque de la evaluacioacuten

La instancia evaluadora deberaacute sentildealar con claridad en el informe de la evaluacioacuten cuaacuteles de los

procesos y subprocesos o macroprocesos identificados en la operacioacuten o gestioacuten del Pp se analizan

y cuaacuteles no de acuerdo con lo establecido por la Direccioacuten de Evaluacioacuten (DEV) de la Secretariacutea de

Finanzas y Administracioacuten (SFA) y la Unidad Responsable (UR) del Programa en cuestioacuten sentildealando

los elementos de anaacutelisis que justifican esta seleccioacuten y en su caso haciendo recomendaciones al

respecto

PAE 2017 20

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Un elemento que podraacute ser considerado para establecer el alcance de la evaluacioacuten es el grado de

consolidacioacuten operativa del Pp el cual podraacute determinarse a priori considerando algunos elementos

como los siguientes

1 Si existen documentos que normen los procesos y subprocesos o macroprocesos

2 Si los procesos y subprocesos o macroprocesos estaacuten estandarizados es decir si son

utilizados por todas la instancias ejecutoras de manera homogeacutenea

3 Si los procesos y subprocesos o macroprocesos estaacuten documentados y son del conocimiento

de todos los operadores

4 Si se cuenta con un sistema de monitoreo e indicadores de gestioacuten

5 Si se cuenta en los procesos y subprocesos o macroprocesos analizados con sistemas

informaacuteticos que permitan la automatizacioacuten en la ejecucioacuten de los mismos

6 Si se cuenta con mecanismos para la implementacioacuten sistemaacutetica de mejoras

Se considera que existe un mayor grado de consolidacioacuten operativa cuando existen todos los

elementos y disminuiraacute gradualmente conforme haga falta uno o maacutes de ellos hasta el menor grado

de consolidacioacuten que es cuando no existe ninguno de los elementos

El alcance de la Evaluacioacuten de Procesos del Pp implica el anaacutelisis de los procesos y subprocesos o

macroprocesos sustantivos del Pp asiacute como la respectiva priorizacioacuten de estos Se deberaacute realizar

la identificacioacuten y jerarquizacioacuten de los procesos a partir del Esquema 1 adaptaacutendolo a las

condiciones particulares del Pp3 en eacutel se observa lo siguiente

El proceso de ldquoPlaneacioacutenrdquo es el punto de partida para la implementacioacuten del Pp

posteriormente continuacutean los procesos de ldquoComunicacioacuten Interna y Externardquo ldquoSeleccioacuten de

destinatariosrdquo ldquoProduccioacuten de entregablesrdquo ldquoEntregardquo ldquoSeguimiento a destinatariosrdquo y

ldquoControlrdquo

La informacioacuten que se genera en los procesos de ldquoSeguimiento a destinatariosrdquo y ldquoControlrdquo

es un insumo directo para retroalimentar los procesos del Pp desde el de Planeacioacuten

El proceso de ldquoMonitoreordquo utiliza informacioacuten generada principalmente en los procesos de

ldquoComunicacioacutenrdquo ldquoSeleccioacuten de destinatariosrdquo ldquoProduccioacuten de entregablesrdquo ldquoEntregardquo y

ldquoSeguimiento a destinatariosrdquo a partir de ello se retroalimentan los procesos del Pp desde

la ldquoPlaneacioacutenrdquo

3 Con excepcioacuten de los procesos (con sus subprocesos) de Planeacioacuten Monitoreo y Evaluacioacuten Externa para

los cuales la instancia evaluadora uacutenicamente podraacute en caso de que lo considere pertinente agregar

subprocesos pero no suprimir subprocesos

PAE 2017 21

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

El proceso de ldquoEvaluacioacuten Externardquo requiere de informacioacuten transversal de todos los

procesos ya que se valora al Pp en su conjunto En este sentido los resultados de las

evaluaciones son un insumo para retroalimentar al Pp desde el proceso de ldquoPlaneacioacutenrdquo

Es importante sentildealar que en el Esquema 1 se muestra un modelo que es importante tomarlo en

cuenta como referencia para la identificacioacuten y definicioacuten de los procesos y subprocesos o

macroprocesos que integran la operacioacuten del Pp evaluado ademaacutes de que representa un auxiliar

en la definicioacuten del alcance y del enfoque de la Evaluacioacuten de Procesos del Pp

Esquema 1 Modelo general de procesos

Fuente Modelo de TdR para la Evaluacioacuten de Procesos Secretariacutea de Hacienda y Creacutedito Puacuteblico

A continuacioacuten se describe cada uno de los procesos que componen al modelo anterior

Planeacioacuten proceso en el que se determinan o definen el problema o necesidad aacuterbol de

problemas y objetivos poblacioacuten o aacuterea de enfoque potencial y objetivo objetivos

indicadores y metas de la MIR estrategia de cobertura plan estrateacutegico entre otros puntos

asiacute como los recursos financieros y humanos necesarios que requiere el Pp para lograr sus

objetivos En el proceso de planeacioacuten se determinan las directrices en el disentildeo e

implementacioacuten del Pp los subprocesos que lo integran son los siguientes planeacioacuten

estrateacutegica programacioacuten y presupuesto actualizacioacuten de la MIR actualizacioacuten de

normativa

PAE 2017 22

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Comunicacioacuten interna y externa proceso en el que se informan diversas caracteriacutesticas y

objetivos del Pp tanto a los actores involucrados en su funcionamiento y operacioacuten (interna)

como a su poblacioacuten o aacuterea de enfoque objetivo (externa)

Seleccioacuten de destinatarios proceso en el que se determina quieacutenes recibiraacuten los

componentes o entregables de un Pp en funcioacuten de su poblacioacuten o aacuterea de enfoque objetivo

Produccioacuten de entregables proceso en el que se elaboran los entregables o realizan los

componentes del Pp (recursos financieros o humanos apoyos bienes servicios

regulaciones documentos teacutecnicos o de planeacioacuten etc) conforme a sus documentos

normativos

Entrega proceso en el que se realiza la entrega de lo producido o generado por el Pp

(componentes o entregables) a los destinatarios o beneficiarios

Seguimiento a destinatarios actividades y mecanismos que permiten al Pp conocer coacutemo

son utilizados o aprovechados sus componentes o entregables (por sus destinatarios o

beneficiarios) para que entre otras funciones la UR del Pp identifique si se estaacute cumpliendo

con los objetivos Por ejemplo en este proceso se incluyen las actividades que un Pp

implementa para conocer el grado de satisfaccioacuten de sus destinatarios o beneficiarios

Control actividades y mecanismos implementados entre los operadores del Pp para verificar

que los diferentes procedimientos procesos y subprocesos se esteacuten ejecutando conforme a

lo planeado (control interno)

Monitoreo proceso coordinado por una unidad administrativa ajena a la operacioacuten del Pp

a traveacutes del cual se recaba registra y valida la informacioacuten sobre el avance de las metas de

los indicadores de la MIR asiacute como el seguimiento a los resultados de indicadores

adicionales a los de la MIR en caso de que se cuente con un sistema de monitoreo de gestioacuten

Los subprocesos que lo integran son los siguientes acopio de la informacioacuten para el reporte

de avances validacioacuten de informacioacuten y registro de avances primordialmente

Evaluacioacuten externa proceso coordinado por una unidad administrativa ajena a la operacioacuten

del Pp mediante el cual se define la agenda de evaluacioacuten externa del Pp se definen las

metodologiacuteas o los teacuterminos de referencia se contratan las evaluaciones externas (de

cualquier tipo) se recaba la informacioacuten que seraacute entregada a los equipos evaluadores se

realiza el seguimiento durante el desarrollo de las evaluaciones externas se aprueban los

PAE 2017 23

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

informes finales de las evaluaciones externas se notifica a las instancias correspondientes

sobre la conclusioacuten de las evaluaciones externas y se definen y realiza el seguimiento de los

Aspectos Susceptibles de Mejora (ASM)

A partir de los procesos definidos en el modelo anterior la instancia evaluadora deberaacute realizar una

equivalencia de los procesos subprocesos o macroprocesos identificados respecto a los definidos

en el modelo de acuerdo con el Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesosrdquo Cabe

mencionar que los procesos definidos en el modelo no son limitativos por lo que si la instancia

evaluadora identifica procesos subprocesos o macroprocesos adicionales deberaacute incluirlos

Disentildeo metodoloacutegico del trabajo de campo

A partir del contexto en que opera el Pp y el alcance y enfoque metodoloacutegico de la evaluacioacuten de

procesos la instancia evaluadora deberaacute desarrollar una propuesta de estrategia y plan de trabajo

de campo a seguir para la realizacioacuten de la evaluacioacuten asimismo deberaacute incluir un cronograma

detallado de actividades

La estrategia de trabajo de campo disentildeada por la instancia evaluadora deberaacute ser entregada a la

DEV para que en conjunto con la UR del Pp sea validada antes de su implementacioacuten Dicha

estrategia deberaacute contener al menos los siguientes elementos

Justificacioacuten de las teacutecnicas de investigacioacuten a utilizar

Muestra y los criterios utilizados para su seleccioacuten

Listado de los actores a entrevistar

Instrumentos de levantamiento de informacioacuten que se aplicaraacuten y

Cronograma con las actividades a desarrollar

La instancia evaluadora iniciaraacute las actividades del trabajo de campo de manera conjunta y una vez

recibido el visto bueno de la DEV

El disentildeo de la muestra y de los instrumentos para el levantamiento de informacioacuten en campo

deberaacute considerar a la totalidad de los actores que intervienen en la ejecucioacuten de los procesos y

subprocesos o macroprocesos que integran la operacioacuten o gestioacuten del Pp asiacute como a los

destinatarios o beneficiarios de los componentes o entregables del Pp independientemente de su

ubicacioacuten geograacutefica

Algunos criterios que puede utilizar la instancia evaluadora para definir una muestra que considere

la variabilidad de la operacioacuten en los diferentes contextos en que opera el Pp son los siguientes

PAE 2017 24

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

a) El desempentildeo operativo del Pp entre municipios regionalizacioacuten geograacutefica instituciones

puacuteblicas o privadas u otros aspectos que suponen una accioacuten diferenciada de los procesos

(cuando aplique)

b) Volumen de la operacioacuten del Pp

c) Esquemas normativos del Pp y el ejercicio presupuestal en los municipios instituciones

puacuteblicas o privadas u otros aspectos que suponen una accioacuten diferenciada de los procesos

en las que opera el Pp (cuando aplique) y

d) Formas de interaccioacuten del Pp con otros niveles u oacuterdenes de gobierno (cuando aplique)

Los criterios anteriores no son limitativos por lo que la instancia evaluadora podraacute proponer criterios

adicionales que considere pertinentes para la definicioacuten de la muestra para el trabajo de campo

En el disentildeo muestral la instancia evaluadora deberaacute sentildealar los funcionarios del Pp o destinatarios

a los que se les aplicaraacuten los instrumentos de levantamiento de informacioacuten con los que se realizaraacute

el trabajo de campo asiacute como la ubicacioacuten geograacutefica de los mismos

Instrumentos de levantamiento de informacioacuten

La instancia evaluadora deberaacute disentildear los instrumentos que utilizaraacute para el levantamiento de

informacioacuten durante el trabajo de campo como son (por ejemplo) los cuestionarios por tipo de

funcionario a entrevistar para el caso de entrevistas semiestructuradas los guiones a utilizar en la

realizacioacuten de grupos focales los cuestionarios de aplicacioacuten electroacutenica las guiacuteas respectivas entre

otros Para lo anterior deberaacute considerar los siguientes temas guiacutea y preguntas de referencia

Planeacioacuten (planeacioacuten estrateacutegica programacioacuten y presupuesto)

iquestQueacute se entiende por planeacioacuten estrateacutegica para los operadores del Pp

iquestCuaacuteles son las actividades o acciones de planeacioacuten estrateacutegica del Pp que se realizan

iquestLa planeacioacuten estrateacutegica es el resultado de un ejercicio institucionalizado que involucra a

los actores clave de la gestioacuten del Pp

iquestExiste un documento resultado de la planeacioacuten estrateacutegica iquestEs claro difundido y

accesible iquestEn queacute medida es utilizado para guiar la operacioacuten del Pp

iquestLa planeacioacuten estrateacutegica estaacute vinculada con el cumplimiento entrega o generacioacuten de los

componentes o entregables del Pp

iquestLa planeacioacuten estrateacutegica establece indicadores para medir los avances en las metas

establecidas iquestLas metas son factibles y estaacuten orientadas a impulsar el desempentildeo del Pp

PAE 2017 25

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

iquestQueacute se entiende por planeacioacuten operativa y cuaacuteles son las diferencias con la planeacioacuten

estrateacutegica

Comunicacioacuten interna y externa del Pp (las preguntas que apliquen)

iquestQueacute actores intervienen en la comunicacioacuten del Pp

iquestExiste una estrategia de comunicacioacuten del Pp documentada En caso afirmativo describirla

iquestLa estrategia de comunicacioacuten del Pp (documentada o no) es adecuada

iquestLos medios utilizados el lenguaje y el contenido de los mensajes son pertinentes en funcioacuten

del puacuteblico al que van dirigidos

Solicitud de los componentes o entregables del Pp (las preguntas que apliquen)

iquestExiste un proceso claro imparcial y expliacutecito por medio del cual la poblacioacuten o aacuterea de

enfoque potencial puede solicitar los componentes o entregables que otorga el Pp

iquestLos requisitos para solicitar los componentes o entregables del Pp se presentan de manera

clara y completa

iquestLos puntos de recepcioacuten de solicitudes son accesibles y suficientes (cuando aplique)

iquestExisten mecanismos estandarizados para recibir y revisar la documentacioacuten entregada asiacute

como registrar y dar traacutemite a las solicitudes (cuando aplique)

iquestSon adecuados estos mecanismos (cuando aplique) En caso de que el Pp que apoye la

realizacioacuten de proyectos iquestse brinda asesoriacutea para la presentacioacuten de los mismos de ser asiacute

iquestes pertinente esta asesoriacutea

iquestEl proceso de solicitud de los componentes o entregables que otorga el Pp se encuentra

automatizado total o parcialmente

Para esta pregunta considerar los estados de digitalizacioacuten utilizados por la Comisioacuten Intersecretarial

para el Desarrollo del Gobierno electroacutenico seguacuten una adaptacioacuten realizada a la clasificacioacuten que

hace la ONU

Estado de digitalizacioacuten 1 traacutemites y servicios que se encuentran en estado informativo

Estado de digitalizacioacuten 2 traacutemites y servicios que cuentan con interfaces de comunicacioacuten

unidireccional

Estado de digitalizacioacuten 3 traacutemites y servicios que permiten realizar transacciones y

Estado de digitalizacioacuten 4 traacutemites y servicios que el usuario puede ejecutar de principio a

fin por medio de dispositivos digitales

PAE 2017 26

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para mayor informacioacuten referirse a ldquoFigure A4 The four stages of online service developmentrdquo en

los siguientes documentos

Lineamientos relativos a la digitalizacioacuten estandarizada de traacutemites y servicios con apego en

la Estrategia Digital Nacional

httpwwwgobmxcmsuploadsattachmentfile67232ti_1_pgcm_bases_lineam_tyspdf

United Nations E-Government Survey 2014 (paacutegina 195)

httpspublicadministrationunorgegovkbportalsegovkbdocumentsun2014-surveye-

gov_complete_survey-2014pdf

Seleccioacuten de destinatarios (cuando aplique)

iquestExiste una metodologiacutea o meacutetodo para la seleccioacuten de destinatarios o beneficiarios de los

componentes o entregables del Pp iquestLa metodologiacutea utilizada cuenta con criterios de

seleccioacuten y elegibilidad claros estandarizados y sistematizados

iquestLa seleccioacuten de destinatarios o beneficiarios de los componentes o entregables del Pp es un

proceso transparente e imparcial iquestEl resultado de la seleccioacuten es puacuteblico (cuando aplique)

iquestExiste informacioacuten en una base de datos que permita conocer quieacutenes o queacute instancias

reciben los componentes o entregables del Pp iquestQueacute informacioacuten integra esta base de datos

iquestExisten mecanismos para validar y actualizar esta base de datos iquestEstos mecanismos son

pertinentes

Produccioacuten de componentes o entregables

iquestSe cuenta con los insumos suficientes para generar el volumen de componentes o

entregables que permitan al Pp atender a su poblacioacuten o aacuterea de enfoque objetivo

iquestEl Pp tiene mecanismos para estimar la produccioacuten o generacioacuten necesaria de componentes

o entregables de acuerdo con la posible demanda o requerimientos de su poblacioacuten o aacuterea

de enfoque objetivo iquestEs adecuado este mecanismo

iquestExisten mecanismos de control de calidad para la generacioacuten de los componentes o

entregables del Pp iquestEstos mecanismos son pertinentes

iquestLas actividades de generacioacuten de componentes o entregables que otorga el Pp estaacuten

estandarizadas es decir son ejecutadas de manera homogeacutenea por todas las instancias

involucradas

PAE 2017 27

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Entrega

iquestLos componentes o entregables del Pp son proporcionados conforme a las especificaciones

y de manera oportuna a los destinatarios

iquestExisten especificaciones (programas o planes de trabajo) sobre la forma en que se deben

trasladar los componentes o entregables para (por ejemplo) asegurar su adecuada recepcioacuten

en el punto de destino iquestSon adecuadas estas especificaciones respecto a normas o

lineamientos existentes (cuando aplique)

iquestLa logiacutestica de distribucioacuten se actualiza (cuando aplique) iquestExiste un periodo para dicha

actualizacioacuten iquestEn el disentildeo y actualizacioacuten de la logiacutestica se toman en cuenta los factores

geograacuteficos y climatoloacutegicos en cada regioacuten donde opera el Pp (cuando aplique)

iquestLos puntos de entrega de los componentes o entregables son cercanos a los beneficiarios

o aacuterea de enfoque a atender y son de faacutecil acceso iquestSe considera que son suficientes iquestPor

queacute

Control (las preguntas que apliquen)

iquestEl Pp cuenta con los mecanismos para verificar que los componentes o entregables se

otorguen de acuerdo con lo establecido en la normativa especiacutefica y lleguen a la poblacioacuten

o aacuterea de enfoque que deba ser beneficiada iquestEstos mecanismos son adecuados

iquestExiste de manera sistematizada un documento que deacute cuenta de los resultados de

supervisioacuten y entrega de componentes o entregables iquestEste documento es adecuado iquestLos

resultados se utilizan para implementar mejoras en la operacioacuten del Pp

iquestExisten procedimientos estandarizados que verifiquen el cumplimiento de la

corresponsabilidad u obligatoriedad por parte de los beneficiarios o destinatarios de los

componentes o entregables del Pp (cuando aplique)

Seguimiento a destinatarios

iquestEl Pp tiene mecanismos para verificar el procedimiento de seguimiento a los destinatarios o

beneficiarios que permitan identificar si los componentes o entregables generados son

utilizados de acuerdo con lo establecido iquestCoacutemo se implementa el mecanismo iquestEste

mecanismo es adecuado

iquestExisten procedimientos estandarizados que permitan verificar el cumplimiento de la

corresponsabilidad u obligatoriedad por parte del destinatario o beneficiario (cuando

aplique)

PAE 2017 28

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

En caso de que los componentes o entregables involucren la ejecucioacuten de obra o de

infraestructura iquestel Pp cuenta con un mecanismo de seguimiento o supervisioacuten que permita

identificar si se realizaron acorde a la normativa aplicable iquestEl seguimiento o supervisioacuten

considera plazos para la revisioacuten de las condiciones de la obra o la infraestructura despueacutes

de terminada la obra

iquestEl Pp tiene mecanismos para identificar si se cumple con su Propoacutesito iquestSon suficientes y

pertinentes estos mecanismos

iquestExisten mecanismos para conocer la satisfaccioacuten del destinatario o beneficiario de los

componentes o entregables del Pp respecto de los componentes que ofrece el Pp iquestSon

adecuados estos mecanismos iquestSu operacioacuten permite una aplicacioacuten imparcial y objetiva

iquestExiste evidencia para afirmar que las quejas y sugerencias que brindan los destinatarios o

beneficiarios de los componentes o entregables del Pp son utilizadas para la mejora continua

del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

En esta seccioacuten se deberaacute realizar la medicioacuten de los atributos de eficacia oportunidad suficiencia

y pertinencia de los procesos y subprocesos o macroprocesos definidos en el mapa de procesos del

Pp A continuacioacuten se definen los atributos en el marco de la evaluacioacuten de procesos

Eficacia un proceso es eficaz en la medida en que cumple con sus metas

Oportunidad un proceso es oportuno en la medida en que otorga sus productos

(componentes o entregables) o resultados en un periodo de tiempo determinado o

adecuado para el logro de sus objetivos

Suficiencia un proceso es suficiente en la medida en que produce sus resultados de forma

completa o adecuada para el logro de sus objetivos

Pertinencia un proceso es pertinente si sus actividades y productos son adecuados para

lograr tanto sus metas especiacuteficas como sus objetivos es decir si contribuyen al

mejoramiento de la gestioacuten del Pp4

4 Las actividades son adecuadas si estaacuten en funcioacuten del logro del objetivo de cada proceso Por ejemplo si se verifica que el formato de los mensajes a difundir cumpla con las caracteriacutesticas necesarias para llegar a la poblacioacuten o aacuterea de enfoque objetivo como seriacutea una mensaje de audio en la lengua indiacutegena de la localidad donde se encuentran los posibles destinatarios o beneficiarios o bien como seriacutea un mensaje dirigido a personal operativo del Pp cuyo nivel de estudios promedio pudiera complicar la comprensioacuten de lenguaje teacutecnico utilizado

PAE 2017 29

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para la medicioacuten de los atributos de los procesos y subprocesos o macroprocesos del Pp deberaacute

realizarse una revisioacuten documental (normativa aplicable MIR evaluaciones externas sistemas de

informacioacuten y registros administrativos entre otros) misma que deberaacute complementarse con el

trabajo de campo con el objetivo de identificar disentildear y calcular indicadores relacionados con

dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de informacioacuten empleadas

La informacioacuten obtenida de estos indicadores deberaacute vaciarse en fichas propuestas por la instancia

evaluadora presentadas como en el Anexo 6 ldquoFichas de indicadores de atributos de los procesos del

Pprdquo (formato libre) Estas fichas deberaacuten considerar la medicioacuten de los atributos de eficacia

suficiencia oportunidad y pertinencia correspondientes a cada proceso y subproceso o

macroproceso

Valoracioacuten de los procesos y subprocesos de la operacioacuten del Pp

Deberaacute contener una siacutentesis de los resultados encontrados en la Evaluacioacuten de Procesos del Pp

resaltando los hallazgos maacutes relevantes que se hayan detectado y que pudiesen transformarse en

ASM

La instancia evaluadora deberaacute calcular una valoracioacuten global cuantitativa sobre la operacioacuten y la

ejecucioacuten de los procesos y subprocesos o macroprocesos del Pp a partir del siguiente esquema de

puntuacioacuten5

Eficacia

- Todos los procesos (o macroprocesos) son eficaces = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es eficaz = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es eficaz = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es eficaz = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es eficaz = 1 punto

- Ninguno de los procesos (o macroprocesos) es eficaz = 0 puntos

Oportunidad

- Todos los procesos (o macroprocesos) son oportunos = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es oportuno = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es oportuno = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es oportuno = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es oportuno = 1 punto

5 La valoracioacuten cuantitativa deberaacute estar sustentada y por tanto ser consistente con lo valorado por la instancia evaluadora en el apartado de ldquoMedicioacuten de atributos de los procesos y subprocesosrdquo

PAE 2017 30

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

- Ninguno de los procesos (o macroprocesos) es oportuno = 0 puntos

Suficiencia

- Todos los procesos (o macroprocesos) son suficientes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es suficiente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es suficiente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es suficiente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es suficiente = 1 punto

- Ninguno de los procesos (o macroprocesos) es suficiente = 0 puntos

Pertinencia

- Todos los procesos (o macroprocesos) son pertinentes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es pertinente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es pertinente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es pertinente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es pertinente = 1 punto

- Ninguno de los procesos (o macroprocesos) es pertinente = 0 puntos

A partir de los puntajes asignados en los cuatro atributos anteriores esta valoracioacuten cuantitativa

global debe considerar el total de puntos posibles de obtener (5 x 4 = 20 puntos) y los puntos

obtenidos en la Evaluacioacuten de Procesos Pp (lsquoyrsquo puntos) de modo que se indique el porcentaje de

puntos obtenidos del total de puntos posibles [(lsquoyrsquo20) x 100] = valoracioacuten cuantitativa global de la

operacioacuten del Pp

La instancia evaluadora deberaacute utilizar el Anexo 9 ldquoValoracioacuten global cuantitativardquo para documentar

argumentar y sustentar cada una de las valoraciones cuantitativas sobre la operacioacuten y la ejecucioacuten

de los procesos (o macroprocesos) del Pp

Adicionalmente en este apartado se deberaacuten integrar las recomendaciones y conclusiones que se

consideren maacutes relevantes de los procesos y subprocesos o macroprocesos del Pp las cuales deben

formularse con base en los hallazgos del trabajo de campo y de gabinete El objetivo final de las

recomendaciones es proveer informacioacuten valiosa a los operadores del Pp para realizar adecuaciones

en la ejecucioacuten de los procesos y subprocesos o macroprocesos de modo que se potencie la

consecucioacuten de resultados del Pp

Las recomendaciones que se formulen como resultado de la Evaluacioacuten de Procesos del Pp deberaacuten

tener las siguientes caracteriacutesticas

Derivarse de los hallazgos de la evaluacioacuten

PAE 2017 31

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Ser concretas y factibles

Incluir un proyecto de implementacioacuten que considere los siguientes elementos

- Breve anaacutelisis de la viabilidad o factibilidad de la implementacioacuten

- Principales responsables de la implementacioacuten

- Anaacutelisis de los efectos potenciales que puede implicar la implementacioacuten tanto en la

operacioacuten del Pp como en el logro de sus objetivos

- La comparacioacuten entre la situacioacuten actual y el resultado que se espera obtener con la

implementacioacuten de la recomendacioacuten

Estar categorizadas en dos liacuteneas de accioacuten estrateacutegicas

- Consolidacioacuten

- Reingenieriacutea de procesos o subprocesos

Al respecto la instancia evaluadora debe entender por consolidacioacuten aquellas recomendaciones que

estaacuten dirigidas a perfeccionar determinados aspectos de la operacioacuten como seriacutean algunas acciones

procedimientos o estrategias del Pp asiacute como iniciativas para el fortalecimiento de los sistemas

automatizados infraestructura entre otros

Por reingenieriacutea de procesos o subprocesos se entenderaacuten aquellas recomendaciones que apuntan

a una transformacioacuten o modificacioacuten profunda o sustancial de uno o varios de los procesos y

subprocesos del Pp Para ello se deberaacute llenar el Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de

Procesos del Pprdquo y que a su vez deben derivar en acciones de consolidacioacuten para la implementacioacuten

de los procesos transformados

Adicionalmente y de conformidad con el alcance de la Evaluacioacuten de Procesos del Pp se deberaacute

presentar una propuesta para crear o fortalecer el sistema de monitoreo de gestioacuten del Pp con

indicadores a nivel de procesos y subprocesos o macroprocesos

Asimismo a partir de todo el anaacutelisis y valoraciones realizadas se deberaacute emitir un pronunciamiento

acerca de la percepcioacuten de eficiencia que la instancia evaluadora haya tenido sobre la ejecucioacuten de

los procesos y subprocesos o macroprocesos del Pp

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible o si no hipoteacuteticos en un anexo de formato libre Anexo 10 ldquoSistema de

monitoreo e indicadores de gestioacuten del Pprdquo

PAE 2017 32

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Bitaacutecora de trabajo de campo y bases de datos

La instancia evaluadora deberaacute entregar una bitaacutecora de trabajo de campo que destaque de forma

sinteacutetica entre otros puntos las principales actividades y situaciones a las que se enfrentoacute y que

podriacutean afectar los resultados de la Evaluacioacuten de Procesos del Pp

Asimismo deberaacute entregar las bases de datos generadas a partir de la aplicacioacuten de los instrumentos

de recoleccioacuten de informacioacuten y de la recopilacioacuten de informacioacuten en el trabajo de campo Las bases

de datos deberaacuten entregarse en formatos compatibles con Excel debiendo mantener la

confidencialidad de los entrevistados pero sin alterar la informacioacuten proporcionada por estos En las

bases de datos debe estar sistematizada toda la informacioacuten recabada a partir de la aplicacioacuten de

los instrumentos de levantamiento de informacioacuten y deberaacute sustentar el anaacutelisis las valoraciones los

hallazgos y las conclusiones de la evaluacioacuten

PAE 2017 33

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Contenido del informe

Contenido miacutenimo del informe final de la evaluacioacuten

Derivado del contenido generado en las secciones anteriores deberaacuten elaborarse los siguientes

apartados en el informe final de la Evaluacioacuten de Procesos del Pp

i Introduccioacuten

ii Resumen Ejecutivo

iii Marco Legal

iv Datos Generales del Programa Presupuestario (Pp)

v Criterios Teacutecnicos para la Evaluacioacuten del Programa Presupuestario correspondiente

vi Apartados de la evaluacioacuten

Seccioacuten 1 Disentildeo

Diagnoacutestico del programa puacuteblico

Matriz de Indicadores para Resultados (MIR)

Seccioacuten 2 Procesos

Pertinencia de los proceso

Diagnoacutestico general de los procesos y subprocesos del Pp

- Contexto en que opera el Pp

- Diagnoacutestico inicial de los procesos y subprocesos

Descripcioacuten y valoracioacuten de los procesos y subprocesos del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

vii Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

viii Valoracioacuten final del Pp

ix Hallazgos

x Recomendaciones clasificadas por apartado

xi Conclusiones

xii Bibliografiacutea

xiii Anexos

Anexo 1 Descripcioacuten General del Programa

Anexo 2 Metodologiacutea para la cuantificacioacuten de las poblaciones potencial y objetivo

(Formato Libre)

Anexo 3 Evolucioacuten de la Cobertura

Anexo 4 Propuesta de mejora de la Matriz de Indicadores para Resultados

Anexo 5 Ficha de identificacioacuten y equivalencia de procesos del Pp

PAE 2017 34

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 Fichas de indicadores de atributos de los procesos del Pp (Formato libre)

Anexo 7 Diagramas de flujo de la operacioacuten del Pp

Anexo 8 Propuesta de modificacioacuten a los documentos normativos o institucionales

del Pp

Anexo 9 Valoracioacuten global cuantitativardquo

Anexo 10 Sistema de monitoreo e indicadores de gestioacuten del Pp (Formato libre)

Anexo 11 Recomendaciones de la Evaluacioacuten de Procesos del Pp

Anexo 12 Principales Fortalezas Retos y Recomendaciones

Anexo 13 Ficha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacuten

En el Resumen Ejecutivo asimismo se describiraacuten los principales hallazgos y recomendaciones del

evaluador externo

Para el desarrollo de los apartados antes referidos deberaacute atender las indicaciones que se desarrollan

en las siguientes secciones

Hallazgos y resultados Pp por Seccioacuten

Se debe realizar una valoracioacuten general del programa por seccioacuten utilizando las respuestas que

integran cada uno de los apartados En esta valoracioacuten integral se deberaacute sentildealar en queacute medida la

gestioacuten operativa conduce al logro de los objetivos del Pp

Asimismo se deben sentildealar las aacutereas de mejora las buenas praacutecticas y las fortalezas detectadas en

la operacioacuten del Pp y a partir de ello la instancia evaluadora emitiraacute recomendaciones de mejora

sobre aspectos especiacuteficos de cada proceso y subproceso o macroproceso del Pp Adicionalmente

se deberaacuten identificar los problemas o limitantes tanto normativos como operativos (ldquocuellos de

botellardquo) de coordinacioacuten entre unidades administrativas y otros que hubiese en los procesos y

subprocesos o macroprocesos del Pp entendieacutendose como aquellas praacutecticas procedimientos

actividades o traacutemites que obstaculizan la operacioacuten del Pp

En este sentido se deberaacuten identificar las situaciones en las que la normativa genere complicaciones

en la gestioacuten o ineficacia en el cumplimiento de los objetivos del Pp para lo cual se deberaacute presentar

(por cada situacioacuten identificada) una propuesta de modificacioacuten a la normativa aplicable al Pp

considerando las restricciones praacutecticas que existan para su implementacioacuten asiacute como los efectos

PAE 2017 35

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

potenciales de ser implementada Los resultados de este anaacutelisis deberaacuten describirse en el Anexo 7

ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales del Pprdquo

Para la identificacioacuten y descripcioacuten de los ldquocuellos de botellardquo buenas praacutecticas y fortalezas del Pp

se consideraraacute la informacioacuten derivada del anaacutelisis de la operacioacuten del Pp asiacute como los puntos de

vista de los principales actores que intervienen en ella Este anaacutelisis deberaacute contener las causas y las

consecuencias de los ldquocuellos de botellardquo detectados sus caracteriacutesticas y naturaleza (si son

normativas o estrictamente operativas) de igual manera se deberaacute desarrollar un anaacutelisis de las

buenas praacutecticas identificadas

Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

Se debe integrar en una sola tabla las fortalezas oportunidades debilidades y amenazas

especificadas por cada apartado de la evaluacioacuten y reportarlas en el Anexo 11 ldquoPrincipales Fortalezas

Retos y Recomendacionesrdquo en el que se deben incluir las fortalezas yo oportunidades las

debilidades yo amenazas y las recomendaciones por apartado de la evaluacioacuten

PAE 2017 36

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexos

Anexo 1 ldquoDescripcioacuten General del Programardquo

El Anexo tiene formato libre sin embargo debe contener una breve descripcioacuten de las caracteriacutesticas

maacutes relevantes del Pp en un maacuteximo de dos cuartillas Dicha descripcioacuten debe considerar los

siguientes aspectos

1 Identificacioacuten del programa

11 Nombre

12 Clave de programa

13 Dependencia yo Entidad coordinadora ejecutora

14 Antildeo de inicio de operacioacuten

2 Problema o necesidad que el Pp pretende atender atenuar o resolver

3 La contribucioacuten del Pp a las Metas y objetivos estatales a los que se vincula

4 Descripcioacuten de los objetivos del Pp asiacute como de los bienes yo servicios que ofrece

(componentes)

5 Identificacioacuten y cuantificacioacuten de la poblacioacuten o aacuterea de enfoque potencial y

objetivo

6 Presupuesto aprobado para el ejercicio fiscal en curso

7 Metas de los indicadores de Fin Propoacutesito y Componentes asiacute como los de nivel

actividad que se consideren relevantes y

8 Resumen de la valoracioacuten de la pertinencia del disentildeo del Pp respecto a la atencioacuten

del problema o necesidad

Anexo 2 ldquoMetodologiacutea para la cuantificacioacuten de la poblacioacuten o aacuterea de enfoque

potencial y objetivordquo

El Anexo tiene formato libre sin embargo se debe incluir la siguiente informacioacuten

Definicioacuten de la poblacioacuten o aacuterea de enfoque potencial objetivo y atendida

Cuantificacioacuten de la poblacioacuten potencial objetiva y atendida

Hallazgos sobre el procedimiento llevado a cabo para definir y cuantificar la poblacioacuten o

aacuterea de enfoque potencial objetivo y atendida

Recomendaciones

Propuesta orientada hacia la mejora

PAE 2017 37

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 3 ldquoEvolucioacuten de la Coberturardquo

Nombre del

Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten

Antildeo de la Evaluacioacuten

Tipo de Poblacioacuten

Unidad

de

Medida

2012 2013 2014 2015 2016

P Potencial

P Objetivo

P Atendida

119927119912 times 120783120782120782

119927119926

PAE 2017 38

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 4 ldquoPropuesta de mejora de la Matriz de Indicadores para Resultadosrdquo

Derivado del anaacutelisis y valoracioacuten de la pregunta de investigacioacuten nuacutemero 3 iquestLa estructura de

objetivos planteada por el programa mantiene loacutegica y correspondencia causal con el problema

planteado en el diagnoacutestico se realizaraacute una propuesta de mejora de MIR

Fin

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Propoacutesito

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Componente 1

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

PAE 2017 39

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Componente 2 hellip

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 40

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesos del Pprdquo

Para la identificacioacuten y clasificacioacuten de los procesos del Pp se sugieren los siguientes pasos

1 Listar los procesos identificados

Comparar los procesos identificados del Pp con aquellos correspondientes al Modelo general de

procesos Colocar en el rengloacuten correspondiente el nombre de cada proceso del Pp identificado

como equivalente

2 Colocar al final de la lista aquellos procesos del Pp que no sean equivalentes con el Modelo

general de procesos

Modelo general de

procesos

Nuacutemero

de

secuencia

Procesos o subprocesos del Pp identificados por el

evaluador

(Nombre y breve descripcioacuten)

Planeacioacuten Ejemplo (Ej) Planeacioacuten Estrateacutegica

Ej Programacioacuten

Ej Presupuestacioacuten

Comunicacioacuten interna y

externa

Ej Difusioacuten Federal

Ej Difusioacuten Local

Seleccioacuten de

destinatarios

Ej Recepcioacuten de solicitudes de becas

Ej Seleccioacuten de becarios

Produccioacuten de

entregables

Entrega

Control

Seguimiento Ej Seguimiento fiacutesico y supervisioacuten en campo

Evaluacioacuten externa Ej Publicacioacuten y lectura del PAE

Ej Definicioacuten de TdR

Ej Contratacioacuten

Ej Ejecucioacuten de la evaluacioacuten externa

Monitoreo Ej Registro de avances de indicadores

Ej Revisioacuten de registros

Ej Validacioacuten de registros e integracioacuten de informes

PAE 2017 41

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Procesos identificados por el evaluador que no coinciden con el Modelo general de procesos

PAE 2017 42

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 ldquoFichas de indicadores de atributos de los procesos del Pp (formato libre)rdquo

Para la construccioacuten de este anexo deberaacute realizarse una revisioacuten documental (normativa aplicable

MIR evaluaciones externas sistemas de informacioacuten y registros administrativos entre otros) misma

que deberaacute complementarse con el trabajo de campo con el objetivo de identificar disentildear y calcular

indicadores relacionados con dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de

informacioacuten empleadas

Ademaacutes de considerar la medicioacuten de los atributos de eficacia suficiencia oportunidad y pertinencia

de cada proceso y subproceso o macroproceso

PAE 2017 43

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 7 ldquoDiagramas de flujo de la operacioacuten del Pprdquo

Para la elaboracioacuten de los diagramas de flujo deberaacute utilizarse la notacioacuten empleada en el

documento ldquoGuiacutea para la Optimizacioacuten Estandarizacioacuten y Mejora Continua de Procesosrdquo publicada

por la SFP en la direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Para el Diagrama de Alto Nivel (Diagrama PEPSU)

Ejemplo ilustrativo

PAE 2017 44

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para el Diagrama de Flujo

PAE 2017 45

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

PAE 2017 46

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 8 ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales

del Pprdquo

Tipo de

norma-

tiva

Dice

Problema

generado

(causas y

consecuencias)

Se

recomienda

decir

Efecto esperado de

aplicar la

recomendacioacuten de

cambio

Restricciones praacutecticas

que puedan existir para

su implementacioacuten

PAE 2017 47

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 9 ldquoValoracioacuten global cuantitativa ldquo

Seccioacuten 1 Disentildeo

Disentildeo Valoracioacuten Argumento o justificacioacuten

Porcentaje del

Disentildeo del Pp

(Suma de valoracioacuten alcanzada por pregunta de la seccioacuten 1 Total maacuteximo de la

valoracioacuten de todas las preguntas de la seccioacuten 1 ) x 100

Seccioacuten 2 Procesos

Proceso Eficacia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

eficaces

(Total de procesos eficaces Total de procesos del Pp) x 100

Proceso Oportunidad

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

oportunos

(Total de procesos oportunos Total de procesos del Pp) x 100

Proceso Suficiencia

(SiacuteNo) Argumento o justificacioacuten

PAE 2017 48

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Porcentaje de

procesos

suficientes

(Total de procesos suficientes Total de procesos del Pp) x 100

Proceso Pertinencia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

pertinentes

(Total de procesos pertinentes Total de procesos del Pp) x 100

NOTA Los argumentos y justificaciones del evaluador deberaacuten considerar el anaacutelisis y valoraciones de

los subprocesos de cada proceso de modo que haya consistencia entre estos elementos Asimismo el

evaluador deberaacute expresar los resultados de la valoracioacuten cuantitativa en una graacutefica tipo radial

PAE 2017 49

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 10 ldquoSistema de monitoreo e indicadores de gestioacuten del Pp (formato libre)rdquo

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible

Nombre del Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten De Procesos

Antildeo de la Evaluacioacuten 2017

Fin Justificacioacuten Propoacutesito Justificacioacuten Componente (s) Justificacioacuten

Nombre de

Indicador

Meacutetodo de Caacutelculo

Claro SiacuteNo SiacuteNo SiacuteNo

Relevante SiacuteNo SiacuteNo SiacuteNo

Econoacutemico SiacuteNo SiacuteNo SiacuteNo

Monitoreable SiacuteNo SiacuteNo SiacuteNo

Adecuado SiacuteNo SiacuteNo SiacuteNo

Definicioacuten SiacuteNo SiacuteNo SiacuteNo

Unidad de Medida SiacuteNo SiacuteNo SiacuteNo

Frecuencia de

Medicioacuten

SiacuteNo SiacuteNo SiacuteNo

Liacutenea Base SiacuteNo SiacuteNo SiacuteNo

Metas SiacuteNo SiacuteNo SiacuteNo

Comportamiento

del Indicador

SiacuteNo SiacuteNo SiacuteNo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 50

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de Procesos del Pprdquo

En este Anexo la instancia evaluadora debe valorar si la recomendacioacuten implica una consolidacioacuten o

una reingenieriacutea del proceso

A) Consolidacioacuten

Proceso Recomendaci

oacuten

Breve

anaacutelisis de

viabilidad de

la

implementa-

cioacuten

Principales

responsables

de la

implementaci

oacuten

Situacioacuten

actual

Efectos

potenciales

esperados

Medio de

verifica-

cioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

B) Reingenieriacutea de procesos

Proceso Objetivo

Breve

anaacutelisis de

viabilidad

de la

implemen-

tacioacuten

Principales

responsables

de la

implemen-

tacioacuten

Situa-

cioacuten

actual

Metas y

efectos

potenciale

s

esperados

Elabora-

cioacuten de

flujogram

a del

nuevo

proceso

Medio

de

verifi-

cacioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

NOTA El nivel de priorizacioacuten Alto Medio o Bajo se estimaraacute considerando la mejora en la operacioacuten

del Pp la viabilidad de la implementacioacuten de la recomendacioacuten asiacute como el efecto potencial que esto

pueda tener el alcance del objetivo del Pp

PAE 2017 51

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 12 ldquoPrincipales Fortalezas Retos y Recomendacionesrdquo

Capacidades Internas Factores Externos

Fortalezas

(Cualquier capacidad con la que cuenta la dependencia o

entidad que le permita aprovechar sus recursos para la

obtencioacuten de sus objetivos)

Oportunidades

(Cualquier factor externo fuera del control de la dependencia o

entidad que puede ser aprovechado para la obtencioacuten de sus

objetivos)

Debilidades

(Cualquier limitante Interna de la dependencia o entidad que

puede afectar la obtencioacuten de sus objetivos)

Amenazas

(Cualquier factor externo fuera de control de la dependencia o

entidad que pueda afectar la obtencioacuten de sus objetivos)

PAE 2017 52

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacutenrdquo

El Informe Final de la Evaluacioacuten de Procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten

Superior deberaacuten contener una ficha con los siguientes datos

Ficha Teacutecnica con los datos generales de la evaluacioacuten

Nombre o denominacioacuten de la

evaluacioacuten

[Especificar el nombre de la evaluacioacuten considerando su tipo y ejercicio

evaluado]

Nombre o denominacioacuten del

programa evaluado

[Indicar el nombre del Pp sujeto a evaluacioacuten de acuerdo con lo

establecido en el PEF sentildealando su modalidad y clave]

Unidad Responsable de la operacioacuten

del programa

[Especificar la(s) unidad(es) responsable(s) de la administracioacuten

operacioacuten y ejecucioacuten de los programas subprogramas y proyectos del

Pp evaluado correspondientes a las dependencias y entidades]

Titular de la unidad responsable de la

operacioacuten del programa

[Indicar el nombre del(a) Titular de la Unidad Responsable de la

operacioacuten del Pp]

Antildeo del Programa Anual de

Evaluacioacuten (PAE) en que fue

considerada la evaluacioacuten

[Especificar el ejercicio fiscal al que corresponde el PAE en la que fue

programada la evaluacioacuten]

Antildeo de conclusioacuten y entrega de la

evaluacioacuten

[Indicar el antildeo en que se concluyoacute la evaluacioacuten]

Tipo de evaluacioacuten [Especificar el tipo de evaluacioacuten de acuerdo con los Lineamientos de

evaluacioacuten el nombre de la evaluacioacuten y con lo establecido en el PAE]

Nombre de la instancia evaluadora [Indicar el nombre de la firma consultoriacutea u organizacioacuten que realizoacute la

evaluacioacuten]

Nombre del(a) coordinador(a)

externo(a) de la evaluacioacuten

[Especificar el nombre del(a) responsable de la coordinacioacuten de la

evaluacioacuten dla instancia evaluadora]

Nombre de los(as) principales

colaboradores(as) del(a)

coordinador(a) de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del(a)

coordinador(a) de la evaluacioacuten]

PAE 2017 53

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Unidad Administrativa responsable de

la Coordinacioacuten de la evaluacioacuten

[De acuerdo con lo sentildealado en el PAE especificar la instancia a la que

corresponde la coordinacioacuten de la evaluacioacuten pej Secretariacutea de

Finanzas y Administracioacuten (SFA) asiacute como la unidad administrativa

mediante la cual se ejerce esta funcioacuten p ej Direccioacuten de Evaluacioacuten

de la SFA (DEV)

Nombre del(a) Titular de la unidad

administrativa responsable de

coordinar la evaluacioacuten (Aacuterea de

Evaluacioacuten)

[Especificar el nombre del(a) Titular de la Unidad responsable de dar

seguimiento a la evaluacioacuten que funge como Aacuterea de Evaluacioacuten]

Nombres de los(as) servidores(as)

puacuteblicos(as) adscritos(as) a la unidad

administrativa responsable de

coordinar la evaluacioacuten que

coadyuvaron con la revisioacuten teacutecnica

de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del

titular de la unidad administrativa responsable de dar seguimiento a la

evaluacioacuten respecto de la revisioacuten teacutecnica de la misma]

Forma de contratacioacuten de la instancia

evaluadora

[Indicar el tipo de contratacioacuten dla instancia evaluadora Especificar el

tipo de procedimiento de contratacioacuten de la instancia evaluadora

consistente con los tipos de adjudicacioacuten establecidos en la Ley de

Adquisiciones Arrendamientos y Servicios del Sector Puacuteblico]

Costo total de la evaluacioacuten con IVA

incluido

[Especificar el costo total de la evaluacioacuten incluyendo el IVA (en caso

de que se haya causado) como sigue $XXX IVA incluido]

Asimismo en este anexo se deberaacute incluir una nota metodoloacutegica con la descripcioacuten de las teacutecnicas

y los modelos utilizados por el evaluador externo acompantildeada del disentildeo por muestreo

especificando los supuestos empleados y las principales caracteriacutesticas del tamantildeo y dispersioacuten de

la muestra utilizada

DIRECTORIO

Rauacutel Saacutenchez Kobashi

Secretario de la Secretariacutea de Finanzas y Administracioacuten

Francisco Fidel Teomitzi Saacutenchez

Subsecretario de Planeacioacuten

Arturo Neponuceno Crisoacutestomo

Director de Evaluacioacuten

Rodolfo de la Rosa Cabrera

Subdireccioacuten de Evaluacioacuten de Programas

Sauacutel Federico Oropeza Orea

Jefe del Departamento de Programas Estatales y Municipales

Ana Luz Guzmaacuten Figueroa

Analista del Departamento de Programas Estatales y Municipales

Marco Antonio Saacutenchez Gonzaacutelez

Analista del Departamento de Programas Estatales y Municipales

Page 18: Términos de Referencia para la Evaluación del Desempeño ...evaluacion.puebla.gob.mx/pdf/metodologias/TdR_Est/2017/TdR... · Perfil de la instancia evaluadora ... acuerdo con las

PAE 2017 17

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

La valoracioacuten de cada proceso subproceso o macroproceso deberaacute contener la siguiente estructura

1 Descripcioacuten detallada de las actividades los elementos y los actores que integran el

desarrollo de cada proceso y subproceso o macroproceso

2 Liacutemites de cada proceso y subproceso o macroproceso asiacute como su articulacioacuten con otros

3 Insumos y recursos determinar si los insumos y los recursos disponibles son suficientes y

adecuados para la ejecucioacuten de cada proceso y subproceso o macroproceso

a Tiempo iquestel tiempo en que se ejecuta el proceso o subproceso es el adecuado acorde

a lo planificado y congruente con la normativa que aplica

b Personal iquestel personal es suficiente tiene el perfil y cuenta con la capacitacioacuten necesaria

para la ejecucioacuten del proceso o subproceso

c Recursos financieros iquestlos recursos financieros son suficientes para la ejecucioacuten del

proceso o subproceso

d Recursos materiales iquestlos recursos materiales son suficientes para la ejecucioacuten del

proceso o subproceso

e Infraestructura iquestse cuenta con la infraestructura o capacidad instalada suficiente para

la ejecucioacuten del proceso o subproceso

f Insumos tecnoloacutegicos

4 Productos iquestlos productos de cada proceso subproceso o macroproceso sirven de insumo

para ejecutar el proceso subproceso o macroproceso subsecuente

5 Sistemas de informacioacuten iquestLos sistemas de informacioacuten utilizados en la ejecucioacuten de cada

proceso subproceso o macroproceso (automatizados semiautomatizados o manuales)

funcionan como una fuente de informacioacuten uacutetil para los sistemas de monitoreo a nivel central

y para los operadores en otros niveles iquestEstos sistemas de informacioacuten automatizan algunos

procesos subprocesos o macroproceso del Pp iquestSirven como mecanismo de control interno

para el mejor de desarrollo de los procesos subprocesos o macroproceso

6 Coordinacioacuten iquestla coordinacioacuten entre los actores oacuterdenes de gobierno o dependencias

involucradas es adecuada para la ejecucioacuten del proceso subproceso o macroproceso

7 Evaluacioacuten de la pertinencia de la forma en que se ejecuta cada proceso subproceso o

macroproceso en el contexto y condiciones en que se desarrolla considerando la estructura

organizacional involucrada y la coordinacioacuten entre las unidades administrativas que

intervienen en el proceso subproceso o macroproceso

8 Identificacioacuten de las caracteriacutesticas relacionadas con la importancia estrateacutegica de cada

proceso subproceso o macroproceso

PAE 2017 18

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

9 Opinioacuten de actores (destinatarios beneficiarios usuarios clientes u operadores del Pp)

sobre la eficacia eficiencia y calidad de cada proceso subproceso o macroproceso

10 Existencia de mecanismos para conocer la satisfaccioacuten de los beneficiarios o destinatarios de

los componentes o entregables que otorga el Pp

Por otra parte en caso de que el Pp genere diversos componentes o entregables y que estos

impliquen la realizacioacuten de actividades diferentes seraacute necesario describir los procesos y

subprocesos o macroprocesos correspondientes a cada tipo de componente o entregable otorgado

En la descripcioacuten de los procesos y subprocesos o macroprocesos la instancia evaluadora de manera

coordinada con la DEV deberaacute realizar los diagramas de alto nivel y los diagramas detallados

(diagramas de flujo) que describan los procesos y subprocesos o macroprocesos del Pp Para ello se

deberaacute usar como referencia la seccioacuten ldquoVII Mapeo de procesosrdquo de la ldquoGuiacutea para la Optimizacioacuten

Estandarizacioacuten y Mejora Continua de Procesosrdquo (paacuteginas 18 a 25) elaborada por la Secretariacutea de la

Funcioacuten Puacuteblica (SFP) disponible en la siguiente direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Estos diagramas se deberaacuten elaborar de acuerdo con lo especificado en el Anexo 7 ldquoDiagramas de

flujo de la operacioacuten del Pprdquo

Metodologiacutea Seccioacuten 2

La Evaluacioacuten de Procesos del Pp se realizaraacute principalmente a partir de teacutecnicas de investigacioacuten

cualitativa como son el anaacutelisis documental la observacioacuten directa estudios de caso y multicaso

especiacuteficos entrevistas semiestructuradas y grupos focales o grupos de enfoque (focus groups)

entre otras teacutecnicas que la instancia evaluadora considere pertinentes para realizar el anaacutelisis de

gabinete y el trabajo de campo tales como la aplicacioacuten de cuestionarios de aplicacioacuten electroacutenica

o a distancia

La metodologiacutea y los instrumentos definidos asiacute como el trabajo de gabinete y de campo deberaacuten

generar evidencia empiacuterica suficiente para valorar a profundidad la forma en que se ejecutan los

procesos y subprocesos o macroprocesos que integran la operacioacuten del Pp asiacute como su contexto

institucional y organizacional

PAE 2017 19

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anaacutelisis de gabinete

Para esta seccioacuten es necesario la elaboracioacuten del diagnoacutestico de los procesos y subprocesos o

macroprocesos que integran la operacioacuten o gestioacuten del Pp la instancia evaluadora deberaacute realizar

un anaacutelisis de gabinete considerando como miacutenimo los siguientes documentos

La normativa aplicable al Pp leyes reglamentos lineamientos manuales de procedimientos

convenios contratos entre otros

Diagnoacutestico y estudios de la problemaacutetica que el Pp atiende

Diagnoacutestico del programa y estudios del marco contextual en el que opera

MIR del Pp correspondiente al ejercicio fiscal evaluado y de ejercicios anteriores que se

consideren pertinentes

Sistemas de informacioacuten automatizados semiautomatizados o manuales que apoyen a la

ejecucioacuten de los procesos y subprocesos o macroprocesos identificados del Pp

Evaluaciones externas o internas realizadas previamente al Pp

Documentos de trabajo institucionales e informes de avances de Aspectos Susceptibles de

Mejora con los que cuente el Pp

Informes de auditoriacuteas de desempentildeo o similares realizadas al Pp por la Auditoriacutea Superior

de la Federacioacuten del Estado de Puebla por la Secretariacutea de la Contraloriacutea o por cualquier

instancia fiscalizadora

Asimismo se sugiere revisar otros documentos asociados al disentildeo del Pp y a su definicioacuten de

poblacioacuten o aacuterea de enfoque potencial y objetivo asiacute como a su estrategia de integracioacuten de

destinatarios o beneficiarios de los componentes o entregables del Pp

El anaacutelisis o trabajo de gabinete deberaacute generar como resultado inicial un mapeo de los procesos y

subprocesos o macroprocesos que integran la gestioacuten operativa del Pp que constituiraacute

esencialmente el Producto 1 de la evaluacioacuten posteriormente se procesaraacute la informacioacuten recabada

en campo para la generacioacuten del informe preliminar y final de la evaluacioacuten

Alcance y enfoque de la evaluacioacuten

La instancia evaluadora deberaacute sentildealar con claridad en el informe de la evaluacioacuten cuaacuteles de los

procesos y subprocesos o macroprocesos identificados en la operacioacuten o gestioacuten del Pp se analizan

y cuaacuteles no de acuerdo con lo establecido por la Direccioacuten de Evaluacioacuten (DEV) de la Secretariacutea de

Finanzas y Administracioacuten (SFA) y la Unidad Responsable (UR) del Programa en cuestioacuten sentildealando

los elementos de anaacutelisis que justifican esta seleccioacuten y en su caso haciendo recomendaciones al

respecto

PAE 2017 20

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Un elemento que podraacute ser considerado para establecer el alcance de la evaluacioacuten es el grado de

consolidacioacuten operativa del Pp el cual podraacute determinarse a priori considerando algunos elementos

como los siguientes

1 Si existen documentos que normen los procesos y subprocesos o macroprocesos

2 Si los procesos y subprocesos o macroprocesos estaacuten estandarizados es decir si son

utilizados por todas la instancias ejecutoras de manera homogeacutenea

3 Si los procesos y subprocesos o macroprocesos estaacuten documentados y son del conocimiento

de todos los operadores

4 Si se cuenta con un sistema de monitoreo e indicadores de gestioacuten

5 Si se cuenta en los procesos y subprocesos o macroprocesos analizados con sistemas

informaacuteticos que permitan la automatizacioacuten en la ejecucioacuten de los mismos

6 Si se cuenta con mecanismos para la implementacioacuten sistemaacutetica de mejoras

Se considera que existe un mayor grado de consolidacioacuten operativa cuando existen todos los

elementos y disminuiraacute gradualmente conforme haga falta uno o maacutes de ellos hasta el menor grado

de consolidacioacuten que es cuando no existe ninguno de los elementos

El alcance de la Evaluacioacuten de Procesos del Pp implica el anaacutelisis de los procesos y subprocesos o

macroprocesos sustantivos del Pp asiacute como la respectiva priorizacioacuten de estos Se deberaacute realizar

la identificacioacuten y jerarquizacioacuten de los procesos a partir del Esquema 1 adaptaacutendolo a las

condiciones particulares del Pp3 en eacutel se observa lo siguiente

El proceso de ldquoPlaneacioacutenrdquo es el punto de partida para la implementacioacuten del Pp

posteriormente continuacutean los procesos de ldquoComunicacioacuten Interna y Externardquo ldquoSeleccioacuten de

destinatariosrdquo ldquoProduccioacuten de entregablesrdquo ldquoEntregardquo ldquoSeguimiento a destinatariosrdquo y

ldquoControlrdquo

La informacioacuten que se genera en los procesos de ldquoSeguimiento a destinatariosrdquo y ldquoControlrdquo

es un insumo directo para retroalimentar los procesos del Pp desde el de Planeacioacuten

El proceso de ldquoMonitoreordquo utiliza informacioacuten generada principalmente en los procesos de

ldquoComunicacioacutenrdquo ldquoSeleccioacuten de destinatariosrdquo ldquoProduccioacuten de entregablesrdquo ldquoEntregardquo y

ldquoSeguimiento a destinatariosrdquo a partir de ello se retroalimentan los procesos del Pp desde

la ldquoPlaneacioacutenrdquo

3 Con excepcioacuten de los procesos (con sus subprocesos) de Planeacioacuten Monitoreo y Evaluacioacuten Externa para

los cuales la instancia evaluadora uacutenicamente podraacute en caso de que lo considere pertinente agregar

subprocesos pero no suprimir subprocesos

PAE 2017 21

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

El proceso de ldquoEvaluacioacuten Externardquo requiere de informacioacuten transversal de todos los

procesos ya que se valora al Pp en su conjunto En este sentido los resultados de las

evaluaciones son un insumo para retroalimentar al Pp desde el proceso de ldquoPlaneacioacutenrdquo

Es importante sentildealar que en el Esquema 1 se muestra un modelo que es importante tomarlo en

cuenta como referencia para la identificacioacuten y definicioacuten de los procesos y subprocesos o

macroprocesos que integran la operacioacuten del Pp evaluado ademaacutes de que representa un auxiliar

en la definicioacuten del alcance y del enfoque de la Evaluacioacuten de Procesos del Pp

Esquema 1 Modelo general de procesos

Fuente Modelo de TdR para la Evaluacioacuten de Procesos Secretariacutea de Hacienda y Creacutedito Puacuteblico

A continuacioacuten se describe cada uno de los procesos que componen al modelo anterior

Planeacioacuten proceso en el que se determinan o definen el problema o necesidad aacuterbol de

problemas y objetivos poblacioacuten o aacuterea de enfoque potencial y objetivo objetivos

indicadores y metas de la MIR estrategia de cobertura plan estrateacutegico entre otros puntos

asiacute como los recursos financieros y humanos necesarios que requiere el Pp para lograr sus

objetivos En el proceso de planeacioacuten se determinan las directrices en el disentildeo e

implementacioacuten del Pp los subprocesos que lo integran son los siguientes planeacioacuten

estrateacutegica programacioacuten y presupuesto actualizacioacuten de la MIR actualizacioacuten de

normativa

PAE 2017 22

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Comunicacioacuten interna y externa proceso en el que se informan diversas caracteriacutesticas y

objetivos del Pp tanto a los actores involucrados en su funcionamiento y operacioacuten (interna)

como a su poblacioacuten o aacuterea de enfoque objetivo (externa)

Seleccioacuten de destinatarios proceso en el que se determina quieacutenes recibiraacuten los

componentes o entregables de un Pp en funcioacuten de su poblacioacuten o aacuterea de enfoque objetivo

Produccioacuten de entregables proceso en el que se elaboran los entregables o realizan los

componentes del Pp (recursos financieros o humanos apoyos bienes servicios

regulaciones documentos teacutecnicos o de planeacioacuten etc) conforme a sus documentos

normativos

Entrega proceso en el que se realiza la entrega de lo producido o generado por el Pp

(componentes o entregables) a los destinatarios o beneficiarios

Seguimiento a destinatarios actividades y mecanismos que permiten al Pp conocer coacutemo

son utilizados o aprovechados sus componentes o entregables (por sus destinatarios o

beneficiarios) para que entre otras funciones la UR del Pp identifique si se estaacute cumpliendo

con los objetivos Por ejemplo en este proceso se incluyen las actividades que un Pp

implementa para conocer el grado de satisfaccioacuten de sus destinatarios o beneficiarios

Control actividades y mecanismos implementados entre los operadores del Pp para verificar

que los diferentes procedimientos procesos y subprocesos se esteacuten ejecutando conforme a

lo planeado (control interno)

Monitoreo proceso coordinado por una unidad administrativa ajena a la operacioacuten del Pp

a traveacutes del cual se recaba registra y valida la informacioacuten sobre el avance de las metas de

los indicadores de la MIR asiacute como el seguimiento a los resultados de indicadores

adicionales a los de la MIR en caso de que se cuente con un sistema de monitoreo de gestioacuten

Los subprocesos que lo integran son los siguientes acopio de la informacioacuten para el reporte

de avances validacioacuten de informacioacuten y registro de avances primordialmente

Evaluacioacuten externa proceso coordinado por una unidad administrativa ajena a la operacioacuten

del Pp mediante el cual se define la agenda de evaluacioacuten externa del Pp se definen las

metodologiacuteas o los teacuterminos de referencia se contratan las evaluaciones externas (de

cualquier tipo) se recaba la informacioacuten que seraacute entregada a los equipos evaluadores se

realiza el seguimiento durante el desarrollo de las evaluaciones externas se aprueban los

PAE 2017 23

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

informes finales de las evaluaciones externas se notifica a las instancias correspondientes

sobre la conclusioacuten de las evaluaciones externas y se definen y realiza el seguimiento de los

Aspectos Susceptibles de Mejora (ASM)

A partir de los procesos definidos en el modelo anterior la instancia evaluadora deberaacute realizar una

equivalencia de los procesos subprocesos o macroprocesos identificados respecto a los definidos

en el modelo de acuerdo con el Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesosrdquo Cabe

mencionar que los procesos definidos en el modelo no son limitativos por lo que si la instancia

evaluadora identifica procesos subprocesos o macroprocesos adicionales deberaacute incluirlos

Disentildeo metodoloacutegico del trabajo de campo

A partir del contexto en que opera el Pp y el alcance y enfoque metodoloacutegico de la evaluacioacuten de

procesos la instancia evaluadora deberaacute desarrollar una propuesta de estrategia y plan de trabajo

de campo a seguir para la realizacioacuten de la evaluacioacuten asimismo deberaacute incluir un cronograma

detallado de actividades

La estrategia de trabajo de campo disentildeada por la instancia evaluadora deberaacute ser entregada a la

DEV para que en conjunto con la UR del Pp sea validada antes de su implementacioacuten Dicha

estrategia deberaacute contener al menos los siguientes elementos

Justificacioacuten de las teacutecnicas de investigacioacuten a utilizar

Muestra y los criterios utilizados para su seleccioacuten

Listado de los actores a entrevistar

Instrumentos de levantamiento de informacioacuten que se aplicaraacuten y

Cronograma con las actividades a desarrollar

La instancia evaluadora iniciaraacute las actividades del trabajo de campo de manera conjunta y una vez

recibido el visto bueno de la DEV

El disentildeo de la muestra y de los instrumentos para el levantamiento de informacioacuten en campo

deberaacute considerar a la totalidad de los actores que intervienen en la ejecucioacuten de los procesos y

subprocesos o macroprocesos que integran la operacioacuten o gestioacuten del Pp asiacute como a los

destinatarios o beneficiarios de los componentes o entregables del Pp independientemente de su

ubicacioacuten geograacutefica

Algunos criterios que puede utilizar la instancia evaluadora para definir una muestra que considere

la variabilidad de la operacioacuten en los diferentes contextos en que opera el Pp son los siguientes

PAE 2017 24

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

a) El desempentildeo operativo del Pp entre municipios regionalizacioacuten geograacutefica instituciones

puacuteblicas o privadas u otros aspectos que suponen una accioacuten diferenciada de los procesos

(cuando aplique)

b) Volumen de la operacioacuten del Pp

c) Esquemas normativos del Pp y el ejercicio presupuestal en los municipios instituciones

puacuteblicas o privadas u otros aspectos que suponen una accioacuten diferenciada de los procesos

en las que opera el Pp (cuando aplique) y

d) Formas de interaccioacuten del Pp con otros niveles u oacuterdenes de gobierno (cuando aplique)

Los criterios anteriores no son limitativos por lo que la instancia evaluadora podraacute proponer criterios

adicionales que considere pertinentes para la definicioacuten de la muestra para el trabajo de campo

En el disentildeo muestral la instancia evaluadora deberaacute sentildealar los funcionarios del Pp o destinatarios

a los que se les aplicaraacuten los instrumentos de levantamiento de informacioacuten con los que se realizaraacute

el trabajo de campo asiacute como la ubicacioacuten geograacutefica de los mismos

Instrumentos de levantamiento de informacioacuten

La instancia evaluadora deberaacute disentildear los instrumentos que utilizaraacute para el levantamiento de

informacioacuten durante el trabajo de campo como son (por ejemplo) los cuestionarios por tipo de

funcionario a entrevistar para el caso de entrevistas semiestructuradas los guiones a utilizar en la

realizacioacuten de grupos focales los cuestionarios de aplicacioacuten electroacutenica las guiacuteas respectivas entre

otros Para lo anterior deberaacute considerar los siguientes temas guiacutea y preguntas de referencia

Planeacioacuten (planeacioacuten estrateacutegica programacioacuten y presupuesto)

iquestQueacute se entiende por planeacioacuten estrateacutegica para los operadores del Pp

iquestCuaacuteles son las actividades o acciones de planeacioacuten estrateacutegica del Pp que se realizan

iquestLa planeacioacuten estrateacutegica es el resultado de un ejercicio institucionalizado que involucra a

los actores clave de la gestioacuten del Pp

iquestExiste un documento resultado de la planeacioacuten estrateacutegica iquestEs claro difundido y

accesible iquestEn queacute medida es utilizado para guiar la operacioacuten del Pp

iquestLa planeacioacuten estrateacutegica estaacute vinculada con el cumplimiento entrega o generacioacuten de los

componentes o entregables del Pp

iquestLa planeacioacuten estrateacutegica establece indicadores para medir los avances en las metas

establecidas iquestLas metas son factibles y estaacuten orientadas a impulsar el desempentildeo del Pp

PAE 2017 25

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

iquestQueacute se entiende por planeacioacuten operativa y cuaacuteles son las diferencias con la planeacioacuten

estrateacutegica

Comunicacioacuten interna y externa del Pp (las preguntas que apliquen)

iquestQueacute actores intervienen en la comunicacioacuten del Pp

iquestExiste una estrategia de comunicacioacuten del Pp documentada En caso afirmativo describirla

iquestLa estrategia de comunicacioacuten del Pp (documentada o no) es adecuada

iquestLos medios utilizados el lenguaje y el contenido de los mensajes son pertinentes en funcioacuten

del puacuteblico al que van dirigidos

Solicitud de los componentes o entregables del Pp (las preguntas que apliquen)

iquestExiste un proceso claro imparcial y expliacutecito por medio del cual la poblacioacuten o aacuterea de

enfoque potencial puede solicitar los componentes o entregables que otorga el Pp

iquestLos requisitos para solicitar los componentes o entregables del Pp se presentan de manera

clara y completa

iquestLos puntos de recepcioacuten de solicitudes son accesibles y suficientes (cuando aplique)

iquestExisten mecanismos estandarizados para recibir y revisar la documentacioacuten entregada asiacute

como registrar y dar traacutemite a las solicitudes (cuando aplique)

iquestSon adecuados estos mecanismos (cuando aplique) En caso de que el Pp que apoye la

realizacioacuten de proyectos iquestse brinda asesoriacutea para la presentacioacuten de los mismos de ser asiacute

iquestes pertinente esta asesoriacutea

iquestEl proceso de solicitud de los componentes o entregables que otorga el Pp se encuentra

automatizado total o parcialmente

Para esta pregunta considerar los estados de digitalizacioacuten utilizados por la Comisioacuten Intersecretarial

para el Desarrollo del Gobierno electroacutenico seguacuten una adaptacioacuten realizada a la clasificacioacuten que

hace la ONU

Estado de digitalizacioacuten 1 traacutemites y servicios que se encuentran en estado informativo

Estado de digitalizacioacuten 2 traacutemites y servicios que cuentan con interfaces de comunicacioacuten

unidireccional

Estado de digitalizacioacuten 3 traacutemites y servicios que permiten realizar transacciones y

Estado de digitalizacioacuten 4 traacutemites y servicios que el usuario puede ejecutar de principio a

fin por medio de dispositivos digitales

PAE 2017 26

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para mayor informacioacuten referirse a ldquoFigure A4 The four stages of online service developmentrdquo en

los siguientes documentos

Lineamientos relativos a la digitalizacioacuten estandarizada de traacutemites y servicios con apego en

la Estrategia Digital Nacional

httpwwwgobmxcmsuploadsattachmentfile67232ti_1_pgcm_bases_lineam_tyspdf

United Nations E-Government Survey 2014 (paacutegina 195)

httpspublicadministrationunorgegovkbportalsegovkbdocumentsun2014-surveye-

gov_complete_survey-2014pdf

Seleccioacuten de destinatarios (cuando aplique)

iquestExiste una metodologiacutea o meacutetodo para la seleccioacuten de destinatarios o beneficiarios de los

componentes o entregables del Pp iquestLa metodologiacutea utilizada cuenta con criterios de

seleccioacuten y elegibilidad claros estandarizados y sistematizados

iquestLa seleccioacuten de destinatarios o beneficiarios de los componentes o entregables del Pp es un

proceso transparente e imparcial iquestEl resultado de la seleccioacuten es puacuteblico (cuando aplique)

iquestExiste informacioacuten en una base de datos que permita conocer quieacutenes o queacute instancias

reciben los componentes o entregables del Pp iquestQueacute informacioacuten integra esta base de datos

iquestExisten mecanismos para validar y actualizar esta base de datos iquestEstos mecanismos son

pertinentes

Produccioacuten de componentes o entregables

iquestSe cuenta con los insumos suficientes para generar el volumen de componentes o

entregables que permitan al Pp atender a su poblacioacuten o aacuterea de enfoque objetivo

iquestEl Pp tiene mecanismos para estimar la produccioacuten o generacioacuten necesaria de componentes

o entregables de acuerdo con la posible demanda o requerimientos de su poblacioacuten o aacuterea

de enfoque objetivo iquestEs adecuado este mecanismo

iquestExisten mecanismos de control de calidad para la generacioacuten de los componentes o

entregables del Pp iquestEstos mecanismos son pertinentes

iquestLas actividades de generacioacuten de componentes o entregables que otorga el Pp estaacuten

estandarizadas es decir son ejecutadas de manera homogeacutenea por todas las instancias

involucradas

PAE 2017 27

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Entrega

iquestLos componentes o entregables del Pp son proporcionados conforme a las especificaciones

y de manera oportuna a los destinatarios

iquestExisten especificaciones (programas o planes de trabajo) sobre la forma en que se deben

trasladar los componentes o entregables para (por ejemplo) asegurar su adecuada recepcioacuten

en el punto de destino iquestSon adecuadas estas especificaciones respecto a normas o

lineamientos existentes (cuando aplique)

iquestLa logiacutestica de distribucioacuten se actualiza (cuando aplique) iquestExiste un periodo para dicha

actualizacioacuten iquestEn el disentildeo y actualizacioacuten de la logiacutestica se toman en cuenta los factores

geograacuteficos y climatoloacutegicos en cada regioacuten donde opera el Pp (cuando aplique)

iquestLos puntos de entrega de los componentes o entregables son cercanos a los beneficiarios

o aacuterea de enfoque a atender y son de faacutecil acceso iquestSe considera que son suficientes iquestPor

queacute

Control (las preguntas que apliquen)

iquestEl Pp cuenta con los mecanismos para verificar que los componentes o entregables se

otorguen de acuerdo con lo establecido en la normativa especiacutefica y lleguen a la poblacioacuten

o aacuterea de enfoque que deba ser beneficiada iquestEstos mecanismos son adecuados

iquestExiste de manera sistematizada un documento que deacute cuenta de los resultados de

supervisioacuten y entrega de componentes o entregables iquestEste documento es adecuado iquestLos

resultados se utilizan para implementar mejoras en la operacioacuten del Pp

iquestExisten procedimientos estandarizados que verifiquen el cumplimiento de la

corresponsabilidad u obligatoriedad por parte de los beneficiarios o destinatarios de los

componentes o entregables del Pp (cuando aplique)

Seguimiento a destinatarios

iquestEl Pp tiene mecanismos para verificar el procedimiento de seguimiento a los destinatarios o

beneficiarios que permitan identificar si los componentes o entregables generados son

utilizados de acuerdo con lo establecido iquestCoacutemo se implementa el mecanismo iquestEste

mecanismo es adecuado

iquestExisten procedimientos estandarizados que permitan verificar el cumplimiento de la

corresponsabilidad u obligatoriedad por parte del destinatario o beneficiario (cuando

aplique)

PAE 2017 28

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

En caso de que los componentes o entregables involucren la ejecucioacuten de obra o de

infraestructura iquestel Pp cuenta con un mecanismo de seguimiento o supervisioacuten que permita

identificar si se realizaron acorde a la normativa aplicable iquestEl seguimiento o supervisioacuten

considera plazos para la revisioacuten de las condiciones de la obra o la infraestructura despueacutes

de terminada la obra

iquestEl Pp tiene mecanismos para identificar si se cumple con su Propoacutesito iquestSon suficientes y

pertinentes estos mecanismos

iquestExisten mecanismos para conocer la satisfaccioacuten del destinatario o beneficiario de los

componentes o entregables del Pp respecto de los componentes que ofrece el Pp iquestSon

adecuados estos mecanismos iquestSu operacioacuten permite una aplicacioacuten imparcial y objetiva

iquestExiste evidencia para afirmar que las quejas y sugerencias que brindan los destinatarios o

beneficiarios de los componentes o entregables del Pp son utilizadas para la mejora continua

del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

En esta seccioacuten se deberaacute realizar la medicioacuten de los atributos de eficacia oportunidad suficiencia

y pertinencia de los procesos y subprocesos o macroprocesos definidos en el mapa de procesos del

Pp A continuacioacuten se definen los atributos en el marco de la evaluacioacuten de procesos

Eficacia un proceso es eficaz en la medida en que cumple con sus metas

Oportunidad un proceso es oportuno en la medida en que otorga sus productos

(componentes o entregables) o resultados en un periodo de tiempo determinado o

adecuado para el logro de sus objetivos

Suficiencia un proceso es suficiente en la medida en que produce sus resultados de forma

completa o adecuada para el logro de sus objetivos

Pertinencia un proceso es pertinente si sus actividades y productos son adecuados para

lograr tanto sus metas especiacuteficas como sus objetivos es decir si contribuyen al

mejoramiento de la gestioacuten del Pp4

4 Las actividades son adecuadas si estaacuten en funcioacuten del logro del objetivo de cada proceso Por ejemplo si se verifica que el formato de los mensajes a difundir cumpla con las caracteriacutesticas necesarias para llegar a la poblacioacuten o aacuterea de enfoque objetivo como seriacutea una mensaje de audio en la lengua indiacutegena de la localidad donde se encuentran los posibles destinatarios o beneficiarios o bien como seriacutea un mensaje dirigido a personal operativo del Pp cuyo nivel de estudios promedio pudiera complicar la comprensioacuten de lenguaje teacutecnico utilizado

PAE 2017 29

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para la medicioacuten de los atributos de los procesos y subprocesos o macroprocesos del Pp deberaacute

realizarse una revisioacuten documental (normativa aplicable MIR evaluaciones externas sistemas de

informacioacuten y registros administrativos entre otros) misma que deberaacute complementarse con el

trabajo de campo con el objetivo de identificar disentildear y calcular indicadores relacionados con

dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de informacioacuten empleadas

La informacioacuten obtenida de estos indicadores deberaacute vaciarse en fichas propuestas por la instancia

evaluadora presentadas como en el Anexo 6 ldquoFichas de indicadores de atributos de los procesos del

Pprdquo (formato libre) Estas fichas deberaacuten considerar la medicioacuten de los atributos de eficacia

suficiencia oportunidad y pertinencia correspondientes a cada proceso y subproceso o

macroproceso

Valoracioacuten de los procesos y subprocesos de la operacioacuten del Pp

Deberaacute contener una siacutentesis de los resultados encontrados en la Evaluacioacuten de Procesos del Pp

resaltando los hallazgos maacutes relevantes que se hayan detectado y que pudiesen transformarse en

ASM

La instancia evaluadora deberaacute calcular una valoracioacuten global cuantitativa sobre la operacioacuten y la

ejecucioacuten de los procesos y subprocesos o macroprocesos del Pp a partir del siguiente esquema de

puntuacioacuten5

Eficacia

- Todos los procesos (o macroprocesos) son eficaces = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es eficaz = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es eficaz = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es eficaz = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es eficaz = 1 punto

- Ninguno de los procesos (o macroprocesos) es eficaz = 0 puntos

Oportunidad

- Todos los procesos (o macroprocesos) son oportunos = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es oportuno = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es oportuno = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es oportuno = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es oportuno = 1 punto

5 La valoracioacuten cuantitativa deberaacute estar sustentada y por tanto ser consistente con lo valorado por la instancia evaluadora en el apartado de ldquoMedicioacuten de atributos de los procesos y subprocesosrdquo

PAE 2017 30

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

- Ninguno de los procesos (o macroprocesos) es oportuno = 0 puntos

Suficiencia

- Todos los procesos (o macroprocesos) son suficientes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es suficiente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es suficiente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es suficiente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es suficiente = 1 punto

- Ninguno de los procesos (o macroprocesos) es suficiente = 0 puntos

Pertinencia

- Todos los procesos (o macroprocesos) son pertinentes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es pertinente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es pertinente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es pertinente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es pertinente = 1 punto

- Ninguno de los procesos (o macroprocesos) es pertinente = 0 puntos

A partir de los puntajes asignados en los cuatro atributos anteriores esta valoracioacuten cuantitativa

global debe considerar el total de puntos posibles de obtener (5 x 4 = 20 puntos) y los puntos

obtenidos en la Evaluacioacuten de Procesos Pp (lsquoyrsquo puntos) de modo que se indique el porcentaje de

puntos obtenidos del total de puntos posibles [(lsquoyrsquo20) x 100] = valoracioacuten cuantitativa global de la

operacioacuten del Pp

La instancia evaluadora deberaacute utilizar el Anexo 9 ldquoValoracioacuten global cuantitativardquo para documentar

argumentar y sustentar cada una de las valoraciones cuantitativas sobre la operacioacuten y la ejecucioacuten

de los procesos (o macroprocesos) del Pp

Adicionalmente en este apartado se deberaacuten integrar las recomendaciones y conclusiones que se

consideren maacutes relevantes de los procesos y subprocesos o macroprocesos del Pp las cuales deben

formularse con base en los hallazgos del trabajo de campo y de gabinete El objetivo final de las

recomendaciones es proveer informacioacuten valiosa a los operadores del Pp para realizar adecuaciones

en la ejecucioacuten de los procesos y subprocesos o macroprocesos de modo que se potencie la

consecucioacuten de resultados del Pp

Las recomendaciones que se formulen como resultado de la Evaluacioacuten de Procesos del Pp deberaacuten

tener las siguientes caracteriacutesticas

Derivarse de los hallazgos de la evaluacioacuten

PAE 2017 31

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Ser concretas y factibles

Incluir un proyecto de implementacioacuten que considere los siguientes elementos

- Breve anaacutelisis de la viabilidad o factibilidad de la implementacioacuten

- Principales responsables de la implementacioacuten

- Anaacutelisis de los efectos potenciales que puede implicar la implementacioacuten tanto en la

operacioacuten del Pp como en el logro de sus objetivos

- La comparacioacuten entre la situacioacuten actual y el resultado que se espera obtener con la

implementacioacuten de la recomendacioacuten

Estar categorizadas en dos liacuteneas de accioacuten estrateacutegicas

- Consolidacioacuten

- Reingenieriacutea de procesos o subprocesos

Al respecto la instancia evaluadora debe entender por consolidacioacuten aquellas recomendaciones que

estaacuten dirigidas a perfeccionar determinados aspectos de la operacioacuten como seriacutean algunas acciones

procedimientos o estrategias del Pp asiacute como iniciativas para el fortalecimiento de los sistemas

automatizados infraestructura entre otros

Por reingenieriacutea de procesos o subprocesos se entenderaacuten aquellas recomendaciones que apuntan

a una transformacioacuten o modificacioacuten profunda o sustancial de uno o varios de los procesos y

subprocesos del Pp Para ello se deberaacute llenar el Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de

Procesos del Pprdquo y que a su vez deben derivar en acciones de consolidacioacuten para la implementacioacuten

de los procesos transformados

Adicionalmente y de conformidad con el alcance de la Evaluacioacuten de Procesos del Pp se deberaacute

presentar una propuesta para crear o fortalecer el sistema de monitoreo de gestioacuten del Pp con

indicadores a nivel de procesos y subprocesos o macroprocesos

Asimismo a partir de todo el anaacutelisis y valoraciones realizadas se deberaacute emitir un pronunciamiento

acerca de la percepcioacuten de eficiencia que la instancia evaluadora haya tenido sobre la ejecucioacuten de

los procesos y subprocesos o macroprocesos del Pp

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible o si no hipoteacuteticos en un anexo de formato libre Anexo 10 ldquoSistema de

monitoreo e indicadores de gestioacuten del Pprdquo

PAE 2017 32

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Bitaacutecora de trabajo de campo y bases de datos

La instancia evaluadora deberaacute entregar una bitaacutecora de trabajo de campo que destaque de forma

sinteacutetica entre otros puntos las principales actividades y situaciones a las que se enfrentoacute y que

podriacutean afectar los resultados de la Evaluacioacuten de Procesos del Pp

Asimismo deberaacute entregar las bases de datos generadas a partir de la aplicacioacuten de los instrumentos

de recoleccioacuten de informacioacuten y de la recopilacioacuten de informacioacuten en el trabajo de campo Las bases

de datos deberaacuten entregarse en formatos compatibles con Excel debiendo mantener la

confidencialidad de los entrevistados pero sin alterar la informacioacuten proporcionada por estos En las

bases de datos debe estar sistematizada toda la informacioacuten recabada a partir de la aplicacioacuten de

los instrumentos de levantamiento de informacioacuten y deberaacute sustentar el anaacutelisis las valoraciones los

hallazgos y las conclusiones de la evaluacioacuten

PAE 2017 33

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Contenido del informe

Contenido miacutenimo del informe final de la evaluacioacuten

Derivado del contenido generado en las secciones anteriores deberaacuten elaborarse los siguientes

apartados en el informe final de la Evaluacioacuten de Procesos del Pp

i Introduccioacuten

ii Resumen Ejecutivo

iii Marco Legal

iv Datos Generales del Programa Presupuestario (Pp)

v Criterios Teacutecnicos para la Evaluacioacuten del Programa Presupuestario correspondiente

vi Apartados de la evaluacioacuten

Seccioacuten 1 Disentildeo

Diagnoacutestico del programa puacuteblico

Matriz de Indicadores para Resultados (MIR)

Seccioacuten 2 Procesos

Pertinencia de los proceso

Diagnoacutestico general de los procesos y subprocesos del Pp

- Contexto en que opera el Pp

- Diagnoacutestico inicial de los procesos y subprocesos

Descripcioacuten y valoracioacuten de los procesos y subprocesos del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

vii Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

viii Valoracioacuten final del Pp

ix Hallazgos

x Recomendaciones clasificadas por apartado

xi Conclusiones

xii Bibliografiacutea

xiii Anexos

Anexo 1 Descripcioacuten General del Programa

Anexo 2 Metodologiacutea para la cuantificacioacuten de las poblaciones potencial y objetivo

(Formato Libre)

Anexo 3 Evolucioacuten de la Cobertura

Anexo 4 Propuesta de mejora de la Matriz de Indicadores para Resultados

Anexo 5 Ficha de identificacioacuten y equivalencia de procesos del Pp

PAE 2017 34

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 Fichas de indicadores de atributos de los procesos del Pp (Formato libre)

Anexo 7 Diagramas de flujo de la operacioacuten del Pp

Anexo 8 Propuesta de modificacioacuten a los documentos normativos o institucionales

del Pp

Anexo 9 Valoracioacuten global cuantitativardquo

Anexo 10 Sistema de monitoreo e indicadores de gestioacuten del Pp (Formato libre)

Anexo 11 Recomendaciones de la Evaluacioacuten de Procesos del Pp

Anexo 12 Principales Fortalezas Retos y Recomendaciones

Anexo 13 Ficha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacuten

En el Resumen Ejecutivo asimismo se describiraacuten los principales hallazgos y recomendaciones del

evaluador externo

Para el desarrollo de los apartados antes referidos deberaacute atender las indicaciones que se desarrollan

en las siguientes secciones

Hallazgos y resultados Pp por Seccioacuten

Se debe realizar una valoracioacuten general del programa por seccioacuten utilizando las respuestas que

integran cada uno de los apartados En esta valoracioacuten integral se deberaacute sentildealar en queacute medida la

gestioacuten operativa conduce al logro de los objetivos del Pp

Asimismo se deben sentildealar las aacutereas de mejora las buenas praacutecticas y las fortalezas detectadas en

la operacioacuten del Pp y a partir de ello la instancia evaluadora emitiraacute recomendaciones de mejora

sobre aspectos especiacuteficos de cada proceso y subproceso o macroproceso del Pp Adicionalmente

se deberaacuten identificar los problemas o limitantes tanto normativos como operativos (ldquocuellos de

botellardquo) de coordinacioacuten entre unidades administrativas y otros que hubiese en los procesos y

subprocesos o macroprocesos del Pp entendieacutendose como aquellas praacutecticas procedimientos

actividades o traacutemites que obstaculizan la operacioacuten del Pp

En este sentido se deberaacuten identificar las situaciones en las que la normativa genere complicaciones

en la gestioacuten o ineficacia en el cumplimiento de los objetivos del Pp para lo cual se deberaacute presentar

(por cada situacioacuten identificada) una propuesta de modificacioacuten a la normativa aplicable al Pp

considerando las restricciones praacutecticas que existan para su implementacioacuten asiacute como los efectos

PAE 2017 35

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

potenciales de ser implementada Los resultados de este anaacutelisis deberaacuten describirse en el Anexo 7

ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales del Pprdquo

Para la identificacioacuten y descripcioacuten de los ldquocuellos de botellardquo buenas praacutecticas y fortalezas del Pp

se consideraraacute la informacioacuten derivada del anaacutelisis de la operacioacuten del Pp asiacute como los puntos de

vista de los principales actores que intervienen en ella Este anaacutelisis deberaacute contener las causas y las

consecuencias de los ldquocuellos de botellardquo detectados sus caracteriacutesticas y naturaleza (si son

normativas o estrictamente operativas) de igual manera se deberaacute desarrollar un anaacutelisis de las

buenas praacutecticas identificadas

Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

Se debe integrar en una sola tabla las fortalezas oportunidades debilidades y amenazas

especificadas por cada apartado de la evaluacioacuten y reportarlas en el Anexo 11 ldquoPrincipales Fortalezas

Retos y Recomendacionesrdquo en el que se deben incluir las fortalezas yo oportunidades las

debilidades yo amenazas y las recomendaciones por apartado de la evaluacioacuten

PAE 2017 36

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexos

Anexo 1 ldquoDescripcioacuten General del Programardquo

El Anexo tiene formato libre sin embargo debe contener una breve descripcioacuten de las caracteriacutesticas

maacutes relevantes del Pp en un maacuteximo de dos cuartillas Dicha descripcioacuten debe considerar los

siguientes aspectos

1 Identificacioacuten del programa

11 Nombre

12 Clave de programa

13 Dependencia yo Entidad coordinadora ejecutora

14 Antildeo de inicio de operacioacuten

2 Problema o necesidad que el Pp pretende atender atenuar o resolver

3 La contribucioacuten del Pp a las Metas y objetivos estatales a los que se vincula

4 Descripcioacuten de los objetivos del Pp asiacute como de los bienes yo servicios que ofrece

(componentes)

5 Identificacioacuten y cuantificacioacuten de la poblacioacuten o aacuterea de enfoque potencial y

objetivo

6 Presupuesto aprobado para el ejercicio fiscal en curso

7 Metas de los indicadores de Fin Propoacutesito y Componentes asiacute como los de nivel

actividad que se consideren relevantes y

8 Resumen de la valoracioacuten de la pertinencia del disentildeo del Pp respecto a la atencioacuten

del problema o necesidad

Anexo 2 ldquoMetodologiacutea para la cuantificacioacuten de la poblacioacuten o aacuterea de enfoque

potencial y objetivordquo

El Anexo tiene formato libre sin embargo se debe incluir la siguiente informacioacuten

Definicioacuten de la poblacioacuten o aacuterea de enfoque potencial objetivo y atendida

Cuantificacioacuten de la poblacioacuten potencial objetiva y atendida

Hallazgos sobre el procedimiento llevado a cabo para definir y cuantificar la poblacioacuten o

aacuterea de enfoque potencial objetivo y atendida

Recomendaciones

Propuesta orientada hacia la mejora

PAE 2017 37

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 3 ldquoEvolucioacuten de la Coberturardquo

Nombre del

Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten

Antildeo de la Evaluacioacuten

Tipo de Poblacioacuten

Unidad

de

Medida

2012 2013 2014 2015 2016

P Potencial

P Objetivo

P Atendida

119927119912 times 120783120782120782

119927119926

PAE 2017 38

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 4 ldquoPropuesta de mejora de la Matriz de Indicadores para Resultadosrdquo

Derivado del anaacutelisis y valoracioacuten de la pregunta de investigacioacuten nuacutemero 3 iquestLa estructura de

objetivos planteada por el programa mantiene loacutegica y correspondencia causal con el problema

planteado en el diagnoacutestico se realizaraacute una propuesta de mejora de MIR

Fin

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Propoacutesito

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Componente 1

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

PAE 2017 39

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Componente 2 hellip

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 40

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesos del Pprdquo

Para la identificacioacuten y clasificacioacuten de los procesos del Pp se sugieren los siguientes pasos

1 Listar los procesos identificados

Comparar los procesos identificados del Pp con aquellos correspondientes al Modelo general de

procesos Colocar en el rengloacuten correspondiente el nombre de cada proceso del Pp identificado

como equivalente

2 Colocar al final de la lista aquellos procesos del Pp que no sean equivalentes con el Modelo

general de procesos

Modelo general de

procesos

Nuacutemero

de

secuencia

Procesos o subprocesos del Pp identificados por el

evaluador

(Nombre y breve descripcioacuten)

Planeacioacuten Ejemplo (Ej) Planeacioacuten Estrateacutegica

Ej Programacioacuten

Ej Presupuestacioacuten

Comunicacioacuten interna y

externa

Ej Difusioacuten Federal

Ej Difusioacuten Local

Seleccioacuten de

destinatarios

Ej Recepcioacuten de solicitudes de becas

Ej Seleccioacuten de becarios

Produccioacuten de

entregables

Entrega

Control

Seguimiento Ej Seguimiento fiacutesico y supervisioacuten en campo

Evaluacioacuten externa Ej Publicacioacuten y lectura del PAE

Ej Definicioacuten de TdR

Ej Contratacioacuten

Ej Ejecucioacuten de la evaluacioacuten externa

Monitoreo Ej Registro de avances de indicadores

Ej Revisioacuten de registros

Ej Validacioacuten de registros e integracioacuten de informes

PAE 2017 41

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Procesos identificados por el evaluador que no coinciden con el Modelo general de procesos

PAE 2017 42

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 ldquoFichas de indicadores de atributos de los procesos del Pp (formato libre)rdquo

Para la construccioacuten de este anexo deberaacute realizarse una revisioacuten documental (normativa aplicable

MIR evaluaciones externas sistemas de informacioacuten y registros administrativos entre otros) misma

que deberaacute complementarse con el trabajo de campo con el objetivo de identificar disentildear y calcular

indicadores relacionados con dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de

informacioacuten empleadas

Ademaacutes de considerar la medicioacuten de los atributos de eficacia suficiencia oportunidad y pertinencia

de cada proceso y subproceso o macroproceso

PAE 2017 43

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 7 ldquoDiagramas de flujo de la operacioacuten del Pprdquo

Para la elaboracioacuten de los diagramas de flujo deberaacute utilizarse la notacioacuten empleada en el

documento ldquoGuiacutea para la Optimizacioacuten Estandarizacioacuten y Mejora Continua de Procesosrdquo publicada

por la SFP en la direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Para el Diagrama de Alto Nivel (Diagrama PEPSU)

Ejemplo ilustrativo

PAE 2017 44

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para el Diagrama de Flujo

PAE 2017 45

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

PAE 2017 46

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 8 ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales

del Pprdquo

Tipo de

norma-

tiva

Dice

Problema

generado

(causas y

consecuencias)

Se

recomienda

decir

Efecto esperado de

aplicar la

recomendacioacuten de

cambio

Restricciones praacutecticas

que puedan existir para

su implementacioacuten

PAE 2017 47

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 9 ldquoValoracioacuten global cuantitativa ldquo

Seccioacuten 1 Disentildeo

Disentildeo Valoracioacuten Argumento o justificacioacuten

Porcentaje del

Disentildeo del Pp

(Suma de valoracioacuten alcanzada por pregunta de la seccioacuten 1 Total maacuteximo de la

valoracioacuten de todas las preguntas de la seccioacuten 1 ) x 100

Seccioacuten 2 Procesos

Proceso Eficacia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

eficaces

(Total de procesos eficaces Total de procesos del Pp) x 100

Proceso Oportunidad

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

oportunos

(Total de procesos oportunos Total de procesos del Pp) x 100

Proceso Suficiencia

(SiacuteNo) Argumento o justificacioacuten

PAE 2017 48

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Porcentaje de

procesos

suficientes

(Total de procesos suficientes Total de procesos del Pp) x 100

Proceso Pertinencia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

pertinentes

(Total de procesos pertinentes Total de procesos del Pp) x 100

NOTA Los argumentos y justificaciones del evaluador deberaacuten considerar el anaacutelisis y valoraciones de

los subprocesos de cada proceso de modo que haya consistencia entre estos elementos Asimismo el

evaluador deberaacute expresar los resultados de la valoracioacuten cuantitativa en una graacutefica tipo radial

PAE 2017 49

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 10 ldquoSistema de monitoreo e indicadores de gestioacuten del Pp (formato libre)rdquo

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible

Nombre del Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten De Procesos

Antildeo de la Evaluacioacuten 2017

Fin Justificacioacuten Propoacutesito Justificacioacuten Componente (s) Justificacioacuten

Nombre de

Indicador

Meacutetodo de Caacutelculo

Claro SiacuteNo SiacuteNo SiacuteNo

Relevante SiacuteNo SiacuteNo SiacuteNo

Econoacutemico SiacuteNo SiacuteNo SiacuteNo

Monitoreable SiacuteNo SiacuteNo SiacuteNo

Adecuado SiacuteNo SiacuteNo SiacuteNo

Definicioacuten SiacuteNo SiacuteNo SiacuteNo

Unidad de Medida SiacuteNo SiacuteNo SiacuteNo

Frecuencia de

Medicioacuten

SiacuteNo SiacuteNo SiacuteNo

Liacutenea Base SiacuteNo SiacuteNo SiacuteNo

Metas SiacuteNo SiacuteNo SiacuteNo

Comportamiento

del Indicador

SiacuteNo SiacuteNo SiacuteNo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 50

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de Procesos del Pprdquo

En este Anexo la instancia evaluadora debe valorar si la recomendacioacuten implica una consolidacioacuten o

una reingenieriacutea del proceso

A) Consolidacioacuten

Proceso Recomendaci

oacuten

Breve

anaacutelisis de

viabilidad de

la

implementa-

cioacuten

Principales

responsables

de la

implementaci

oacuten

Situacioacuten

actual

Efectos

potenciales

esperados

Medio de

verifica-

cioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

B) Reingenieriacutea de procesos

Proceso Objetivo

Breve

anaacutelisis de

viabilidad

de la

implemen-

tacioacuten

Principales

responsables

de la

implemen-

tacioacuten

Situa-

cioacuten

actual

Metas y

efectos

potenciale

s

esperados

Elabora-

cioacuten de

flujogram

a del

nuevo

proceso

Medio

de

verifi-

cacioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

NOTA El nivel de priorizacioacuten Alto Medio o Bajo se estimaraacute considerando la mejora en la operacioacuten

del Pp la viabilidad de la implementacioacuten de la recomendacioacuten asiacute como el efecto potencial que esto

pueda tener el alcance del objetivo del Pp

PAE 2017 51

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 12 ldquoPrincipales Fortalezas Retos y Recomendacionesrdquo

Capacidades Internas Factores Externos

Fortalezas

(Cualquier capacidad con la que cuenta la dependencia o

entidad que le permita aprovechar sus recursos para la

obtencioacuten de sus objetivos)

Oportunidades

(Cualquier factor externo fuera del control de la dependencia o

entidad que puede ser aprovechado para la obtencioacuten de sus

objetivos)

Debilidades

(Cualquier limitante Interna de la dependencia o entidad que

puede afectar la obtencioacuten de sus objetivos)

Amenazas

(Cualquier factor externo fuera de control de la dependencia o

entidad que pueda afectar la obtencioacuten de sus objetivos)

PAE 2017 52

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacutenrdquo

El Informe Final de la Evaluacioacuten de Procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten

Superior deberaacuten contener una ficha con los siguientes datos

Ficha Teacutecnica con los datos generales de la evaluacioacuten

Nombre o denominacioacuten de la

evaluacioacuten

[Especificar el nombre de la evaluacioacuten considerando su tipo y ejercicio

evaluado]

Nombre o denominacioacuten del

programa evaluado

[Indicar el nombre del Pp sujeto a evaluacioacuten de acuerdo con lo

establecido en el PEF sentildealando su modalidad y clave]

Unidad Responsable de la operacioacuten

del programa

[Especificar la(s) unidad(es) responsable(s) de la administracioacuten

operacioacuten y ejecucioacuten de los programas subprogramas y proyectos del

Pp evaluado correspondientes a las dependencias y entidades]

Titular de la unidad responsable de la

operacioacuten del programa

[Indicar el nombre del(a) Titular de la Unidad Responsable de la

operacioacuten del Pp]

Antildeo del Programa Anual de

Evaluacioacuten (PAE) en que fue

considerada la evaluacioacuten

[Especificar el ejercicio fiscal al que corresponde el PAE en la que fue

programada la evaluacioacuten]

Antildeo de conclusioacuten y entrega de la

evaluacioacuten

[Indicar el antildeo en que se concluyoacute la evaluacioacuten]

Tipo de evaluacioacuten [Especificar el tipo de evaluacioacuten de acuerdo con los Lineamientos de

evaluacioacuten el nombre de la evaluacioacuten y con lo establecido en el PAE]

Nombre de la instancia evaluadora [Indicar el nombre de la firma consultoriacutea u organizacioacuten que realizoacute la

evaluacioacuten]

Nombre del(a) coordinador(a)

externo(a) de la evaluacioacuten

[Especificar el nombre del(a) responsable de la coordinacioacuten de la

evaluacioacuten dla instancia evaluadora]

Nombre de los(as) principales

colaboradores(as) del(a)

coordinador(a) de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del(a)

coordinador(a) de la evaluacioacuten]

PAE 2017 53

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Unidad Administrativa responsable de

la Coordinacioacuten de la evaluacioacuten

[De acuerdo con lo sentildealado en el PAE especificar la instancia a la que

corresponde la coordinacioacuten de la evaluacioacuten pej Secretariacutea de

Finanzas y Administracioacuten (SFA) asiacute como la unidad administrativa

mediante la cual se ejerce esta funcioacuten p ej Direccioacuten de Evaluacioacuten

de la SFA (DEV)

Nombre del(a) Titular de la unidad

administrativa responsable de

coordinar la evaluacioacuten (Aacuterea de

Evaluacioacuten)

[Especificar el nombre del(a) Titular de la Unidad responsable de dar

seguimiento a la evaluacioacuten que funge como Aacuterea de Evaluacioacuten]

Nombres de los(as) servidores(as)

puacuteblicos(as) adscritos(as) a la unidad

administrativa responsable de

coordinar la evaluacioacuten que

coadyuvaron con la revisioacuten teacutecnica

de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del

titular de la unidad administrativa responsable de dar seguimiento a la

evaluacioacuten respecto de la revisioacuten teacutecnica de la misma]

Forma de contratacioacuten de la instancia

evaluadora

[Indicar el tipo de contratacioacuten dla instancia evaluadora Especificar el

tipo de procedimiento de contratacioacuten de la instancia evaluadora

consistente con los tipos de adjudicacioacuten establecidos en la Ley de

Adquisiciones Arrendamientos y Servicios del Sector Puacuteblico]

Costo total de la evaluacioacuten con IVA

incluido

[Especificar el costo total de la evaluacioacuten incluyendo el IVA (en caso

de que se haya causado) como sigue $XXX IVA incluido]

Asimismo en este anexo se deberaacute incluir una nota metodoloacutegica con la descripcioacuten de las teacutecnicas

y los modelos utilizados por el evaluador externo acompantildeada del disentildeo por muestreo

especificando los supuestos empleados y las principales caracteriacutesticas del tamantildeo y dispersioacuten de

la muestra utilizada

DIRECTORIO

Rauacutel Saacutenchez Kobashi

Secretario de la Secretariacutea de Finanzas y Administracioacuten

Francisco Fidel Teomitzi Saacutenchez

Subsecretario de Planeacioacuten

Arturo Neponuceno Crisoacutestomo

Director de Evaluacioacuten

Rodolfo de la Rosa Cabrera

Subdireccioacuten de Evaluacioacuten de Programas

Sauacutel Federico Oropeza Orea

Jefe del Departamento de Programas Estatales y Municipales

Ana Luz Guzmaacuten Figueroa

Analista del Departamento de Programas Estatales y Municipales

Marco Antonio Saacutenchez Gonzaacutelez

Analista del Departamento de Programas Estatales y Municipales

Page 19: Términos de Referencia para la Evaluación del Desempeño ...evaluacion.puebla.gob.mx/pdf/metodologias/TdR_Est/2017/TdR... · Perfil de la instancia evaluadora ... acuerdo con las

PAE 2017 18

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

9 Opinioacuten de actores (destinatarios beneficiarios usuarios clientes u operadores del Pp)

sobre la eficacia eficiencia y calidad de cada proceso subproceso o macroproceso

10 Existencia de mecanismos para conocer la satisfaccioacuten de los beneficiarios o destinatarios de

los componentes o entregables que otorga el Pp

Por otra parte en caso de que el Pp genere diversos componentes o entregables y que estos

impliquen la realizacioacuten de actividades diferentes seraacute necesario describir los procesos y

subprocesos o macroprocesos correspondientes a cada tipo de componente o entregable otorgado

En la descripcioacuten de los procesos y subprocesos o macroprocesos la instancia evaluadora de manera

coordinada con la DEV deberaacute realizar los diagramas de alto nivel y los diagramas detallados

(diagramas de flujo) que describan los procesos y subprocesos o macroprocesos del Pp Para ello se

deberaacute usar como referencia la seccioacuten ldquoVII Mapeo de procesosrdquo de la ldquoGuiacutea para la Optimizacioacuten

Estandarizacioacuten y Mejora Continua de Procesosrdquo (paacuteginas 18 a 25) elaborada por la Secretariacutea de la

Funcioacuten Puacuteblica (SFP) disponible en la siguiente direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Estos diagramas se deberaacuten elaborar de acuerdo con lo especificado en el Anexo 7 ldquoDiagramas de

flujo de la operacioacuten del Pprdquo

Metodologiacutea Seccioacuten 2

La Evaluacioacuten de Procesos del Pp se realizaraacute principalmente a partir de teacutecnicas de investigacioacuten

cualitativa como son el anaacutelisis documental la observacioacuten directa estudios de caso y multicaso

especiacuteficos entrevistas semiestructuradas y grupos focales o grupos de enfoque (focus groups)

entre otras teacutecnicas que la instancia evaluadora considere pertinentes para realizar el anaacutelisis de

gabinete y el trabajo de campo tales como la aplicacioacuten de cuestionarios de aplicacioacuten electroacutenica

o a distancia

La metodologiacutea y los instrumentos definidos asiacute como el trabajo de gabinete y de campo deberaacuten

generar evidencia empiacuterica suficiente para valorar a profundidad la forma en que se ejecutan los

procesos y subprocesos o macroprocesos que integran la operacioacuten del Pp asiacute como su contexto

institucional y organizacional

PAE 2017 19

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anaacutelisis de gabinete

Para esta seccioacuten es necesario la elaboracioacuten del diagnoacutestico de los procesos y subprocesos o

macroprocesos que integran la operacioacuten o gestioacuten del Pp la instancia evaluadora deberaacute realizar

un anaacutelisis de gabinete considerando como miacutenimo los siguientes documentos

La normativa aplicable al Pp leyes reglamentos lineamientos manuales de procedimientos

convenios contratos entre otros

Diagnoacutestico y estudios de la problemaacutetica que el Pp atiende

Diagnoacutestico del programa y estudios del marco contextual en el que opera

MIR del Pp correspondiente al ejercicio fiscal evaluado y de ejercicios anteriores que se

consideren pertinentes

Sistemas de informacioacuten automatizados semiautomatizados o manuales que apoyen a la

ejecucioacuten de los procesos y subprocesos o macroprocesos identificados del Pp

Evaluaciones externas o internas realizadas previamente al Pp

Documentos de trabajo institucionales e informes de avances de Aspectos Susceptibles de

Mejora con los que cuente el Pp

Informes de auditoriacuteas de desempentildeo o similares realizadas al Pp por la Auditoriacutea Superior

de la Federacioacuten del Estado de Puebla por la Secretariacutea de la Contraloriacutea o por cualquier

instancia fiscalizadora

Asimismo se sugiere revisar otros documentos asociados al disentildeo del Pp y a su definicioacuten de

poblacioacuten o aacuterea de enfoque potencial y objetivo asiacute como a su estrategia de integracioacuten de

destinatarios o beneficiarios de los componentes o entregables del Pp

El anaacutelisis o trabajo de gabinete deberaacute generar como resultado inicial un mapeo de los procesos y

subprocesos o macroprocesos que integran la gestioacuten operativa del Pp que constituiraacute

esencialmente el Producto 1 de la evaluacioacuten posteriormente se procesaraacute la informacioacuten recabada

en campo para la generacioacuten del informe preliminar y final de la evaluacioacuten

Alcance y enfoque de la evaluacioacuten

La instancia evaluadora deberaacute sentildealar con claridad en el informe de la evaluacioacuten cuaacuteles de los

procesos y subprocesos o macroprocesos identificados en la operacioacuten o gestioacuten del Pp se analizan

y cuaacuteles no de acuerdo con lo establecido por la Direccioacuten de Evaluacioacuten (DEV) de la Secretariacutea de

Finanzas y Administracioacuten (SFA) y la Unidad Responsable (UR) del Programa en cuestioacuten sentildealando

los elementos de anaacutelisis que justifican esta seleccioacuten y en su caso haciendo recomendaciones al

respecto

PAE 2017 20

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Un elemento que podraacute ser considerado para establecer el alcance de la evaluacioacuten es el grado de

consolidacioacuten operativa del Pp el cual podraacute determinarse a priori considerando algunos elementos

como los siguientes

1 Si existen documentos que normen los procesos y subprocesos o macroprocesos

2 Si los procesos y subprocesos o macroprocesos estaacuten estandarizados es decir si son

utilizados por todas la instancias ejecutoras de manera homogeacutenea

3 Si los procesos y subprocesos o macroprocesos estaacuten documentados y son del conocimiento

de todos los operadores

4 Si se cuenta con un sistema de monitoreo e indicadores de gestioacuten

5 Si se cuenta en los procesos y subprocesos o macroprocesos analizados con sistemas

informaacuteticos que permitan la automatizacioacuten en la ejecucioacuten de los mismos

6 Si se cuenta con mecanismos para la implementacioacuten sistemaacutetica de mejoras

Se considera que existe un mayor grado de consolidacioacuten operativa cuando existen todos los

elementos y disminuiraacute gradualmente conforme haga falta uno o maacutes de ellos hasta el menor grado

de consolidacioacuten que es cuando no existe ninguno de los elementos

El alcance de la Evaluacioacuten de Procesos del Pp implica el anaacutelisis de los procesos y subprocesos o

macroprocesos sustantivos del Pp asiacute como la respectiva priorizacioacuten de estos Se deberaacute realizar

la identificacioacuten y jerarquizacioacuten de los procesos a partir del Esquema 1 adaptaacutendolo a las

condiciones particulares del Pp3 en eacutel se observa lo siguiente

El proceso de ldquoPlaneacioacutenrdquo es el punto de partida para la implementacioacuten del Pp

posteriormente continuacutean los procesos de ldquoComunicacioacuten Interna y Externardquo ldquoSeleccioacuten de

destinatariosrdquo ldquoProduccioacuten de entregablesrdquo ldquoEntregardquo ldquoSeguimiento a destinatariosrdquo y

ldquoControlrdquo

La informacioacuten que se genera en los procesos de ldquoSeguimiento a destinatariosrdquo y ldquoControlrdquo

es un insumo directo para retroalimentar los procesos del Pp desde el de Planeacioacuten

El proceso de ldquoMonitoreordquo utiliza informacioacuten generada principalmente en los procesos de

ldquoComunicacioacutenrdquo ldquoSeleccioacuten de destinatariosrdquo ldquoProduccioacuten de entregablesrdquo ldquoEntregardquo y

ldquoSeguimiento a destinatariosrdquo a partir de ello se retroalimentan los procesos del Pp desde

la ldquoPlaneacioacutenrdquo

3 Con excepcioacuten de los procesos (con sus subprocesos) de Planeacioacuten Monitoreo y Evaluacioacuten Externa para

los cuales la instancia evaluadora uacutenicamente podraacute en caso de que lo considere pertinente agregar

subprocesos pero no suprimir subprocesos

PAE 2017 21

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

El proceso de ldquoEvaluacioacuten Externardquo requiere de informacioacuten transversal de todos los

procesos ya que se valora al Pp en su conjunto En este sentido los resultados de las

evaluaciones son un insumo para retroalimentar al Pp desde el proceso de ldquoPlaneacioacutenrdquo

Es importante sentildealar que en el Esquema 1 se muestra un modelo que es importante tomarlo en

cuenta como referencia para la identificacioacuten y definicioacuten de los procesos y subprocesos o

macroprocesos que integran la operacioacuten del Pp evaluado ademaacutes de que representa un auxiliar

en la definicioacuten del alcance y del enfoque de la Evaluacioacuten de Procesos del Pp

Esquema 1 Modelo general de procesos

Fuente Modelo de TdR para la Evaluacioacuten de Procesos Secretariacutea de Hacienda y Creacutedito Puacuteblico

A continuacioacuten se describe cada uno de los procesos que componen al modelo anterior

Planeacioacuten proceso en el que se determinan o definen el problema o necesidad aacuterbol de

problemas y objetivos poblacioacuten o aacuterea de enfoque potencial y objetivo objetivos

indicadores y metas de la MIR estrategia de cobertura plan estrateacutegico entre otros puntos

asiacute como los recursos financieros y humanos necesarios que requiere el Pp para lograr sus

objetivos En el proceso de planeacioacuten se determinan las directrices en el disentildeo e

implementacioacuten del Pp los subprocesos que lo integran son los siguientes planeacioacuten

estrateacutegica programacioacuten y presupuesto actualizacioacuten de la MIR actualizacioacuten de

normativa

PAE 2017 22

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Comunicacioacuten interna y externa proceso en el que se informan diversas caracteriacutesticas y

objetivos del Pp tanto a los actores involucrados en su funcionamiento y operacioacuten (interna)

como a su poblacioacuten o aacuterea de enfoque objetivo (externa)

Seleccioacuten de destinatarios proceso en el que se determina quieacutenes recibiraacuten los

componentes o entregables de un Pp en funcioacuten de su poblacioacuten o aacuterea de enfoque objetivo

Produccioacuten de entregables proceso en el que se elaboran los entregables o realizan los

componentes del Pp (recursos financieros o humanos apoyos bienes servicios

regulaciones documentos teacutecnicos o de planeacioacuten etc) conforme a sus documentos

normativos

Entrega proceso en el que se realiza la entrega de lo producido o generado por el Pp

(componentes o entregables) a los destinatarios o beneficiarios

Seguimiento a destinatarios actividades y mecanismos que permiten al Pp conocer coacutemo

son utilizados o aprovechados sus componentes o entregables (por sus destinatarios o

beneficiarios) para que entre otras funciones la UR del Pp identifique si se estaacute cumpliendo

con los objetivos Por ejemplo en este proceso se incluyen las actividades que un Pp

implementa para conocer el grado de satisfaccioacuten de sus destinatarios o beneficiarios

Control actividades y mecanismos implementados entre los operadores del Pp para verificar

que los diferentes procedimientos procesos y subprocesos se esteacuten ejecutando conforme a

lo planeado (control interno)

Monitoreo proceso coordinado por una unidad administrativa ajena a la operacioacuten del Pp

a traveacutes del cual se recaba registra y valida la informacioacuten sobre el avance de las metas de

los indicadores de la MIR asiacute como el seguimiento a los resultados de indicadores

adicionales a los de la MIR en caso de que se cuente con un sistema de monitoreo de gestioacuten

Los subprocesos que lo integran son los siguientes acopio de la informacioacuten para el reporte

de avances validacioacuten de informacioacuten y registro de avances primordialmente

Evaluacioacuten externa proceso coordinado por una unidad administrativa ajena a la operacioacuten

del Pp mediante el cual se define la agenda de evaluacioacuten externa del Pp se definen las

metodologiacuteas o los teacuterminos de referencia se contratan las evaluaciones externas (de

cualquier tipo) se recaba la informacioacuten que seraacute entregada a los equipos evaluadores se

realiza el seguimiento durante el desarrollo de las evaluaciones externas se aprueban los

PAE 2017 23

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

informes finales de las evaluaciones externas se notifica a las instancias correspondientes

sobre la conclusioacuten de las evaluaciones externas y se definen y realiza el seguimiento de los

Aspectos Susceptibles de Mejora (ASM)

A partir de los procesos definidos en el modelo anterior la instancia evaluadora deberaacute realizar una

equivalencia de los procesos subprocesos o macroprocesos identificados respecto a los definidos

en el modelo de acuerdo con el Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesosrdquo Cabe

mencionar que los procesos definidos en el modelo no son limitativos por lo que si la instancia

evaluadora identifica procesos subprocesos o macroprocesos adicionales deberaacute incluirlos

Disentildeo metodoloacutegico del trabajo de campo

A partir del contexto en que opera el Pp y el alcance y enfoque metodoloacutegico de la evaluacioacuten de

procesos la instancia evaluadora deberaacute desarrollar una propuesta de estrategia y plan de trabajo

de campo a seguir para la realizacioacuten de la evaluacioacuten asimismo deberaacute incluir un cronograma

detallado de actividades

La estrategia de trabajo de campo disentildeada por la instancia evaluadora deberaacute ser entregada a la

DEV para que en conjunto con la UR del Pp sea validada antes de su implementacioacuten Dicha

estrategia deberaacute contener al menos los siguientes elementos

Justificacioacuten de las teacutecnicas de investigacioacuten a utilizar

Muestra y los criterios utilizados para su seleccioacuten

Listado de los actores a entrevistar

Instrumentos de levantamiento de informacioacuten que se aplicaraacuten y

Cronograma con las actividades a desarrollar

La instancia evaluadora iniciaraacute las actividades del trabajo de campo de manera conjunta y una vez

recibido el visto bueno de la DEV

El disentildeo de la muestra y de los instrumentos para el levantamiento de informacioacuten en campo

deberaacute considerar a la totalidad de los actores que intervienen en la ejecucioacuten de los procesos y

subprocesos o macroprocesos que integran la operacioacuten o gestioacuten del Pp asiacute como a los

destinatarios o beneficiarios de los componentes o entregables del Pp independientemente de su

ubicacioacuten geograacutefica

Algunos criterios que puede utilizar la instancia evaluadora para definir una muestra que considere

la variabilidad de la operacioacuten en los diferentes contextos en que opera el Pp son los siguientes

PAE 2017 24

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

a) El desempentildeo operativo del Pp entre municipios regionalizacioacuten geograacutefica instituciones

puacuteblicas o privadas u otros aspectos que suponen una accioacuten diferenciada de los procesos

(cuando aplique)

b) Volumen de la operacioacuten del Pp

c) Esquemas normativos del Pp y el ejercicio presupuestal en los municipios instituciones

puacuteblicas o privadas u otros aspectos que suponen una accioacuten diferenciada de los procesos

en las que opera el Pp (cuando aplique) y

d) Formas de interaccioacuten del Pp con otros niveles u oacuterdenes de gobierno (cuando aplique)

Los criterios anteriores no son limitativos por lo que la instancia evaluadora podraacute proponer criterios

adicionales que considere pertinentes para la definicioacuten de la muestra para el trabajo de campo

En el disentildeo muestral la instancia evaluadora deberaacute sentildealar los funcionarios del Pp o destinatarios

a los que se les aplicaraacuten los instrumentos de levantamiento de informacioacuten con los que se realizaraacute

el trabajo de campo asiacute como la ubicacioacuten geograacutefica de los mismos

Instrumentos de levantamiento de informacioacuten

La instancia evaluadora deberaacute disentildear los instrumentos que utilizaraacute para el levantamiento de

informacioacuten durante el trabajo de campo como son (por ejemplo) los cuestionarios por tipo de

funcionario a entrevistar para el caso de entrevistas semiestructuradas los guiones a utilizar en la

realizacioacuten de grupos focales los cuestionarios de aplicacioacuten electroacutenica las guiacuteas respectivas entre

otros Para lo anterior deberaacute considerar los siguientes temas guiacutea y preguntas de referencia

Planeacioacuten (planeacioacuten estrateacutegica programacioacuten y presupuesto)

iquestQueacute se entiende por planeacioacuten estrateacutegica para los operadores del Pp

iquestCuaacuteles son las actividades o acciones de planeacioacuten estrateacutegica del Pp que se realizan

iquestLa planeacioacuten estrateacutegica es el resultado de un ejercicio institucionalizado que involucra a

los actores clave de la gestioacuten del Pp

iquestExiste un documento resultado de la planeacioacuten estrateacutegica iquestEs claro difundido y

accesible iquestEn queacute medida es utilizado para guiar la operacioacuten del Pp

iquestLa planeacioacuten estrateacutegica estaacute vinculada con el cumplimiento entrega o generacioacuten de los

componentes o entregables del Pp

iquestLa planeacioacuten estrateacutegica establece indicadores para medir los avances en las metas

establecidas iquestLas metas son factibles y estaacuten orientadas a impulsar el desempentildeo del Pp

PAE 2017 25

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

iquestQueacute se entiende por planeacioacuten operativa y cuaacuteles son las diferencias con la planeacioacuten

estrateacutegica

Comunicacioacuten interna y externa del Pp (las preguntas que apliquen)

iquestQueacute actores intervienen en la comunicacioacuten del Pp

iquestExiste una estrategia de comunicacioacuten del Pp documentada En caso afirmativo describirla

iquestLa estrategia de comunicacioacuten del Pp (documentada o no) es adecuada

iquestLos medios utilizados el lenguaje y el contenido de los mensajes son pertinentes en funcioacuten

del puacuteblico al que van dirigidos

Solicitud de los componentes o entregables del Pp (las preguntas que apliquen)

iquestExiste un proceso claro imparcial y expliacutecito por medio del cual la poblacioacuten o aacuterea de

enfoque potencial puede solicitar los componentes o entregables que otorga el Pp

iquestLos requisitos para solicitar los componentes o entregables del Pp se presentan de manera

clara y completa

iquestLos puntos de recepcioacuten de solicitudes son accesibles y suficientes (cuando aplique)

iquestExisten mecanismos estandarizados para recibir y revisar la documentacioacuten entregada asiacute

como registrar y dar traacutemite a las solicitudes (cuando aplique)

iquestSon adecuados estos mecanismos (cuando aplique) En caso de que el Pp que apoye la

realizacioacuten de proyectos iquestse brinda asesoriacutea para la presentacioacuten de los mismos de ser asiacute

iquestes pertinente esta asesoriacutea

iquestEl proceso de solicitud de los componentes o entregables que otorga el Pp se encuentra

automatizado total o parcialmente

Para esta pregunta considerar los estados de digitalizacioacuten utilizados por la Comisioacuten Intersecretarial

para el Desarrollo del Gobierno electroacutenico seguacuten una adaptacioacuten realizada a la clasificacioacuten que

hace la ONU

Estado de digitalizacioacuten 1 traacutemites y servicios que se encuentran en estado informativo

Estado de digitalizacioacuten 2 traacutemites y servicios que cuentan con interfaces de comunicacioacuten

unidireccional

Estado de digitalizacioacuten 3 traacutemites y servicios que permiten realizar transacciones y

Estado de digitalizacioacuten 4 traacutemites y servicios que el usuario puede ejecutar de principio a

fin por medio de dispositivos digitales

PAE 2017 26

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para mayor informacioacuten referirse a ldquoFigure A4 The four stages of online service developmentrdquo en

los siguientes documentos

Lineamientos relativos a la digitalizacioacuten estandarizada de traacutemites y servicios con apego en

la Estrategia Digital Nacional

httpwwwgobmxcmsuploadsattachmentfile67232ti_1_pgcm_bases_lineam_tyspdf

United Nations E-Government Survey 2014 (paacutegina 195)

httpspublicadministrationunorgegovkbportalsegovkbdocumentsun2014-surveye-

gov_complete_survey-2014pdf

Seleccioacuten de destinatarios (cuando aplique)

iquestExiste una metodologiacutea o meacutetodo para la seleccioacuten de destinatarios o beneficiarios de los

componentes o entregables del Pp iquestLa metodologiacutea utilizada cuenta con criterios de

seleccioacuten y elegibilidad claros estandarizados y sistematizados

iquestLa seleccioacuten de destinatarios o beneficiarios de los componentes o entregables del Pp es un

proceso transparente e imparcial iquestEl resultado de la seleccioacuten es puacuteblico (cuando aplique)

iquestExiste informacioacuten en una base de datos que permita conocer quieacutenes o queacute instancias

reciben los componentes o entregables del Pp iquestQueacute informacioacuten integra esta base de datos

iquestExisten mecanismos para validar y actualizar esta base de datos iquestEstos mecanismos son

pertinentes

Produccioacuten de componentes o entregables

iquestSe cuenta con los insumos suficientes para generar el volumen de componentes o

entregables que permitan al Pp atender a su poblacioacuten o aacuterea de enfoque objetivo

iquestEl Pp tiene mecanismos para estimar la produccioacuten o generacioacuten necesaria de componentes

o entregables de acuerdo con la posible demanda o requerimientos de su poblacioacuten o aacuterea

de enfoque objetivo iquestEs adecuado este mecanismo

iquestExisten mecanismos de control de calidad para la generacioacuten de los componentes o

entregables del Pp iquestEstos mecanismos son pertinentes

iquestLas actividades de generacioacuten de componentes o entregables que otorga el Pp estaacuten

estandarizadas es decir son ejecutadas de manera homogeacutenea por todas las instancias

involucradas

PAE 2017 27

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Entrega

iquestLos componentes o entregables del Pp son proporcionados conforme a las especificaciones

y de manera oportuna a los destinatarios

iquestExisten especificaciones (programas o planes de trabajo) sobre la forma en que se deben

trasladar los componentes o entregables para (por ejemplo) asegurar su adecuada recepcioacuten

en el punto de destino iquestSon adecuadas estas especificaciones respecto a normas o

lineamientos existentes (cuando aplique)

iquestLa logiacutestica de distribucioacuten se actualiza (cuando aplique) iquestExiste un periodo para dicha

actualizacioacuten iquestEn el disentildeo y actualizacioacuten de la logiacutestica se toman en cuenta los factores

geograacuteficos y climatoloacutegicos en cada regioacuten donde opera el Pp (cuando aplique)

iquestLos puntos de entrega de los componentes o entregables son cercanos a los beneficiarios

o aacuterea de enfoque a atender y son de faacutecil acceso iquestSe considera que son suficientes iquestPor

queacute

Control (las preguntas que apliquen)

iquestEl Pp cuenta con los mecanismos para verificar que los componentes o entregables se

otorguen de acuerdo con lo establecido en la normativa especiacutefica y lleguen a la poblacioacuten

o aacuterea de enfoque que deba ser beneficiada iquestEstos mecanismos son adecuados

iquestExiste de manera sistematizada un documento que deacute cuenta de los resultados de

supervisioacuten y entrega de componentes o entregables iquestEste documento es adecuado iquestLos

resultados se utilizan para implementar mejoras en la operacioacuten del Pp

iquestExisten procedimientos estandarizados que verifiquen el cumplimiento de la

corresponsabilidad u obligatoriedad por parte de los beneficiarios o destinatarios de los

componentes o entregables del Pp (cuando aplique)

Seguimiento a destinatarios

iquestEl Pp tiene mecanismos para verificar el procedimiento de seguimiento a los destinatarios o

beneficiarios que permitan identificar si los componentes o entregables generados son

utilizados de acuerdo con lo establecido iquestCoacutemo se implementa el mecanismo iquestEste

mecanismo es adecuado

iquestExisten procedimientos estandarizados que permitan verificar el cumplimiento de la

corresponsabilidad u obligatoriedad por parte del destinatario o beneficiario (cuando

aplique)

PAE 2017 28

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

En caso de que los componentes o entregables involucren la ejecucioacuten de obra o de

infraestructura iquestel Pp cuenta con un mecanismo de seguimiento o supervisioacuten que permita

identificar si se realizaron acorde a la normativa aplicable iquestEl seguimiento o supervisioacuten

considera plazos para la revisioacuten de las condiciones de la obra o la infraestructura despueacutes

de terminada la obra

iquestEl Pp tiene mecanismos para identificar si se cumple con su Propoacutesito iquestSon suficientes y

pertinentes estos mecanismos

iquestExisten mecanismos para conocer la satisfaccioacuten del destinatario o beneficiario de los

componentes o entregables del Pp respecto de los componentes que ofrece el Pp iquestSon

adecuados estos mecanismos iquestSu operacioacuten permite una aplicacioacuten imparcial y objetiva

iquestExiste evidencia para afirmar que las quejas y sugerencias que brindan los destinatarios o

beneficiarios de los componentes o entregables del Pp son utilizadas para la mejora continua

del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

En esta seccioacuten se deberaacute realizar la medicioacuten de los atributos de eficacia oportunidad suficiencia

y pertinencia de los procesos y subprocesos o macroprocesos definidos en el mapa de procesos del

Pp A continuacioacuten se definen los atributos en el marco de la evaluacioacuten de procesos

Eficacia un proceso es eficaz en la medida en que cumple con sus metas

Oportunidad un proceso es oportuno en la medida en que otorga sus productos

(componentes o entregables) o resultados en un periodo de tiempo determinado o

adecuado para el logro de sus objetivos

Suficiencia un proceso es suficiente en la medida en que produce sus resultados de forma

completa o adecuada para el logro de sus objetivos

Pertinencia un proceso es pertinente si sus actividades y productos son adecuados para

lograr tanto sus metas especiacuteficas como sus objetivos es decir si contribuyen al

mejoramiento de la gestioacuten del Pp4

4 Las actividades son adecuadas si estaacuten en funcioacuten del logro del objetivo de cada proceso Por ejemplo si se verifica que el formato de los mensajes a difundir cumpla con las caracteriacutesticas necesarias para llegar a la poblacioacuten o aacuterea de enfoque objetivo como seriacutea una mensaje de audio en la lengua indiacutegena de la localidad donde se encuentran los posibles destinatarios o beneficiarios o bien como seriacutea un mensaje dirigido a personal operativo del Pp cuyo nivel de estudios promedio pudiera complicar la comprensioacuten de lenguaje teacutecnico utilizado

PAE 2017 29

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para la medicioacuten de los atributos de los procesos y subprocesos o macroprocesos del Pp deberaacute

realizarse una revisioacuten documental (normativa aplicable MIR evaluaciones externas sistemas de

informacioacuten y registros administrativos entre otros) misma que deberaacute complementarse con el

trabajo de campo con el objetivo de identificar disentildear y calcular indicadores relacionados con

dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de informacioacuten empleadas

La informacioacuten obtenida de estos indicadores deberaacute vaciarse en fichas propuestas por la instancia

evaluadora presentadas como en el Anexo 6 ldquoFichas de indicadores de atributos de los procesos del

Pprdquo (formato libre) Estas fichas deberaacuten considerar la medicioacuten de los atributos de eficacia

suficiencia oportunidad y pertinencia correspondientes a cada proceso y subproceso o

macroproceso

Valoracioacuten de los procesos y subprocesos de la operacioacuten del Pp

Deberaacute contener una siacutentesis de los resultados encontrados en la Evaluacioacuten de Procesos del Pp

resaltando los hallazgos maacutes relevantes que se hayan detectado y que pudiesen transformarse en

ASM

La instancia evaluadora deberaacute calcular una valoracioacuten global cuantitativa sobre la operacioacuten y la

ejecucioacuten de los procesos y subprocesos o macroprocesos del Pp a partir del siguiente esquema de

puntuacioacuten5

Eficacia

- Todos los procesos (o macroprocesos) son eficaces = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es eficaz = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es eficaz = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es eficaz = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es eficaz = 1 punto

- Ninguno de los procesos (o macroprocesos) es eficaz = 0 puntos

Oportunidad

- Todos los procesos (o macroprocesos) son oportunos = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es oportuno = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es oportuno = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es oportuno = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es oportuno = 1 punto

5 La valoracioacuten cuantitativa deberaacute estar sustentada y por tanto ser consistente con lo valorado por la instancia evaluadora en el apartado de ldquoMedicioacuten de atributos de los procesos y subprocesosrdquo

PAE 2017 30

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

- Ninguno de los procesos (o macroprocesos) es oportuno = 0 puntos

Suficiencia

- Todos los procesos (o macroprocesos) son suficientes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es suficiente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es suficiente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es suficiente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es suficiente = 1 punto

- Ninguno de los procesos (o macroprocesos) es suficiente = 0 puntos

Pertinencia

- Todos los procesos (o macroprocesos) son pertinentes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es pertinente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es pertinente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es pertinente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es pertinente = 1 punto

- Ninguno de los procesos (o macroprocesos) es pertinente = 0 puntos

A partir de los puntajes asignados en los cuatro atributos anteriores esta valoracioacuten cuantitativa

global debe considerar el total de puntos posibles de obtener (5 x 4 = 20 puntos) y los puntos

obtenidos en la Evaluacioacuten de Procesos Pp (lsquoyrsquo puntos) de modo que se indique el porcentaje de

puntos obtenidos del total de puntos posibles [(lsquoyrsquo20) x 100] = valoracioacuten cuantitativa global de la

operacioacuten del Pp

La instancia evaluadora deberaacute utilizar el Anexo 9 ldquoValoracioacuten global cuantitativardquo para documentar

argumentar y sustentar cada una de las valoraciones cuantitativas sobre la operacioacuten y la ejecucioacuten

de los procesos (o macroprocesos) del Pp

Adicionalmente en este apartado se deberaacuten integrar las recomendaciones y conclusiones que se

consideren maacutes relevantes de los procesos y subprocesos o macroprocesos del Pp las cuales deben

formularse con base en los hallazgos del trabajo de campo y de gabinete El objetivo final de las

recomendaciones es proveer informacioacuten valiosa a los operadores del Pp para realizar adecuaciones

en la ejecucioacuten de los procesos y subprocesos o macroprocesos de modo que se potencie la

consecucioacuten de resultados del Pp

Las recomendaciones que se formulen como resultado de la Evaluacioacuten de Procesos del Pp deberaacuten

tener las siguientes caracteriacutesticas

Derivarse de los hallazgos de la evaluacioacuten

PAE 2017 31

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Ser concretas y factibles

Incluir un proyecto de implementacioacuten que considere los siguientes elementos

- Breve anaacutelisis de la viabilidad o factibilidad de la implementacioacuten

- Principales responsables de la implementacioacuten

- Anaacutelisis de los efectos potenciales que puede implicar la implementacioacuten tanto en la

operacioacuten del Pp como en el logro de sus objetivos

- La comparacioacuten entre la situacioacuten actual y el resultado que se espera obtener con la

implementacioacuten de la recomendacioacuten

Estar categorizadas en dos liacuteneas de accioacuten estrateacutegicas

- Consolidacioacuten

- Reingenieriacutea de procesos o subprocesos

Al respecto la instancia evaluadora debe entender por consolidacioacuten aquellas recomendaciones que

estaacuten dirigidas a perfeccionar determinados aspectos de la operacioacuten como seriacutean algunas acciones

procedimientos o estrategias del Pp asiacute como iniciativas para el fortalecimiento de los sistemas

automatizados infraestructura entre otros

Por reingenieriacutea de procesos o subprocesos se entenderaacuten aquellas recomendaciones que apuntan

a una transformacioacuten o modificacioacuten profunda o sustancial de uno o varios de los procesos y

subprocesos del Pp Para ello se deberaacute llenar el Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de

Procesos del Pprdquo y que a su vez deben derivar en acciones de consolidacioacuten para la implementacioacuten

de los procesos transformados

Adicionalmente y de conformidad con el alcance de la Evaluacioacuten de Procesos del Pp se deberaacute

presentar una propuesta para crear o fortalecer el sistema de monitoreo de gestioacuten del Pp con

indicadores a nivel de procesos y subprocesos o macroprocesos

Asimismo a partir de todo el anaacutelisis y valoraciones realizadas se deberaacute emitir un pronunciamiento

acerca de la percepcioacuten de eficiencia que la instancia evaluadora haya tenido sobre la ejecucioacuten de

los procesos y subprocesos o macroprocesos del Pp

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible o si no hipoteacuteticos en un anexo de formato libre Anexo 10 ldquoSistema de

monitoreo e indicadores de gestioacuten del Pprdquo

PAE 2017 32

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Bitaacutecora de trabajo de campo y bases de datos

La instancia evaluadora deberaacute entregar una bitaacutecora de trabajo de campo que destaque de forma

sinteacutetica entre otros puntos las principales actividades y situaciones a las que se enfrentoacute y que

podriacutean afectar los resultados de la Evaluacioacuten de Procesos del Pp

Asimismo deberaacute entregar las bases de datos generadas a partir de la aplicacioacuten de los instrumentos

de recoleccioacuten de informacioacuten y de la recopilacioacuten de informacioacuten en el trabajo de campo Las bases

de datos deberaacuten entregarse en formatos compatibles con Excel debiendo mantener la

confidencialidad de los entrevistados pero sin alterar la informacioacuten proporcionada por estos En las

bases de datos debe estar sistematizada toda la informacioacuten recabada a partir de la aplicacioacuten de

los instrumentos de levantamiento de informacioacuten y deberaacute sustentar el anaacutelisis las valoraciones los

hallazgos y las conclusiones de la evaluacioacuten

PAE 2017 33

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Contenido del informe

Contenido miacutenimo del informe final de la evaluacioacuten

Derivado del contenido generado en las secciones anteriores deberaacuten elaborarse los siguientes

apartados en el informe final de la Evaluacioacuten de Procesos del Pp

i Introduccioacuten

ii Resumen Ejecutivo

iii Marco Legal

iv Datos Generales del Programa Presupuestario (Pp)

v Criterios Teacutecnicos para la Evaluacioacuten del Programa Presupuestario correspondiente

vi Apartados de la evaluacioacuten

Seccioacuten 1 Disentildeo

Diagnoacutestico del programa puacuteblico

Matriz de Indicadores para Resultados (MIR)

Seccioacuten 2 Procesos

Pertinencia de los proceso

Diagnoacutestico general de los procesos y subprocesos del Pp

- Contexto en que opera el Pp

- Diagnoacutestico inicial de los procesos y subprocesos

Descripcioacuten y valoracioacuten de los procesos y subprocesos del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

vii Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

viii Valoracioacuten final del Pp

ix Hallazgos

x Recomendaciones clasificadas por apartado

xi Conclusiones

xii Bibliografiacutea

xiii Anexos

Anexo 1 Descripcioacuten General del Programa

Anexo 2 Metodologiacutea para la cuantificacioacuten de las poblaciones potencial y objetivo

(Formato Libre)

Anexo 3 Evolucioacuten de la Cobertura

Anexo 4 Propuesta de mejora de la Matriz de Indicadores para Resultados

Anexo 5 Ficha de identificacioacuten y equivalencia de procesos del Pp

PAE 2017 34

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 Fichas de indicadores de atributos de los procesos del Pp (Formato libre)

Anexo 7 Diagramas de flujo de la operacioacuten del Pp

Anexo 8 Propuesta de modificacioacuten a los documentos normativos o institucionales

del Pp

Anexo 9 Valoracioacuten global cuantitativardquo

Anexo 10 Sistema de monitoreo e indicadores de gestioacuten del Pp (Formato libre)

Anexo 11 Recomendaciones de la Evaluacioacuten de Procesos del Pp

Anexo 12 Principales Fortalezas Retos y Recomendaciones

Anexo 13 Ficha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacuten

En el Resumen Ejecutivo asimismo se describiraacuten los principales hallazgos y recomendaciones del

evaluador externo

Para el desarrollo de los apartados antes referidos deberaacute atender las indicaciones que se desarrollan

en las siguientes secciones

Hallazgos y resultados Pp por Seccioacuten

Se debe realizar una valoracioacuten general del programa por seccioacuten utilizando las respuestas que

integran cada uno de los apartados En esta valoracioacuten integral se deberaacute sentildealar en queacute medida la

gestioacuten operativa conduce al logro de los objetivos del Pp

Asimismo se deben sentildealar las aacutereas de mejora las buenas praacutecticas y las fortalezas detectadas en

la operacioacuten del Pp y a partir de ello la instancia evaluadora emitiraacute recomendaciones de mejora

sobre aspectos especiacuteficos de cada proceso y subproceso o macroproceso del Pp Adicionalmente

se deberaacuten identificar los problemas o limitantes tanto normativos como operativos (ldquocuellos de

botellardquo) de coordinacioacuten entre unidades administrativas y otros que hubiese en los procesos y

subprocesos o macroprocesos del Pp entendieacutendose como aquellas praacutecticas procedimientos

actividades o traacutemites que obstaculizan la operacioacuten del Pp

En este sentido se deberaacuten identificar las situaciones en las que la normativa genere complicaciones

en la gestioacuten o ineficacia en el cumplimiento de los objetivos del Pp para lo cual se deberaacute presentar

(por cada situacioacuten identificada) una propuesta de modificacioacuten a la normativa aplicable al Pp

considerando las restricciones praacutecticas que existan para su implementacioacuten asiacute como los efectos

PAE 2017 35

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

potenciales de ser implementada Los resultados de este anaacutelisis deberaacuten describirse en el Anexo 7

ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales del Pprdquo

Para la identificacioacuten y descripcioacuten de los ldquocuellos de botellardquo buenas praacutecticas y fortalezas del Pp

se consideraraacute la informacioacuten derivada del anaacutelisis de la operacioacuten del Pp asiacute como los puntos de

vista de los principales actores que intervienen en ella Este anaacutelisis deberaacute contener las causas y las

consecuencias de los ldquocuellos de botellardquo detectados sus caracteriacutesticas y naturaleza (si son

normativas o estrictamente operativas) de igual manera se deberaacute desarrollar un anaacutelisis de las

buenas praacutecticas identificadas

Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

Se debe integrar en una sola tabla las fortalezas oportunidades debilidades y amenazas

especificadas por cada apartado de la evaluacioacuten y reportarlas en el Anexo 11 ldquoPrincipales Fortalezas

Retos y Recomendacionesrdquo en el que se deben incluir las fortalezas yo oportunidades las

debilidades yo amenazas y las recomendaciones por apartado de la evaluacioacuten

PAE 2017 36

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexos

Anexo 1 ldquoDescripcioacuten General del Programardquo

El Anexo tiene formato libre sin embargo debe contener una breve descripcioacuten de las caracteriacutesticas

maacutes relevantes del Pp en un maacuteximo de dos cuartillas Dicha descripcioacuten debe considerar los

siguientes aspectos

1 Identificacioacuten del programa

11 Nombre

12 Clave de programa

13 Dependencia yo Entidad coordinadora ejecutora

14 Antildeo de inicio de operacioacuten

2 Problema o necesidad que el Pp pretende atender atenuar o resolver

3 La contribucioacuten del Pp a las Metas y objetivos estatales a los que se vincula

4 Descripcioacuten de los objetivos del Pp asiacute como de los bienes yo servicios que ofrece

(componentes)

5 Identificacioacuten y cuantificacioacuten de la poblacioacuten o aacuterea de enfoque potencial y

objetivo

6 Presupuesto aprobado para el ejercicio fiscal en curso

7 Metas de los indicadores de Fin Propoacutesito y Componentes asiacute como los de nivel

actividad que se consideren relevantes y

8 Resumen de la valoracioacuten de la pertinencia del disentildeo del Pp respecto a la atencioacuten

del problema o necesidad

Anexo 2 ldquoMetodologiacutea para la cuantificacioacuten de la poblacioacuten o aacuterea de enfoque

potencial y objetivordquo

El Anexo tiene formato libre sin embargo se debe incluir la siguiente informacioacuten

Definicioacuten de la poblacioacuten o aacuterea de enfoque potencial objetivo y atendida

Cuantificacioacuten de la poblacioacuten potencial objetiva y atendida

Hallazgos sobre el procedimiento llevado a cabo para definir y cuantificar la poblacioacuten o

aacuterea de enfoque potencial objetivo y atendida

Recomendaciones

Propuesta orientada hacia la mejora

PAE 2017 37

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 3 ldquoEvolucioacuten de la Coberturardquo

Nombre del

Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten

Antildeo de la Evaluacioacuten

Tipo de Poblacioacuten

Unidad

de

Medida

2012 2013 2014 2015 2016

P Potencial

P Objetivo

P Atendida

119927119912 times 120783120782120782

119927119926

PAE 2017 38

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 4 ldquoPropuesta de mejora de la Matriz de Indicadores para Resultadosrdquo

Derivado del anaacutelisis y valoracioacuten de la pregunta de investigacioacuten nuacutemero 3 iquestLa estructura de

objetivos planteada por el programa mantiene loacutegica y correspondencia causal con el problema

planteado en el diagnoacutestico se realizaraacute una propuesta de mejora de MIR

Fin

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Propoacutesito

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Componente 1

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

PAE 2017 39

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Componente 2 hellip

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 40

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesos del Pprdquo

Para la identificacioacuten y clasificacioacuten de los procesos del Pp se sugieren los siguientes pasos

1 Listar los procesos identificados

Comparar los procesos identificados del Pp con aquellos correspondientes al Modelo general de

procesos Colocar en el rengloacuten correspondiente el nombre de cada proceso del Pp identificado

como equivalente

2 Colocar al final de la lista aquellos procesos del Pp que no sean equivalentes con el Modelo

general de procesos

Modelo general de

procesos

Nuacutemero

de

secuencia

Procesos o subprocesos del Pp identificados por el

evaluador

(Nombre y breve descripcioacuten)

Planeacioacuten Ejemplo (Ej) Planeacioacuten Estrateacutegica

Ej Programacioacuten

Ej Presupuestacioacuten

Comunicacioacuten interna y

externa

Ej Difusioacuten Federal

Ej Difusioacuten Local

Seleccioacuten de

destinatarios

Ej Recepcioacuten de solicitudes de becas

Ej Seleccioacuten de becarios

Produccioacuten de

entregables

Entrega

Control

Seguimiento Ej Seguimiento fiacutesico y supervisioacuten en campo

Evaluacioacuten externa Ej Publicacioacuten y lectura del PAE

Ej Definicioacuten de TdR

Ej Contratacioacuten

Ej Ejecucioacuten de la evaluacioacuten externa

Monitoreo Ej Registro de avances de indicadores

Ej Revisioacuten de registros

Ej Validacioacuten de registros e integracioacuten de informes

PAE 2017 41

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Procesos identificados por el evaluador que no coinciden con el Modelo general de procesos

PAE 2017 42

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 ldquoFichas de indicadores de atributos de los procesos del Pp (formato libre)rdquo

Para la construccioacuten de este anexo deberaacute realizarse una revisioacuten documental (normativa aplicable

MIR evaluaciones externas sistemas de informacioacuten y registros administrativos entre otros) misma

que deberaacute complementarse con el trabajo de campo con el objetivo de identificar disentildear y calcular

indicadores relacionados con dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de

informacioacuten empleadas

Ademaacutes de considerar la medicioacuten de los atributos de eficacia suficiencia oportunidad y pertinencia

de cada proceso y subproceso o macroproceso

PAE 2017 43

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 7 ldquoDiagramas de flujo de la operacioacuten del Pprdquo

Para la elaboracioacuten de los diagramas de flujo deberaacute utilizarse la notacioacuten empleada en el

documento ldquoGuiacutea para la Optimizacioacuten Estandarizacioacuten y Mejora Continua de Procesosrdquo publicada

por la SFP en la direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Para el Diagrama de Alto Nivel (Diagrama PEPSU)

Ejemplo ilustrativo

PAE 2017 44

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para el Diagrama de Flujo

PAE 2017 45

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

PAE 2017 46

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 8 ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales

del Pprdquo

Tipo de

norma-

tiva

Dice

Problema

generado

(causas y

consecuencias)

Se

recomienda

decir

Efecto esperado de

aplicar la

recomendacioacuten de

cambio

Restricciones praacutecticas

que puedan existir para

su implementacioacuten

PAE 2017 47

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 9 ldquoValoracioacuten global cuantitativa ldquo

Seccioacuten 1 Disentildeo

Disentildeo Valoracioacuten Argumento o justificacioacuten

Porcentaje del

Disentildeo del Pp

(Suma de valoracioacuten alcanzada por pregunta de la seccioacuten 1 Total maacuteximo de la

valoracioacuten de todas las preguntas de la seccioacuten 1 ) x 100

Seccioacuten 2 Procesos

Proceso Eficacia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

eficaces

(Total de procesos eficaces Total de procesos del Pp) x 100

Proceso Oportunidad

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

oportunos

(Total de procesos oportunos Total de procesos del Pp) x 100

Proceso Suficiencia

(SiacuteNo) Argumento o justificacioacuten

PAE 2017 48

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Porcentaje de

procesos

suficientes

(Total de procesos suficientes Total de procesos del Pp) x 100

Proceso Pertinencia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

pertinentes

(Total de procesos pertinentes Total de procesos del Pp) x 100

NOTA Los argumentos y justificaciones del evaluador deberaacuten considerar el anaacutelisis y valoraciones de

los subprocesos de cada proceso de modo que haya consistencia entre estos elementos Asimismo el

evaluador deberaacute expresar los resultados de la valoracioacuten cuantitativa en una graacutefica tipo radial

PAE 2017 49

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 10 ldquoSistema de monitoreo e indicadores de gestioacuten del Pp (formato libre)rdquo

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible

Nombre del Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten De Procesos

Antildeo de la Evaluacioacuten 2017

Fin Justificacioacuten Propoacutesito Justificacioacuten Componente (s) Justificacioacuten

Nombre de

Indicador

Meacutetodo de Caacutelculo

Claro SiacuteNo SiacuteNo SiacuteNo

Relevante SiacuteNo SiacuteNo SiacuteNo

Econoacutemico SiacuteNo SiacuteNo SiacuteNo

Monitoreable SiacuteNo SiacuteNo SiacuteNo

Adecuado SiacuteNo SiacuteNo SiacuteNo

Definicioacuten SiacuteNo SiacuteNo SiacuteNo

Unidad de Medida SiacuteNo SiacuteNo SiacuteNo

Frecuencia de

Medicioacuten

SiacuteNo SiacuteNo SiacuteNo

Liacutenea Base SiacuteNo SiacuteNo SiacuteNo

Metas SiacuteNo SiacuteNo SiacuteNo

Comportamiento

del Indicador

SiacuteNo SiacuteNo SiacuteNo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 50

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de Procesos del Pprdquo

En este Anexo la instancia evaluadora debe valorar si la recomendacioacuten implica una consolidacioacuten o

una reingenieriacutea del proceso

A) Consolidacioacuten

Proceso Recomendaci

oacuten

Breve

anaacutelisis de

viabilidad de

la

implementa-

cioacuten

Principales

responsables

de la

implementaci

oacuten

Situacioacuten

actual

Efectos

potenciales

esperados

Medio de

verifica-

cioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

B) Reingenieriacutea de procesos

Proceso Objetivo

Breve

anaacutelisis de

viabilidad

de la

implemen-

tacioacuten

Principales

responsables

de la

implemen-

tacioacuten

Situa-

cioacuten

actual

Metas y

efectos

potenciale

s

esperados

Elabora-

cioacuten de

flujogram

a del

nuevo

proceso

Medio

de

verifi-

cacioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

NOTA El nivel de priorizacioacuten Alto Medio o Bajo se estimaraacute considerando la mejora en la operacioacuten

del Pp la viabilidad de la implementacioacuten de la recomendacioacuten asiacute como el efecto potencial que esto

pueda tener el alcance del objetivo del Pp

PAE 2017 51

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 12 ldquoPrincipales Fortalezas Retos y Recomendacionesrdquo

Capacidades Internas Factores Externos

Fortalezas

(Cualquier capacidad con la que cuenta la dependencia o

entidad que le permita aprovechar sus recursos para la

obtencioacuten de sus objetivos)

Oportunidades

(Cualquier factor externo fuera del control de la dependencia o

entidad que puede ser aprovechado para la obtencioacuten de sus

objetivos)

Debilidades

(Cualquier limitante Interna de la dependencia o entidad que

puede afectar la obtencioacuten de sus objetivos)

Amenazas

(Cualquier factor externo fuera de control de la dependencia o

entidad que pueda afectar la obtencioacuten de sus objetivos)

PAE 2017 52

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacutenrdquo

El Informe Final de la Evaluacioacuten de Procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten

Superior deberaacuten contener una ficha con los siguientes datos

Ficha Teacutecnica con los datos generales de la evaluacioacuten

Nombre o denominacioacuten de la

evaluacioacuten

[Especificar el nombre de la evaluacioacuten considerando su tipo y ejercicio

evaluado]

Nombre o denominacioacuten del

programa evaluado

[Indicar el nombre del Pp sujeto a evaluacioacuten de acuerdo con lo

establecido en el PEF sentildealando su modalidad y clave]

Unidad Responsable de la operacioacuten

del programa

[Especificar la(s) unidad(es) responsable(s) de la administracioacuten

operacioacuten y ejecucioacuten de los programas subprogramas y proyectos del

Pp evaluado correspondientes a las dependencias y entidades]

Titular de la unidad responsable de la

operacioacuten del programa

[Indicar el nombre del(a) Titular de la Unidad Responsable de la

operacioacuten del Pp]

Antildeo del Programa Anual de

Evaluacioacuten (PAE) en que fue

considerada la evaluacioacuten

[Especificar el ejercicio fiscal al que corresponde el PAE en la que fue

programada la evaluacioacuten]

Antildeo de conclusioacuten y entrega de la

evaluacioacuten

[Indicar el antildeo en que se concluyoacute la evaluacioacuten]

Tipo de evaluacioacuten [Especificar el tipo de evaluacioacuten de acuerdo con los Lineamientos de

evaluacioacuten el nombre de la evaluacioacuten y con lo establecido en el PAE]

Nombre de la instancia evaluadora [Indicar el nombre de la firma consultoriacutea u organizacioacuten que realizoacute la

evaluacioacuten]

Nombre del(a) coordinador(a)

externo(a) de la evaluacioacuten

[Especificar el nombre del(a) responsable de la coordinacioacuten de la

evaluacioacuten dla instancia evaluadora]

Nombre de los(as) principales

colaboradores(as) del(a)

coordinador(a) de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del(a)

coordinador(a) de la evaluacioacuten]

PAE 2017 53

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Unidad Administrativa responsable de

la Coordinacioacuten de la evaluacioacuten

[De acuerdo con lo sentildealado en el PAE especificar la instancia a la que

corresponde la coordinacioacuten de la evaluacioacuten pej Secretariacutea de

Finanzas y Administracioacuten (SFA) asiacute como la unidad administrativa

mediante la cual se ejerce esta funcioacuten p ej Direccioacuten de Evaluacioacuten

de la SFA (DEV)

Nombre del(a) Titular de la unidad

administrativa responsable de

coordinar la evaluacioacuten (Aacuterea de

Evaluacioacuten)

[Especificar el nombre del(a) Titular de la Unidad responsable de dar

seguimiento a la evaluacioacuten que funge como Aacuterea de Evaluacioacuten]

Nombres de los(as) servidores(as)

puacuteblicos(as) adscritos(as) a la unidad

administrativa responsable de

coordinar la evaluacioacuten que

coadyuvaron con la revisioacuten teacutecnica

de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del

titular de la unidad administrativa responsable de dar seguimiento a la

evaluacioacuten respecto de la revisioacuten teacutecnica de la misma]

Forma de contratacioacuten de la instancia

evaluadora

[Indicar el tipo de contratacioacuten dla instancia evaluadora Especificar el

tipo de procedimiento de contratacioacuten de la instancia evaluadora

consistente con los tipos de adjudicacioacuten establecidos en la Ley de

Adquisiciones Arrendamientos y Servicios del Sector Puacuteblico]

Costo total de la evaluacioacuten con IVA

incluido

[Especificar el costo total de la evaluacioacuten incluyendo el IVA (en caso

de que se haya causado) como sigue $XXX IVA incluido]

Asimismo en este anexo se deberaacute incluir una nota metodoloacutegica con la descripcioacuten de las teacutecnicas

y los modelos utilizados por el evaluador externo acompantildeada del disentildeo por muestreo

especificando los supuestos empleados y las principales caracteriacutesticas del tamantildeo y dispersioacuten de

la muestra utilizada

DIRECTORIO

Rauacutel Saacutenchez Kobashi

Secretario de la Secretariacutea de Finanzas y Administracioacuten

Francisco Fidel Teomitzi Saacutenchez

Subsecretario de Planeacioacuten

Arturo Neponuceno Crisoacutestomo

Director de Evaluacioacuten

Rodolfo de la Rosa Cabrera

Subdireccioacuten de Evaluacioacuten de Programas

Sauacutel Federico Oropeza Orea

Jefe del Departamento de Programas Estatales y Municipales

Ana Luz Guzmaacuten Figueroa

Analista del Departamento de Programas Estatales y Municipales

Marco Antonio Saacutenchez Gonzaacutelez

Analista del Departamento de Programas Estatales y Municipales

Page 20: Términos de Referencia para la Evaluación del Desempeño ...evaluacion.puebla.gob.mx/pdf/metodologias/TdR_Est/2017/TdR... · Perfil de la instancia evaluadora ... acuerdo con las

PAE 2017 19

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anaacutelisis de gabinete

Para esta seccioacuten es necesario la elaboracioacuten del diagnoacutestico de los procesos y subprocesos o

macroprocesos que integran la operacioacuten o gestioacuten del Pp la instancia evaluadora deberaacute realizar

un anaacutelisis de gabinete considerando como miacutenimo los siguientes documentos

La normativa aplicable al Pp leyes reglamentos lineamientos manuales de procedimientos

convenios contratos entre otros

Diagnoacutestico y estudios de la problemaacutetica que el Pp atiende

Diagnoacutestico del programa y estudios del marco contextual en el que opera

MIR del Pp correspondiente al ejercicio fiscal evaluado y de ejercicios anteriores que se

consideren pertinentes

Sistemas de informacioacuten automatizados semiautomatizados o manuales que apoyen a la

ejecucioacuten de los procesos y subprocesos o macroprocesos identificados del Pp

Evaluaciones externas o internas realizadas previamente al Pp

Documentos de trabajo institucionales e informes de avances de Aspectos Susceptibles de

Mejora con los que cuente el Pp

Informes de auditoriacuteas de desempentildeo o similares realizadas al Pp por la Auditoriacutea Superior

de la Federacioacuten del Estado de Puebla por la Secretariacutea de la Contraloriacutea o por cualquier

instancia fiscalizadora

Asimismo se sugiere revisar otros documentos asociados al disentildeo del Pp y a su definicioacuten de

poblacioacuten o aacuterea de enfoque potencial y objetivo asiacute como a su estrategia de integracioacuten de

destinatarios o beneficiarios de los componentes o entregables del Pp

El anaacutelisis o trabajo de gabinete deberaacute generar como resultado inicial un mapeo de los procesos y

subprocesos o macroprocesos que integran la gestioacuten operativa del Pp que constituiraacute

esencialmente el Producto 1 de la evaluacioacuten posteriormente se procesaraacute la informacioacuten recabada

en campo para la generacioacuten del informe preliminar y final de la evaluacioacuten

Alcance y enfoque de la evaluacioacuten

La instancia evaluadora deberaacute sentildealar con claridad en el informe de la evaluacioacuten cuaacuteles de los

procesos y subprocesos o macroprocesos identificados en la operacioacuten o gestioacuten del Pp se analizan

y cuaacuteles no de acuerdo con lo establecido por la Direccioacuten de Evaluacioacuten (DEV) de la Secretariacutea de

Finanzas y Administracioacuten (SFA) y la Unidad Responsable (UR) del Programa en cuestioacuten sentildealando

los elementos de anaacutelisis que justifican esta seleccioacuten y en su caso haciendo recomendaciones al

respecto

PAE 2017 20

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Un elemento que podraacute ser considerado para establecer el alcance de la evaluacioacuten es el grado de

consolidacioacuten operativa del Pp el cual podraacute determinarse a priori considerando algunos elementos

como los siguientes

1 Si existen documentos que normen los procesos y subprocesos o macroprocesos

2 Si los procesos y subprocesos o macroprocesos estaacuten estandarizados es decir si son

utilizados por todas la instancias ejecutoras de manera homogeacutenea

3 Si los procesos y subprocesos o macroprocesos estaacuten documentados y son del conocimiento

de todos los operadores

4 Si se cuenta con un sistema de monitoreo e indicadores de gestioacuten

5 Si se cuenta en los procesos y subprocesos o macroprocesos analizados con sistemas

informaacuteticos que permitan la automatizacioacuten en la ejecucioacuten de los mismos

6 Si se cuenta con mecanismos para la implementacioacuten sistemaacutetica de mejoras

Se considera que existe un mayor grado de consolidacioacuten operativa cuando existen todos los

elementos y disminuiraacute gradualmente conforme haga falta uno o maacutes de ellos hasta el menor grado

de consolidacioacuten que es cuando no existe ninguno de los elementos

El alcance de la Evaluacioacuten de Procesos del Pp implica el anaacutelisis de los procesos y subprocesos o

macroprocesos sustantivos del Pp asiacute como la respectiva priorizacioacuten de estos Se deberaacute realizar

la identificacioacuten y jerarquizacioacuten de los procesos a partir del Esquema 1 adaptaacutendolo a las

condiciones particulares del Pp3 en eacutel se observa lo siguiente

El proceso de ldquoPlaneacioacutenrdquo es el punto de partida para la implementacioacuten del Pp

posteriormente continuacutean los procesos de ldquoComunicacioacuten Interna y Externardquo ldquoSeleccioacuten de

destinatariosrdquo ldquoProduccioacuten de entregablesrdquo ldquoEntregardquo ldquoSeguimiento a destinatariosrdquo y

ldquoControlrdquo

La informacioacuten que se genera en los procesos de ldquoSeguimiento a destinatariosrdquo y ldquoControlrdquo

es un insumo directo para retroalimentar los procesos del Pp desde el de Planeacioacuten

El proceso de ldquoMonitoreordquo utiliza informacioacuten generada principalmente en los procesos de

ldquoComunicacioacutenrdquo ldquoSeleccioacuten de destinatariosrdquo ldquoProduccioacuten de entregablesrdquo ldquoEntregardquo y

ldquoSeguimiento a destinatariosrdquo a partir de ello se retroalimentan los procesos del Pp desde

la ldquoPlaneacioacutenrdquo

3 Con excepcioacuten de los procesos (con sus subprocesos) de Planeacioacuten Monitoreo y Evaluacioacuten Externa para

los cuales la instancia evaluadora uacutenicamente podraacute en caso de que lo considere pertinente agregar

subprocesos pero no suprimir subprocesos

PAE 2017 21

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

El proceso de ldquoEvaluacioacuten Externardquo requiere de informacioacuten transversal de todos los

procesos ya que se valora al Pp en su conjunto En este sentido los resultados de las

evaluaciones son un insumo para retroalimentar al Pp desde el proceso de ldquoPlaneacioacutenrdquo

Es importante sentildealar que en el Esquema 1 se muestra un modelo que es importante tomarlo en

cuenta como referencia para la identificacioacuten y definicioacuten de los procesos y subprocesos o

macroprocesos que integran la operacioacuten del Pp evaluado ademaacutes de que representa un auxiliar

en la definicioacuten del alcance y del enfoque de la Evaluacioacuten de Procesos del Pp

Esquema 1 Modelo general de procesos

Fuente Modelo de TdR para la Evaluacioacuten de Procesos Secretariacutea de Hacienda y Creacutedito Puacuteblico

A continuacioacuten se describe cada uno de los procesos que componen al modelo anterior

Planeacioacuten proceso en el que se determinan o definen el problema o necesidad aacuterbol de

problemas y objetivos poblacioacuten o aacuterea de enfoque potencial y objetivo objetivos

indicadores y metas de la MIR estrategia de cobertura plan estrateacutegico entre otros puntos

asiacute como los recursos financieros y humanos necesarios que requiere el Pp para lograr sus

objetivos En el proceso de planeacioacuten se determinan las directrices en el disentildeo e

implementacioacuten del Pp los subprocesos que lo integran son los siguientes planeacioacuten

estrateacutegica programacioacuten y presupuesto actualizacioacuten de la MIR actualizacioacuten de

normativa

PAE 2017 22

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Comunicacioacuten interna y externa proceso en el que se informan diversas caracteriacutesticas y

objetivos del Pp tanto a los actores involucrados en su funcionamiento y operacioacuten (interna)

como a su poblacioacuten o aacuterea de enfoque objetivo (externa)

Seleccioacuten de destinatarios proceso en el que se determina quieacutenes recibiraacuten los

componentes o entregables de un Pp en funcioacuten de su poblacioacuten o aacuterea de enfoque objetivo

Produccioacuten de entregables proceso en el que se elaboran los entregables o realizan los

componentes del Pp (recursos financieros o humanos apoyos bienes servicios

regulaciones documentos teacutecnicos o de planeacioacuten etc) conforme a sus documentos

normativos

Entrega proceso en el que se realiza la entrega de lo producido o generado por el Pp

(componentes o entregables) a los destinatarios o beneficiarios

Seguimiento a destinatarios actividades y mecanismos que permiten al Pp conocer coacutemo

son utilizados o aprovechados sus componentes o entregables (por sus destinatarios o

beneficiarios) para que entre otras funciones la UR del Pp identifique si se estaacute cumpliendo

con los objetivos Por ejemplo en este proceso se incluyen las actividades que un Pp

implementa para conocer el grado de satisfaccioacuten de sus destinatarios o beneficiarios

Control actividades y mecanismos implementados entre los operadores del Pp para verificar

que los diferentes procedimientos procesos y subprocesos se esteacuten ejecutando conforme a

lo planeado (control interno)

Monitoreo proceso coordinado por una unidad administrativa ajena a la operacioacuten del Pp

a traveacutes del cual se recaba registra y valida la informacioacuten sobre el avance de las metas de

los indicadores de la MIR asiacute como el seguimiento a los resultados de indicadores

adicionales a los de la MIR en caso de que se cuente con un sistema de monitoreo de gestioacuten

Los subprocesos que lo integran son los siguientes acopio de la informacioacuten para el reporte

de avances validacioacuten de informacioacuten y registro de avances primordialmente

Evaluacioacuten externa proceso coordinado por una unidad administrativa ajena a la operacioacuten

del Pp mediante el cual se define la agenda de evaluacioacuten externa del Pp se definen las

metodologiacuteas o los teacuterminos de referencia se contratan las evaluaciones externas (de

cualquier tipo) se recaba la informacioacuten que seraacute entregada a los equipos evaluadores se

realiza el seguimiento durante el desarrollo de las evaluaciones externas se aprueban los

PAE 2017 23

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

informes finales de las evaluaciones externas se notifica a las instancias correspondientes

sobre la conclusioacuten de las evaluaciones externas y se definen y realiza el seguimiento de los

Aspectos Susceptibles de Mejora (ASM)

A partir de los procesos definidos en el modelo anterior la instancia evaluadora deberaacute realizar una

equivalencia de los procesos subprocesos o macroprocesos identificados respecto a los definidos

en el modelo de acuerdo con el Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesosrdquo Cabe

mencionar que los procesos definidos en el modelo no son limitativos por lo que si la instancia

evaluadora identifica procesos subprocesos o macroprocesos adicionales deberaacute incluirlos

Disentildeo metodoloacutegico del trabajo de campo

A partir del contexto en que opera el Pp y el alcance y enfoque metodoloacutegico de la evaluacioacuten de

procesos la instancia evaluadora deberaacute desarrollar una propuesta de estrategia y plan de trabajo

de campo a seguir para la realizacioacuten de la evaluacioacuten asimismo deberaacute incluir un cronograma

detallado de actividades

La estrategia de trabajo de campo disentildeada por la instancia evaluadora deberaacute ser entregada a la

DEV para que en conjunto con la UR del Pp sea validada antes de su implementacioacuten Dicha

estrategia deberaacute contener al menos los siguientes elementos

Justificacioacuten de las teacutecnicas de investigacioacuten a utilizar

Muestra y los criterios utilizados para su seleccioacuten

Listado de los actores a entrevistar

Instrumentos de levantamiento de informacioacuten que se aplicaraacuten y

Cronograma con las actividades a desarrollar

La instancia evaluadora iniciaraacute las actividades del trabajo de campo de manera conjunta y una vez

recibido el visto bueno de la DEV

El disentildeo de la muestra y de los instrumentos para el levantamiento de informacioacuten en campo

deberaacute considerar a la totalidad de los actores que intervienen en la ejecucioacuten de los procesos y

subprocesos o macroprocesos que integran la operacioacuten o gestioacuten del Pp asiacute como a los

destinatarios o beneficiarios de los componentes o entregables del Pp independientemente de su

ubicacioacuten geograacutefica

Algunos criterios que puede utilizar la instancia evaluadora para definir una muestra que considere

la variabilidad de la operacioacuten en los diferentes contextos en que opera el Pp son los siguientes

PAE 2017 24

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

a) El desempentildeo operativo del Pp entre municipios regionalizacioacuten geograacutefica instituciones

puacuteblicas o privadas u otros aspectos que suponen una accioacuten diferenciada de los procesos

(cuando aplique)

b) Volumen de la operacioacuten del Pp

c) Esquemas normativos del Pp y el ejercicio presupuestal en los municipios instituciones

puacuteblicas o privadas u otros aspectos que suponen una accioacuten diferenciada de los procesos

en las que opera el Pp (cuando aplique) y

d) Formas de interaccioacuten del Pp con otros niveles u oacuterdenes de gobierno (cuando aplique)

Los criterios anteriores no son limitativos por lo que la instancia evaluadora podraacute proponer criterios

adicionales que considere pertinentes para la definicioacuten de la muestra para el trabajo de campo

En el disentildeo muestral la instancia evaluadora deberaacute sentildealar los funcionarios del Pp o destinatarios

a los que se les aplicaraacuten los instrumentos de levantamiento de informacioacuten con los que se realizaraacute

el trabajo de campo asiacute como la ubicacioacuten geograacutefica de los mismos

Instrumentos de levantamiento de informacioacuten

La instancia evaluadora deberaacute disentildear los instrumentos que utilizaraacute para el levantamiento de

informacioacuten durante el trabajo de campo como son (por ejemplo) los cuestionarios por tipo de

funcionario a entrevistar para el caso de entrevistas semiestructuradas los guiones a utilizar en la

realizacioacuten de grupos focales los cuestionarios de aplicacioacuten electroacutenica las guiacuteas respectivas entre

otros Para lo anterior deberaacute considerar los siguientes temas guiacutea y preguntas de referencia

Planeacioacuten (planeacioacuten estrateacutegica programacioacuten y presupuesto)

iquestQueacute se entiende por planeacioacuten estrateacutegica para los operadores del Pp

iquestCuaacuteles son las actividades o acciones de planeacioacuten estrateacutegica del Pp que se realizan

iquestLa planeacioacuten estrateacutegica es el resultado de un ejercicio institucionalizado que involucra a

los actores clave de la gestioacuten del Pp

iquestExiste un documento resultado de la planeacioacuten estrateacutegica iquestEs claro difundido y

accesible iquestEn queacute medida es utilizado para guiar la operacioacuten del Pp

iquestLa planeacioacuten estrateacutegica estaacute vinculada con el cumplimiento entrega o generacioacuten de los

componentes o entregables del Pp

iquestLa planeacioacuten estrateacutegica establece indicadores para medir los avances en las metas

establecidas iquestLas metas son factibles y estaacuten orientadas a impulsar el desempentildeo del Pp

PAE 2017 25

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

iquestQueacute se entiende por planeacioacuten operativa y cuaacuteles son las diferencias con la planeacioacuten

estrateacutegica

Comunicacioacuten interna y externa del Pp (las preguntas que apliquen)

iquestQueacute actores intervienen en la comunicacioacuten del Pp

iquestExiste una estrategia de comunicacioacuten del Pp documentada En caso afirmativo describirla

iquestLa estrategia de comunicacioacuten del Pp (documentada o no) es adecuada

iquestLos medios utilizados el lenguaje y el contenido de los mensajes son pertinentes en funcioacuten

del puacuteblico al que van dirigidos

Solicitud de los componentes o entregables del Pp (las preguntas que apliquen)

iquestExiste un proceso claro imparcial y expliacutecito por medio del cual la poblacioacuten o aacuterea de

enfoque potencial puede solicitar los componentes o entregables que otorga el Pp

iquestLos requisitos para solicitar los componentes o entregables del Pp se presentan de manera

clara y completa

iquestLos puntos de recepcioacuten de solicitudes son accesibles y suficientes (cuando aplique)

iquestExisten mecanismos estandarizados para recibir y revisar la documentacioacuten entregada asiacute

como registrar y dar traacutemite a las solicitudes (cuando aplique)

iquestSon adecuados estos mecanismos (cuando aplique) En caso de que el Pp que apoye la

realizacioacuten de proyectos iquestse brinda asesoriacutea para la presentacioacuten de los mismos de ser asiacute

iquestes pertinente esta asesoriacutea

iquestEl proceso de solicitud de los componentes o entregables que otorga el Pp se encuentra

automatizado total o parcialmente

Para esta pregunta considerar los estados de digitalizacioacuten utilizados por la Comisioacuten Intersecretarial

para el Desarrollo del Gobierno electroacutenico seguacuten una adaptacioacuten realizada a la clasificacioacuten que

hace la ONU

Estado de digitalizacioacuten 1 traacutemites y servicios que se encuentran en estado informativo

Estado de digitalizacioacuten 2 traacutemites y servicios que cuentan con interfaces de comunicacioacuten

unidireccional

Estado de digitalizacioacuten 3 traacutemites y servicios que permiten realizar transacciones y

Estado de digitalizacioacuten 4 traacutemites y servicios que el usuario puede ejecutar de principio a

fin por medio de dispositivos digitales

PAE 2017 26

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para mayor informacioacuten referirse a ldquoFigure A4 The four stages of online service developmentrdquo en

los siguientes documentos

Lineamientos relativos a la digitalizacioacuten estandarizada de traacutemites y servicios con apego en

la Estrategia Digital Nacional

httpwwwgobmxcmsuploadsattachmentfile67232ti_1_pgcm_bases_lineam_tyspdf

United Nations E-Government Survey 2014 (paacutegina 195)

httpspublicadministrationunorgegovkbportalsegovkbdocumentsun2014-surveye-

gov_complete_survey-2014pdf

Seleccioacuten de destinatarios (cuando aplique)

iquestExiste una metodologiacutea o meacutetodo para la seleccioacuten de destinatarios o beneficiarios de los

componentes o entregables del Pp iquestLa metodologiacutea utilizada cuenta con criterios de

seleccioacuten y elegibilidad claros estandarizados y sistematizados

iquestLa seleccioacuten de destinatarios o beneficiarios de los componentes o entregables del Pp es un

proceso transparente e imparcial iquestEl resultado de la seleccioacuten es puacuteblico (cuando aplique)

iquestExiste informacioacuten en una base de datos que permita conocer quieacutenes o queacute instancias

reciben los componentes o entregables del Pp iquestQueacute informacioacuten integra esta base de datos

iquestExisten mecanismos para validar y actualizar esta base de datos iquestEstos mecanismos son

pertinentes

Produccioacuten de componentes o entregables

iquestSe cuenta con los insumos suficientes para generar el volumen de componentes o

entregables que permitan al Pp atender a su poblacioacuten o aacuterea de enfoque objetivo

iquestEl Pp tiene mecanismos para estimar la produccioacuten o generacioacuten necesaria de componentes

o entregables de acuerdo con la posible demanda o requerimientos de su poblacioacuten o aacuterea

de enfoque objetivo iquestEs adecuado este mecanismo

iquestExisten mecanismos de control de calidad para la generacioacuten de los componentes o

entregables del Pp iquestEstos mecanismos son pertinentes

iquestLas actividades de generacioacuten de componentes o entregables que otorga el Pp estaacuten

estandarizadas es decir son ejecutadas de manera homogeacutenea por todas las instancias

involucradas

PAE 2017 27

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Entrega

iquestLos componentes o entregables del Pp son proporcionados conforme a las especificaciones

y de manera oportuna a los destinatarios

iquestExisten especificaciones (programas o planes de trabajo) sobre la forma en que se deben

trasladar los componentes o entregables para (por ejemplo) asegurar su adecuada recepcioacuten

en el punto de destino iquestSon adecuadas estas especificaciones respecto a normas o

lineamientos existentes (cuando aplique)

iquestLa logiacutestica de distribucioacuten se actualiza (cuando aplique) iquestExiste un periodo para dicha

actualizacioacuten iquestEn el disentildeo y actualizacioacuten de la logiacutestica se toman en cuenta los factores

geograacuteficos y climatoloacutegicos en cada regioacuten donde opera el Pp (cuando aplique)

iquestLos puntos de entrega de los componentes o entregables son cercanos a los beneficiarios

o aacuterea de enfoque a atender y son de faacutecil acceso iquestSe considera que son suficientes iquestPor

queacute

Control (las preguntas que apliquen)

iquestEl Pp cuenta con los mecanismos para verificar que los componentes o entregables se

otorguen de acuerdo con lo establecido en la normativa especiacutefica y lleguen a la poblacioacuten

o aacuterea de enfoque que deba ser beneficiada iquestEstos mecanismos son adecuados

iquestExiste de manera sistematizada un documento que deacute cuenta de los resultados de

supervisioacuten y entrega de componentes o entregables iquestEste documento es adecuado iquestLos

resultados se utilizan para implementar mejoras en la operacioacuten del Pp

iquestExisten procedimientos estandarizados que verifiquen el cumplimiento de la

corresponsabilidad u obligatoriedad por parte de los beneficiarios o destinatarios de los

componentes o entregables del Pp (cuando aplique)

Seguimiento a destinatarios

iquestEl Pp tiene mecanismos para verificar el procedimiento de seguimiento a los destinatarios o

beneficiarios que permitan identificar si los componentes o entregables generados son

utilizados de acuerdo con lo establecido iquestCoacutemo se implementa el mecanismo iquestEste

mecanismo es adecuado

iquestExisten procedimientos estandarizados que permitan verificar el cumplimiento de la

corresponsabilidad u obligatoriedad por parte del destinatario o beneficiario (cuando

aplique)

PAE 2017 28

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

En caso de que los componentes o entregables involucren la ejecucioacuten de obra o de

infraestructura iquestel Pp cuenta con un mecanismo de seguimiento o supervisioacuten que permita

identificar si se realizaron acorde a la normativa aplicable iquestEl seguimiento o supervisioacuten

considera plazos para la revisioacuten de las condiciones de la obra o la infraestructura despueacutes

de terminada la obra

iquestEl Pp tiene mecanismos para identificar si se cumple con su Propoacutesito iquestSon suficientes y

pertinentes estos mecanismos

iquestExisten mecanismos para conocer la satisfaccioacuten del destinatario o beneficiario de los

componentes o entregables del Pp respecto de los componentes que ofrece el Pp iquestSon

adecuados estos mecanismos iquestSu operacioacuten permite una aplicacioacuten imparcial y objetiva

iquestExiste evidencia para afirmar que las quejas y sugerencias que brindan los destinatarios o

beneficiarios de los componentes o entregables del Pp son utilizadas para la mejora continua

del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

En esta seccioacuten se deberaacute realizar la medicioacuten de los atributos de eficacia oportunidad suficiencia

y pertinencia de los procesos y subprocesos o macroprocesos definidos en el mapa de procesos del

Pp A continuacioacuten se definen los atributos en el marco de la evaluacioacuten de procesos

Eficacia un proceso es eficaz en la medida en que cumple con sus metas

Oportunidad un proceso es oportuno en la medida en que otorga sus productos

(componentes o entregables) o resultados en un periodo de tiempo determinado o

adecuado para el logro de sus objetivos

Suficiencia un proceso es suficiente en la medida en que produce sus resultados de forma

completa o adecuada para el logro de sus objetivos

Pertinencia un proceso es pertinente si sus actividades y productos son adecuados para

lograr tanto sus metas especiacuteficas como sus objetivos es decir si contribuyen al

mejoramiento de la gestioacuten del Pp4

4 Las actividades son adecuadas si estaacuten en funcioacuten del logro del objetivo de cada proceso Por ejemplo si se verifica que el formato de los mensajes a difundir cumpla con las caracteriacutesticas necesarias para llegar a la poblacioacuten o aacuterea de enfoque objetivo como seriacutea una mensaje de audio en la lengua indiacutegena de la localidad donde se encuentran los posibles destinatarios o beneficiarios o bien como seriacutea un mensaje dirigido a personal operativo del Pp cuyo nivel de estudios promedio pudiera complicar la comprensioacuten de lenguaje teacutecnico utilizado

PAE 2017 29

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para la medicioacuten de los atributos de los procesos y subprocesos o macroprocesos del Pp deberaacute

realizarse una revisioacuten documental (normativa aplicable MIR evaluaciones externas sistemas de

informacioacuten y registros administrativos entre otros) misma que deberaacute complementarse con el

trabajo de campo con el objetivo de identificar disentildear y calcular indicadores relacionados con

dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de informacioacuten empleadas

La informacioacuten obtenida de estos indicadores deberaacute vaciarse en fichas propuestas por la instancia

evaluadora presentadas como en el Anexo 6 ldquoFichas de indicadores de atributos de los procesos del

Pprdquo (formato libre) Estas fichas deberaacuten considerar la medicioacuten de los atributos de eficacia

suficiencia oportunidad y pertinencia correspondientes a cada proceso y subproceso o

macroproceso

Valoracioacuten de los procesos y subprocesos de la operacioacuten del Pp

Deberaacute contener una siacutentesis de los resultados encontrados en la Evaluacioacuten de Procesos del Pp

resaltando los hallazgos maacutes relevantes que se hayan detectado y que pudiesen transformarse en

ASM

La instancia evaluadora deberaacute calcular una valoracioacuten global cuantitativa sobre la operacioacuten y la

ejecucioacuten de los procesos y subprocesos o macroprocesos del Pp a partir del siguiente esquema de

puntuacioacuten5

Eficacia

- Todos los procesos (o macroprocesos) son eficaces = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es eficaz = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es eficaz = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es eficaz = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es eficaz = 1 punto

- Ninguno de los procesos (o macroprocesos) es eficaz = 0 puntos

Oportunidad

- Todos los procesos (o macroprocesos) son oportunos = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es oportuno = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es oportuno = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es oportuno = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es oportuno = 1 punto

5 La valoracioacuten cuantitativa deberaacute estar sustentada y por tanto ser consistente con lo valorado por la instancia evaluadora en el apartado de ldquoMedicioacuten de atributos de los procesos y subprocesosrdquo

PAE 2017 30

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

- Ninguno de los procesos (o macroprocesos) es oportuno = 0 puntos

Suficiencia

- Todos los procesos (o macroprocesos) son suficientes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es suficiente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es suficiente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es suficiente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es suficiente = 1 punto

- Ninguno de los procesos (o macroprocesos) es suficiente = 0 puntos

Pertinencia

- Todos los procesos (o macroprocesos) son pertinentes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es pertinente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es pertinente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es pertinente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es pertinente = 1 punto

- Ninguno de los procesos (o macroprocesos) es pertinente = 0 puntos

A partir de los puntajes asignados en los cuatro atributos anteriores esta valoracioacuten cuantitativa

global debe considerar el total de puntos posibles de obtener (5 x 4 = 20 puntos) y los puntos

obtenidos en la Evaluacioacuten de Procesos Pp (lsquoyrsquo puntos) de modo que se indique el porcentaje de

puntos obtenidos del total de puntos posibles [(lsquoyrsquo20) x 100] = valoracioacuten cuantitativa global de la

operacioacuten del Pp

La instancia evaluadora deberaacute utilizar el Anexo 9 ldquoValoracioacuten global cuantitativardquo para documentar

argumentar y sustentar cada una de las valoraciones cuantitativas sobre la operacioacuten y la ejecucioacuten

de los procesos (o macroprocesos) del Pp

Adicionalmente en este apartado se deberaacuten integrar las recomendaciones y conclusiones que se

consideren maacutes relevantes de los procesos y subprocesos o macroprocesos del Pp las cuales deben

formularse con base en los hallazgos del trabajo de campo y de gabinete El objetivo final de las

recomendaciones es proveer informacioacuten valiosa a los operadores del Pp para realizar adecuaciones

en la ejecucioacuten de los procesos y subprocesos o macroprocesos de modo que se potencie la

consecucioacuten de resultados del Pp

Las recomendaciones que se formulen como resultado de la Evaluacioacuten de Procesos del Pp deberaacuten

tener las siguientes caracteriacutesticas

Derivarse de los hallazgos de la evaluacioacuten

PAE 2017 31

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Ser concretas y factibles

Incluir un proyecto de implementacioacuten que considere los siguientes elementos

- Breve anaacutelisis de la viabilidad o factibilidad de la implementacioacuten

- Principales responsables de la implementacioacuten

- Anaacutelisis de los efectos potenciales que puede implicar la implementacioacuten tanto en la

operacioacuten del Pp como en el logro de sus objetivos

- La comparacioacuten entre la situacioacuten actual y el resultado que se espera obtener con la

implementacioacuten de la recomendacioacuten

Estar categorizadas en dos liacuteneas de accioacuten estrateacutegicas

- Consolidacioacuten

- Reingenieriacutea de procesos o subprocesos

Al respecto la instancia evaluadora debe entender por consolidacioacuten aquellas recomendaciones que

estaacuten dirigidas a perfeccionar determinados aspectos de la operacioacuten como seriacutean algunas acciones

procedimientos o estrategias del Pp asiacute como iniciativas para el fortalecimiento de los sistemas

automatizados infraestructura entre otros

Por reingenieriacutea de procesos o subprocesos se entenderaacuten aquellas recomendaciones que apuntan

a una transformacioacuten o modificacioacuten profunda o sustancial de uno o varios de los procesos y

subprocesos del Pp Para ello se deberaacute llenar el Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de

Procesos del Pprdquo y que a su vez deben derivar en acciones de consolidacioacuten para la implementacioacuten

de los procesos transformados

Adicionalmente y de conformidad con el alcance de la Evaluacioacuten de Procesos del Pp se deberaacute

presentar una propuesta para crear o fortalecer el sistema de monitoreo de gestioacuten del Pp con

indicadores a nivel de procesos y subprocesos o macroprocesos

Asimismo a partir de todo el anaacutelisis y valoraciones realizadas se deberaacute emitir un pronunciamiento

acerca de la percepcioacuten de eficiencia que la instancia evaluadora haya tenido sobre la ejecucioacuten de

los procesos y subprocesos o macroprocesos del Pp

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible o si no hipoteacuteticos en un anexo de formato libre Anexo 10 ldquoSistema de

monitoreo e indicadores de gestioacuten del Pprdquo

PAE 2017 32

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Bitaacutecora de trabajo de campo y bases de datos

La instancia evaluadora deberaacute entregar una bitaacutecora de trabajo de campo que destaque de forma

sinteacutetica entre otros puntos las principales actividades y situaciones a las que se enfrentoacute y que

podriacutean afectar los resultados de la Evaluacioacuten de Procesos del Pp

Asimismo deberaacute entregar las bases de datos generadas a partir de la aplicacioacuten de los instrumentos

de recoleccioacuten de informacioacuten y de la recopilacioacuten de informacioacuten en el trabajo de campo Las bases

de datos deberaacuten entregarse en formatos compatibles con Excel debiendo mantener la

confidencialidad de los entrevistados pero sin alterar la informacioacuten proporcionada por estos En las

bases de datos debe estar sistematizada toda la informacioacuten recabada a partir de la aplicacioacuten de

los instrumentos de levantamiento de informacioacuten y deberaacute sustentar el anaacutelisis las valoraciones los

hallazgos y las conclusiones de la evaluacioacuten

PAE 2017 33

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Contenido del informe

Contenido miacutenimo del informe final de la evaluacioacuten

Derivado del contenido generado en las secciones anteriores deberaacuten elaborarse los siguientes

apartados en el informe final de la Evaluacioacuten de Procesos del Pp

i Introduccioacuten

ii Resumen Ejecutivo

iii Marco Legal

iv Datos Generales del Programa Presupuestario (Pp)

v Criterios Teacutecnicos para la Evaluacioacuten del Programa Presupuestario correspondiente

vi Apartados de la evaluacioacuten

Seccioacuten 1 Disentildeo

Diagnoacutestico del programa puacuteblico

Matriz de Indicadores para Resultados (MIR)

Seccioacuten 2 Procesos

Pertinencia de los proceso

Diagnoacutestico general de los procesos y subprocesos del Pp

- Contexto en que opera el Pp

- Diagnoacutestico inicial de los procesos y subprocesos

Descripcioacuten y valoracioacuten de los procesos y subprocesos del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

vii Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

viii Valoracioacuten final del Pp

ix Hallazgos

x Recomendaciones clasificadas por apartado

xi Conclusiones

xii Bibliografiacutea

xiii Anexos

Anexo 1 Descripcioacuten General del Programa

Anexo 2 Metodologiacutea para la cuantificacioacuten de las poblaciones potencial y objetivo

(Formato Libre)

Anexo 3 Evolucioacuten de la Cobertura

Anexo 4 Propuesta de mejora de la Matriz de Indicadores para Resultados

Anexo 5 Ficha de identificacioacuten y equivalencia de procesos del Pp

PAE 2017 34

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 Fichas de indicadores de atributos de los procesos del Pp (Formato libre)

Anexo 7 Diagramas de flujo de la operacioacuten del Pp

Anexo 8 Propuesta de modificacioacuten a los documentos normativos o institucionales

del Pp

Anexo 9 Valoracioacuten global cuantitativardquo

Anexo 10 Sistema de monitoreo e indicadores de gestioacuten del Pp (Formato libre)

Anexo 11 Recomendaciones de la Evaluacioacuten de Procesos del Pp

Anexo 12 Principales Fortalezas Retos y Recomendaciones

Anexo 13 Ficha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacuten

En el Resumen Ejecutivo asimismo se describiraacuten los principales hallazgos y recomendaciones del

evaluador externo

Para el desarrollo de los apartados antes referidos deberaacute atender las indicaciones que se desarrollan

en las siguientes secciones

Hallazgos y resultados Pp por Seccioacuten

Se debe realizar una valoracioacuten general del programa por seccioacuten utilizando las respuestas que

integran cada uno de los apartados En esta valoracioacuten integral se deberaacute sentildealar en queacute medida la

gestioacuten operativa conduce al logro de los objetivos del Pp

Asimismo se deben sentildealar las aacutereas de mejora las buenas praacutecticas y las fortalezas detectadas en

la operacioacuten del Pp y a partir de ello la instancia evaluadora emitiraacute recomendaciones de mejora

sobre aspectos especiacuteficos de cada proceso y subproceso o macroproceso del Pp Adicionalmente

se deberaacuten identificar los problemas o limitantes tanto normativos como operativos (ldquocuellos de

botellardquo) de coordinacioacuten entre unidades administrativas y otros que hubiese en los procesos y

subprocesos o macroprocesos del Pp entendieacutendose como aquellas praacutecticas procedimientos

actividades o traacutemites que obstaculizan la operacioacuten del Pp

En este sentido se deberaacuten identificar las situaciones en las que la normativa genere complicaciones

en la gestioacuten o ineficacia en el cumplimiento de los objetivos del Pp para lo cual se deberaacute presentar

(por cada situacioacuten identificada) una propuesta de modificacioacuten a la normativa aplicable al Pp

considerando las restricciones praacutecticas que existan para su implementacioacuten asiacute como los efectos

PAE 2017 35

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

potenciales de ser implementada Los resultados de este anaacutelisis deberaacuten describirse en el Anexo 7

ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales del Pprdquo

Para la identificacioacuten y descripcioacuten de los ldquocuellos de botellardquo buenas praacutecticas y fortalezas del Pp

se consideraraacute la informacioacuten derivada del anaacutelisis de la operacioacuten del Pp asiacute como los puntos de

vista de los principales actores que intervienen en ella Este anaacutelisis deberaacute contener las causas y las

consecuencias de los ldquocuellos de botellardquo detectados sus caracteriacutesticas y naturaleza (si son

normativas o estrictamente operativas) de igual manera se deberaacute desarrollar un anaacutelisis de las

buenas praacutecticas identificadas

Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

Se debe integrar en una sola tabla las fortalezas oportunidades debilidades y amenazas

especificadas por cada apartado de la evaluacioacuten y reportarlas en el Anexo 11 ldquoPrincipales Fortalezas

Retos y Recomendacionesrdquo en el que se deben incluir las fortalezas yo oportunidades las

debilidades yo amenazas y las recomendaciones por apartado de la evaluacioacuten

PAE 2017 36

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexos

Anexo 1 ldquoDescripcioacuten General del Programardquo

El Anexo tiene formato libre sin embargo debe contener una breve descripcioacuten de las caracteriacutesticas

maacutes relevantes del Pp en un maacuteximo de dos cuartillas Dicha descripcioacuten debe considerar los

siguientes aspectos

1 Identificacioacuten del programa

11 Nombre

12 Clave de programa

13 Dependencia yo Entidad coordinadora ejecutora

14 Antildeo de inicio de operacioacuten

2 Problema o necesidad que el Pp pretende atender atenuar o resolver

3 La contribucioacuten del Pp a las Metas y objetivos estatales a los que se vincula

4 Descripcioacuten de los objetivos del Pp asiacute como de los bienes yo servicios que ofrece

(componentes)

5 Identificacioacuten y cuantificacioacuten de la poblacioacuten o aacuterea de enfoque potencial y

objetivo

6 Presupuesto aprobado para el ejercicio fiscal en curso

7 Metas de los indicadores de Fin Propoacutesito y Componentes asiacute como los de nivel

actividad que se consideren relevantes y

8 Resumen de la valoracioacuten de la pertinencia del disentildeo del Pp respecto a la atencioacuten

del problema o necesidad

Anexo 2 ldquoMetodologiacutea para la cuantificacioacuten de la poblacioacuten o aacuterea de enfoque

potencial y objetivordquo

El Anexo tiene formato libre sin embargo se debe incluir la siguiente informacioacuten

Definicioacuten de la poblacioacuten o aacuterea de enfoque potencial objetivo y atendida

Cuantificacioacuten de la poblacioacuten potencial objetiva y atendida

Hallazgos sobre el procedimiento llevado a cabo para definir y cuantificar la poblacioacuten o

aacuterea de enfoque potencial objetivo y atendida

Recomendaciones

Propuesta orientada hacia la mejora

PAE 2017 37

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 3 ldquoEvolucioacuten de la Coberturardquo

Nombre del

Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten

Antildeo de la Evaluacioacuten

Tipo de Poblacioacuten

Unidad

de

Medida

2012 2013 2014 2015 2016

P Potencial

P Objetivo

P Atendida

119927119912 times 120783120782120782

119927119926

PAE 2017 38

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 4 ldquoPropuesta de mejora de la Matriz de Indicadores para Resultadosrdquo

Derivado del anaacutelisis y valoracioacuten de la pregunta de investigacioacuten nuacutemero 3 iquestLa estructura de

objetivos planteada por el programa mantiene loacutegica y correspondencia causal con el problema

planteado en el diagnoacutestico se realizaraacute una propuesta de mejora de MIR

Fin

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Propoacutesito

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Componente 1

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

PAE 2017 39

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Componente 2 hellip

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 40

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesos del Pprdquo

Para la identificacioacuten y clasificacioacuten de los procesos del Pp se sugieren los siguientes pasos

1 Listar los procesos identificados

Comparar los procesos identificados del Pp con aquellos correspondientes al Modelo general de

procesos Colocar en el rengloacuten correspondiente el nombre de cada proceso del Pp identificado

como equivalente

2 Colocar al final de la lista aquellos procesos del Pp que no sean equivalentes con el Modelo

general de procesos

Modelo general de

procesos

Nuacutemero

de

secuencia

Procesos o subprocesos del Pp identificados por el

evaluador

(Nombre y breve descripcioacuten)

Planeacioacuten Ejemplo (Ej) Planeacioacuten Estrateacutegica

Ej Programacioacuten

Ej Presupuestacioacuten

Comunicacioacuten interna y

externa

Ej Difusioacuten Federal

Ej Difusioacuten Local

Seleccioacuten de

destinatarios

Ej Recepcioacuten de solicitudes de becas

Ej Seleccioacuten de becarios

Produccioacuten de

entregables

Entrega

Control

Seguimiento Ej Seguimiento fiacutesico y supervisioacuten en campo

Evaluacioacuten externa Ej Publicacioacuten y lectura del PAE

Ej Definicioacuten de TdR

Ej Contratacioacuten

Ej Ejecucioacuten de la evaluacioacuten externa

Monitoreo Ej Registro de avances de indicadores

Ej Revisioacuten de registros

Ej Validacioacuten de registros e integracioacuten de informes

PAE 2017 41

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Procesos identificados por el evaluador que no coinciden con el Modelo general de procesos

PAE 2017 42

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 ldquoFichas de indicadores de atributos de los procesos del Pp (formato libre)rdquo

Para la construccioacuten de este anexo deberaacute realizarse una revisioacuten documental (normativa aplicable

MIR evaluaciones externas sistemas de informacioacuten y registros administrativos entre otros) misma

que deberaacute complementarse con el trabajo de campo con el objetivo de identificar disentildear y calcular

indicadores relacionados con dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de

informacioacuten empleadas

Ademaacutes de considerar la medicioacuten de los atributos de eficacia suficiencia oportunidad y pertinencia

de cada proceso y subproceso o macroproceso

PAE 2017 43

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 7 ldquoDiagramas de flujo de la operacioacuten del Pprdquo

Para la elaboracioacuten de los diagramas de flujo deberaacute utilizarse la notacioacuten empleada en el

documento ldquoGuiacutea para la Optimizacioacuten Estandarizacioacuten y Mejora Continua de Procesosrdquo publicada

por la SFP en la direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Para el Diagrama de Alto Nivel (Diagrama PEPSU)

Ejemplo ilustrativo

PAE 2017 44

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para el Diagrama de Flujo

PAE 2017 45

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

PAE 2017 46

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 8 ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales

del Pprdquo

Tipo de

norma-

tiva

Dice

Problema

generado

(causas y

consecuencias)

Se

recomienda

decir

Efecto esperado de

aplicar la

recomendacioacuten de

cambio

Restricciones praacutecticas

que puedan existir para

su implementacioacuten

PAE 2017 47

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 9 ldquoValoracioacuten global cuantitativa ldquo

Seccioacuten 1 Disentildeo

Disentildeo Valoracioacuten Argumento o justificacioacuten

Porcentaje del

Disentildeo del Pp

(Suma de valoracioacuten alcanzada por pregunta de la seccioacuten 1 Total maacuteximo de la

valoracioacuten de todas las preguntas de la seccioacuten 1 ) x 100

Seccioacuten 2 Procesos

Proceso Eficacia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

eficaces

(Total de procesos eficaces Total de procesos del Pp) x 100

Proceso Oportunidad

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

oportunos

(Total de procesos oportunos Total de procesos del Pp) x 100

Proceso Suficiencia

(SiacuteNo) Argumento o justificacioacuten

PAE 2017 48

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Porcentaje de

procesos

suficientes

(Total de procesos suficientes Total de procesos del Pp) x 100

Proceso Pertinencia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

pertinentes

(Total de procesos pertinentes Total de procesos del Pp) x 100

NOTA Los argumentos y justificaciones del evaluador deberaacuten considerar el anaacutelisis y valoraciones de

los subprocesos de cada proceso de modo que haya consistencia entre estos elementos Asimismo el

evaluador deberaacute expresar los resultados de la valoracioacuten cuantitativa en una graacutefica tipo radial

PAE 2017 49

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 10 ldquoSistema de monitoreo e indicadores de gestioacuten del Pp (formato libre)rdquo

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible

Nombre del Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten De Procesos

Antildeo de la Evaluacioacuten 2017

Fin Justificacioacuten Propoacutesito Justificacioacuten Componente (s) Justificacioacuten

Nombre de

Indicador

Meacutetodo de Caacutelculo

Claro SiacuteNo SiacuteNo SiacuteNo

Relevante SiacuteNo SiacuteNo SiacuteNo

Econoacutemico SiacuteNo SiacuteNo SiacuteNo

Monitoreable SiacuteNo SiacuteNo SiacuteNo

Adecuado SiacuteNo SiacuteNo SiacuteNo

Definicioacuten SiacuteNo SiacuteNo SiacuteNo

Unidad de Medida SiacuteNo SiacuteNo SiacuteNo

Frecuencia de

Medicioacuten

SiacuteNo SiacuteNo SiacuteNo

Liacutenea Base SiacuteNo SiacuteNo SiacuteNo

Metas SiacuteNo SiacuteNo SiacuteNo

Comportamiento

del Indicador

SiacuteNo SiacuteNo SiacuteNo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 50

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de Procesos del Pprdquo

En este Anexo la instancia evaluadora debe valorar si la recomendacioacuten implica una consolidacioacuten o

una reingenieriacutea del proceso

A) Consolidacioacuten

Proceso Recomendaci

oacuten

Breve

anaacutelisis de

viabilidad de

la

implementa-

cioacuten

Principales

responsables

de la

implementaci

oacuten

Situacioacuten

actual

Efectos

potenciales

esperados

Medio de

verifica-

cioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

B) Reingenieriacutea de procesos

Proceso Objetivo

Breve

anaacutelisis de

viabilidad

de la

implemen-

tacioacuten

Principales

responsables

de la

implemen-

tacioacuten

Situa-

cioacuten

actual

Metas y

efectos

potenciale

s

esperados

Elabora-

cioacuten de

flujogram

a del

nuevo

proceso

Medio

de

verifi-

cacioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

NOTA El nivel de priorizacioacuten Alto Medio o Bajo se estimaraacute considerando la mejora en la operacioacuten

del Pp la viabilidad de la implementacioacuten de la recomendacioacuten asiacute como el efecto potencial que esto

pueda tener el alcance del objetivo del Pp

PAE 2017 51

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 12 ldquoPrincipales Fortalezas Retos y Recomendacionesrdquo

Capacidades Internas Factores Externos

Fortalezas

(Cualquier capacidad con la que cuenta la dependencia o

entidad que le permita aprovechar sus recursos para la

obtencioacuten de sus objetivos)

Oportunidades

(Cualquier factor externo fuera del control de la dependencia o

entidad que puede ser aprovechado para la obtencioacuten de sus

objetivos)

Debilidades

(Cualquier limitante Interna de la dependencia o entidad que

puede afectar la obtencioacuten de sus objetivos)

Amenazas

(Cualquier factor externo fuera de control de la dependencia o

entidad que pueda afectar la obtencioacuten de sus objetivos)

PAE 2017 52

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacutenrdquo

El Informe Final de la Evaluacioacuten de Procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten

Superior deberaacuten contener una ficha con los siguientes datos

Ficha Teacutecnica con los datos generales de la evaluacioacuten

Nombre o denominacioacuten de la

evaluacioacuten

[Especificar el nombre de la evaluacioacuten considerando su tipo y ejercicio

evaluado]

Nombre o denominacioacuten del

programa evaluado

[Indicar el nombre del Pp sujeto a evaluacioacuten de acuerdo con lo

establecido en el PEF sentildealando su modalidad y clave]

Unidad Responsable de la operacioacuten

del programa

[Especificar la(s) unidad(es) responsable(s) de la administracioacuten

operacioacuten y ejecucioacuten de los programas subprogramas y proyectos del

Pp evaluado correspondientes a las dependencias y entidades]

Titular de la unidad responsable de la

operacioacuten del programa

[Indicar el nombre del(a) Titular de la Unidad Responsable de la

operacioacuten del Pp]

Antildeo del Programa Anual de

Evaluacioacuten (PAE) en que fue

considerada la evaluacioacuten

[Especificar el ejercicio fiscal al que corresponde el PAE en la que fue

programada la evaluacioacuten]

Antildeo de conclusioacuten y entrega de la

evaluacioacuten

[Indicar el antildeo en que se concluyoacute la evaluacioacuten]

Tipo de evaluacioacuten [Especificar el tipo de evaluacioacuten de acuerdo con los Lineamientos de

evaluacioacuten el nombre de la evaluacioacuten y con lo establecido en el PAE]

Nombre de la instancia evaluadora [Indicar el nombre de la firma consultoriacutea u organizacioacuten que realizoacute la

evaluacioacuten]

Nombre del(a) coordinador(a)

externo(a) de la evaluacioacuten

[Especificar el nombre del(a) responsable de la coordinacioacuten de la

evaluacioacuten dla instancia evaluadora]

Nombre de los(as) principales

colaboradores(as) del(a)

coordinador(a) de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del(a)

coordinador(a) de la evaluacioacuten]

PAE 2017 53

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Unidad Administrativa responsable de

la Coordinacioacuten de la evaluacioacuten

[De acuerdo con lo sentildealado en el PAE especificar la instancia a la que

corresponde la coordinacioacuten de la evaluacioacuten pej Secretariacutea de

Finanzas y Administracioacuten (SFA) asiacute como la unidad administrativa

mediante la cual se ejerce esta funcioacuten p ej Direccioacuten de Evaluacioacuten

de la SFA (DEV)

Nombre del(a) Titular de la unidad

administrativa responsable de

coordinar la evaluacioacuten (Aacuterea de

Evaluacioacuten)

[Especificar el nombre del(a) Titular de la Unidad responsable de dar

seguimiento a la evaluacioacuten que funge como Aacuterea de Evaluacioacuten]

Nombres de los(as) servidores(as)

puacuteblicos(as) adscritos(as) a la unidad

administrativa responsable de

coordinar la evaluacioacuten que

coadyuvaron con la revisioacuten teacutecnica

de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del

titular de la unidad administrativa responsable de dar seguimiento a la

evaluacioacuten respecto de la revisioacuten teacutecnica de la misma]

Forma de contratacioacuten de la instancia

evaluadora

[Indicar el tipo de contratacioacuten dla instancia evaluadora Especificar el

tipo de procedimiento de contratacioacuten de la instancia evaluadora

consistente con los tipos de adjudicacioacuten establecidos en la Ley de

Adquisiciones Arrendamientos y Servicios del Sector Puacuteblico]

Costo total de la evaluacioacuten con IVA

incluido

[Especificar el costo total de la evaluacioacuten incluyendo el IVA (en caso

de que se haya causado) como sigue $XXX IVA incluido]

Asimismo en este anexo se deberaacute incluir una nota metodoloacutegica con la descripcioacuten de las teacutecnicas

y los modelos utilizados por el evaluador externo acompantildeada del disentildeo por muestreo

especificando los supuestos empleados y las principales caracteriacutesticas del tamantildeo y dispersioacuten de

la muestra utilizada

DIRECTORIO

Rauacutel Saacutenchez Kobashi

Secretario de la Secretariacutea de Finanzas y Administracioacuten

Francisco Fidel Teomitzi Saacutenchez

Subsecretario de Planeacioacuten

Arturo Neponuceno Crisoacutestomo

Director de Evaluacioacuten

Rodolfo de la Rosa Cabrera

Subdireccioacuten de Evaluacioacuten de Programas

Sauacutel Federico Oropeza Orea

Jefe del Departamento de Programas Estatales y Municipales

Ana Luz Guzmaacuten Figueroa

Analista del Departamento de Programas Estatales y Municipales

Marco Antonio Saacutenchez Gonzaacutelez

Analista del Departamento de Programas Estatales y Municipales

Page 21: Términos de Referencia para la Evaluación del Desempeño ...evaluacion.puebla.gob.mx/pdf/metodologias/TdR_Est/2017/TdR... · Perfil de la instancia evaluadora ... acuerdo con las

PAE 2017 20

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Un elemento que podraacute ser considerado para establecer el alcance de la evaluacioacuten es el grado de

consolidacioacuten operativa del Pp el cual podraacute determinarse a priori considerando algunos elementos

como los siguientes

1 Si existen documentos que normen los procesos y subprocesos o macroprocesos

2 Si los procesos y subprocesos o macroprocesos estaacuten estandarizados es decir si son

utilizados por todas la instancias ejecutoras de manera homogeacutenea

3 Si los procesos y subprocesos o macroprocesos estaacuten documentados y son del conocimiento

de todos los operadores

4 Si se cuenta con un sistema de monitoreo e indicadores de gestioacuten

5 Si se cuenta en los procesos y subprocesos o macroprocesos analizados con sistemas

informaacuteticos que permitan la automatizacioacuten en la ejecucioacuten de los mismos

6 Si se cuenta con mecanismos para la implementacioacuten sistemaacutetica de mejoras

Se considera que existe un mayor grado de consolidacioacuten operativa cuando existen todos los

elementos y disminuiraacute gradualmente conforme haga falta uno o maacutes de ellos hasta el menor grado

de consolidacioacuten que es cuando no existe ninguno de los elementos

El alcance de la Evaluacioacuten de Procesos del Pp implica el anaacutelisis de los procesos y subprocesos o

macroprocesos sustantivos del Pp asiacute como la respectiva priorizacioacuten de estos Se deberaacute realizar

la identificacioacuten y jerarquizacioacuten de los procesos a partir del Esquema 1 adaptaacutendolo a las

condiciones particulares del Pp3 en eacutel se observa lo siguiente

El proceso de ldquoPlaneacioacutenrdquo es el punto de partida para la implementacioacuten del Pp

posteriormente continuacutean los procesos de ldquoComunicacioacuten Interna y Externardquo ldquoSeleccioacuten de

destinatariosrdquo ldquoProduccioacuten de entregablesrdquo ldquoEntregardquo ldquoSeguimiento a destinatariosrdquo y

ldquoControlrdquo

La informacioacuten que se genera en los procesos de ldquoSeguimiento a destinatariosrdquo y ldquoControlrdquo

es un insumo directo para retroalimentar los procesos del Pp desde el de Planeacioacuten

El proceso de ldquoMonitoreordquo utiliza informacioacuten generada principalmente en los procesos de

ldquoComunicacioacutenrdquo ldquoSeleccioacuten de destinatariosrdquo ldquoProduccioacuten de entregablesrdquo ldquoEntregardquo y

ldquoSeguimiento a destinatariosrdquo a partir de ello se retroalimentan los procesos del Pp desde

la ldquoPlaneacioacutenrdquo

3 Con excepcioacuten de los procesos (con sus subprocesos) de Planeacioacuten Monitoreo y Evaluacioacuten Externa para

los cuales la instancia evaluadora uacutenicamente podraacute en caso de que lo considere pertinente agregar

subprocesos pero no suprimir subprocesos

PAE 2017 21

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

El proceso de ldquoEvaluacioacuten Externardquo requiere de informacioacuten transversal de todos los

procesos ya que se valora al Pp en su conjunto En este sentido los resultados de las

evaluaciones son un insumo para retroalimentar al Pp desde el proceso de ldquoPlaneacioacutenrdquo

Es importante sentildealar que en el Esquema 1 se muestra un modelo que es importante tomarlo en

cuenta como referencia para la identificacioacuten y definicioacuten de los procesos y subprocesos o

macroprocesos que integran la operacioacuten del Pp evaluado ademaacutes de que representa un auxiliar

en la definicioacuten del alcance y del enfoque de la Evaluacioacuten de Procesos del Pp

Esquema 1 Modelo general de procesos

Fuente Modelo de TdR para la Evaluacioacuten de Procesos Secretariacutea de Hacienda y Creacutedito Puacuteblico

A continuacioacuten se describe cada uno de los procesos que componen al modelo anterior

Planeacioacuten proceso en el que se determinan o definen el problema o necesidad aacuterbol de

problemas y objetivos poblacioacuten o aacuterea de enfoque potencial y objetivo objetivos

indicadores y metas de la MIR estrategia de cobertura plan estrateacutegico entre otros puntos

asiacute como los recursos financieros y humanos necesarios que requiere el Pp para lograr sus

objetivos En el proceso de planeacioacuten se determinan las directrices en el disentildeo e

implementacioacuten del Pp los subprocesos que lo integran son los siguientes planeacioacuten

estrateacutegica programacioacuten y presupuesto actualizacioacuten de la MIR actualizacioacuten de

normativa

PAE 2017 22

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Comunicacioacuten interna y externa proceso en el que se informan diversas caracteriacutesticas y

objetivos del Pp tanto a los actores involucrados en su funcionamiento y operacioacuten (interna)

como a su poblacioacuten o aacuterea de enfoque objetivo (externa)

Seleccioacuten de destinatarios proceso en el que se determina quieacutenes recibiraacuten los

componentes o entregables de un Pp en funcioacuten de su poblacioacuten o aacuterea de enfoque objetivo

Produccioacuten de entregables proceso en el que se elaboran los entregables o realizan los

componentes del Pp (recursos financieros o humanos apoyos bienes servicios

regulaciones documentos teacutecnicos o de planeacioacuten etc) conforme a sus documentos

normativos

Entrega proceso en el que se realiza la entrega de lo producido o generado por el Pp

(componentes o entregables) a los destinatarios o beneficiarios

Seguimiento a destinatarios actividades y mecanismos que permiten al Pp conocer coacutemo

son utilizados o aprovechados sus componentes o entregables (por sus destinatarios o

beneficiarios) para que entre otras funciones la UR del Pp identifique si se estaacute cumpliendo

con los objetivos Por ejemplo en este proceso se incluyen las actividades que un Pp

implementa para conocer el grado de satisfaccioacuten de sus destinatarios o beneficiarios

Control actividades y mecanismos implementados entre los operadores del Pp para verificar

que los diferentes procedimientos procesos y subprocesos se esteacuten ejecutando conforme a

lo planeado (control interno)

Monitoreo proceso coordinado por una unidad administrativa ajena a la operacioacuten del Pp

a traveacutes del cual se recaba registra y valida la informacioacuten sobre el avance de las metas de

los indicadores de la MIR asiacute como el seguimiento a los resultados de indicadores

adicionales a los de la MIR en caso de que se cuente con un sistema de monitoreo de gestioacuten

Los subprocesos que lo integran son los siguientes acopio de la informacioacuten para el reporte

de avances validacioacuten de informacioacuten y registro de avances primordialmente

Evaluacioacuten externa proceso coordinado por una unidad administrativa ajena a la operacioacuten

del Pp mediante el cual se define la agenda de evaluacioacuten externa del Pp se definen las

metodologiacuteas o los teacuterminos de referencia se contratan las evaluaciones externas (de

cualquier tipo) se recaba la informacioacuten que seraacute entregada a los equipos evaluadores se

realiza el seguimiento durante el desarrollo de las evaluaciones externas se aprueban los

PAE 2017 23

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

informes finales de las evaluaciones externas se notifica a las instancias correspondientes

sobre la conclusioacuten de las evaluaciones externas y se definen y realiza el seguimiento de los

Aspectos Susceptibles de Mejora (ASM)

A partir de los procesos definidos en el modelo anterior la instancia evaluadora deberaacute realizar una

equivalencia de los procesos subprocesos o macroprocesos identificados respecto a los definidos

en el modelo de acuerdo con el Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesosrdquo Cabe

mencionar que los procesos definidos en el modelo no son limitativos por lo que si la instancia

evaluadora identifica procesos subprocesos o macroprocesos adicionales deberaacute incluirlos

Disentildeo metodoloacutegico del trabajo de campo

A partir del contexto en que opera el Pp y el alcance y enfoque metodoloacutegico de la evaluacioacuten de

procesos la instancia evaluadora deberaacute desarrollar una propuesta de estrategia y plan de trabajo

de campo a seguir para la realizacioacuten de la evaluacioacuten asimismo deberaacute incluir un cronograma

detallado de actividades

La estrategia de trabajo de campo disentildeada por la instancia evaluadora deberaacute ser entregada a la

DEV para que en conjunto con la UR del Pp sea validada antes de su implementacioacuten Dicha

estrategia deberaacute contener al menos los siguientes elementos

Justificacioacuten de las teacutecnicas de investigacioacuten a utilizar

Muestra y los criterios utilizados para su seleccioacuten

Listado de los actores a entrevistar

Instrumentos de levantamiento de informacioacuten que se aplicaraacuten y

Cronograma con las actividades a desarrollar

La instancia evaluadora iniciaraacute las actividades del trabajo de campo de manera conjunta y una vez

recibido el visto bueno de la DEV

El disentildeo de la muestra y de los instrumentos para el levantamiento de informacioacuten en campo

deberaacute considerar a la totalidad de los actores que intervienen en la ejecucioacuten de los procesos y

subprocesos o macroprocesos que integran la operacioacuten o gestioacuten del Pp asiacute como a los

destinatarios o beneficiarios de los componentes o entregables del Pp independientemente de su

ubicacioacuten geograacutefica

Algunos criterios que puede utilizar la instancia evaluadora para definir una muestra que considere

la variabilidad de la operacioacuten en los diferentes contextos en que opera el Pp son los siguientes

PAE 2017 24

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

a) El desempentildeo operativo del Pp entre municipios regionalizacioacuten geograacutefica instituciones

puacuteblicas o privadas u otros aspectos que suponen una accioacuten diferenciada de los procesos

(cuando aplique)

b) Volumen de la operacioacuten del Pp

c) Esquemas normativos del Pp y el ejercicio presupuestal en los municipios instituciones

puacuteblicas o privadas u otros aspectos que suponen una accioacuten diferenciada de los procesos

en las que opera el Pp (cuando aplique) y

d) Formas de interaccioacuten del Pp con otros niveles u oacuterdenes de gobierno (cuando aplique)

Los criterios anteriores no son limitativos por lo que la instancia evaluadora podraacute proponer criterios

adicionales que considere pertinentes para la definicioacuten de la muestra para el trabajo de campo

En el disentildeo muestral la instancia evaluadora deberaacute sentildealar los funcionarios del Pp o destinatarios

a los que se les aplicaraacuten los instrumentos de levantamiento de informacioacuten con los que se realizaraacute

el trabajo de campo asiacute como la ubicacioacuten geograacutefica de los mismos

Instrumentos de levantamiento de informacioacuten

La instancia evaluadora deberaacute disentildear los instrumentos que utilizaraacute para el levantamiento de

informacioacuten durante el trabajo de campo como son (por ejemplo) los cuestionarios por tipo de

funcionario a entrevistar para el caso de entrevistas semiestructuradas los guiones a utilizar en la

realizacioacuten de grupos focales los cuestionarios de aplicacioacuten electroacutenica las guiacuteas respectivas entre

otros Para lo anterior deberaacute considerar los siguientes temas guiacutea y preguntas de referencia

Planeacioacuten (planeacioacuten estrateacutegica programacioacuten y presupuesto)

iquestQueacute se entiende por planeacioacuten estrateacutegica para los operadores del Pp

iquestCuaacuteles son las actividades o acciones de planeacioacuten estrateacutegica del Pp que se realizan

iquestLa planeacioacuten estrateacutegica es el resultado de un ejercicio institucionalizado que involucra a

los actores clave de la gestioacuten del Pp

iquestExiste un documento resultado de la planeacioacuten estrateacutegica iquestEs claro difundido y

accesible iquestEn queacute medida es utilizado para guiar la operacioacuten del Pp

iquestLa planeacioacuten estrateacutegica estaacute vinculada con el cumplimiento entrega o generacioacuten de los

componentes o entregables del Pp

iquestLa planeacioacuten estrateacutegica establece indicadores para medir los avances en las metas

establecidas iquestLas metas son factibles y estaacuten orientadas a impulsar el desempentildeo del Pp

PAE 2017 25

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

iquestQueacute se entiende por planeacioacuten operativa y cuaacuteles son las diferencias con la planeacioacuten

estrateacutegica

Comunicacioacuten interna y externa del Pp (las preguntas que apliquen)

iquestQueacute actores intervienen en la comunicacioacuten del Pp

iquestExiste una estrategia de comunicacioacuten del Pp documentada En caso afirmativo describirla

iquestLa estrategia de comunicacioacuten del Pp (documentada o no) es adecuada

iquestLos medios utilizados el lenguaje y el contenido de los mensajes son pertinentes en funcioacuten

del puacuteblico al que van dirigidos

Solicitud de los componentes o entregables del Pp (las preguntas que apliquen)

iquestExiste un proceso claro imparcial y expliacutecito por medio del cual la poblacioacuten o aacuterea de

enfoque potencial puede solicitar los componentes o entregables que otorga el Pp

iquestLos requisitos para solicitar los componentes o entregables del Pp se presentan de manera

clara y completa

iquestLos puntos de recepcioacuten de solicitudes son accesibles y suficientes (cuando aplique)

iquestExisten mecanismos estandarizados para recibir y revisar la documentacioacuten entregada asiacute

como registrar y dar traacutemite a las solicitudes (cuando aplique)

iquestSon adecuados estos mecanismos (cuando aplique) En caso de que el Pp que apoye la

realizacioacuten de proyectos iquestse brinda asesoriacutea para la presentacioacuten de los mismos de ser asiacute

iquestes pertinente esta asesoriacutea

iquestEl proceso de solicitud de los componentes o entregables que otorga el Pp se encuentra

automatizado total o parcialmente

Para esta pregunta considerar los estados de digitalizacioacuten utilizados por la Comisioacuten Intersecretarial

para el Desarrollo del Gobierno electroacutenico seguacuten una adaptacioacuten realizada a la clasificacioacuten que

hace la ONU

Estado de digitalizacioacuten 1 traacutemites y servicios que se encuentran en estado informativo

Estado de digitalizacioacuten 2 traacutemites y servicios que cuentan con interfaces de comunicacioacuten

unidireccional

Estado de digitalizacioacuten 3 traacutemites y servicios que permiten realizar transacciones y

Estado de digitalizacioacuten 4 traacutemites y servicios que el usuario puede ejecutar de principio a

fin por medio de dispositivos digitales

PAE 2017 26

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para mayor informacioacuten referirse a ldquoFigure A4 The four stages of online service developmentrdquo en

los siguientes documentos

Lineamientos relativos a la digitalizacioacuten estandarizada de traacutemites y servicios con apego en

la Estrategia Digital Nacional

httpwwwgobmxcmsuploadsattachmentfile67232ti_1_pgcm_bases_lineam_tyspdf

United Nations E-Government Survey 2014 (paacutegina 195)

httpspublicadministrationunorgegovkbportalsegovkbdocumentsun2014-surveye-

gov_complete_survey-2014pdf

Seleccioacuten de destinatarios (cuando aplique)

iquestExiste una metodologiacutea o meacutetodo para la seleccioacuten de destinatarios o beneficiarios de los

componentes o entregables del Pp iquestLa metodologiacutea utilizada cuenta con criterios de

seleccioacuten y elegibilidad claros estandarizados y sistematizados

iquestLa seleccioacuten de destinatarios o beneficiarios de los componentes o entregables del Pp es un

proceso transparente e imparcial iquestEl resultado de la seleccioacuten es puacuteblico (cuando aplique)

iquestExiste informacioacuten en una base de datos que permita conocer quieacutenes o queacute instancias

reciben los componentes o entregables del Pp iquestQueacute informacioacuten integra esta base de datos

iquestExisten mecanismos para validar y actualizar esta base de datos iquestEstos mecanismos son

pertinentes

Produccioacuten de componentes o entregables

iquestSe cuenta con los insumos suficientes para generar el volumen de componentes o

entregables que permitan al Pp atender a su poblacioacuten o aacuterea de enfoque objetivo

iquestEl Pp tiene mecanismos para estimar la produccioacuten o generacioacuten necesaria de componentes

o entregables de acuerdo con la posible demanda o requerimientos de su poblacioacuten o aacuterea

de enfoque objetivo iquestEs adecuado este mecanismo

iquestExisten mecanismos de control de calidad para la generacioacuten de los componentes o

entregables del Pp iquestEstos mecanismos son pertinentes

iquestLas actividades de generacioacuten de componentes o entregables que otorga el Pp estaacuten

estandarizadas es decir son ejecutadas de manera homogeacutenea por todas las instancias

involucradas

PAE 2017 27

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Entrega

iquestLos componentes o entregables del Pp son proporcionados conforme a las especificaciones

y de manera oportuna a los destinatarios

iquestExisten especificaciones (programas o planes de trabajo) sobre la forma en que se deben

trasladar los componentes o entregables para (por ejemplo) asegurar su adecuada recepcioacuten

en el punto de destino iquestSon adecuadas estas especificaciones respecto a normas o

lineamientos existentes (cuando aplique)

iquestLa logiacutestica de distribucioacuten se actualiza (cuando aplique) iquestExiste un periodo para dicha

actualizacioacuten iquestEn el disentildeo y actualizacioacuten de la logiacutestica se toman en cuenta los factores

geograacuteficos y climatoloacutegicos en cada regioacuten donde opera el Pp (cuando aplique)

iquestLos puntos de entrega de los componentes o entregables son cercanos a los beneficiarios

o aacuterea de enfoque a atender y son de faacutecil acceso iquestSe considera que son suficientes iquestPor

queacute

Control (las preguntas que apliquen)

iquestEl Pp cuenta con los mecanismos para verificar que los componentes o entregables se

otorguen de acuerdo con lo establecido en la normativa especiacutefica y lleguen a la poblacioacuten

o aacuterea de enfoque que deba ser beneficiada iquestEstos mecanismos son adecuados

iquestExiste de manera sistematizada un documento que deacute cuenta de los resultados de

supervisioacuten y entrega de componentes o entregables iquestEste documento es adecuado iquestLos

resultados se utilizan para implementar mejoras en la operacioacuten del Pp

iquestExisten procedimientos estandarizados que verifiquen el cumplimiento de la

corresponsabilidad u obligatoriedad por parte de los beneficiarios o destinatarios de los

componentes o entregables del Pp (cuando aplique)

Seguimiento a destinatarios

iquestEl Pp tiene mecanismos para verificar el procedimiento de seguimiento a los destinatarios o

beneficiarios que permitan identificar si los componentes o entregables generados son

utilizados de acuerdo con lo establecido iquestCoacutemo se implementa el mecanismo iquestEste

mecanismo es adecuado

iquestExisten procedimientos estandarizados que permitan verificar el cumplimiento de la

corresponsabilidad u obligatoriedad por parte del destinatario o beneficiario (cuando

aplique)

PAE 2017 28

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

En caso de que los componentes o entregables involucren la ejecucioacuten de obra o de

infraestructura iquestel Pp cuenta con un mecanismo de seguimiento o supervisioacuten que permita

identificar si se realizaron acorde a la normativa aplicable iquestEl seguimiento o supervisioacuten

considera plazos para la revisioacuten de las condiciones de la obra o la infraestructura despueacutes

de terminada la obra

iquestEl Pp tiene mecanismos para identificar si se cumple con su Propoacutesito iquestSon suficientes y

pertinentes estos mecanismos

iquestExisten mecanismos para conocer la satisfaccioacuten del destinatario o beneficiario de los

componentes o entregables del Pp respecto de los componentes que ofrece el Pp iquestSon

adecuados estos mecanismos iquestSu operacioacuten permite una aplicacioacuten imparcial y objetiva

iquestExiste evidencia para afirmar que las quejas y sugerencias que brindan los destinatarios o

beneficiarios de los componentes o entregables del Pp son utilizadas para la mejora continua

del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

En esta seccioacuten se deberaacute realizar la medicioacuten de los atributos de eficacia oportunidad suficiencia

y pertinencia de los procesos y subprocesos o macroprocesos definidos en el mapa de procesos del

Pp A continuacioacuten se definen los atributos en el marco de la evaluacioacuten de procesos

Eficacia un proceso es eficaz en la medida en que cumple con sus metas

Oportunidad un proceso es oportuno en la medida en que otorga sus productos

(componentes o entregables) o resultados en un periodo de tiempo determinado o

adecuado para el logro de sus objetivos

Suficiencia un proceso es suficiente en la medida en que produce sus resultados de forma

completa o adecuada para el logro de sus objetivos

Pertinencia un proceso es pertinente si sus actividades y productos son adecuados para

lograr tanto sus metas especiacuteficas como sus objetivos es decir si contribuyen al

mejoramiento de la gestioacuten del Pp4

4 Las actividades son adecuadas si estaacuten en funcioacuten del logro del objetivo de cada proceso Por ejemplo si se verifica que el formato de los mensajes a difundir cumpla con las caracteriacutesticas necesarias para llegar a la poblacioacuten o aacuterea de enfoque objetivo como seriacutea una mensaje de audio en la lengua indiacutegena de la localidad donde se encuentran los posibles destinatarios o beneficiarios o bien como seriacutea un mensaje dirigido a personal operativo del Pp cuyo nivel de estudios promedio pudiera complicar la comprensioacuten de lenguaje teacutecnico utilizado

PAE 2017 29

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para la medicioacuten de los atributos de los procesos y subprocesos o macroprocesos del Pp deberaacute

realizarse una revisioacuten documental (normativa aplicable MIR evaluaciones externas sistemas de

informacioacuten y registros administrativos entre otros) misma que deberaacute complementarse con el

trabajo de campo con el objetivo de identificar disentildear y calcular indicadores relacionados con

dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de informacioacuten empleadas

La informacioacuten obtenida de estos indicadores deberaacute vaciarse en fichas propuestas por la instancia

evaluadora presentadas como en el Anexo 6 ldquoFichas de indicadores de atributos de los procesos del

Pprdquo (formato libre) Estas fichas deberaacuten considerar la medicioacuten de los atributos de eficacia

suficiencia oportunidad y pertinencia correspondientes a cada proceso y subproceso o

macroproceso

Valoracioacuten de los procesos y subprocesos de la operacioacuten del Pp

Deberaacute contener una siacutentesis de los resultados encontrados en la Evaluacioacuten de Procesos del Pp

resaltando los hallazgos maacutes relevantes que se hayan detectado y que pudiesen transformarse en

ASM

La instancia evaluadora deberaacute calcular una valoracioacuten global cuantitativa sobre la operacioacuten y la

ejecucioacuten de los procesos y subprocesos o macroprocesos del Pp a partir del siguiente esquema de

puntuacioacuten5

Eficacia

- Todos los procesos (o macroprocesos) son eficaces = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es eficaz = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es eficaz = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es eficaz = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es eficaz = 1 punto

- Ninguno de los procesos (o macroprocesos) es eficaz = 0 puntos

Oportunidad

- Todos los procesos (o macroprocesos) son oportunos = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es oportuno = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es oportuno = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es oportuno = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es oportuno = 1 punto

5 La valoracioacuten cuantitativa deberaacute estar sustentada y por tanto ser consistente con lo valorado por la instancia evaluadora en el apartado de ldquoMedicioacuten de atributos de los procesos y subprocesosrdquo

PAE 2017 30

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

- Ninguno de los procesos (o macroprocesos) es oportuno = 0 puntos

Suficiencia

- Todos los procesos (o macroprocesos) son suficientes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es suficiente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es suficiente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es suficiente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es suficiente = 1 punto

- Ninguno de los procesos (o macroprocesos) es suficiente = 0 puntos

Pertinencia

- Todos los procesos (o macroprocesos) son pertinentes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es pertinente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es pertinente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es pertinente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es pertinente = 1 punto

- Ninguno de los procesos (o macroprocesos) es pertinente = 0 puntos

A partir de los puntajes asignados en los cuatro atributos anteriores esta valoracioacuten cuantitativa

global debe considerar el total de puntos posibles de obtener (5 x 4 = 20 puntos) y los puntos

obtenidos en la Evaluacioacuten de Procesos Pp (lsquoyrsquo puntos) de modo que se indique el porcentaje de

puntos obtenidos del total de puntos posibles [(lsquoyrsquo20) x 100] = valoracioacuten cuantitativa global de la

operacioacuten del Pp

La instancia evaluadora deberaacute utilizar el Anexo 9 ldquoValoracioacuten global cuantitativardquo para documentar

argumentar y sustentar cada una de las valoraciones cuantitativas sobre la operacioacuten y la ejecucioacuten

de los procesos (o macroprocesos) del Pp

Adicionalmente en este apartado se deberaacuten integrar las recomendaciones y conclusiones que se

consideren maacutes relevantes de los procesos y subprocesos o macroprocesos del Pp las cuales deben

formularse con base en los hallazgos del trabajo de campo y de gabinete El objetivo final de las

recomendaciones es proveer informacioacuten valiosa a los operadores del Pp para realizar adecuaciones

en la ejecucioacuten de los procesos y subprocesos o macroprocesos de modo que se potencie la

consecucioacuten de resultados del Pp

Las recomendaciones que se formulen como resultado de la Evaluacioacuten de Procesos del Pp deberaacuten

tener las siguientes caracteriacutesticas

Derivarse de los hallazgos de la evaluacioacuten

PAE 2017 31

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Ser concretas y factibles

Incluir un proyecto de implementacioacuten que considere los siguientes elementos

- Breve anaacutelisis de la viabilidad o factibilidad de la implementacioacuten

- Principales responsables de la implementacioacuten

- Anaacutelisis de los efectos potenciales que puede implicar la implementacioacuten tanto en la

operacioacuten del Pp como en el logro de sus objetivos

- La comparacioacuten entre la situacioacuten actual y el resultado que se espera obtener con la

implementacioacuten de la recomendacioacuten

Estar categorizadas en dos liacuteneas de accioacuten estrateacutegicas

- Consolidacioacuten

- Reingenieriacutea de procesos o subprocesos

Al respecto la instancia evaluadora debe entender por consolidacioacuten aquellas recomendaciones que

estaacuten dirigidas a perfeccionar determinados aspectos de la operacioacuten como seriacutean algunas acciones

procedimientos o estrategias del Pp asiacute como iniciativas para el fortalecimiento de los sistemas

automatizados infraestructura entre otros

Por reingenieriacutea de procesos o subprocesos se entenderaacuten aquellas recomendaciones que apuntan

a una transformacioacuten o modificacioacuten profunda o sustancial de uno o varios de los procesos y

subprocesos del Pp Para ello se deberaacute llenar el Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de

Procesos del Pprdquo y que a su vez deben derivar en acciones de consolidacioacuten para la implementacioacuten

de los procesos transformados

Adicionalmente y de conformidad con el alcance de la Evaluacioacuten de Procesos del Pp se deberaacute

presentar una propuesta para crear o fortalecer el sistema de monitoreo de gestioacuten del Pp con

indicadores a nivel de procesos y subprocesos o macroprocesos

Asimismo a partir de todo el anaacutelisis y valoraciones realizadas se deberaacute emitir un pronunciamiento

acerca de la percepcioacuten de eficiencia que la instancia evaluadora haya tenido sobre la ejecucioacuten de

los procesos y subprocesos o macroprocesos del Pp

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible o si no hipoteacuteticos en un anexo de formato libre Anexo 10 ldquoSistema de

monitoreo e indicadores de gestioacuten del Pprdquo

PAE 2017 32

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Bitaacutecora de trabajo de campo y bases de datos

La instancia evaluadora deberaacute entregar una bitaacutecora de trabajo de campo que destaque de forma

sinteacutetica entre otros puntos las principales actividades y situaciones a las que se enfrentoacute y que

podriacutean afectar los resultados de la Evaluacioacuten de Procesos del Pp

Asimismo deberaacute entregar las bases de datos generadas a partir de la aplicacioacuten de los instrumentos

de recoleccioacuten de informacioacuten y de la recopilacioacuten de informacioacuten en el trabajo de campo Las bases

de datos deberaacuten entregarse en formatos compatibles con Excel debiendo mantener la

confidencialidad de los entrevistados pero sin alterar la informacioacuten proporcionada por estos En las

bases de datos debe estar sistematizada toda la informacioacuten recabada a partir de la aplicacioacuten de

los instrumentos de levantamiento de informacioacuten y deberaacute sustentar el anaacutelisis las valoraciones los

hallazgos y las conclusiones de la evaluacioacuten

PAE 2017 33

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Contenido del informe

Contenido miacutenimo del informe final de la evaluacioacuten

Derivado del contenido generado en las secciones anteriores deberaacuten elaborarse los siguientes

apartados en el informe final de la Evaluacioacuten de Procesos del Pp

i Introduccioacuten

ii Resumen Ejecutivo

iii Marco Legal

iv Datos Generales del Programa Presupuestario (Pp)

v Criterios Teacutecnicos para la Evaluacioacuten del Programa Presupuestario correspondiente

vi Apartados de la evaluacioacuten

Seccioacuten 1 Disentildeo

Diagnoacutestico del programa puacuteblico

Matriz de Indicadores para Resultados (MIR)

Seccioacuten 2 Procesos

Pertinencia de los proceso

Diagnoacutestico general de los procesos y subprocesos del Pp

- Contexto en que opera el Pp

- Diagnoacutestico inicial de los procesos y subprocesos

Descripcioacuten y valoracioacuten de los procesos y subprocesos del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

vii Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

viii Valoracioacuten final del Pp

ix Hallazgos

x Recomendaciones clasificadas por apartado

xi Conclusiones

xii Bibliografiacutea

xiii Anexos

Anexo 1 Descripcioacuten General del Programa

Anexo 2 Metodologiacutea para la cuantificacioacuten de las poblaciones potencial y objetivo

(Formato Libre)

Anexo 3 Evolucioacuten de la Cobertura

Anexo 4 Propuesta de mejora de la Matriz de Indicadores para Resultados

Anexo 5 Ficha de identificacioacuten y equivalencia de procesos del Pp

PAE 2017 34

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 Fichas de indicadores de atributos de los procesos del Pp (Formato libre)

Anexo 7 Diagramas de flujo de la operacioacuten del Pp

Anexo 8 Propuesta de modificacioacuten a los documentos normativos o institucionales

del Pp

Anexo 9 Valoracioacuten global cuantitativardquo

Anexo 10 Sistema de monitoreo e indicadores de gestioacuten del Pp (Formato libre)

Anexo 11 Recomendaciones de la Evaluacioacuten de Procesos del Pp

Anexo 12 Principales Fortalezas Retos y Recomendaciones

Anexo 13 Ficha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacuten

En el Resumen Ejecutivo asimismo se describiraacuten los principales hallazgos y recomendaciones del

evaluador externo

Para el desarrollo de los apartados antes referidos deberaacute atender las indicaciones que se desarrollan

en las siguientes secciones

Hallazgos y resultados Pp por Seccioacuten

Se debe realizar una valoracioacuten general del programa por seccioacuten utilizando las respuestas que

integran cada uno de los apartados En esta valoracioacuten integral se deberaacute sentildealar en queacute medida la

gestioacuten operativa conduce al logro de los objetivos del Pp

Asimismo se deben sentildealar las aacutereas de mejora las buenas praacutecticas y las fortalezas detectadas en

la operacioacuten del Pp y a partir de ello la instancia evaluadora emitiraacute recomendaciones de mejora

sobre aspectos especiacuteficos de cada proceso y subproceso o macroproceso del Pp Adicionalmente

se deberaacuten identificar los problemas o limitantes tanto normativos como operativos (ldquocuellos de

botellardquo) de coordinacioacuten entre unidades administrativas y otros que hubiese en los procesos y

subprocesos o macroprocesos del Pp entendieacutendose como aquellas praacutecticas procedimientos

actividades o traacutemites que obstaculizan la operacioacuten del Pp

En este sentido se deberaacuten identificar las situaciones en las que la normativa genere complicaciones

en la gestioacuten o ineficacia en el cumplimiento de los objetivos del Pp para lo cual se deberaacute presentar

(por cada situacioacuten identificada) una propuesta de modificacioacuten a la normativa aplicable al Pp

considerando las restricciones praacutecticas que existan para su implementacioacuten asiacute como los efectos

PAE 2017 35

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

potenciales de ser implementada Los resultados de este anaacutelisis deberaacuten describirse en el Anexo 7

ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales del Pprdquo

Para la identificacioacuten y descripcioacuten de los ldquocuellos de botellardquo buenas praacutecticas y fortalezas del Pp

se consideraraacute la informacioacuten derivada del anaacutelisis de la operacioacuten del Pp asiacute como los puntos de

vista de los principales actores que intervienen en ella Este anaacutelisis deberaacute contener las causas y las

consecuencias de los ldquocuellos de botellardquo detectados sus caracteriacutesticas y naturaleza (si son

normativas o estrictamente operativas) de igual manera se deberaacute desarrollar un anaacutelisis de las

buenas praacutecticas identificadas

Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

Se debe integrar en una sola tabla las fortalezas oportunidades debilidades y amenazas

especificadas por cada apartado de la evaluacioacuten y reportarlas en el Anexo 11 ldquoPrincipales Fortalezas

Retos y Recomendacionesrdquo en el que se deben incluir las fortalezas yo oportunidades las

debilidades yo amenazas y las recomendaciones por apartado de la evaluacioacuten

PAE 2017 36

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexos

Anexo 1 ldquoDescripcioacuten General del Programardquo

El Anexo tiene formato libre sin embargo debe contener una breve descripcioacuten de las caracteriacutesticas

maacutes relevantes del Pp en un maacuteximo de dos cuartillas Dicha descripcioacuten debe considerar los

siguientes aspectos

1 Identificacioacuten del programa

11 Nombre

12 Clave de programa

13 Dependencia yo Entidad coordinadora ejecutora

14 Antildeo de inicio de operacioacuten

2 Problema o necesidad que el Pp pretende atender atenuar o resolver

3 La contribucioacuten del Pp a las Metas y objetivos estatales a los que se vincula

4 Descripcioacuten de los objetivos del Pp asiacute como de los bienes yo servicios que ofrece

(componentes)

5 Identificacioacuten y cuantificacioacuten de la poblacioacuten o aacuterea de enfoque potencial y

objetivo

6 Presupuesto aprobado para el ejercicio fiscal en curso

7 Metas de los indicadores de Fin Propoacutesito y Componentes asiacute como los de nivel

actividad que se consideren relevantes y

8 Resumen de la valoracioacuten de la pertinencia del disentildeo del Pp respecto a la atencioacuten

del problema o necesidad

Anexo 2 ldquoMetodologiacutea para la cuantificacioacuten de la poblacioacuten o aacuterea de enfoque

potencial y objetivordquo

El Anexo tiene formato libre sin embargo se debe incluir la siguiente informacioacuten

Definicioacuten de la poblacioacuten o aacuterea de enfoque potencial objetivo y atendida

Cuantificacioacuten de la poblacioacuten potencial objetiva y atendida

Hallazgos sobre el procedimiento llevado a cabo para definir y cuantificar la poblacioacuten o

aacuterea de enfoque potencial objetivo y atendida

Recomendaciones

Propuesta orientada hacia la mejora

PAE 2017 37

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 3 ldquoEvolucioacuten de la Coberturardquo

Nombre del

Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten

Antildeo de la Evaluacioacuten

Tipo de Poblacioacuten

Unidad

de

Medida

2012 2013 2014 2015 2016

P Potencial

P Objetivo

P Atendida

119927119912 times 120783120782120782

119927119926

PAE 2017 38

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 4 ldquoPropuesta de mejora de la Matriz de Indicadores para Resultadosrdquo

Derivado del anaacutelisis y valoracioacuten de la pregunta de investigacioacuten nuacutemero 3 iquestLa estructura de

objetivos planteada por el programa mantiene loacutegica y correspondencia causal con el problema

planteado en el diagnoacutestico se realizaraacute una propuesta de mejora de MIR

Fin

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Propoacutesito

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Componente 1

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

PAE 2017 39

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Componente 2 hellip

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 40

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesos del Pprdquo

Para la identificacioacuten y clasificacioacuten de los procesos del Pp se sugieren los siguientes pasos

1 Listar los procesos identificados

Comparar los procesos identificados del Pp con aquellos correspondientes al Modelo general de

procesos Colocar en el rengloacuten correspondiente el nombre de cada proceso del Pp identificado

como equivalente

2 Colocar al final de la lista aquellos procesos del Pp que no sean equivalentes con el Modelo

general de procesos

Modelo general de

procesos

Nuacutemero

de

secuencia

Procesos o subprocesos del Pp identificados por el

evaluador

(Nombre y breve descripcioacuten)

Planeacioacuten Ejemplo (Ej) Planeacioacuten Estrateacutegica

Ej Programacioacuten

Ej Presupuestacioacuten

Comunicacioacuten interna y

externa

Ej Difusioacuten Federal

Ej Difusioacuten Local

Seleccioacuten de

destinatarios

Ej Recepcioacuten de solicitudes de becas

Ej Seleccioacuten de becarios

Produccioacuten de

entregables

Entrega

Control

Seguimiento Ej Seguimiento fiacutesico y supervisioacuten en campo

Evaluacioacuten externa Ej Publicacioacuten y lectura del PAE

Ej Definicioacuten de TdR

Ej Contratacioacuten

Ej Ejecucioacuten de la evaluacioacuten externa

Monitoreo Ej Registro de avances de indicadores

Ej Revisioacuten de registros

Ej Validacioacuten de registros e integracioacuten de informes

PAE 2017 41

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Procesos identificados por el evaluador que no coinciden con el Modelo general de procesos

PAE 2017 42

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 ldquoFichas de indicadores de atributos de los procesos del Pp (formato libre)rdquo

Para la construccioacuten de este anexo deberaacute realizarse una revisioacuten documental (normativa aplicable

MIR evaluaciones externas sistemas de informacioacuten y registros administrativos entre otros) misma

que deberaacute complementarse con el trabajo de campo con el objetivo de identificar disentildear y calcular

indicadores relacionados con dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de

informacioacuten empleadas

Ademaacutes de considerar la medicioacuten de los atributos de eficacia suficiencia oportunidad y pertinencia

de cada proceso y subproceso o macroproceso

PAE 2017 43

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 7 ldquoDiagramas de flujo de la operacioacuten del Pprdquo

Para la elaboracioacuten de los diagramas de flujo deberaacute utilizarse la notacioacuten empleada en el

documento ldquoGuiacutea para la Optimizacioacuten Estandarizacioacuten y Mejora Continua de Procesosrdquo publicada

por la SFP en la direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Para el Diagrama de Alto Nivel (Diagrama PEPSU)

Ejemplo ilustrativo

PAE 2017 44

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para el Diagrama de Flujo

PAE 2017 45

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

PAE 2017 46

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 8 ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales

del Pprdquo

Tipo de

norma-

tiva

Dice

Problema

generado

(causas y

consecuencias)

Se

recomienda

decir

Efecto esperado de

aplicar la

recomendacioacuten de

cambio

Restricciones praacutecticas

que puedan existir para

su implementacioacuten

PAE 2017 47

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 9 ldquoValoracioacuten global cuantitativa ldquo

Seccioacuten 1 Disentildeo

Disentildeo Valoracioacuten Argumento o justificacioacuten

Porcentaje del

Disentildeo del Pp

(Suma de valoracioacuten alcanzada por pregunta de la seccioacuten 1 Total maacuteximo de la

valoracioacuten de todas las preguntas de la seccioacuten 1 ) x 100

Seccioacuten 2 Procesos

Proceso Eficacia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

eficaces

(Total de procesos eficaces Total de procesos del Pp) x 100

Proceso Oportunidad

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

oportunos

(Total de procesos oportunos Total de procesos del Pp) x 100

Proceso Suficiencia

(SiacuteNo) Argumento o justificacioacuten

PAE 2017 48

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Porcentaje de

procesos

suficientes

(Total de procesos suficientes Total de procesos del Pp) x 100

Proceso Pertinencia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

pertinentes

(Total de procesos pertinentes Total de procesos del Pp) x 100

NOTA Los argumentos y justificaciones del evaluador deberaacuten considerar el anaacutelisis y valoraciones de

los subprocesos de cada proceso de modo que haya consistencia entre estos elementos Asimismo el

evaluador deberaacute expresar los resultados de la valoracioacuten cuantitativa en una graacutefica tipo radial

PAE 2017 49

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 10 ldquoSistema de monitoreo e indicadores de gestioacuten del Pp (formato libre)rdquo

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible

Nombre del Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten De Procesos

Antildeo de la Evaluacioacuten 2017

Fin Justificacioacuten Propoacutesito Justificacioacuten Componente (s) Justificacioacuten

Nombre de

Indicador

Meacutetodo de Caacutelculo

Claro SiacuteNo SiacuteNo SiacuteNo

Relevante SiacuteNo SiacuteNo SiacuteNo

Econoacutemico SiacuteNo SiacuteNo SiacuteNo

Monitoreable SiacuteNo SiacuteNo SiacuteNo

Adecuado SiacuteNo SiacuteNo SiacuteNo

Definicioacuten SiacuteNo SiacuteNo SiacuteNo

Unidad de Medida SiacuteNo SiacuteNo SiacuteNo

Frecuencia de

Medicioacuten

SiacuteNo SiacuteNo SiacuteNo

Liacutenea Base SiacuteNo SiacuteNo SiacuteNo

Metas SiacuteNo SiacuteNo SiacuteNo

Comportamiento

del Indicador

SiacuteNo SiacuteNo SiacuteNo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 50

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de Procesos del Pprdquo

En este Anexo la instancia evaluadora debe valorar si la recomendacioacuten implica una consolidacioacuten o

una reingenieriacutea del proceso

A) Consolidacioacuten

Proceso Recomendaci

oacuten

Breve

anaacutelisis de

viabilidad de

la

implementa-

cioacuten

Principales

responsables

de la

implementaci

oacuten

Situacioacuten

actual

Efectos

potenciales

esperados

Medio de

verifica-

cioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

B) Reingenieriacutea de procesos

Proceso Objetivo

Breve

anaacutelisis de

viabilidad

de la

implemen-

tacioacuten

Principales

responsables

de la

implemen-

tacioacuten

Situa-

cioacuten

actual

Metas y

efectos

potenciale

s

esperados

Elabora-

cioacuten de

flujogram

a del

nuevo

proceso

Medio

de

verifi-

cacioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

NOTA El nivel de priorizacioacuten Alto Medio o Bajo se estimaraacute considerando la mejora en la operacioacuten

del Pp la viabilidad de la implementacioacuten de la recomendacioacuten asiacute como el efecto potencial que esto

pueda tener el alcance del objetivo del Pp

PAE 2017 51

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 12 ldquoPrincipales Fortalezas Retos y Recomendacionesrdquo

Capacidades Internas Factores Externos

Fortalezas

(Cualquier capacidad con la que cuenta la dependencia o

entidad que le permita aprovechar sus recursos para la

obtencioacuten de sus objetivos)

Oportunidades

(Cualquier factor externo fuera del control de la dependencia o

entidad que puede ser aprovechado para la obtencioacuten de sus

objetivos)

Debilidades

(Cualquier limitante Interna de la dependencia o entidad que

puede afectar la obtencioacuten de sus objetivos)

Amenazas

(Cualquier factor externo fuera de control de la dependencia o

entidad que pueda afectar la obtencioacuten de sus objetivos)

PAE 2017 52

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacutenrdquo

El Informe Final de la Evaluacioacuten de Procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten

Superior deberaacuten contener una ficha con los siguientes datos

Ficha Teacutecnica con los datos generales de la evaluacioacuten

Nombre o denominacioacuten de la

evaluacioacuten

[Especificar el nombre de la evaluacioacuten considerando su tipo y ejercicio

evaluado]

Nombre o denominacioacuten del

programa evaluado

[Indicar el nombre del Pp sujeto a evaluacioacuten de acuerdo con lo

establecido en el PEF sentildealando su modalidad y clave]

Unidad Responsable de la operacioacuten

del programa

[Especificar la(s) unidad(es) responsable(s) de la administracioacuten

operacioacuten y ejecucioacuten de los programas subprogramas y proyectos del

Pp evaluado correspondientes a las dependencias y entidades]

Titular de la unidad responsable de la

operacioacuten del programa

[Indicar el nombre del(a) Titular de la Unidad Responsable de la

operacioacuten del Pp]

Antildeo del Programa Anual de

Evaluacioacuten (PAE) en que fue

considerada la evaluacioacuten

[Especificar el ejercicio fiscal al que corresponde el PAE en la que fue

programada la evaluacioacuten]

Antildeo de conclusioacuten y entrega de la

evaluacioacuten

[Indicar el antildeo en que se concluyoacute la evaluacioacuten]

Tipo de evaluacioacuten [Especificar el tipo de evaluacioacuten de acuerdo con los Lineamientos de

evaluacioacuten el nombre de la evaluacioacuten y con lo establecido en el PAE]

Nombre de la instancia evaluadora [Indicar el nombre de la firma consultoriacutea u organizacioacuten que realizoacute la

evaluacioacuten]

Nombre del(a) coordinador(a)

externo(a) de la evaluacioacuten

[Especificar el nombre del(a) responsable de la coordinacioacuten de la

evaluacioacuten dla instancia evaluadora]

Nombre de los(as) principales

colaboradores(as) del(a)

coordinador(a) de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del(a)

coordinador(a) de la evaluacioacuten]

PAE 2017 53

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Unidad Administrativa responsable de

la Coordinacioacuten de la evaluacioacuten

[De acuerdo con lo sentildealado en el PAE especificar la instancia a la que

corresponde la coordinacioacuten de la evaluacioacuten pej Secretariacutea de

Finanzas y Administracioacuten (SFA) asiacute como la unidad administrativa

mediante la cual se ejerce esta funcioacuten p ej Direccioacuten de Evaluacioacuten

de la SFA (DEV)

Nombre del(a) Titular de la unidad

administrativa responsable de

coordinar la evaluacioacuten (Aacuterea de

Evaluacioacuten)

[Especificar el nombre del(a) Titular de la Unidad responsable de dar

seguimiento a la evaluacioacuten que funge como Aacuterea de Evaluacioacuten]

Nombres de los(as) servidores(as)

puacuteblicos(as) adscritos(as) a la unidad

administrativa responsable de

coordinar la evaluacioacuten que

coadyuvaron con la revisioacuten teacutecnica

de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del

titular de la unidad administrativa responsable de dar seguimiento a la

evaluacioacuten respecto de la revisioacuten teacutecnica de la misma]

Forma de contratacioacuten de la instancia

evaluadora

[Indicar el tipo de contratacioacuten dla instancia evaluadora Especificar el

tipo de procedimiento de contratacioacuten de la instancia evaluadora

consistente con los tipos de adjudicacioacuten establecidos en la Ley de

Adquisiciones Arrendamientos y Servicios del Sector Puacuteblico]

Costo total de la evaluacioacuten con IVA

incluido

[Especificar el costo total de la evaluacioacuten incluyendo el IVA (en caso

de que se haya causado) como sigue $XXX IVA incluido]

Asimismo en este anexo se deberaacute incluir una nota metodoloacutegica con la descripcioacuten de las teacutecnicas

y los modelos utilizados por el evaluador externo acompantildeada del disentildeo por muestreo

especificando los supuestos empleados y las principales caracteriacutesticas del tamantildeo y dispersioacuten de

la muestra utilizada

DIRECTORIO

Rauacutel Saacutenchez Kobashi

Secretario de la Secretariacutea de Finanzas y Administracioacuten

Francisco Fidel Teomitzi Saacutenchez

Subsecretario de Planeacioacuten

Arturo Neponuceno Crisoacutestomo

Director de Evaluacioacuten

Rodolfo de la Rosa Cabrera

Subdireccioacuten de Evaluacioacuten de Programas

Sauacutel Federico Oropeza Orea

Jefe del Departamento de Programas Estatales y Municipales

Ana Luz Guzmaacuten Figueroa

Analista del Departamento de Programas Estatales y Municipales

Marco Antonio Saacutenchez Gonzaacutelez

Analista del Departamento de Programas Estatales y Municipales

Page 22: Términos de Referencia para la Evaluación del Desempeño ...evaluacion.puebla.gob.mx/pdf/metodologias/TdR_Est/2017/TdR... · Perfil de la instancia evaluadora ... acuerdo con las

PAE 2017 21

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

El proceso de ldquoEvaluacioacuten Externardquo requiere de informacioacuten transversal de todos los

procesos ya que se valora al Pp en su conjunto En este sentido los resultados de las

evaluaciones son un insumo para retroalimentar al Pp desde el proceso de ldquoPlaneacioacutenrdquo

Es importante sentildealar que en el Esquema 1 se muestra un modelo que es importante tomarlo en

cuenta como referencia para la identificacioacuten y definicioacuten de los procesos y subprocesos o

macroprocesos que integran la operacioacuten del Pp evaluado ademaacutes de que representa un auxiliar

en la definicioacuten del alcance y del enfoque de la Evaluacioacuten de Procesos del Pp

Esquema 1 Modelo general de procesos

Fuente Modelo de TdR para la Evaluacioacuten de Procesos Secretariacutea de Hacienda y Creacutedito Puacuteblico

A continuacioacuten se describe cada uno de los procesos que componen al modelo anterior

Planeacioacuten proceso en el que se determinan o definen el problema o necesidad aacuterbol de

problemas y objetivos poblacioacuten o aacuterea de enfoque potencial y objetivo objetivos

indicadores y metas de la MIR estrategia de cobertura plan estrateacutegico entre otros puntos

asiacute como los recursos financieros y humanos necesarios que requiere el Pp para lograr sus

objetivos En el proceso de planeacioacuten se determinan las directrices en el disentildeo e

implementacioacuten del Pp los subprocesos que lo integran son los siguientes planeacioacuten

estrateacutegica programacioacuten y presupuesto actualizacioacuten de la MIR actualizacioacuten de

normativa

PAE 2017 22

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Comunicacioacuten interna y externa proceso en el que se informan diversas caracteriacutesticas y

objetivos del Pp tanto a los actores involucrados en su funcionamiento y operacioacuten (interna)

como a su poblacioacuten o aacuterea de enfoque objetivo (externa)

Seleccioacuten de destinatarios proceso en el que se determina quieacutenes recibiraacuten los

componentes o entregables de un Pp en funcioacuten de su poblacioacuten o aacuterea de enfoque objetivo

Produccioacuten de entregables proceso en el que se elaboran los entregables o realizan los

componentes del Pp (recursos financieros o humanos apoyos bienes servicios

regulaciones documentos teacutecnicos o de planeacioacuten etc) conforme a sus documentos

normativos

Entrega proceso en el que se realiza la entrega de lo producido o generado por el Pp

(componentes o entregables) a los destinatarios o beneficiarios

Seguimiento a destinatarios actividades y mecanismos que permiten al Pp conocer coacutemo

son utilizados o aprovechados sus componentes o entregables (por sus destinatarios o

beneficiarios) para que entre otras funciones la UR del Pp identifique si se estaacute cumpliendo

con los objetivos Por ejemplo en este proceso se incluyen las actividades que un Pp

implementa para conocer el grado de satisfaccioacuten de sus destinatarios o beneficiarios

Control actividades y mecanismos implementados entre los operadores del Pp para verificar

que los diferentes procedimientos procesos y subprocesos se esteacuten ejecutando conforme a

lo planeado (control interno)

Monitoreo proceso coordinado por una unidad administrativa ajena a la operacioacuten del Pp

a traveacutes del cual se recaba registra y valida la informacioacuten sobre el avance de las metas de

los indicadores de la MIR asiacute como el seguimiento a los resultados de indicadores

adicionales a los de la MIR en caso de que se cuente con un sistema de monitoreo de gestioacuten

Los subprocesos que lo integran son los siguientes acopio de la informacioacuten para el reporte

de avances validacioacuten de informacioacuten y registro de avances primordialmente

Evaluacioacuten externa proceso coordinado por una unidad administrativa ajena a la operacioacuten

del Pp mediante el cual se define la agenda de evaluacioacuten externa del Pp se definen las

metodologiacuteas o los teacuterminos de referencia se contratan las evaluaciones externas (de

cualquier tipo) se recaba la informacioacuten que seraacute entregada a los equipos evaluadores se

realiza el seguimiento durante el desarrollo de las evaluaciones externas se aprueban los

PAE 2017 23

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

informes finales de las evaluaciones externas se notifica a las instancias correspondientes

sobre la conclusioacuten de las evaluaciones externas y se definen y realiza el seguimiento de los

Aspectos Susceptibles de Mejora (ASM)

A partir de los procesos definidos en el modelo anterior la instancia evaluadora deberaacute realizar una

equivalencia de los procesos subprocesos o macroprocesos identificados respecto a los definidos

en el modelo de acuerdo con el Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesosrdquo Cabe

mencionar que los procesos definidos en el modelo no son limitativos por lo que si la instancia

evaluadora identifica procesos subprocesos o macroprocesos adicionales deberaacute incluirlos

Disentildeo metodoloacutegico del trabajo de campo

A partir del contexto en que opera el Pp y el alcance y enfoque metodoloacutegico de la evaluacioacuten de

procesos la instancia evaluadora deberaacute desarrollar una propuesta de estrategia y plan de trabajo

de campo a seguir para la realizacioacuten de la evaluacioacuten asimismo deberaacute incluir un cronograma

detallado de actividades

La estrategia de trabajo de campo disentildeada por la instancia evaluadora deberaacute ser entregada a la

DEV para que en conjunto con la UR del Pp sea validada antes de su implementacioacuten Dicha

estrategia deberaacute contener al menos los siguientes elementos

Justificacioacuten de las teacutecnicas de investigacioacuten a utilizar

Muestra y los criterios utilizados para su seleccioacuten

Listado de los actores a entrevistar

Instrumentos de levantamiento de informacioacuten que se aplicaraacuten y

Cronograma con las actividades a desarrollar

La instancia evaluadora iniciaraacute las actividades del trabajo de campo de manera conjunta y una vez

recibido el visto bueno de la DEV

El disentildeo de la muestra y de los instrumentos para el levantamiento de informacioacuten en campo

deberaacute considerar a la totalidad de los actores que intervienen en la ejecucioacuten de los procesos y

subprocesos o macroprocesos que integran la operacioacuten o gestioacuten del Pp asiacute como a los

destinatarios o beneficiarios de los componentes o entregables del Pp independientemente de su

ubicacioacuten geograacutefica

Algunos criterios que puede utilizar la instancia evaluadora para definir una muestra que considere

la variabilidad de la operacioacuten en los diferentes contextos en que opera el Pp son los siguientes

PAE 2017 24

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

a) El desempentildeo operativo del Pp entre municipios regionalizacioacuten geograacutefica instituciones

puacuteblicas o privadas u otros aspectos que suponen una accioacuten diferenciada de los procesos

(cuando aplique)

b) Volumen de la operacioacuten del Pp

c) Esquemas normativos del Pp y el ejercicio presupuestal en los municipios instituciones

puacuteblicas o privadas u otros aspectos que suponen una accioacuten diferenciada de los procesos

en las que opera el Pp (cuando aplique) y

d) Formas de interaccioacuten del Pp con otros niveles u oacuterdenes de gobierno (cuando aplique)

Los criterios anteriores no son limitativos por lo que la instancia evaluadora podraacute proponer criterios

adicionales que considere pertinentes para la definicioacuten de la muestra para el trabajo de campo

En el disentildeo muestral la instancia evaluadora deberaacute sentildealar los funcionarios del Pp o destinatarios

a los que se les aplicaraacuten los instrumentos de levantamiento de informacioacuten con los que se realizaraacute

el trabajo de campo asiacute como la ubicacioacuten geograacutefica de los mismos

Instrumentos de levantamiento de informacioacuten

La instancia evaluadora deberaacute disentildear los instrumentos que utilizaraacute para el levantamiento de

informacioacuten durante el trabajo de campo como son (por ejemplo) los cuestionarios por tipo de

funcionario a entrevistar para el caso de entrevistas semiestructuradas los guiones a utilizar en la

realizacioacuten de grupos focales los cuestionarios de aplicacioacuten electroacutenica las guiacuteas respectivas entre

otros Para lo anterior deberaacute considerar los siguientes temas guiacutea y preguntas de referencia

Planeacioacuten (planeacioacuten estrateacutegica programacioacuten y presupuesto)

iquestQueacute se entiende por planeacioacuten estrateacutegica para los operadores del Pp

iquestCuaacuteles son las actividades o acciones de planeacioacuten estrateacutegica del Pp que se realizan

iquestLa planeacioacuten estrateacutegica es el resultado de un ejercicio institucionalizado que involucra a

los actores clave de la gestioacuten del Pp

iquestExiste un documento resultado de la planeacioacuten estrateacutegica iquestEs claro difundido y

accesible iquestEn queacute medida es utilizado para guiar la operacioacuten del Pp

iquestLa planeacioacuten estrateacutegica estaacute vinculada con el cumplimiento entrega o generacioacuten de los

componentes o entregables del Pp

iquestLa planeacioacuten estrateacutegica establece indicadores para medir los avances en las metas

establecidas iquestLas metas son factibles y estaacuten orientadas a impulsar el desempentildeo del Pp

PAE 2017 25

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

iquestQueacute se entiende por planeacioacuten operativa y cuaacuteles son las diferencias con la planeacioacuten

estrateacutegica

Comunicacioacuten interna y externa del Pp (las preguntas que apliquen)

iquestQueacute actores intervienen en la comunicacioacuten del Pp

iquestExiste una estrategia de comunicacioacuten del Pp documentada En caso afirmativo describirla

iquestLa estrategia de comunicacioacuten del Pp (documentada o no) es adecuada

iquestLos medios utilizados el lenguaje y el contenido de los mensajes son pertinentes en funcioacuten

del puacuteblico al que van dirigidos

Solicitud de los componentes o entregables del Pp (las preguntas que apliquen)

iquestExiste un proceso claro imparcial y expliacutecito por medio del cual la poblacioacuten o aacuterea de

enfoque potencial puede solicitar los componentes o entregables que otorga el Pp

iquestLos requisitos para solicitar los componentes o entregables del Pp se presentan de manera

clara y completa

iquestLos puntos de recepcioacuten de solicitudes son accesibles y suficientes (cuando aplique)

iquestExisten mecanismos estandarizados para recibir y revisar la documentacioacuten entregada asiacute

como registrar y dar traacutemite a las solicitudes (cuando aplique)

iquestSon adecuados estos mecanismos (cuando aplique) En caso de que el Pp que apoye la

realizacioacuten de proyectos iquestse brinda asesoriacutea para la presentacioacuten de los mismos de ser asiacute

iquestes pertinente esta asesoriacutea

iquestEl proceso de solicitud de los componentes o entregables que otorga el Pp se encuentra

automatizado total o parcialmente

Para esta pregunta considerar los estados de digitalizacioacuten utilizados por la Comisioacuten Intersecretarial

para el Desarrollo del Gobierno electroacutenico seguacuten una adaptacioacuten realizada a la clasificacioacuten que

hace la ONU

Estado de digitalizacioacuten 1 traacutemites y servicios que se encuentran en estado informativo

Estado de digitalizacioacuten 2 traacutemites y servicios que cuentan con interfaces de comunicacioacuten

unidireccional

Estado de digitalizacioacuten 3 traacutemites y servicios que permiten realizar transacciones y

Estado de digitalizacioacuten 4 traacutemites y servicios que el usuario puede ejecutar de principio a

fin por medio de dispositivos digitales

PAE 2017 26

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para mayor informacioacuten referirse a ldquoFigure A4 The four stages of online service developmentrdquo en

los siguientes documentos

Lineamientos relativos a la digitalizacioacuten estandarizada de traacutemites y servicios con apego en

la Estrategia Digital Nacional

httpwwwgobmxcmsuploadsattachmentfile67232ti_1_pgcm_bases_lineam_tyspdf

United Nations E-Government Survey 2014 (paacutegina 195)

httpspublicadministrationunorgegovkbportalsegovkbdocumentsun2014-surveye-

gov_complete_survey-2014pdf

Seleccioacuten de destinatarios (cuando aplique)

iquestExiste una metodologiacutea o meacutetodo para la seleccioacuten de destinatarios o beneficiarios de los

componentes o entregables del Pp iquestLa metodologiacutea utilizada cuenta con criterios de

seleccioacuten y elegibilidad claros estandarizados y sistematizados

iquestLa seleccioacuten de destinatarios o beneficiarios de los componentes o entregables del Pp es un

proceso transparente e imparcial iquestEl resultado de la seleccioacuten es puacuteblico (cuando aplique)

iquestExiste informacioacuten en una base de datos que permita conocer quieacutenes o queacute instancias

reciben los componentes o entregables del Pp iquestQueacute informacioacuten integra esta base de datos

iquestExisten mecanismos para validar y actualizar esta base de datos iquestEstos mecanismos son

pertinentes

Produccioacuten de componentes o entregables

iquestSe cuenta con los insumos suficientes para generar el volumen de componentes o

entregables que permitan al Pp atender a su poblacioacuten o aacuterea de enfoque objetivo

iquestEl Pp tiene mecanismos para estimar la produccioacuten o generacioacuten necesaria de componentes

o entregables de acuerdo con la posible demanda o requerimientos de su poblacioacuten o aacuterea

de enfoque objetivo iquestEs adecuado este mecanismo

iquestExisten mecanismos de control de calidad para la generacioacuten de los componentes o

entregables del Pp iquestEstos mecanismos son pertinentes

iquestLas actividades de generacioacuten de componentes o entregables que otorga el Pp estaacuten

estandarizadas es decir son ejecutadas de manera homogeacutenea por todas las instancias

involucradas

PAE 2017 27

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Entrega

iquestLos componentes o entregables del Pp son proporcionados conforme a las especificaciones

y de manera oportuna a los destinatarios

iquestExisten especificaciones (programas o planes de trabajo) sobre la forma en que se deben

trasladar los componentes o entregables para (por ejemplo) asegurar su adecuada recepcioacuten

en el punto de destino iquestSon adecuadas estas especificaciones respecto a normas o

lineamientos existentes (cuando aplique)

iquestLa logiacutestica de distribucioacuten se actualiza (cuando aplique) iquestExiste un periodo para dicha

actualizacioacuten iquestEn el disentildeo y actualizacioacuten de la logiacutestica se toman en cuenta los factores

geograacuteficos y climatoloacutegicos en cada regioacuten donde opera el Pp (cuando aplique)

iquestLos puntos de entrega de los componentes o entregables son cercanos a los beneficiarios

o aacuterea de enfoque a atender y son de faacutecil acceso iquestSe considera que son suficientes iquestPor

queacute

Control (las preguntas que apliquen)

iquestEl Pp cuenta con los mecanismos para verificar que los componentes o entregables se

otorguen de acuerdo con lo establecido en la normativa especiacutefica y lleguen a la poblacioacuten

o aacuterea de enfoque que deba ser beneficiada iquestEstos mecanismos son adecuados

iquestExiste de manera sistematizada un documento que deacute cuenta de los resultados de

supervisioacuten y entrega de componentes o entregables iquestEste documento es adecuado iquestLos

resultados se utilizan para implementar mejoras en la operacioacuten del Pp

iquestExisten procedimientos estandarizados que verifiquen el cumplimiento de la

corresponsabilidad u obligatoriedad por parte de los beneficiarios o destinatarios de los

componentes o entregables del Pp (cuando aplique)

Seguimiento a destinatarios

iquestEl Pp tiene mecanismos para verificar el procedimiento de seguimiento a los destinatarios o

beneficiarios que permitan identificar si los componentes o entregables generados son

utilizados de acuerdo con lo establecido iquestCoacutemo se implementa el mecanismo iquestEste

mecanismo es adecuado

iquestExisten procedimientos estandarizados que permitan verificar el cumplimiento de la

corresponsabilidad u obligatoriedad por parte del destinatario o beneficiario (cuando

aplique)

PAE 2017 28

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

En caso de que los componentes o entregables involucren la ejecucioacuten de obra o de

infraestructura iquestel Pp cuenta con un mecanismo de seguimiento o supervisioacuten que permita

identificar si se realizaron acorde a la normativa aplicable iquestEl seguimiento o supervisioacuten

considera plazos para la revisioacuten de las condiciones de la obra o la infraestructura despueacutes

de terminada la obra

iquestEl Pp tiene mecanismos para identificar si se cumple con su Propoacutesito iquestSon suficientes y

pertinentes estos mecanismos

iquestExisten mecanismos para conocer la satisfaccioacuten del destinatario o beneficiario de los

componentes o entregables del Pp respecto de los componentes que ofrece el Pp iquestSon

adecuados estos mecanismos iquestSu operacioacuten permite una aplicacioacuten imparcial y objetiva

iquestExiste evidencia para afirmar que las quejas y sugerencias que brindan los destinatarios o

beneficiarios de los componentes o entregables del Pp son utilizadas para la mejora continua

del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

En esta seccioacuten se deberaacute realizar la medicioacuten de los atributos de eficacia oportunidad suficiencia

y pertinencia de los procesos y subprocesos o macroprocesos definidos en el mapa de procesos del

Pp A continuacioacuten se definen los atributos en el marco de la evaluacioacuten de procesos

Eficacia un proceso es eficaz en la medida en que cumple con sus metas

Oportunidad un proceso es oportuno en la medida en que otorga sus productos

(componentes o entregables) o resultados en un periodo de tiempo determinado o

adecuado para el logro de sus objetivos

Suficiencia un proceso es suficiente en la medida en que produce sus resultados de forma

completa o adecuada para el logro de sus objetivos

Pertinencia un proceso es pertinente si sus actividades y productos son adecuados para

lograr tanto sus metas especiacuteficas como sus objetivos es decir si contribuyen al

mejoramiento de la gestioacuten del Pp4

4 Las actividades son adecuadas si estaacuten en funcioacuten del logro del objetivo de cada proceso Por ejemplo si se verifica que el formato de los mensajes a difundir cumpla con las caracteriacutesticas necesarias para llegar a la poblacioacuten o aacuterea de enfoque objetivo como seriacutea una mensaje de audio en la lengua indiacutegena de la localidad donde se encuentran los posibles destinatarios o beneficiarios o bien como seriacutea un mensaje dirigido a personal operativo del Pp cuyo nivel de estudios promedio pudiera complicar la comprensioacuten de lenguaje teacutecnico utilizado

PAE 2017 29

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para la medicioacuten de los atributos de los procesos y subprocesos o macroprocesos del Pp deberaacute

realizarse una revisioacuten documental (normativa aplicable MIR evaluaciones externas sistemas de

informacioacuten y registros administrativos entre otros) misma que deberaacute complementarse con el

trabajo de campo con el objetivo de identificar disentildear y calcular indicadores relacionados con

dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de informacioacuten empleadas

La informacioacuten obtenida de estos indicadores deberaacute vaciarse en fichas propuestas por la instancia

evaluadora presentadas como en el Anexo 6 ldquoFichas de indicadores de atributos de los procesos del

Pprdquo (formato libre) Estas fichas deberaacuten considerar la medicioacuten de los atributos de eficacia

suficiencia oportunidad y pertinencia correspondientes a cada proceso y subproceso o

macroproceso

Valoracioacuten de los procesos y subprocesos de la operacioacuten del Pp

Deberaacute contener una siacutentesis de los resultados encontrados en la Evaluacioacuten de Procesos del Pp

resaltando los hallazgos maacutes relevantes que se hayan detectado y que pudiesen transformarse en

ASM

La instancia evaluadora deberaacute calcular una valoracioacuten global cuantitativa sobre la operacioacuten y la

ejecucioacuten de los procesos y subprocesos o macroprocesos del Pp a partir del siguiente esquema de

puntuacioacuten5

Eficacia

- Todos los procesos (o macroprocesos) son eficaces = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es eficaz = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es eficaz = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es eficaz = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es eficaz = 1 punto

- Ninguno de los procesos (o macroprocesos) es eficaz = 0 puntos

Oportunidad

- Todos los procesos (o macroprocesos) son oportunos = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es oportuno = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es oportuno = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es oportuno = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es oportuno = 1 punto

5 La valoracioacuten cuantitativa deberaacute estar sustentada y por tanto ser consistente con lo valorado por la instancia evaluadora en el apartado de ldquoMedicioacuten de atributos de los procesos y subprocesosrdquo

PAE 2017 30

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

- Ninguno de los procesos (o macroprocesos) es oportuno = 0 puntos

Suficiencia

- Todos los procesos (o macroprocesos) son suficientes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es suficiente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es suficiente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es suficiente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es suficiente = 1 punto

- Ninguno de los procesos (o macroprocesos) es suficiente = 0 puntos

Pertinencia

- Todos los procesos (o macroprocesos) son pertinentes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es pertinente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es pertinente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es pertinente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es pertinente = 1 punto

- Ninguno de los procesos (o macroprocesos) es pertinente = 0 puntos

A partir de los puntajes asignados en los cuatro atributos anteriores esta valoracioacuten cuantitativa

global debe considerar el total de puntos posibles de obtener (5 x 4 = 20 puntos) y los puntos

obtenidos en la Evaluacioacuten de Procesos Pp (lsquoyrsquo puntos) de modo que se indique el porcentaje de

puntos obtenidos del total de puntos posibles [(lsquoyrsquo20) x 100] = valoracioacuten cuantitativa global de la

operacioacuten del Pp

La instancia evaluadora deberaacute utilizar el Anexo 9 ldquoValoracioacuten global cuantitativardquo para documentar

argumentar y sustentar cada una de las valoraciones cuantitativas sobre la operacioacuten y la ejecucioacuten

de los procesos (o macroprocesos) del Pp

Adicionalmente en este apartado se deberaacuten integrar las recomendaciones y conclusiones que se

consideren maacutes relevantes de los procesos y subprocesos o macroprocesos del Pp las cuales deben

formularse con base en los hallazgos del trabajo de campo y de gabinete El objetivo final de las

recomendaciones es proveer informacioacuten valiosa a los operadores del Pp para realizar adecuaciones

en la ejecucioacuten de los procesos y subprocesos o macroprocesos de modo que se potencie la

consecucioacuten de resultados del Pp

Las recomendaciones que se formulen como resultado de la Evaluacioacuten de Procesos del Pp deberaacuten

tener las siguientes caracteriacutesticas

Derivarse de los hallazgos de la evaluacioacuten

PAE 2017 31

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Ser concretas y factibles

Incluir un proyecto de implementacioacuten que considere los siguientes elementos

- Breve anaacutelisis de la viabilidad o factibilidad de la implementacioacuten

- Principales responsables de la implementacioacuten

- Anaacutelisis de los efectos potenciales que puede implicar la implementacioacuten tanto en la

operacioacuten del Pp como en el logro de sus objetivos

- La comparacioacuten entre la situacioacuten actual y el resultado que se espera obtener con la

implementacioacuten de la recomendacioacuten

Estar categorizadas en dos liacuteneas de accioacuten estrateacutegicas

- Consolidacioacuten

- Reingenieriacutea de procesos o subprocesos

Al respecto la instancia evaluadora debe entender por consolidacioacuten aquellas recomendaciones que

estaacuten dirigidas a perfeccionar determinados aspectos de la operacioacuten como seriacutean algunas acciones

procedimientos o estrategias del Pp asiacute como iniciativas para el fortalecimiento de los sistemas

automatizados infraestructura entre otros

Por reingenieriacutea de procesos o subprocesos se entenderaacuten aquellas recomendaciones que apuntan

a una transformacioacuten o modificacioacuten profunda o sustancial de uno o varios de los procesos y

subprocesos del Pp Para ello se deberaacute llenar el Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de

Procesos del Pprdquo y que a su vez deben derivar en acciones de consolidacioacuten para la implementacioacuten

de los procesos transformados

Adicionalmente y de conformidad con el alcance de la Evaluacioacuten de Procesos del Pp se deberaacute

presentar una propuesta para crear o fortalecer el sistema de monitoreo de gestioacuten del Pp con

indicadores a nivel de procesos y subprocesos o macroprocesos

Asimismo a partir de todo el anaacutelisis y valoraciones realizadas se deberaacute emitir un pronunciamiento

acerca de la percepcioacuten de eficiencia que la instancia evaluadora haya tenido sobre la ejecucioacuten de

los procesos y subprocesos o macroprocesos del Pp

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible o si no hipoteacuteticos en un anexo de formato libre Anexo 10 ldquoSistema de

monitoreo e indicadores de gestioacuten del Pprdquo

PAE 2017 32

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Bitaacutecora de trabajo de campo y bases de datos

La instancia evaluadora deberaacute entregar una bitaacutecora de trabajo de campo que destaque de forma

sinteacutetica entre otros puntos las principales actividades y situaciones a las que se enfrentoacute y que

podriacutean afectar los resultados de la Evaluacioacuten de Procesos del Pp

Asimismo deberaacute entregar las bases de datos generadas a partir de la aplicacioacuten de los instrumentos

de recoleccioacuten de informacioacuten y de la recopilacioacuten de informacioacuten en el trabajo de campo Las bases

de datos deberaacuten entregarse en formatos compatibles con Excel debiendo mantener la

confidencialidad de los entrevistados pero sin alterar la informacioacuten proporcionada por estos En las

bases de datos debe estar sistematizada toda la informacioacuten recabada a partir de la aplicacioacuten de

los instrumentos de levantamiento de informacioacuten y deberaacute sustentar el anaacutelisis las valoraciones los

hallazgos y las conclusiones de la evaluacioacuten

PAE 2017 33

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Contenido del informe

Contenido miacutenimo del informe final de la evaluacioacuten

Derivado del contenido generado en las secciones anteriores deberaacuten elaborarse los siguientes

apartados en el informe final de la Evaluacioacuten de Procesos del Pp

i Introduccioacuten

ii Resumen Ejecutivo

iii Marco Legal

iv Datos Generales del Programa Presupuestario (Pp)

v Criterios Teacutecnicos para la Evaluacioacuten del Programa Presupuestario correspondiente

vi Apartados de la evaluacioacuten

Seccioacuten 1 Disentildeo

Diagnoacutestico del programa puacuteblico

Matriz de Indicadores para Resultados (MIR)

Seccioacuten 2 Procesos

Pertinencia de los proceso

Diagnoacutestico general de los procesos y subprocesos del Pp

- Contexto en que opera el Pp

- Diagnoacutestico inicial de los procesos y subprocesos

Descripcioacuten y valoracioacuten de los procesos y subprocesos del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

vii Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

viii Valoracioacuten final del Pp

ix Hallazgos

x Recomendaciones clasificadas por apartado

xi Conclusiones

xii Bibliografiacutea

xiii Anexos

Anexo 1 Descripcioacuten General del Programa

Anexo 2 Metodologiacutea para la cuantificacioacuten de las poblaciones potencial y objetivo

(Formato Libre)

Anexo 3 Evolucioacuten de la Cobertura

Anexo 4 Propuesta de mejora de la Matriz de Indicadores para Resultados

Anexo 5 Ficha de identificacioacuten y equivalencia de procesos del Pp

PAE 2017 34

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 Fichas de indicadores de atributos de los procesos del Pp (Formato libre)

Anexo 7 Diagramas de flujo de la operacioacuten del Pp

Anexo 8 Propuesta de modificacioacuten a los documentos normativos o institucionales

del Pp

Anexo 9 Valoracioacuten global cuantitativardquo

Anexo 10 Sistema de monitoreo e indicadores de gestioacuten del Pp (Formato libre)

Anexo 11 Recomendaciones de la Evaluacioacuten de Procesos del Pp

Anexo 12 Principales Fortalezas Retos y Recomendaciones

Anexo 13 Ficha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacuten

En el Resumen Ejecutivo asimismo se describiraacuten los principales hallazgos y recomendaciones del

evaluador externo

Para el desarrollo de los apartados antes referidos deberaacute atender las indicaciones que se desarrollan

en las siguientes secciones

Hallazgos y resultados Pp por Seccioacuten

Se debe realizar una valoracioacuten general del programa por seccioacuten utilizando las respuestas que

integran cada uno de los apartados En esta valoracioacuten integral se deberaacute sentildealar en queacute medida la

gestioacuten operativa conduce al logro de los objetivos del Pp

Asimismo se deben sentildealar las aacutereas de mejora las buenas praacutecticas y las fortalezas detectadas en

la operacioacuten del Pp y a partir de ello la instancia evaluadora emitiraacute recomendaciones de mejora

sobre aspectos especiacuteficos de cada proceso y subproceso o macroproceso del Pp Adicionalmente

se deberaacuten identificar los problemas o limitantes tanto normativos como operativos (ldquocuellos de

botellardquo) de coordinacioacuten entre unidades administrativas y otros que hubiese en los procesos y

subprocesos o macroprocesos del Pp entendieacutendose como aquellas praacutecticas procedimientos

actividades o traacutemites que obstaculizan la operacioacuten del Pp

En este sentido se deberaacuten identificar las situaciones en las que la normativa genere complicaciones

en la gestioacuten o ineficacia en el cumplimiento de los objetivos del Pp para lo cual se deberaacute presentar

(por cada situacioacuten identificada) una propuesta de modificacioacuten a la normativa aplicable al Pp

considerando las restricciones praacutecticas que existan para su implementacioacuten asiacute como los efectos

PAE 2017 35

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

potenciales de ser implementada Los resultados de este anaacutelisis deberaacuten describirse en el Anexo 7

ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales del Pprdquo

Para la identificacioacuten y descripcioacuten de los ldquocuellos de botellardquo buenas praacutecticas y fortalezas del Pp

se consideraraacute la informacioacuten derivada del anaacutelisis de la operacioacuten del Pp asiacute como los puntos de

vista de los principales actores que intervienen en ella Este anaacutelisis deberaacute contener las causas y las

consecuencias de los ldquocuellos de botellardquo detectados sus caracteriacutesticas y naturaleza (si son

normativas o estrictamente operativas) de igual manera se deberaacute desarrollar un anaacutelisis de las

buenas praacutecticas identificadas

Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

Se debe integrar en una sola tabla las fortalezas oportunidades debilidades y amenazas

especificadas por cada apartado de la evaluacioacuten y reportarlas en el Anexo 11 ldquoPrincipales Fortalezas

Retos y Recomendacionesrdquo en el que se deben incluir las fortalezas yo oportunidades las

debilidades yo amenazas y las recomendaciones por apartado de la evaluacioacuten

PAE 2017 36

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexos

Anexo 1 ldquoDescripcioacuten General del Programardquo

El Anexo tiene formato libre sin embargo debe contener una breve descripcioacuten de las caracteriacutesticas

maacutes relevantes del Pp en un maacuteximo de dos cuartillas Dicha descripcioacuten debe considerar los

siguientes aspectos

1 Identificacioacuten del programa

11 Nombre

12 Clave de programa

13 Dependencia yo Entidad coordinadora ejecutora

14 Antildeo de inicio de operacioacuten

2 Problema o necesidad que el Pp pretende atender atenuar o resolver

3 La contribucioacuten del Pp a las Metas y objetivos estatales a los que se vincula

4 Descripcioacuten de los objetivos del Pp asiacute como de los bienes yo servicios que ofrece

(componentes)

5 Identificacioacuten y cuantificacioacuten de la poblacioacuten o aacuterea de enfoque potencial y

objetivo

6 Presupuesto aprobado para el ejercicio fiscal en curso

7 Metas de los indicadores de Fin Propoacutesito y Componentes asiacute como los de nivel

actividad que se consideren relevantes y

8 Resumen de la valoracioacuten de la pertinencia del disentildeo del Pp respecto a la atencioacuten

del problema o necesidad

Anexo 2 ldquoMetodologiacutea para la cuantificacioacuten de la poblacioacuten o aacuterea de enfoque

potencial y objetivordquo

El Anexo tiene formato libre sin embargo se debe incluir la siguiente informacioacuten

Definicioacuten de la poblacioacuten o aacuterea de enfoque potencial objetivo y atendida

Cuantificacioacuten de la poblacioacuten potencial objetiva y atendida

Hallazgos sobre el procedimiento llevado a cabo para definir y cuantificar la poblacioacuten o

aacuterea de enfoque potencial objetivo y atendida

Recomendaciones

Propuesta orientada hacia la mejora

PAE 2017 37

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 3 ldquoEvolucioacuten de la Coberturardquo

Nombre del

Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten

Antildeo de la Evaluacioacuten

Tipo de Poblacioacuten

Unidad

de

Medida

2012 2013 2014 2015 2016

P Potencial

P Objetivo

P Atendida

119927119912 times 120783120782120782

119927119926

PAE 2017 38

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 4 ldquoPropuesta de mejora de la Matriz de Indicadores para Resultadosrdquo

Derivado del anaacutelisis y valoracioacuten de la pregunta de investigacioacuten nuacutemero 3 iquestLa estructura de

objetivos planteada por el programa mantiene loacutegica y correspondencia causal con el problema

planteado en el diagnoacutestico se realizaraacute una propuesta de mejora de MIR

Fin

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Propoacutesito

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Componente 1

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

PAE 2017 39

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Componente 2 hellip

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 40

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesos del Pprdquo

Para la identificacioacuten y clasificacioacuten de los procesos del Pp se sugieren los siguientes pasos

1 Listar los procesos identificados

Comparar los procesos identificados del Pp con aquellos correspondientes al Modelo general de

procesos Colocar en el rengloacuten correspondiente el nombre de cada proceso del Pp identificado

como equivalente

2 Colocar al final de la lista aquellos procesos del Pp que no sean equivalentes con el Modelo

general de procesos

Modelo general de

procesos

Nuacutemero

de

secuencia

Procesos o subprocesos del Pp identificados por el

evaluador

(Nombre y breve descripcioacuten)

Planeacioacuten Ejemplo (Ej) Planeacioacuten Estrateacutegica

Ej Programacioacuten

Ej Presupuestacioacuten

Comunicacioacuten interna y

externa

Ej Difusioacuten Federal

Ej Difusioacuten Local

Seleccioacuten de

destinatarios

Ej Recepcioacuten de solicitudes de becas

Ej Seleccioacuten de becarios

Produccioacuten de

entregables

Entrega

Control

Seguimiento Ej Seguimiento fiacutesico y supervisioacuten en campo

Evaluacioacuten externa Ej Publicacioacuten y lectura del PAE

Ej Definicioacuten de TdR

Ej Contratacioacuten

Ej Ejecucioacuten de la evaluacioacuten externa

Monitoreo Ej Registro de avances de indicadores

Ej Revisioacuten de registros

Ej Validacioacuten de registros e integracioacuten de informes

PAE 2017 41

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Procesos identificados por el evaluador que no coinciden con el Modelo general de procesos

PAE 2017 42

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 ldquoFichas de indicadores de atributos de los procesos del Pp (formato libre)rdquo

Para la construccioacuten de este anexo deberaacute realizarse una revisioacuten documental (normativa aplicable

MIR evaluaciones externas sistemas de informacioacuten y registros administrativos entre otros) misma

que deberaacute complementarse con el trabajo de campo con el objetivo de identificar disentildear y calcular

indicadores relacionados con dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de

informacioacuten empleadas

Ademaacutes de considerar la medicioacuten de los atributos de eficacia suficiencia oportunidad y pertinencia

de cada proceso y subproceso o macroproceso

PAE 2017 43

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 7 ldquoDiagramas de flujo de la operacioacuten del Pprdquo

Para la elaboracioacuten de los diagramas de flujo deberaacute utilizarse la notacioacuten empleada en el

documento ldquoGuiacutea para la Optimizacioacuten Estandarizacioacuten y Mejora Continua de Procesosrdquo publicada

por la SFP en la direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Para el Diagrama de Alto Nivel (Diagrama PEPSU)

Ejemplo ilustrativo

PAE 2017 44

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para el Diagrama de Flujo

PAE 2017 45

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

PAE 2017 46

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 8 ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales

del Pprdquo

Tipo de

norma-

tiva

Dice

Problema

generado

(causas y

consecuencias)

Se

recomienda

decir

Efecto esperado de

aplicar la

recomendacioacuten de

cambio

Restricciones praacutecticas

que puedan existir para

su implementacioacuten

PAE 2017 47

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 9 ldquoValoracioacuten global cuantitativa ldquo

Seccioacuten 1 Disentildeo

Disentildeo Valoracioacuten Argumento o justificacioacuten

Porcentaje del

Disentildeo del Pp

(Suma de valoracioacuten alcanzada por pregunta de la seccioacuten 1 Total maacuteximo de la

valoracioacuten de todas las preguntas de la seccioacuten 1 ) x 100

Seccioacuten 2 Procesos

Proceso Eficacia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

eficaces

(Total de procesos eficaces Total de procesos del Pp) x 100

Proceso Oportunidad

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

oportunos

(Total de procesos oportunos Total de procesos del Pp) x 100

Proceso Suficiencia

(SiacuteNo) Argumento o justificacioacuten

PAE 2017 48

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Porcentaje de

procesos

suficientes

(Total de procesos suficientes Total de procesos del Pp) x 100

Proceso Pertinencia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

pertinentes

(Total de procesos pertinentes Total de procesos del Pp) x 100

NOTA Los argumentos y justificaciones del evaluador deberaacuten considerar el anaacutelisis y valoraciones de

los subprocesos de cada proceso de modo que haya consistencia entre estos elementos Asimismo el

evaluador deberaacute expresar los resultados de la valoracioacuten cuantitativa en una graacutefica tipo radial

PAE 2017 49

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 10 ldquoSistema de monitoreo e indicadores de gestioacuten del Pp (formato libre)rdquo

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible

Nombre del Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten De Procesos

Antildeo de la Evaluacioacuten 2017

Fin Justificacioacuten Propoacutesito Justificacioacuten Componente (s) Justificacioacuten

Nombre de

Indicador

Meacutetodo de Caacutelculo

Claro SiacuteNo SiacuteNo SiacuteNo

Relevante SiacuteNo SiacuteNo SiacuteNo

Econoacutemico SiacuteNo SiacuteNo SiacuteNo

Monitoreable SiacuteNo SiacuteNo SiacuteNo

Adecuado SiacuteNo SiacuteNo SiacuteNo

Definicioacuten SiacuteNo SiacuteNo SiacuteNo

Unidad de Medida SiacuteNo SiacuteNo SiacuteNo

Frecuencia de

Medicioacuten

SiacuteNo SiacuteNo SiacuteNo

Liacutenea Base SiacuteNo SiacuteNo SiacuteNo

Metas SiacuteNo SiacuteNo SiacuteNo

Comportamiento

del Indicador

SiacuteNo SiacuteNo SiacuteNo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 50

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de Procesos del Pprdquo

En este Anexo la instancia evaluadora debe valorar si la recomendacioacuten implica una consolidacioacuten o

una reingenieriacutea del proceso

A) Consolidacioacuten

Proceso Recomendaci

oacuten

Breve

anaacutelisis de

viabilidad de

la

implementa-

cioacuten

Principales

responsables

de la

implementaci

oacuten

Situacioacuten

actual

Efectos

potenciales

esperados

Medio de

verifica-

cioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

B) Reingenieriacutea de procesos

Proceso Objetivo

Breve

anaacutelisis de

viabilidad

de la

implemen-

tacioacuten

Principales

responsables

de la

implemen-

tacioacuten

Situa-

cioacuten

actual

Metas y

efectos

potenciale

s

esperados

Elabora-

cioacuten de

flujogram

a del

nuevo

proceso

Medio

de

verifi-

cacioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

NOTA El nivel de priorizacioacuten Alto Medio o Bajo se estimaraacute considerando la mejora en la operacioacuten

del Pp la viabilidad de la implementacioacuten de la recomendacioacuten asiacute como el efecto potencial que esto

pueda tener el alcance del objetivo del Pp

PAE 2017 51

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 12 ldquoPrincipales Fortalezas Retos y Recomendacionesrdquo

Capacidades Internas Factores Externos

Fortalezas

(Cualquier capacidad con la que cuenta la dependencia o

entidad que le permita aprovechar sus recursos para la

obtencioacuten de sus objetivos)

Oportunidades

(Cualquier factor externo fuera del control de la dependencia o

entidad que puede ser aprovechado para la obtencioacuten de sus

objetivos)

Debilidades

(Cualquier limitante Interna de la dependencia o entidad que

puede afectar la obtencioacuten de sus objetivos)

Amenazas

(Cualquier factor externo fuera de control de la dependencia o

entidad que pueda afectar la obtencioacuten de sus objetivos)

PAE 2017 52

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacutenrdquo

El Informe Final de la Evaluacioacuten de Procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten

Superior deberaacuten contener una ficha con los siguientes datos

Ficha Teacutecnica con los datos generales de la evaluacioacuten

Nombre o denominacioacuten de la

evaluacioacuten

[Especificar el nombre de la evaluacioacuten considerando su tipo y ejercicio

evaluado]

Nombre o denominacioacuten del

programa evaluado

[Indicar el nombre del Pp sujeto a evaluacioacuten de acuerdo con lo

establecido en el PEF sentildealando su modalidad y clave]

Unidad Responsable de la operacioacuten

del programa

[Especificar la(s) unidad(es) responsable(s) de la administracioacuten

operacioacuten y ejecucioacuten de los programas subprogramas y proyectos del

Pp evaluado correspondientes a las dependencias y entidades]

Titular de la unidad responsable de la

operacioacuten del programa

[Indicar el nombre del(a) Titular de la Unidad Responsable de la

operacioacuten del Pp]

Antildeo del Programa Anual de

Evaluacioacuten (PAE) en que fue

considerada la evaluacioacuten

[Especificar el ejercicio fiscal al que corresponde el PAE en la que fue

programada la evaluacioacuten]

Antildeo de conclusioacuten y entrega de la

evaluacioacuten

[Indicar el antildeo en que se concluyoacute la evaluacioacuten]

Tipo de evaluacioacuten [Especificar el tipo de evaluacioacuten de acuerdo con los Lineamientos de

evaluacioacuten el nombre de la evaluacioacuten y con lo establecido en el PAE]

Nombre de la instancia evaluadora [Indicar el nombre de la firma consultoriacutea u organizacioacuten que realizoacute la

evaluacioacuten]

Nombre del(a) coordinador(a)

externo(a) de la evaluacioacuten

[Especificar el nombre del(a) responsable de la coordinacioacuten de la

evaluacioacuten dla instancia evaluadora]

Nombre de los(as) principales

colaboradores(as) del(a)

coordinador(a) de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del(a)

coordinador(a) de la evaluacioacuten]

PAE 2017 53

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Unidad Administrativa responsable de

la Coordinacioacuten de la evaluacioacuten

[De acuerdo con lo sentildealado en el PAE especificar la instancia a la que

corresponde la coordinacioacuten de la evaluacioacuten pej Secretariacutea de

Finanzas y Administracioacuten (SFA) asiacute como la unidad administrativa

mediante la cual se ejerce esta funcioacuten p ej Direccioacuten de Evaluacioacuten

de la SFA (DEV)

Nombre del(a) Titular de la unidad

administrativa responsable de

coordinar la evaluacioacuten (Aacuterea de

Evaluacioacuten)

[Especificar el nombre del(a) Titular de la Unidad responsable de dar

seguimiento a la evaluacioacuten que funge como Aacuterea de Evaluacioacuten]

Nombres de los(as) servidores(as)

puacuteblicos(as) adscritos(as) a la unidad

administrativa responsable de

coordinar la evaluacioacuten que

coadyuvaron con la revisioacuten teacutecnica

de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del

titular de la unidad administrativa responsable de dar seguimiento a la

evaluacioacuten respecto de la revisioacuten teacutecnica de la misma]

Forma de contratacioacuten de la instancia

evaluadora

[Indicar el tipo de contratacioacuten dla instancia evaluadora Especificar el

tipo de procedimiento de contratacioacuten de la instancia evaluadora

consistente con los tipos de adjudicacioacuten establecidos en la Ley de

Adquisiciones Arrendamientos y Servicios del Sector Puacuteblico]

Costo total de la evaluacioacuten con IVA

incluido

[Especificar el costo total de la evaluacioacuten incluyendo el IVA (en caso

de que se haya causado) como sigue $XXX IVA incluido]

Asimismo en este anexo se deberaacute incluir una nota metodoloacutegica con la descripcioacuten de las teacutecnicas

y los modelos utilizados por el evaluador externo acompantildeada del disentildeo por muestreo

especificando los supuestos empleados y las principales caracteriacutesticas del tamantildeo y dispersioacuten de

la muestra utilizada

DIRECTORIO

Rauacutel Saacutenchez Kobashi

Secretario de la Secretariacutea de Finanzas y Administracioacuten

Francisco Fidel Teomitzi Saacutenchez

Subsecretario de Planeacioacuten

Arturo Neponuceno Crisoacutestomo

Director de Evaluacioacuten

Rodolfo de la Rosa Cabrera

Subdireccioacuten de Evaluacioacuten de Programas

Sauacutel Federico Oropeza Orea

Jefe del Departamento de Programas Estatales y Municipales

Ana Luz Guzmaacuten Figueroa

Analista del Departamento de Programas Estatales y Municipales

Marco Antonio Saacutenchez Gonzaacutelez

Analista del Departamento de Programas Estatales y Municipales

Page 23: Términos de Referencia para la Evaluación del Desempeño ...evaluacion.puebla.gob.mx/pdf/metodologias/TdR_Est/2017/TdR... · Perfil de la instancia evaluadora ... acuerdo con las

PAE 2017 22

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Comunicacioacuten interna y externa proceso en el que se informan diversas caracteriacutesticas y

objetivos del Pp tanto a los actores involucrados en su funcionamiento y operacioacuten (interna)

como a su poblacioacuten o aacuterea de enfoque objetivo (externa)

Seleccioacuten de destinatarios proceso en el que se determina quieacutenes recibiraacuten los

componentes o entregables de un Pp en funcioacuten de su poblacioacuten o aacuterea de enfoque objetivo

Produccioacuten de entregables proceso en el que se elaboran los entregables o realizan los

componentes del Pp (recursos financieros o humanos apoyos bienes servicios

regulaciones documentos teacutecnicos o de planeacioacuten etc) conforme a sus documentos

normativos

Entrega proceso en el que se realiza la entrega de lo producido o generado por el Pp

(componentes o entregables) a los destinatarios o beneficiarios

Seguimiento a destinatarios actividades y mecanismos que permiten al Pp conocer coacutemo

son utilizados o aprovechados sus componentes o entregables (por sus destinatarios o

beneficiarios) para que entre otras funciones la UR del Pp identifique si se estaacute cumpliendo

con los objetivos Por ejemplo en este proceso se incluyen las actividades que un Pp

implementa para conocer el grado de satisfaccioacuten de sus destinatarios o beneficiarios

Control actividades y mecanismos implementados entre los operadores del Pp para verificar

que los diferentes procedimientos procesos y subprocesos se esteacuten ejecutando conforme a

lo planeado (control interno)

Monitoreo proceso coordinado por una unidad administrativa ajena a la operacioacuten del Pp

a traveacutes del cual se recaba registra y valida la informacioacuten sobre el avance de las metas de

los indicadores de la MIR asiacute como el seguimiento a los resultados de indicadores

adicionales a los de la MIR en caso de que se cuente con un sistema de monitoreo de gestioacuten

Los subprocesos que lo integran son los siguientes acopio de la informacioacuten para el reporte

de avances validacioacuten de informacioacuten y registro de avances primordialmente

Evaluacioacuten externa proceso coordinado por una unidad administrativa ajena a la operacioacuten

del Pp mediante el cual se define la agenda de evaluacioacuten externa del Pp se definen las

metodologiacuteas o los teacuterminos de referencia se contratan las evaluaciones externas (de

cualquier tipo) se recaba la informacioacuten que seraacute entregada a los equipos evaluadores se

realiza el seguimiento durante el desarrollo de las evaluaciones externas se aprueban los

PAE 2017 23

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

informes finales de las evaluaciones externas se notifica a las instancias correspondientes

sobre la conclusioacuten de las evaluaciones externas y se definen y realiza el seguimiento de los

Aspectos Susceptibles de Mejora (ASM)

A partir de los procesos definidos en el modelo anterior la instancia evaluadora deberaacute realizar una

equivalencia de los procesos subprocesos o macroprocesos identificados respecto a los definidos

en el modelo de acuerdo con el Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesosrdquo Cabe

mencionar que los procesos definidos en el modelo no son limitativos por lo que si la instancia

evaluadora identifica procesos subprocesos o macroprocesos adicionales deberaacute incluirlos

Disentildeo metodoloacutegico del trabajo de campo

A partir del contexto en que opera el Pp y el alcance y enfoque metodoloacutegico de la evaluacioacuten de

procesos la instancia evaluadora deberaacute desarrollar una propuesta de estrategia y plan de trabajo

de campo a seguir para la realizacioacuten de la evaluacioacuten asimismo deberaacute incluir un cronograma

detallado de actividades

La estrategia de trabajo de campo disentildeada por la instancia evaluadora deberaacute ser entregada a la

DEV para que en conjunto con la UR del Pp sea validada antes de su implementacioacuten Dicha

estrategia deberaacute contener al menos los siguientes elementos

Justificacioacuten de las teacutecnicas de investigacioacuten a utilizar

Muestra y los criterios utilizados para su seleccioacuten

Listado de los actores a entrevistar

Instrumentos de levantamiento de informacioacuten que se aplicaraacuten y

Cronograma con las actividades a desarrollar

La instancia evaluadora iniciaraacute las actividades del trabajo de campo de manera conjunta y una vez

recibido el visto bueno de la DEV

El disentildeo de la muestra y de los instrumentos para el levantamiento de informacioacuten en campo

deberaacute considerar a la totalidad de los actores que intervienen en la ejecucioacuten de los procesos y

subprocesos o macroprocesos que integran la operacioacuten o gestioacuten del Pp asiacute como a los

destinatarios o beneficiarios de los componentes o entregables del Pp independientemente de su

ubicacioacuten geograacutefica

Algunos criterios que puede utilizar la instancia evaluadora para definir una muestra que considere

la variabilidad de la operacioacuten en los diferentes contextos en que opera el Pp son los siguientes

PAE 2017 24

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

a) El desempentildeo operativo del Pp entre municipios regionalizacioacuten geograacutefica instituciones

puacuteblicas o privadas u otros aspectos que suponen una accioacuten diferenciada de los procesos

(cuando aplique)

b) Volumen de la operacioacuten del Pp

c) Esquemas normativos del Pp y el ejercicio presupuestal en los municipios instituciones

puacuteblicas o privadas u otros aspectos que suponen una accioacuten diferenciada de los procesos

en las que opera el Pp (cuando aplique) y

d) Formas de interaccioacuten del Pp con otros niveles u oacuterdenes de gobierno (cuando aplique)

Los criterios anteriores no son limitativos por lo que la instancia evaluadora podraacute proponer criterios

adicionales que considere pertinentes para la definicioacuten de la muestra para el trabajo de campo

En el disentildeo muestral la instancia evaluadora deberaacute sentildealar los funcionarios del Pp o destinatarios

a los que se les aplicaraacuten los instrumentos de levantamiento de informacioacuten con los que se realizaraacute

el trabajo de campo asiacute como la ubicacioacuten geograacutefica de los mismos

Instrumentos de levantamiento de informacioacuten

La instancia evaluadora deberaacute disentildear los instrumentos que utilizaraacute para el levantamiento de

informacioacuten durante el trabajo de campo como son (por ejemplo) los cuestionarios por tipo de

funcionario a entrevistar para el caso de entrevistas semiestructuradas los guiones a utilizar en la

realizacioacuten de grupos focales los cuestionarios de aplicacioacuten electroacutenica las guiacuteas respectivas entre

otros Para lo anterior deberaacute considerar los siguientes temas guiacutea y preguntas de referencia

Planeacioacuten (planeacioacuten estrateacutegica programacioacuten y presupuesto)

iquestQueacute se entiende por planeacioacuten estrateacutegica para los operadores del Pp

iquestCuaacuteles son las actividades o acciones de planeacioacuten estrateacutegica del Pp que se realizan

iquestLa planeacioacuten estrateacutegica es el resultado de un ejercicio institucionalizado que involucra a

los actores clave de la gestioacuten del Pp

iquestExiste un documento resultado de la planeacioacuten estrateacutegica iquestEs claro difundido y

accesible iquestEn queacute medida es utilizado para guiar la operacioacuten del Pp

iquestLa planeacioacuten estrateacutegica estaacute vinculada con el cumplimiento entrega o generacioacuten de los

componentes o entregables del Pp

iquestLa planeacioacuten estrateacutegica establece indicadores para medir los avances en las metas

establecidas iquestLas metas son factibles y estaacuten orientadas a impulsar el desempentildeo del Pp

PAE 2017 25

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

iquestQueacute se entiende por planeacioacuten operativa y cuaacuteles son las diferencias con la planeacioacuten

estrateacutegica

Comunicacioacuten interna y externa del Pp (las preguntas que apliquen)

iquestQueacute actores intervienen en la comunicacioacuten del Pp

iquestExiste una estrategia de comunicacioacuten del Pp documentada En caso afirmativo describirla

iquestLa estrategia de comunicacioacuten del Pp (documentada o no) es adecuada

iquestLos medios utilizados el lenguaje y el contenido de los mensajes son pertinentes en funcioacuten

del puacuteblico al que van dirigidos

Solicitud de los componentes o entregables del Pp (las preguntas que apliquen)

iquestExiste un proceso claro imparcial y expliacutecito por medio del cual la poblacioacuten o aacuterea de

enfoque potencial puede solicitar los componentes o entregables que otorga el Pp

iquestLos requisitos para solicitar los componentes o entregables del Pp se presentan de manera

clara y completa

iquestLos puntos de recepcioacuten de solicitudes son accesibles y suficientes (cuando aplique)

iquestExisten mecanismos estandarizados para recibir y revisar la documentacioacuten entregada asiacute

como registrar y dar traacutemite a las solicitudes (cuando aplique)

iquestSon adecuados estos mecanismos (cuando aplique) En caso de que el Pp que apoye la

realizacioacuten de proyectos iquestse brinda asesoriacutea para la presentacioacuten de los mismos de ser asiacute

iquestes pertinente esta asesoriacutea

iquestEl proceso de solicitud de los componentes o entregables que otorga el Pp se encuentra

automatizado total o parcialmente

Para esta pregunta considerar los estados de digitalizacioacuten utilizados por la Comisioacuten Intersecretarial

para el Desarrollo del Gobierno electroacutenico seguacuten una adaptacioacuten realizada a la clasificacioacuten que

hace la ONU

Estado de digitalizacioacuten 1 traacutemites y servicios que se encuentran en estado informativo

Estado de digitalizacioacuten 2 traacutemites y servicios que cuentan con interfaces de comunicacioacuten

unidireccional

Estado de digitalizacioacuten 3 traacutemites y servicios que permiten realizar transacciones y

Estado de digitalizacioacuten 4 traacutemites y servicios que el usuario puede ejecutar de principio a

fin por medio de dispositivos digitales

PAE 2017 26

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para mayor informacioacuten referirse a ldquoFigure A4 The four stages of online service developmentrdquo en

los siguientes documentos

Lineamientos relativos a la digitalizacioacuten estandarizada de traacutemites y servicios con apego en

la Estrategia Digital Nacional

httpwwwgobmxcmsuploadsattachmentfile67232ti_1_pgcm_bases_lineam_tyspdf

United Nations E-Government Survey 2014 (paacutegina 195)

httpspublicadministrationunorgegovkbportalsegovkbdocumentsun2014-surveye-

gov_complete_survey-2014pdf

Seleccioacuten de destinatarios (cuando aplique)

iquestExiste una metodologiacutea o meacutetodo para la seleccioacuten de destinatarios o beneficiarios de los

componentes o entregables del Pp iquestLa metodologiacutea utilizada cuenta con criterios de

seleccioacuten y elegibilidad claros estandarizados y sistematizados

iquestLa seleccioacuten de destinatarios o beneficiarios de los componentes o entregables del Pp es un

proceso transparente e imparcial iquestEl resultado de la seleccioacuten es puacuteblico (cuando aplique)

iquestExiste informacioacuten en una base de datos que permita conocer quieacutenes o queacute instancias

reciben los componentes o entregables del Pp iquestQueacute informacioacuten integra esta base de datos

iquestExisten mecanismos para validar y actualizar esta base de datos iquestEstos mecanismos son

pertinentes

Produccioacuten de componentes o entregables

iquestSe cuenta con los insumos suficientes para generar el volumen de componentes o

entregables que permitan al Pp atender a su poblacioacuten o aacuterea de enfoque objetivo

iquestEl Pp tiene mecanismos para estimar la produccioacuten o generacioacuten necesaria de componentes

o entregables de acuerdo con la posible demanda o requerimientos de su poblacioacuten o aacuterea

de enfoque objetivo iquestEs adecuado este mecanismo

iquestExisten mecanismos de control de calidad para la generacioacuten de los componentes o

entregables del Pp iquestEstos mecanismos son pertinentes

iquestLas actividades de generacioacuten de componentes o entregables que otorga el Pp estaacuten

estandarizadas es decir son ejecutadas de manera homogeacutenea por todas las instancias

involucradas

PAE 2017 27

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Entrega

iquestLos componentes o entregables del Pp son proporcionados conforme a las especificaciones

y de manera oportuna a los destinatarios

iquestExisten especificaciones (programas o planes de trabajo) sobre la forma en que se deben

trasladar los componentes o entregables para (por ejemplo) asegurar su adecuada recepcioacuten

en el punto de destino iquestSon adecuadas estas especificaciones respecto a normas o

lineamientos existentes (cuando aplique)

iquestLa logiacutestica de distribucioacuten se actualiza (cuando aplique) iquestExiste un periodo para dicha

actualizacioacuten iquestEn el disentildeo y actualizacioacuten de la logiacutestica se toman en cuenta los factores

geograacuteficos y climatoloacutegicos en cada regioacuten donde opera el Pp (cuando aplique)

iquestLos puntos de entrega de los componentes o entregables son cercanos a los beneficiarios

o aacuterea de enfoque a atender y son de faacutecil acceso iquestSe considera que son suficientes iquestPor

queacute

Control (las preguntas que apliquen)

iquestEl Pp cuenta con los mecanismos para verificar que los componentes o entregables se

otorguen de acuerdo con lo establecido en la normativa especiacutefica y lleguen a la poblacioacuten

o aacuterea de enfoque que deba ser beneficiada iquestEstos mecanismos son adecuados

iquestExiste de manera sistematizada un documento que deacute cuenta de los resultados de

supervisioacuten y entrega de componentes o entregables iquestEste documento es adecuado iquestLos

resultados se utilizan para implementar mejoras en la operacioacuten del Pp

iquestExisten procedimientos estandarizados que verifiquen el cumplimiento de la

corresponsabilidad u obligatoriedad por parte de los beneficiarios o destinatarios de los

componentes o entregables del Pp (cuando aplique)

Seguimiento a destinatarios

iquestEl Pp tiene mecanismos para verificar el procedimiento de seguimiento a los destinatarios o

beneficiarios que permitan identificar si los componentes o entregables generados son

utilizados de acuerdo con lo establecido iquestCoacutemo se implementa el mecanismo iquestEste

mecanismo es adecuado

iquestExisten procedimientos estandarizados que permitan verificar el cumplimiento de la

corresponsabilidad u obligatoriedad por parte del destinatario o beneficiario (cuando

aplique)

PAE 2017 28

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

En caso de que los componentes o entregables involucren la ejecucioacuten de obra o de

infraestructura iquestel Pp cuenta con un mecanismo de seguimiento o supervisioacuten que permita

identificar si se realizaron acorde a la normativa aplicable iquestEl seguimiento o supervisioacuten

considera plazos para la revisioacuten de las condiciones de la obra o la infraestructura despueacutes

de terminada la obra

iquestEl Pp tiene mecanismos para identificar si se cumple con su Propoacutesito iquestSon suficientes y

pertinentes estos mecanismos

iquestExisten mecanismos para conocer la satisfaccioacuten del destinatario o beneficiario de los

componentes o entregables del Pp respecto de los componentes que ofrece el Pp iquestSon

adecuados estos mecanismos iquestSu operacioacuten permite una aplicacioacuten imparcial y objetiva

iquestExiste evidencia para afirmar que las quejas y sugerencias que brindan los destinatarios o

beneficiarios de los componentes o entregables del Pp son utilizadas para la mejora continua

del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

En esta seccioacuten se deberaacute realizar la medicioacuten de los atributos de eficacia oportunidad suficiencia

y pertinencia de los procesos y subprocesos o macroprocesos definidos en el mapa de procesos del

Pp A continuacioacuten se definen los atributos en el marco de la evaluacioacuten de procesos

Eficacia un proceso es eficaz en la medida en que cumple con sus metas

Oportunidad un proceso es oportuno en la medida en que otorga sus productos

(componentes o entregables) o resultados en un periodo de tiempo determinado o

adecuado para el logro de sus objetivos

Suficiencia un proceso es suficiente en la medida en que produce sus resultados de forma

completa o adecuada para el logro de sus objetivos

Pertinencia un proceso es pertinente si sus actividades y productos son adecuados para

lograr tanto sus metas especiacuteficas como sus objetivos es decir si contribuyen al

mejoramiento de la gestioacuten del Pp4

4 Las actividades son adecuadas si estaacuten en funcioacuten del logro del objetivo de cada proceso Por ejemplo si se verifica que el formato de los mensajes a difundir cumpla con las caracteriacutesticas necesarias para llegar a la poblacioacuten o aacuterea de enfoque objetivo como seriacutea una mensaje de audio en la lengua indiacutegena de la localidad donde se encuentran los posibles destinatarios o beneficiarios o bien como seriacutea un mensaje dirigido a personal operativo del Pp cuyo nivel de estudios promedio pudiera complicar la comprensioacuten de lenguaje teacutecnico utilizado

PAE 2017 29

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para la medicioacuten de los atributos de los procesos y subprocesos o macroprocesos del Pp deberaacute

realizarse una revisioacuten documental (normativa aplicable MIR evaluaciones externas sistemas de

informacioacuten y registros administrativos entre otros) misma que deberaacute complementarse con el

trabajo de campo con el objetivo de identificar disentildear y calcular indicadores relacionados con

dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de informacioacuten empleadas

La informacioacuten obtenida de estos indicadores deberaacute vaciarse en fichas propuestas por la instancia

evaluadora presentadas como en el Anexo 6 ldquoFichas de indicadores de atributos de los procesos del

Pprdquo (formato libre) Estas fichas deberaacuten considerar la medicioacuten de los atributos de eficacia

suficiencia oportunidad y pertinencia correspondientes a cada proceso y subproceso o

macroproceso

Valoracioacuten de los procesos y subprocesos de la operacioacuten del Pp

Deberaacute contener una siacutentesis de los resultados encontrados en la Evaluacioacuten de Procesos del Pp

resaltando los hallazgos maacutes relevantes que se hayan detectado y que pudiesen transformarse en

ASM

La instancia evaluadora deberaacute calcular una valoracioacuten global cuantitativa sobre la operacioacuten y la

ejecucioacuten de los procesos y subprocesos o macroprocesos del Pp a partir del siguiente esquema de

puntuacioacuten5

Eficacia

- Todos los procesos (o macroprocesos) son eficaces = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es eficaz = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es eficaz = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es eficaz = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es eficaz = 1 punto

- Ninguno de los procesos (o macroprocesos) es eficaz = 0 puntos

Oportunidad

- Todos los procesos (o macroprocesos) son oportunos = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es oportuno = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es oportuno = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es oportuno = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es oportuno = 1 punto

5 La valoracioacuten cuantitativa deberaacute estar sustentada y por tanto ser consistente con lo valorado por la instancia evaluadora en el apartado de ldquoMedicioacuten de atributos de los procesos y subprocesosrdquo

PAE 2017 30

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

- Ninguno de los procesos (o macroprocesos) es oportuno = 0 puntos

Suficiencia

- Todos los procesos (o macroprocesos) son suficientes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es suficiente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es suficiente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es suficiente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es suficiente = 1 punto

- Ninguno de los procesos (o macroprocesos) es suficiente = 0 puntos

Pertinencia

- Todos los procesos (o macroprocesos) son pertinentes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es pertinente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es pertinente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es pertinente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es pertinente = 1 punto

- Ninguno de los procesos (o macroprocesos) es pertinente = 0 puntos

A partir de los puntajes asignados en los cuatro atributos anteriores esta valoracioacuten cuantitativa

global debe considerar el total de puntos posibles de obtener (5 x 4 = 20 puntos) y los puntos

obtenidos en la Evaluacioacuten de Procesos Pp (lsquoyrsquo puntos) de modo que se indique el porcentaje de

puntos obtenidos del total de puntos posibles [(lsquoyrsquo20) x 100] = valoracioacuten cuantitativa global de la

operacioacuten del Pp

La instancia evaluadora deberaacute utilizar el Anexo 9 ldquoValoracioacuten global cuantitativardquo para documentar

argumentar y sustentar cada una de las valoraciones cuantitativas sobre la operacioacuten y la ejecucioacuten

de los procesos (o macroprocesos) del Pp

Adicionalmente en este apartado se deberaacuten integrar las recomendaciones y conclusiones que se

consideren maacutes relevantes de los procesos y subprocesos o macroprocesos del Pp las cuales deben

formularse con base en los hallazgos del trabajo de campo y de gabinete El objetivo final de las

recomendaciones es proveer informacioacuten valiosa a los operadores del Pp para realizar adecuaciones

en la ejecucioacuten de los procesos y subprocesos o macroprocesos de modo que se potencie la

consecucioacuten de resultados del Pp

Las recomendaciones que se formulen como resultado de la Evaluacioacuten de Procesos del Pp deberaacuten

tener las siguientes caracteriacutesticas

Derivarse de los hallazgos de la evaluacioacuten

PAE 2017 31

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Ser concretas y factibles

Incluir un proyecto de implementacioacuten que considere los siguientes elementos

- Breve anaacutelisis de la viabilidad o factibilidad de la implementacioacuten

- Principales responsables de la implementacioacuten

- Anaacutelisis de los efectos potenciales que puede implicar la implementacioacuten tanto en la

operacioacuten del Pp como en el logro de sus objetivos

- La comparacioacuten entre la situacioacuten actual y el resultado que se espera obtener con la

implementacioacuten de la recomendacioacuten

Estar categorizadas en dos liacuteneas de accioacuten estrateacutegicas

- Consolidacioacuten

- Reingenieriacutea de procesos o subprocesos

Al respecto la instancia evaluadora debe entender por consolidacioacuten aquellas recomendaciones que

estaacuten dirigidas a perfeccionar determinados aspectos de la operacioacuten como seriacutean algunas acciones

procedimientos o estrategias del Pp asiacute como iniciativas para el fortalecimiento de los sistemas

automatizados infraestructura entre otros

Por reingenieriacutea de procesos o subprocesos se entenderaacuten aquellas recomendaciones que apuntan

a una transformacioacuten o modificacioacuten profunda o sustancial de uno o varios de los procesos y

subprocesos del Pp Para ello se deberaacute llenar el Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de

Procesos del Pprdquo y que a su vez deben derivar en acciones de consolidacioacuten para la implementacioacuten

de los procesos transformados

Adicionalmente y de conformidad con el alcance de la Evaluacioacuten de Procesos del Pp se deberaacute

presentar una propuesta para crear o fortalecer el sistema de monitoreo de gestioacuten del Pp con

indicadores a nivel de procesos y subprocesos o macroprocesos

Asimismo a partir de todo el anaacutelisis y valoraciones realizadas se deberaacute emitir un pronunciamiento

acerca de la percepcioacuten de eficiencia que la instancia evaluadora haya tenido sobre la ejecucioacuten de

los procesos y subprocesos o macroprocesos del Pp

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible o si no hipoteacuteticos en un anexo de formato libre Anexo 10 ldquoSistema de

monitoreo e indicadores de gestioacuten del Pprdquo

PAE 2017 32

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Bitaacutecora de trabajo de campo y bases de datos

La instancia evaluadora deberaacute entregar una bitaacutecora de trabajo de campo que destaque de forma

sinteacutetica entre otros puntos las principales actividades y situaciones a las que se enfrentoacute y que

podriacutean afectar los resultados de la Evaluacioacuten de Procesos del Pp

Asimismo deberaacute entregar las bases de datos generadas a partir de la aplicacioacuten de los instrumentos

de recoleccioacuten de informacioacuten y de la recopilacioacuten de informacioacuten en el trabajo de campo Las bases

de datos deberaacuten entregarse en formatos compatibles con Excel debiendo mantener la

confidencialidad de los entrevistados pero sin alterar la informacioacuten proporcionada por estos En las

bases de datos debe estar sistematizada toda la informacioacuten recabada a partir de la aplicacioacuten de

los instrumentos de levantamiento de informacioacuten y deberaacute sustentar el anaacutelisis las valoraciones los

hallazgos y las conclusiones de la evaluacioacuten

PAE 2017 33

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Contenido del informe

Contenido miacutenimo del informe final de la evaluacioacuten

Derivado del contenido generado en las secciones anteriores deberaacuten elaborarse los siguientes

apartados en el informe final de la Evaluacioacuten de Procesos del Pp

i Introduccioacuten

ii Resumen Ejecutivo

iii Marco Legal

iv Datos Generales del Programa Presupuestario (Pp)

v Criterios Teacutecnicos para la Evaluacioacuten del Programa Presupuestario correspondiente

vi Apartados de la evaluacioacuten

Seccioacuten 1 Disentildeo

Diagnoacutestico del programa puacuteblico

Matriz de Indicadores para Resultados (MIR)

Seccioacuten 2 Procesos

Pertinencia de los proceso

Diagnoacutestico general de los procesos y subprocesos del Pp

- Contexto en que opera el Pp

- Diagnoacutestico inicial de los procesos y subprocesos

Descripcioacuten y valoracioacuten de los procesos y subprocesos del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

vii Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

viii Valoracioacuten final del Pp

ix Hallazgos

x Recomendaciones clasificadas por apartado

xi Conclusiones

xii Bibliografiacutea

xiii Anexos

Anexo 1 Descripcioacuten General del Programa

Anexo 2 Metodologiacutea para la cuantificacioacuten de las poblaciones potencial y objetivo

(Formato Libre)

Anexo 3 Evolucioacuten de la Cobertura

Anexo 4 Propuesta de mejora de la Matriz de Indicadores para Resultados

Anexo 5 Ficha de identificacioacuten y equivalencia de procesos del Pp

PAE 2017 34

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 Fichas de indicadores de atributos de los procesos del Pp (Formato libre)

Anexo 7 Diagramas de flujo de la operacioacuten del Pp

Anexo 8 Propuesta de modificacioacuten a los documentos normativos o institucionales

del Pp

Anexo 9 Valoracioacuten global cuantitativardquo

Anexo 10 Sistema de monitoreo e indicadores de gestioacuten del Pp (Formato libre)

Anexo 11 Recomendaciones de la Evaluacioacuten de Procesos del Pp

Anexo 12 Principales Fortalezas Retos y Recomendaciones

Anexo 13 Ficha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacuten

En el Resumen Ejecutivo asimismo se describiraacuten los principales hallazgos y recomendaciones del

evaluador externo

Para el desarrollo de los apartados antes referidos deberaacute atender las indicaciones que se desarrollan

en las siguientes secciones

Hallazgos y resultados Pp por Seccioacuten

Se debe realizar una valoracioacuten general del programa por seccioacuten utilizando las respuestas que

integran cada uno de los apartados En esta valoracioacuten integral se deberaacute sentildealar en queacute medida la

gestioacuten operativa conduce al logro de los objetivos del Pp

Asimismo se deben sentildealar las aacutereas de mejora las buenas praacutecticas y las fortalezas detectadas en

la operacioacuten del Pp y a partir de ello la instancia evaluadora emitiraacute recomendaciones de mejora

sobre aspectos especiacuteficos de cada proceso y subproceso o macroproceso del Pp Adicionalmente

se deberaacuten identificar los problemas o limitantes tanto normativos como operativos (ldquocuellos de

botellardquo) de coordinacioacuten entre unidades administrativas y otros que hubiese en los procesos y

subprocesos o macroprocesos del Pp entendieacutendose como aquellas praacutecticas procedimientos

actividades o traacutemites que obstaculizan la operacioacuten del Pp

En este sentido se deberaacuten identificar las situaciones en las que la normativa genere complicaciones

en la gestioacuten o ineficacia en el cumplimiento de los objetivos del Pp para lo cual se deberaacute presentar

(por cada situacioacuten identificada) una propuesta de modificacioacuten a la normativa aplicable al Pp

considerando las restricciones praacutecticas que existan para su implementacioacuten asiacute como los efectos

PAE 2017 35

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

potenciales de ser implementada Los resultados de este anaacutelisis deberaacuten describirse en el Anexo 7

ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales del Pprdquo

Para la identificacioacuten y descripcioacuten de los ldquocuellos de botellardquo buenas praacutecticas y fortalezas del Pp

se consideraraacute la informacioacuten derivada del anaacutelisis de la operacioacuten del Pp asiacute como los puntos de

vista de los principales actores que intervienen en ella Este anaacutelisis deberaacute contener las causas y las

consecuencias de los ldquocuellos de botellardquo detectados sus caracteriacutesticas y naturaleza (si son

normativas o estrictamente operativas) de igual manera se deberaacute desarrollar un anaacutelisis de las

buenas praacutecticas identificadas

Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

Se debe integrar en una sola tabla las fortalezas oportunidades debilidades y amenazas

especificadas por cada apartado de la evaluacioacuten y reportarlas en el Anexo 11 ldquoPrincipales Fortalezas

Retos y Recomendacionesrdquo en el que se deben incluir las fortalezas yo oportunidades las

debilidades yo amenazas y las recomendaciones por apartado de la evaluacioacuten

PAE 2017 36

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexos

Anexo 1 ldquoDescripcioacuten General del Programardquo

El Anexo tiene formato libre sin embargo debe contener una breve descripcioacuten de las caracteriacutesticas

maacutes relevantes del Pp en un maacuteximo de dos cuartillas Dicha descripcioacuten debe considerar los

siguientes aspectos

1 Identificacioacuten del programa

11 Nombre

12 Clave de programa

13 Dependencia yo Entidad coordinadora ejecutora

14 Antildeo de inicio de operacioacuten

2 Problema o necesidad que el Pp pretende atender atenuar o resolver

3 La contribucioacuten del Pp a las Metas y objetivos estatales a los que se vincula

4 Descripcioacuten de los objetivos del Pp asiacute como de los bienes yo servicios que ofrece

(componentes)

5 Identificacioacuten y cuantificacioacuten de la poblacioacuten o aacuterea de enfoque potencial y

objetivo

6 Presupuesto aprobado para el ejercicio fiscal en curso

7 Metas de los indicadores de Fin Propoacutesito y Componentes asiacute como los de nivel

actividad que se consideren relevantes y

8 Resumen de la valoracioacuten de la pertinencia del disentildeo del Pp respecto a la atencioacuten

del problema o necesidad

Anexo 2 ldquoMetodologiacutea para la cuantificacioacuten de la poblacioacuten o aacuterea de enfoque

potencial y objetivordquo

El Anexo tiene formato libre sin embargo se debe incluir la siguiente informacioacuten

Definicioacuten de la poblacioacuten o aacuterea de enfoque potencial objetivo y atendida

Cuantificacioacuten de la poblacioacuten potencial objetiva y atendida

Hallazgos sobre el procedimiento llevado a cabo para definir y cuantificar la poblacioacuten o

aacuterea de enfoque potencial objetivo y atendida

Recomendaciones

Propuesta orientada hacia la mejora

PAE 2017 37

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 3 ldquoEvolucioacuten de la Coberturardquo

Nombre del

Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten

Antildeo de la Evaluacioacuten

Tipo de Poblacioacuten

Unidad

de

Medida

2012 2013 2014 2015 2016

P Potencial

P Objetivo

P Atendida

119927119912 times 120783120782120782

119927119926

PAE 2017 38

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 4 ldquoPropuesta de mejora de la Matriz de Indicadores para Resultadosrdquo

Derivado del anaacutelisis y valoracioacuten de la pregunta de investigacioacuten nuacutemero 3 iquestLa estructura de

objetivos planteada por el programa mantiene loacutegica y correspondencia causal con el problema

planteado en el diagnoacutestico se realizaraacute una propuesta de mejora de MIR

Fin

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Propoacutesito

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Componente 1

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

PAE 2017 39

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Componente 2 hellip

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 40

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesos del Pprdquo

Para la identificacioacuten y clasificacioacuten de los procesos del Pp se sugieren los siguientes pasos

1 Listar los procesos identificados

Comparar los procesos identificados del Pp con aquellos correspondientes al Modelo general de

procesos Colocar en el rengloacuten correspondiente el nombre de cada proceso del Pp identificado

como equivalente

2 Colocar al final de la lista aquellos procesos del Pp que no sean equivalentes con el Modelo

general de procesos

Modelo general de

procesos

Nuacutemero

de

secuencia

Procesos o subprocesos del Pp identificados por el

evaluador

(Nombre y breve descripcioacuten)

Planeacioacuten Ejemplo (Ej) Planeacioacuten Estrateacutegica

Ej Programacioacuten

Ej Presupuestacioacuten

Comunicacioacuten interna y

externa

Ej Difusioacuten Federal

Ej Difusioacuten Local

Seleccioacuten de

destinatarios

Ej Recepcioacuten de solicitudes de becas

Ej Seleccioacuten de becarios

Produccioacuten de

entregables

Entrega

Control

Seguimiento Ej Seguimiento fiacutesico y supervisioacuten en campo

Evaluacioacuten externa Ej Publicacioacuten y lectura del PAE

Ej Definicioacuten de TdR

Ej Contratacioacuten

Ej Ejecucioacuten de la evaluacioacuten externa

Monitoreo Ej Registro de avances de indicadores

Ej Revisioacuten de registros

Ej Validacioacuten de registros e integracioacuten de informes

PAE 2017 41

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Procesos identificados por el evaluador que no coinciden con el Modelo general de procesos

PAE 2017 42

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 ldquoFichas de indicadores de atributos de los procesos del Pp (formato libre)rdquo

Para la construccioacuten de este anexo deberaacute realizarse una revisioacuten documental (normativa aplicable

MIR evaluaciones externas sistemas de informacioacuten y registros administrativos entre otros) misma

que deberaacute complementarse con el trabajo de campo con el objetivo de identificar disentildear y calcular

indicadores relacionados con dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de

informacioacuten empleadas

Ademaacutes de considerar la medicioacuten de los atributos de eficacia suficiencia oportunidad y pertinencia

de cada proceso y subproceso o macroproceso

PAE 2017 43

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 7 ldquoDiagramas de flujo de la operacioacuten del Pprdquo

Para la elaboracioacuten de los diagramas de flujo deberaacute utilizarse la notacioacuten empleada en el

documento ldquoGuiacutea para la Optimizacioacuten Estandarizacioacuten y Mejora Continua de Procesosrdquo publicada

por la SFP en la direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Para el Diagrama de Alto Nivel (Diagrama PEPSU)

Ejemplo ilustrativo

PAE 2017 44

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para el Diagrama de Flujo

PAE 2017 45

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

PAE 2017 46

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 8 ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales

del Pprdquo

Tipo de

norma-

tiva

Dice

Problema

generado

(causas y

consecuencias)

Se

recomienda

decir

Efecto esperado de

aplicar la

recomendacioacuten de

cambio

Restricciones praacutecticas

que puedan existir para

su implementacioacuten

PAE 2017 47

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 9 ldquoValoracioacuten global cuantitativa ldquo

Seccioacuten 1 Disentildeo

Disentildeo Valoracioacuten Argumento o justificacioacuten

Porcentaje del

Disentildeo del Pp

(Suma de valoracioacuten alcanzada por pregunta de la seccioacuten 1 Total maacuteximo de la

valoracioacuten de todas las preguntas de la seccioacuten 1 ) x 100

Seccioacuten 2 Procesos

Proceso Eficacia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

eficaces

(Total de procesos eficaces Total de procesos del Pp) x 100

Proceso Oportunidad

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

oportunos

(Total de procesos oportunos Total de procesos del Pp) x 100

Proceso Suficiencia

(SiacuteNo) Argumento o justificacioacuten

PAE 2017 48

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Porcentaje de

procesos

suficientes

(Total de procesos suficientes Total de procesos del Pp) x 100

Proceso Pertinencia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

pertinentes

(Total de procesos pertinentes Total de procesos del Pp) x 100

NOTA Los argumentos y justificaciones del evaluador deberaacuten considerar el anaacutelisis y valoraciones de

los subprocesos de cada proceso de modo que haya consistencia entre estos elementos Asimismo el

evaluador deberaacute expresar los resultados de la valoracioacuten cuantitativa en una graacutefica tipo radial

PAE 2017 49

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 10 ldquoSistema de monitoreo e indicadores de gestioacuten del Pp (formato libre)rdquo

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible

Nombre del Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten De Procesos

Antildeo de la Evaluacioacuten 2017

Fin Justificacioacuten Propoacutesito Justificacioacuten Componente (s) Justificacioacuten

Nombre de

Indicador

Meacutetodo de Caacutelculo

Claro SiacuteNo SiacuteNo SiacuteNo

Relevante SiacuteNo SiacuteNo SiacuteNo

Econoacutemico SiacuteNo SiacuteNo SiacuteNo

Monitoreable SiacuteNo SiacuteNo SiacuteNo

Adecuado SiacuteNo SiacuteNo SiacuteNo

Definicioacuten SiacuteNo SiacuteNo SiacuteNo

Unidad de Medida SiacuteNo SiacuteNo SiacuteNo

Frecuencia de

Medicioacuten

SiacuteNo SiacuteNo SiacuteNo

Liacutenea Base SiacuteNo SiacuteNo SiacuteNo

Metas SiacuteNo SiacuteNo SiacuteNo

Comportamiento

del Indicador

SiacuteNo SiacuteNo SiacuteNo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 50

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de Procesos del Pprdquo

En este Anexo la instancia evaluadora debe valorar si la recomendacioacuten implica una consolidacioacuten o

una reingenieriacutea del proceso

A) Consolidacioacuten

Proceso Recomendaci

oacuten

Breve

anaacutelisis de

viabilidad de

la

implementa-

cioacuten

Principales

responsables

de la

implementaci

oacuten

Situacioacuten

actual

Efectos

potenciales

esperados

Medio de

verifica-

cioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

B) Reingenieriacutea de procesos

Proceso Objetivo

Breve

anaacutelisis de

viabilidad

de la

implemen-

tacioacuten

Principales

responsables

de la

implemen-

tacioacuten

Situa-

cioacuten

actual

Metas y

efectos

potenciale

s

esperados

Elabora-

cioacuten de

flujogram

a del

nuevo

proceso

Medio

de

verifi-

cacioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

NOTA El nivel de priorizacioacuten Alto Medio o Bajo se estimaraacute considerando la mejora en la operacioacuten

del Pp la viabilidad de la implementacioacuten de la recomendacioacuten asiacute como el efecto potencial que esto

pueda tener el alcance del objetivo del Pp

PAE 2017 51

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 12 ldquoPrincipales Fortalezas Retos y Recomendacionesrdquo

Capacidades Internas Factores Externos

Fortalezas

(Cualquier capacidad con la que cuenta la dependencia o

entidad que le permita aprovechar sus recursos para la

obtencioacuten de sus objetivos)

Oportunidades

(Cualquier factor externo fuera del control de la dependencia o

entidad que puede ser aprovechado para la obtencioacuten de sus

objetivos)

Debilidades

(Cualquier limitante Interna de la dependencia o entidad que

puede afectar la obtencioacuten de sus objetivos)

Amenazas

(Cualquier factor externo fuera de control de la dependencia o

entidad que pueda afectar la obtencioacuten de sus objetivos)

PAE 2017 52

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacutenrdquo

El Informe Final de la Evaluacioacuten de Procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten

Superior deberaacuten contener una ficha con los siguientes datos

Ficha Teacutecnica con los datos generales de la evaluacioacuten

Nombre o denominacioacuten de la

evaluacioacuten

[Especificar el nombre de la evaluacioacuten considerando su tipo y ejercicio

evaluado]

Nombre o denominacioacuten del

programa evaluado

[Indicar el nombre del Pp sujeto a evaluacioacuten de acuerdo con lo

establecido en el PEF sentildealando su modalidad y clave]

Unidad Responsable de la operacioacuten

del programa

[Especificar la(s) unidad(es) responsable(s) de la administracioacuten

operacioacuten y ejecucioacuten de los programas subprogramas y proyectos del

Pp evaluado correspondientes a las dependencias y entidades]

Titular de la unidad responsable de la

operacioacuten del programa

[Indicar el nombre del(a) Titular de la Unidad Responsable de la

operacioacuten del Pp]

Antildeo del Programa Anual de

Evaluacioacuten (PAE) en que fue

considerada la evaluacioacuten

[Especificar el ejercicio fiscal al que corresponde el PAE en la que fue

programada la evaluacioacuten]

Antildeo de conclusioacuten y entrega de la

evaluacioacuten

[Indicar el antildeo en que se concluyoacute la evaluacioacuten]

Tipo de evaluacioacuten [Especificar el tipo de evaluacioacuten de acuerdo con los Lineamientos de

evaluacioacuten el nombre de la evaluacioacuten y con lo establecido en el PAE]

Nombre de la instancia evaluadora [Indicar el nombre de la firma consultoriacutea u organizacioacuten que realizoacute la

evaluacioacuten]

Nombre del(a) coordinador(a)

externo(a) de la evaluacioacuten

[Especificar el nombre del(a) responsable de la coordinacioacuten de la

evaluacioacuten dla instancia evaluadora]

Nombre de los(as) principales

colaboradores(as) del(a)

coordinador(a) de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del(a)

coordinador(a) de la evaluacioacuten]

PAE 2017 53

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Unidad Administrativa responsable de

la Coordinacioacuten de la evaluacioacuten

[De acuerdo con lo sentildealado en el PAE especificar la instancia a la que

corresponde la coordinacioacuten de la evaluacioacuten pej Secretariacutea de

Finanzas y Administracioacuten (SFA) asiacute como la unidad administrativa

mediante la cual se ejerce esta funcioacuten p ej Direccioacuten de Evaluacioacuten

de la SFA (DEV)

Nombre del(a) Titular de la unidad

administrativa responsable de

coordinar la evaluacioacuten (Aacuterea de

Evaluacioacuten)

[Especificar el nombre del(a) Titular de la Unidad responsable de dar

seguimiento a la evaluacioacuten que funge como Aacuterea de Evaluacioacuten]

Nombres de los(as) servidores(as)

puacuteblicos(as) adscritos(as) a la unidad

administrativa responsable de

coordinar la evaluacioacuten que

coadyuvaron con la revisioacuten teacutecnica

de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del

titular de la unidad administrativa responsable de dar seguimiento a la

evaluacioacuten respecto de la revisioacuten teacutecnica de la misma]

Forma de contratacioacuten de la instancia

evaluadora

[Indicar el tipo de contratacioacuten dla instancia evaluadora Especificar el

tipo de procedimiento de contratacioacuten de la instancia evaluadora

consistente con los tipos de adjudicacioacuten establecidos en la Ley de

Adquisiciones Arrendamientos y Servicios del Sector Puacuteblico]

Costo total de la evaluacioacuten con IVA

incluido

[Especificar el costo total de la evaluacioacuten incluyendo el IVA (en caso

de que se haya causado) como sigue $XXX IVA incluido]

Asimismo en este anexo se deberaacute incluir una nota metodoloacutegica con la descripcioacuten de las teacutecnicas

y los modelos utilizados por el evaluador externo acompantildeada del disentildeo por muestreo

especificando los supuestos empleados y las principales caracteriacutesticas del tamantildeo y dispersioacuten de

la muestra utilizada

DIRECTORIO

Rauacutel Saacutenchez Kobashi

Secretario de la Secretariacutea de Finanzas y Administracioacuten

Francisco Fidel Teomitzi Saacutenchez

Subsecretario de Planeacioacuten

Arturo Neponuceno Crisoacutestomo

Director de Evaluacioacuten

Rodolfo de la Rosa Cabrera

Subdireccioacuten de Evaluacioacuten de Programas

Sauacutel Federico Oropeza Orea

Jefe del Departamento de Programas Estatales y Municipales

Ana Luz Guzmaacuten Figueroa

Analista del Departamento de Programas Estatales y Municipales

Marco Antonio Saacutenchez Gonzaacutelez

Analista del Departamento de Programas Estatales y Municipales

Page 24: Términos de Referencia para la Evaluación del Desempeño ...evaluacion.puebla.gob.mx/pdf/metodologias/TdR_Est/2017/TdR... · Perfil de la instancia evaluadora ... acuerdo con las

PAE 2017 23

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

informes finales de las evaluaciones externas se notifica a las instancias correspondientes

sobre la conclusioacuten de las evaluaciones externas y se definen y realiza el seguimiento de los

Aspectos Susceptibles de Mejora (ASM)

A partir de los procesos definidos en el modelo anterior la instancia evaluadora deberaacute realizar una

equivalencia de los procesos subprocesos o macroprocesos identificados respecto a los definidos

en el modelo de acuerdo con el Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesosrdquo Cabe

mencionar que los procesos definidos en el modelo no son limitativos por lo que si la instancia

evaluadora identifica procesos subprocesos o macroprocesos adicionales deberaacute incluirlos

Disentildeo metodoloacutegico del trabajo de campo

A partir del contexto en que opera el Pp y el alcance y enfoque metodoloacutegico de la evaluacioacuten de

procesos la instancia evaluadora deberaacute desarrollar una propuesta de estrategia y plan de trabajo

de campo a seguir para la realizacioacuten de la evaluacioacuten asimismo deberaacute incluir un cronograma

detallado de actividades

La estrategia de trabajo de campo disentildeada por la instancia evaluadora deberaacute ser entregada a la

DEV para que en conjunto con la UR del Pp sea validada antes de su implementacioacuten Dicha

estrategia deberaacute contener al menos los siguientes elementos

Justificacioacuten de las teacutecnicas de investigacioacuten a utilizar

Muestra y los criterios utilizados para su seleccioacuten

Listado de los actores a entrevistar

Instrumentos de levantamiento de informacioacuten que se aplicaraacuten y

Cronograma con las actividades a desarrollar

La instancia evaluadora iniciaraacute las actividades del trabajo de campo de manera conjunta y una vez

recibido el visto bueno de la DEV

El disentildeo de la muestra y de los instrumentos para el levantamiento de informacioacuten en campo

deberaacute considerar a la totalidad de los actores que intervienen en la ejecucioacuten de los procesos y

subprocesos o macroprocesos que integran la operacioacuten o gestioacuten del Pp asiacute como a los

destinatarios o beneficiarios de los componentes o entregables del Pp independientemente de su

ubicacioacuten geograacutefica

Algunos criterios que puede utilizar la instancia evaluadora para definir una muestra que considere

la variabilidad de la operacioacuten en los diferentes contextos en que opera el Pp son los siguientes

PAE 2017 24

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

a) El desempentildeo operativo del Pp entre municipios regionalizacioacuten geograacutefica instituciones

puacuteblicas o privadas u otros aspectos que suponen una accioacuten diferenciada de los procesos

(cuando aplique)

b) Volumen de la operacioacuten del Pp

c) Esquemas normativos del Pp y el ejercicio presupuestal en los municipios instituciones

puacuteblicas o privadas u otros aspectos que suponen una accioacuten diferenciada de los procesos

en las que opera el Pp (cuando aplique) y

d) Formas de interaccioacuten del Pp con otros niveles u oacuterdenes de gobierno (cuando aplique)

Los criterios anteriores no son limitativos por lo que la instancia evaluadora podraacute proponer criterios

adicionales que considere pertinentes para la definicioacuten de la muestra para el trabajo de campo

En el disentildeo muestral la instancia evaluadora deberaacute sentildealar los funcionarios del Pp o destinatarios

a los que se les aplicaraacuten los instrumentos de levantamiento de informacioacuten con los que se realizaraacute

el trabajo de campo asiacute como la ubicacioacuten geograacutefica de los mismos

Instrumentos de levantamiento de informacioacuten

La instancia evaluadora deberaacute disentildear los instrumentos que utilizaraacute para el levantamiento de

informacioacuten durante el trabajo de campo como son (por ejemplo) los cuestionarios por tipo de

funcionario a entrevistar para el caso de entrevistas semiestructuradas los guiones a utilizar en la

realizacioacuten de grupos focales los cuestionarios de aplicacioacuten electroacutenica las guiacuteas respectivas entre

otros Para lo anterior deberaacute considerar los siguientes temas guiacutea y preguntas de referencia

Planeacioacuten (planeacioacuten estrateacutegica programacioacuten y presupuesto)

iquestQueacute se entiende por planeacioacuten estrateacutegica para los operadores del Pp

iquestCuaacuteles son las actividades o acciones de planeacioacuten estrateacutegica del Pp que se realizan

iquestLa planeacioacuten estrateacutegica es el resultado de un ejercicio institucionalizado que involucra a

los actores clave de la gestioacuten del Pp

iquestExiste un documento resultado de la planeacioacuten estrateacutegica iquestEs claro difundido y

accesible iquestEn queacute medida es utilizado para guiar la operacioacuten del Pp

iquestLa planeacioacuten estrateacutegica estaacute vinculada con el cumplimiento entrega o generacioacuten de los

componentes o entregables del Pp

iquestLa planeacioacuten estrateacutegica establece indicadores para medir los avances en las metas

establecidas iquestLas metas son factibles y estaacuten orientadas a impulsar el desempentildeo del Pp

PAE 2017 25

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

iquestQueacute se entiende por planeacioacuten operativa y cuaacuteles son las diferencias con la planeacioacuten

estrateacutegica

Comunicacioacuten interna y externa del Pp (las preguntas que apliquen)

iquestQueacute actores intervienen en la comunicacioacuten del Pp

iquestExiste una estrategia de comunicacioacuten del Pp documentada En caso afirmativo describirla

iquestLa estrategia de comunicacioacuten del Pp (documentada o no) es adecuada

iquestLos medios utilizados el lenguaje y el contenido de los mensajes son pertinentes en funcioacuten

del puacuteblico al que van dirigidos

Solicitud de los componentes o entregables del Pp (las preguntas que apliquen)

iquestExiste un proceso claro imparcial y expliacutecito por medio del cual la poblacioacuten o aacuterea de

enfoque potencial puede solicitar los componentes o entregables que otorga el Pp

iquestLos requisitos para solicitar los componentes o entregables del Pp se presentan de manera

clara y completa

iquestLos puntos de recepcioacuten de solicitudes son accesibles y suficientes (cuando aplique)

iquestExisten mecanismos estandarizados para recibir y revisar la documentacioacuten entregada asiacute

como registrar y dar traacutemite a las solicitudes (cuando aplique)

iquestSon adecuados estos mecanismos (cuando aplique) En caso de que el Pp que apoye la

realizacioacuten de proyectos iquestse brinda asesoriacutea para la presentacioacuten de los mismos de ser asiacute

iquestes pertinente esta asesoriacutea

iquestEl proceso de solicitud de los componentes o entregables que otorga el Pp se encuentra

automatizado total o parcialmente

Para esta pregunta considerar los estados de digitalizacioacuten utilizados por la Comisioacuten Intersecretarial

para el Desarrollo del Gobierno electroacutenico seguacuten una adaptacioacuten realizada a la clasificacioacuten que

hace la ONU

Estado de digitalizacioacuten 1 traacutemites y servicios que se encuentran en estado informativo

Estado de digitalizacioacuten 2 traacutemites y servicios que cuentan con interfaces de comunicacioacuten

unidireccional

Estado de digitalizacioacuten 3 traacutemites y servicios que permiten realizar transacciones y

Estado de digitalizacioacuten 4 traacutemites y servicios que el usuario puede ejecutar de principio a

fin por medio de dispositivos digitales

PAE 2017 26

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para mayor informacioacuten referirse a ldquoFigure A4 The four stages of online service developmentrdquo en

los siguientes documentos

Lineamientos relativos a la digitalizacioacuten estandarizada de traacutemites y servicios con apego en

la Estrategia Digital Nacional

httpwwwgobmxcmsuploadsattachmentfile67232ti_1_pgcm_bases_lineam_tyspdf

United Nations E-Government Survey 2014 (paacutegina 195)

httpspublicadministrationunorgegovkbportalsegovkbdocumentsun2014-surveye-

gov_complete_survey-2014pdf

Seleccioacuten de destinatarios (cuando aplique)

iquestExiste una metodologiacutea o meacutetodo para la seleccioacuten de destinatarios o beneficiarios de los

componentes o entregables del Pp iquestLa metodologiacutea utilizada cuenta con criterios de

seleccioacuten y elegibilidad claros estandarizados y sistematizados

iquestLa seleccioacuten de destinatarios o beneficiarios de los componentes o entregables del Pp es un

proceso transparente e imparcial iquestEl resultado de la seleccioacuten es puacuteblico (cuando aplique)

iquestExiste informacioacuten en una base de datos que permita conocer quieacutenes o queacute instancias

reciben los componentes o entregables del Pp iquestQueacute informacioacuten integra esta base de datos

iquestExisten mecanismos para validar y actualizar esta base de datos iquestEstos mecanismos son

pertinentes

Produccioacuten de componentes o entregables

iquestSe cuenta con los insumos suficientes para generar el volumen de componentes o

entregables que permitan al Pp atender a su poblacioacuten o aacuterea de enfoque objetivo

iquestEl Pp tiene mecanismos para estimar la produccioacuten o generacioacuten necesaria de componentes

o entregables de acuerdo con la posible demanda o requerimientos de su poblacioacuten o aacuterea

de enfoque objetivo iquestEs adecuado este mecanismo

iquestExisten mecanismos de control de calidad para la generacioacuten de los componentes o

entregables del Pp iquestEstos mecanismos son pertinentes

iquestLas actividades de generacioacuten de componentes o entregables que otorga el Pp estaacuten

estandarizadas es decir son ejecutadas de manera homogeacutenea por todas las instancias

involucradas

PAE 2017 27

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Entrega

iquestLos componentes o entregables del Pp son proporcionados conforme a las especificaciones

y de manera oportuna a los destinatarios

iquestExisten especificaciones (programas o planes de trabajo) sobre la forma en que se deben

trasladar los componentes o entregables para (por ejemplo) asegurar su adecuada recepcioacuten

en el punto de destino iquestSon adecuadas estas especificaciones respecto a normas o

lineamientos existentes (cuando aplique)

iquestLa logiacutestica de distribucioacuten se actualiza (cuando aplique) iquestExiste un periodo para dicha

actualizacioacuten iquestEn el disentildeo y actualizacioacuten de la logiacutestica se toman en cuenta los factores

geograacuteficos y climatoloacutegicos en cada regioacuten donde opera el Pp (cuando aplique)

iquestLos puntos de entrega de los componentes o entregables son cercanos a los beneficiarios

o aacuterea de enfoque a atender y son de faacutecil acceso iquestSe considera que son suficientes iquestPor

queacute

Control (las preguntas que apliquen)

iquestEl Pp cuenta con los mecanismos para verificar que los componentes o entregables se

otorguen de acuerdo con lo establecido en la normativa especiacutefica y lleguen a la poblacioacuten

o aacuterea de enfoque que deba ser beneficiada iquestEstos mecanismos son adecuados

iquestExiste de manera sistematizada un documento que deacute cuenta de los resultados de

supervisioacuten y entrega de componentes o entregables iquestEste documento es adecuado iquestLos

resultados se utilizan para implementar mejoras en la operacioacuten del Pp

iquestExisten procedimientos estandarizados que verifiquen el cumplimiento de la

corresponsabilidad u obligatoriedad por parte de los beneficiarios o destinatarios de los

componentes o entregables del Pp (cuando aplique)

Seguimiento a destinatarios

iquestEl Pp tiene mecanismos para verificar el procedimiento de seguimiento a los destinatarios o

beneficiarios que permitan identificar si los componentes o entregables generados son

utilizados de acuerdo con lo establecido iquestCoacutemo se implementa el mecanismo iquestEste

mecanismo es adecuado

iquestExisten procedimientos estandarizados que permitan verificar el cumplimiento de la

corresponsabilidad u obligatoriedad por parte del destinatario o beneficiario (cuando

aplique)

PAE 2017 28

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

En caso de que los componentes o entregables involucren la ejecucioacuten de obra o de

infraestructura iquestel Pp cuenta con un mecanismo de seguimiento o supervisioacuten que permita

identificar si se realizaron acorde a la normativa aplicable iquestEl seguimiento o supervisioacuten

considera plazos para la revisioacuten de las condiciones de la obra o la infraestructura despueacutes

de terminada la obra

iquestEl Pp tiene mecanismos para identificar si se cumple con su Propoacutesito iquestSon suficientes y

pertinentes estos mecanismos

iquestExisten mecanismos para conocer la satisfaccioacuten del destinatario o beneficiario de los

componentes o entregables del Pp respecto de los componentes que ofrece el Pp iquestSon

adecuados estos mecanismos iquestSu operacioacuten permite una aplicacioacuten imparcial y objetiva

iquestExiste evidencia para afirmar que las quejas y sugerencias que brindan los destinatarios o

beneficiarios de los componentes o entregables del Pp son utilizadas para la mejora continua

del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

En esta seccioacuten se deberaacute realizar la medicioacuten de los atributos de eficacia oportunidad suficiencia

y pertinencia de los procesos y subprocesos o macroprocesos definidos en el mapa de procesos del

Pp A continuacioacuten se definen los atributos en el marco de la evaluacioacuten de procesos

Eficacia un proceso es eficaz en la medida en que cumple con sus metas

Oportunidad un proceso es oportuno en la medida en que otorga sus productos

(componentes o entregables) o resultados en un periodo de tiempo determinado o

adecuado para el logro de sus objetivos

Suficiencia un proceso es suficiente en la medida en que produce sus resultados de forma

completa o adecuada para el logro de sus objetivos

Pertinencia un proceso es pertinente si sus actividades y productos son adecuados para

lograr tanto sus metas especiacuteficas como sus objetivos es decir si contribuyen al

mejoramiento de la gestioacuten del Pp4

4 Las actividades son adecuadas si estaacuten en funcioacuten del logro del objetivo de cada proceso Por ejemplo si se verifica que el formato de los mensajes a difundir cumpla con las caracteriacutesticas necesarias para llegar a la poblacioacuten o aacuterea de enfoque objetivo como seriacutea una mensaje de audio en la lengua indiacutegena de la localidad donde se encuentran los posibles destinatarios o beneficiarios o bien como seriacutea un mensaje dirigido a personal operativo del Pp cuyo nivel de estudios promedio pudiera complicar la comprensioacuten de lenguaje teacutecnico utilizado

PAE 2017 29

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para la medicioacuten de los atributos de los procesos y subprocesos o macroprocesos del Pp deberaacute

realizarse una revisioacuten documental (normativa aplicable MIR evaluaciones externas sistemas de

informacioacuten y registros administrativos entre otros) misma que deberaacute complementarse con el

trabajo de campo con el objetivo de identificar disentildear y calcular indicadores relacionados con

dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de informacioacuten empleadas

La informacioacuten obtenida de estos indicadores deberaacute vaciarse en fichas propuestas por la instancia

evaluadora presentadas como en el Anexo 6 ldquoFichas de indicadores de atributos de los procesos del

Pprdquo (formato libre) Estas fichas deberaacuten considerar la medicioacuten de los atributos de eficacia

suficiencia oportunidad y pertinencia correspondientes a cada proceso y subproceso o

macroproceso

Valoracioacuten de los procesos y subprocesos de la operacioacuten del Pp

Deberaacute contener una siacutentesis de los resultados encontrados en la Evaluacioacuten de Procesos del Pp

resaltando los hallazgos maacutes relevantes que se hayan detectado y que pudiesen transformarse en

ASM

La instancia evaluadora deberaacute calcular una valoracioacuten global cuantitativa sobre la operacioacuten y la

ejecucioacuten de los procesos y subprocesos o macroprocesos del Pp a partir del siguiente esquema de

puntuacioacuten5

Eficacia

- Todos los procesos (o macroprocesos) son eficaces = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es eficaz = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es eficaz = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es eficaz = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es eficaz = 1 punto

- Ninguno de los procesos (o macroprocesos) es eficaz = 0 puntos

Oportunidad

- Todos los procesos (o macroprocesos) son oportunos = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es oportuno = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es oportuno = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es oportuno = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es oportuno = 1 punto

5 La valoracioacuten cuantitativa deberaacute estar sustentada y por tanto ser consistente con lo valorado por la instancia evaluadora en el apartado de ldquoMedicioacuten de atributos de los procesos y subprocesosrdquo

PAE 2017 30

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

- Ninguno de los procesos (o macroprocesos) es oportuno = 0 puntos

Suficiencia

- Todos los procesos (o macroprocesos) son suficientes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es suficiente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es suficiente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es suficiente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es suficiente = 1 punto

- Ninguno de los procesos (o macroprocesos) es suficiente = 0 puntos

Pertinencia

- Todos los procesos (o macroprocesos) son pertinentes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es pertinente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es pertinente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es pertinente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es pertinente = 1 punto

- Ninguno de los procesos (o macroprocesos) es pertinente = 0 puntos

A partir de los puntajes asignados en los cuatro atributos anteriores esta valoracioacuten cuantitativa

global debe considerar el total de puntos posibles de obtener (5 x 4 = 20 puntos) y los puntos

obtenidos en la Evaluacioacuten de Procesos Pp (lsquoyrsquo puntos) de modo que se indique el porcentaje de

puntos obtenidos del total de puntos posibles [(lsquoyrsquo20) x 100] = valoracioacuten cuantitativa global de la

operacioacuten del Pp

La instancia evaluadora deberaacute utilizar el Anexo 9 ldquoValoracioacuten global cuantitativardquo para documentar

argumentar y sustentar cada una de las valoraciones cuantitativas sobre la operacioacuten y la ejecucioacuten

de los procesos (o macroprocesos) del Pp

Adicionalmente en este apartado se deberaacuten integrar las recomendaciones y conclusiones que se

consideren maacutes relevantes de los procesos y subprocesos o macroprocesos del Pp las cuales deben

formularse con base en los hallazgos del trabajo de campo y de gabinete El objetivo final de las

recomendaciones es proveer informacioacuten valiosa a los operadores del Pp para realizar adecuaciones

en la ejecucioacuten de los procesos y subprocesos o macroprocesos de modo que se potencie la

consecucioacuten de resultados del Pp

Las recomendaciones que se formulen como resultado de la Evaluacioacuten de Procesos del Pp deberaacuten

tener las siguientes caracteriacutesticas

Derivarse de los hallazgos de la evaluacioacuten

PAE 2017 31

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Ser concretas y factibles

Incluir un proyecto de implementacioacuten que considere los siguientes elementos

- Breve anaacutelisis de la viabilidad o factibilidad de la implementacioacuten

- Principales responsables de la implementacioacuten

- Anaacutelisis de los efectos potenciales que puede implicar la implementacioacuten tanto en la

operacioacuten del Pp como en el logro de sus objetivos

- La comparacioacuten entre la situacioacuten actual y el resultado que se espera obtener con la

implementacioacuten de la recomendacioacuten

Estar categorizadas en dos liacuteneas de accioacuten estrateacutegicas

- Consolidacioacuten

- Reingenieriacutea de procesos o subprocesos

Al respecto la instancia evaluadora debe entender por consolidacioacuten aquellas recomendaciones que

estaacuten dirigidas a perfeccionar determinados aspectos de la operacioacuten como seriacutean algunas acciones

procedimientos o estrategias del Pp asiacute como iniciativas para el fortalecimiento de los sistemas

automatizados infraestructura entre otros

Por reingenieriacutea de procesos o subprocesos se entenderaacuten aquellas recomendaciones que apuntan

a una transformacioacuten o modificacioacuten profunda o sustancial de uno o varios de los procesos y

subprocesos del Pp Para ello se deberaacute llenar el Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de

Procesos del Pprdquo y que a su vez deben derivar en acciones de consolidacioacuten para la implementacioacuten

de los procesos transformados

Adicionalmente y de conformidad con el alcance de la Evaluacioacuten de Procesos del Pp se deberaacute

presentar una propuesta para crear o fortalecer el sistema de monitoreo de gestioacuten del Pp con

indicadores a nivel de procesos y subprocesos o macroprocesos

Asimismo a partir de todo el anaacutelisis y valoraciones realizadas se deberaacute emitir un pronunciamiento

acerca de la percepcioacuten de eficiencia que la instancia evaluadora haya tenido sobre la ejecucioacuten de

los procesos y subprocesos o macroprocesos del Pp

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible o si no hipoteacuteticos en un anexo de formato libre Anexo 10 ldquoSistema de

monitoreo e indicadores de gestioacuten del Pprdquo

PAE 2017 32

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Bitaacutecora de trabajo de campo y bases de datos

La instancia evaluadora deberaacute entregar una bitaacutecora de trabajo de campo que destaque de forma

sinteacutetica entre otros puntos las principales actividades y situaciones a las que se enfrentoacute y que

podriacutean afectar los resultados de la Evaluacioacuten de Procesos del Pp

Asimismo deberaacute entregar las bases de datos generadas a partir de la aplicacioacuten de los instrumentos

de recoleccioacuten de informacioacuten y de la recopilacioacuten de informacioacuten en el trabajo de campo Las bases

de datos deberaacuten entregarse en formatos compatibles con Excel debiendo mantener la

confidencialidad de los entrevistados pero sin alterar la informacioacuten proporcionada por estos En las

bases de datos debe estar sistematizada toda la informacioacuten recabada a partir de la aplicacioacuten de

los instrumentos de levantamiento de informacioacuten y deberaacute sustentar el anaacutelisis las valoraciones los

hallazgos y las conclusiones de la evaluacioacuten

PAE 2017 33

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Contenido del informe

Contenido miacutenimo del informe final de la evaluacioacuten

Derivado del contenido generado en las secciones anteriores deberaacuten elaborarse los siguientes

apartados en el informe final de la Evaluacioacuten de Procesos del Pp

i Introduccioacuten

ii Resumen Ejecutivo

iii Marco Legal

iv Datos Generales del Programa Presupuestario (Pp)

v Criterios Teacutecnicos para la Evaluacioacuten del Programa Presupuestario correspondiente

vi Apartados de la evaluacioacuten

Seccioacuten 1 Disentildeo

Diagnoacutestico del programa puacuteblico

Matriz de Indicadores para Resultados (MIR)

Seccioacuten 2 Procesos

Pertinencia de los proceso

Diagnoacutestico general de los procesos y subprocesos del Pp

- Contexto en que opera el Pp

- Diagnoacutestico inicial de los procesos y subprocesos

Descripcioacuten y valoracioacuten de los procesos y subprocesos del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

vii Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

viii Valoracioacuten final del Pp

ix Hallazgos

x Recomendaciones clasificadas por apartado

xi Conclusiones

xii Bibliografiacutea

xiii Anexos

Anexo 1 Descripcioacuten General del Programa

Anexo 2 Metodologiacutea para la cuantificacioacuten de las poblaciones potencial y objetivo

(Formato Libre)

Anexo 3 Evolucioacuten de la Cobertura

Anexo 4 Propuesta de mejora de la Matriz de Indicadores para Resultados

Anexo 5 Ficha de identificacioacuten y equivalencia de procesos del Pp

PAE 2017 34

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 Fichas de indicadores de atributos de los procesos del Pp (Formato libre)

Anexo 7 Diagramas de flujo de la operacioacuten del Pp

Anexo 8 Propuesta de modificacioacuten a los documentos normativos o institucionales

del Pp

Anexo 9 Valoracioacuten global cuantitativardquo

Anexo 10 Sistema de monitoreo e indicadores de gestioacuten del Pp (Formato libre)

Anexo 11 Recomendaciones de la Evaluacioacuten de Procesos del Pp

Anexo 12 Principales Fortalezas Retos y Recomendaciones

Anexo 13 Ficha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacuten

En el Resumen Ejecutivo asimismo se describiraacuten los principales hallazgos y recomendaciones del

evaluador externo

Para el desarrollo de los apartados antes referidos deberaacute atender las indicaciones que se desarrollan

en las siguientes secciones

Hallazgos y resultados Pp por Seccioacuten

Se debe realizar una valoracioacuten general del programa por seccioacuten utilizando las respuestas que

integran cada uno de los apartados En esta valoracioacuten integral se deberaacute sentildealar en queacute medida la

gestioacuten operativa conduce al logro de los objetivos del Pp

Asimismo se deben sentildealar las aacutereas de mejora las buenas praacutecticas y las fortalezas detectadas en

la operacioacuten del Pp y a partir de ello la instancia evaluadora emitiraacute recomendaciones de mejora

sobre aspectos especiacuteficos de cada proceso y subproceso o macroproceso del Pp Adicionalmente

se deberaacuten identificar los problemas o limitantes tanto normativos como operativos (ldquocuellos de

botellardquo) de coordinacioacuten entre unidades administrativas y otros que hubiese en los procesos y

subprocesos o macroprocesos del Pp entendieacutendose como aquellas praacutecticas procedimientos

actividades o traacutemites que obstaculizan la operacioacuten del Pp

En este sentido se deberaacuten identificar las situaciones en las que la normativa genere complicaciones

en la gestioacuten o ineficacia en el cumplimiento de los objetivos del Pp para lo cual se deberaacute presentar

(por cada situacioacuten identificada) una propuesta de modificacioacuten a la normativa aplicable al Pp

considerando las restricciones praacutecticas que existan para su implementacioacuten asiacute como los efectos

PAE 2017 35

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

potenciales de ser implementada Los resultados de este anaacutelisis deberaacuten describirse en el Anexo 7

ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales del Pprdquo

Para la identificacioacuten y descripcioacuten de los ldquocuellos de botellardquo buenas praacutecticas y fortalezas del Pp

se consideraraacute la informacioacuten derivada del anaacutelisis de la operacioacuten del Pp asiacute como los puntos de

vista de los principales actores que intervienen en ella Este anaacutelisis deberaacute contener las causas y las

consecuencias de los ldquocuellos de botellardquo detectados sus caracteriacutesticas y naturaleza (si son

normativas o estrictamente operativas) de igual manera se deberaacute desarrollar un anaacutelisis de las

buenas praacutecticas identificadas

Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

Se debe integrar en una sola tabla las fortalezas oportunidades debilidades y amenazas

especificadas por cada apartado de la evaluacioacuten y reportarlas en el Anexo 11 ldquoPrincipales Fortalezas

Retos y Recomendacionesrdquo en el que se deben incluir las fortalezas yo oportunidades las

debilidades yo amenazas y las recomendaciones por apartado de la evaluacioacuten

PAE 2017 36

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexos

Anexo 1 ldquoDescripcioacuten General del Programardquo

El Anexo tiene formato libre sin embargo debe contener una breve descripcioacuten de las caracteriacutesticas

maacutes relevantes del Pp en un maacuteximo de dos cuartillas Dicha descripcioacuten debe considerar los

siguientes aspectos

1 Identificacioacuten del programa

11 Nombre

12 Clave de programa

13 Dependencia yo Entidad coordinadora ejecutora

14 Antildeo de inicio de operacioacuten

2 Problema o necesidad que el Pp pretende atender atenuar o resolver

3 La contribucioacuten del Pp a las Metas y objetivos estatales a los que se vincula

4 Descripcioacuten de los objetivos del Pp asiacute como de los bienes yo servicios que ofrece

(componentes)

5 Identificacioacuten y cuantificacioacuten de la poblacioacuten o aacuterea de enfoque potencial y

objetivo

6 Presupuesto aprobado para el ejercicio fiscal en curso

7 Metas de los indicadores de Fin Propoacutesito y Componentes asiacute como los de nivel

actividad que se consideren relevantes y

8 Resumen de la valoracioacuten de la pertinencia del disentildeo del Pp respecto a la atencioacuten

del problema o necesidad

Anexo 2 ldquoMetodologiacutea para la cuantificacioacuten de la poblacioacuten o aacuterea de enfoque

potencial y objetivordquo

El Anexo tiene formato libre sin embargo se debe incluir la siguiente informacioacuten

Definicioacuten de la poblacioacuten o aacuterea de enfoque potencial objetivo y atendida

Cuantificacioacuten de la poblacioacuten potencial objetiva y atendida

Hallazgos sobre el procedimiento llevado a cabo para definir y cuantificar la poblacioacuten o

aacuterea de enfoque potencial objetivo y atendida

Recomendaciones

Propuesta orientada hacia la mejora

PAE 2017 37

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 3 ldquoEvolucioacuten de la Coberturardquo

Nombre del

Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten

Antildeo de la Evaluacioacuten

Tipo de Poblacioacuten

Unidad

de

Medida

2012 2013 2014 2015 2016

P Potencial

P Objetivo

P Atendida

119927119912 times 120783120782120782

119927119926

PAE 2017 38

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 4 ldquoPropuesta de mejora de la Matriz de Indicadores para Resultadosrdquo

Derivado del anaacutelisis y valoracioacuten de la pregunta de investigacioacuten nuacutemero 3 iquestLa estructura de

objetivos planteada por el programa mantiene loacutegica y correspondencia causal con el problema

planteado en el diagnoacutestico se realizaraacute una propuesta de mejora de MIR

Fin

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Propoacutesito

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Componente 1

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

PAE 2017 39

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Componente 2 hellip

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 40

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesos del Pprdquo

Para la identificacioacuten y clasificacioacuten de los procesos del Pp se sugieren los siguientes pasos

1 Listar los procesos identificados

Comparar los procesos identificados del Pp con aquellos correspondientes al Modelo general de

procesos Colocar en el rengloacuten correspondiente el nombre de cada proceso del Pp identificado

como equivalente

2 Colocar al final de la lista aquellos procesos del Pp que no sean equivalentes con el Modelo

general de procesos

Modelo general de

procesos

Nuacutemero

de

secuencia

Procesos o subprocesos del Pp identificados por el

evaluador

(Nombre y breve descripcioacuten)

Planeacioacuten Ejemplo (Ej) Planeacioacuten Estrateacutegica

Ej Programacioacuten

Ej Presupuestacioacuten

Comunicacioacuten interna y

externa

Ej Difusioacuten Federal

Ej Difusioacuten Local

Seleccioacuten de

destinatarios

Ej Recepcioacuten de solicitudes de becas

Ej Seleccioacuten de becarios

Produccioacuten de

entregables

Entrega

Control

Seguimiento Ej Seguimiento fiacutesico y supervisioacuten en campo

Evaluacioacuten externa Ej Publicacioacuten y lectura del PAE

Ej Definicioacuten de TdR

Ej Contratacioacuten

Ej Ejecucioacuten de la evaluacioacuten externa

Monitoreo Ej Registro de avances de indicadores

Ej Revisioacuten de registros

Ej Validacioacuten de registros e integracioacuten de informes

PAE 2017 41

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Procesos identificados por el evaluador que no coinciden con el Modelo general de procesos

PAE 2017 42

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 ldquoFichas de indicadores de atributos de los procesos del Pp (formato libre)rdquo

Para la construccioacuten de este anexo deberaacute realizarse una revisioacuten documental (normativa aplicable

MIR evaluaciones externas sistemas de informacioacuten y registros administrativos entre otros) misma

que deberaacute complementarse con el trabajo de campo con el objetivo de identificar disentildear y calcular

indicadores relacionados con dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de

informacioacuten empleadas

Ademaacutes de considerar la medicioacuten de los atributos de eficacia suficiencia oportunidad y pertinencia

de cada proceso y subproceso o macroproceso

PAE 2017 43

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 7 ldquoDiagramas de flujo de la operacioacuten del Pprdquo

Para la elaboracioacuten de los diagramas de flujo deberaacute utilizarse la notacioacuten empleada en el

documento ldquoGuiacutea para la Optimizacioacuten Estandarizacioacuten y Mejora Continua de Procesosrdquo publicada

por la SFP en la direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Para el Diagrama de Alto Nivel (Diagrama PEPSU)

Ejemplo ilustrativo

PAE 2017 44

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para el Diagrama de Flujo

PAE 2017 45

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

PAE 2017 46

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 8 ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales

del Pprdquo

Tipo de

norma-

tiva

Dice

Problema

generado

(causas y

consecuencias)

Se

recomienda

decir

Efecto esperado de

aplicar la

recomendacioacuten de

cambio

Restricciones praacutecticas

que puedan existir para

su implementacioacuten

PAE 2017 47

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 9 ldquoValoracioacuten global cuantitativa ldquo

Seccioacuten 1 Disentildeo

Disentildeo Valoracioacuten Argumento o justificacioacuten

Porcentaje del

Disentildeo del Pp

(Suma de valoracioacuten alcanzada por pregunta de la seccioacuten 1 Total maacuteximo de la

valoracioacuten de todas las preguntas de la seccioacuten 1 ) x 100

Seccioacuten 2 Procesos

Proceso Eficacia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

eficaces

(Total de procesos eficaces Total de procesos del Pp) x 100

Proceso Oportunidad

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

oportunos

(Total de procesos oportunos Total de procesos del Pp) x 100

Proceso Suficiencia

(SiacuteNo) Argumento o justificacioacuten

PAE 2017 48

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Porcentaje de

procesos

suficientes

(Total de procesos suficientes Total de procesos del Pp) x 100

Proceso Pertinencia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

pertinentes

(Total de procesos pertinentes Total de procesos del Pp) x 100

NOTA Los argumentos y justificaciones del evaluador deberaacuten considerar el anaacutelisis y valoraciones de

los subprocesos de cada proceso de modo que haya consistencia entre estos elementos Asimismo el

evaluador deberaacute expresar los resultados de la valoracioacuten cuantitativa en una graacutefica tipo radial

PAE 2017 49

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 10 ldquoSistema de monitoreo e indicadores de gestioacuten del Pp (formato libre)rdquo

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible

Nombre del Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten De Procesos

Antildeo de la Evaluacioacuten 2017

Fin Justificacioacuten Propoacutesito Justificacioacuten Componente (s) Justificacioacuten

Nombre de

Indicador

Meacutetodo de Caacutelculo

Claro SiacuteNo SiacuteNo SiacuteNo

Relevante SiacuteNo SiacuteNo SiacuteNo

Econoacutemico SiacuteNo SiacuteNo SiacuteNo

Monitoreable SiacuteNo SiacuteNo SiacuteNo

Adecuado SiacuteNo SiacuteNo SiacuteNo

Definicioacuten SiacuteNo SiacuteNo SiacuteNo

Unidad de Medida SiacuteNo SiacuteNo SiacuteNo

Frecuencia de

Medicioacuten

SiacuteNo SiacuteNo SiacuteNo

Liacutenea Base SiacuteNo SiacuteNo SiacuteNo

Metas SiacuteNo SiacuteNo SiacuteNo

Comportamiento

del Indicador

SiacuteNo SiacuteNo SiacuteNo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 50

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de Procesos del Pprdquo

En este Anexo la instancia evaluadora debe valorar si la recomendacioacuten implica una consolidacioacuten o

una reingenieriacutea del proceso

A) Consolidacioacuten

Proceso Recomendaci

oacuten

Breve

anaacutelisis de

viabilidad de

la

implementa-

cioacuten

Principales

responsables

de la

implementaci

oacuten

Situacioacuten

actual

Efectos

potenciales

esperados

Medio de

verifica-

cioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

B) Reingenieriacutea de procesos

Proceso Objetivo

Breve

anaacutelisis de

viabilidad

de la

implemen-

tacioacuten

Principales

responsables

de la

implemen-

tacioacuten

Situa-

cioacuten

actual

Metas y

efectos

potenciale

s

esperados

Elabora-

cioacuten de

flujogram

a del

nuevo

proceso

Medio

de

verifi-

cacioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

NOTA El nivel de priorizacioacuten Alto Medio o Bajo se estimaraacute considerando la mejora en la operacioacuten

del Pp la viabilidad de la implementacioacuten de la recomendacioacuten asiacute como el efecto potencial que esto

pueda tener el alcance del objetivo del Pp

PAE 2017 51

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 12 ldquoPrincipales Fortalezas Retos y Recomendacionesrdquo

Capacidades Internas Factores Externos

Fortalezas

(Cualquier capacidad con la que cuenta la dependencia o

entidad que le permita aprovechar sus recursos para la

obtencioacuten de sus objetivos)

Oportunidades

(Cualquier factor externo fuera del control de la dependencia o

entidad que puede ser aprovechado para la obtencioacuten de sus

objetivos)

Debilidades

(Cualquier limitante Interna de la dependencia o entidad que

puede afectar la obtencioacuten de sus objetivos)

Amenazas

(Cualquier factor externo fuera de control de la dependencia o

entidad que pueda afectar la obtencioacuten de sus objetivos)

PAE 2017 52

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacutenrdquo

El Informe Final de la Evaluacioacuten de Procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten

Superior deberaacuten contener una ficha con los siguientes datos

Ficha Teacutecnica con los datos generales de la evaluacioacuten

Nombre o denominacioacuten de la

evaluacioacuten

[Especificar el nombre de la evaluacioacuten considerando su tipo y ejercicio

evaluado]

Nombre o denominacioacuten del

programa evaluado

[Indicar el nombre del Pp sujeto a evaluacioacuten de acuerdo con lo

establecido en el PEF sentildealando su modalidad y clave]

Unidad Responsable de la operacioacuten

del programa

[Especificar la(s) unidad(es) responsable(s) de la administracioacuten

operacioacuten y ejecucioacuten de los programas subprogramas y proyectos del

Pp evaluado correspondientes a las dependencias y entidades]

Titular de la unidad responsable de la

operacioacuten del programa

[Indicar el nombre del(a) Titular de la Unidad Responsable de la

operacioacuten del Pp]

Antildeo del Programa Anual de

Evaluacioacuten (PAE) en que fue

considerada la evaluacioacuten

[Especificar el ejercicio fiscal al que corresponde el PAE en la que fue

programada la evaluacioacuten]

Antildeo de conclusioacuten y entrega de la

evaluacioacuten

[Indicar el antildeo en que se concluyoacute la evaluacioacuten]

Tipo de evaluacioacuten [Especificar el tipo de evaluacioacuten de acuerdo con los Lineamientos de

evaluacioacuten el nombre de la evaluacioacuten y con lo establecido en el PAE]

Nombre de la instancia evaluadora [Indicar el nombre de la firma consultoriacutea u organizacioacuten que realizoacute la

evaluacioacuten]

Nombre del(a) coordinador(a)

externo(a) de la evaluacioacuten

[Especificar el nombre del(a) responsable de la coordinacioacuten de la

evaluacioacuten dla instancia evaluadora]

Nombre de los(as) principales

colaboradores(as) del(a)

coordinador(a) de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del(a)

coordinador(a) de la evaluacioacuten]

PAE 2017 53

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Unidad Administrativa responsable de

la Coordinacioacuten de la evaluacioacuten

[De acuerdo con lo sentildealado en el PAE especificar la instancia a la que

corresponde la coordinacioacuten de la evaluacioacuten pej Secretariacutea de

Finanzas y Administracioacuten (SFA) asiacute como la unidad administrativa

mediante la cual se ejerce esta funcioacuten p ej Direccioacuten de Evaluacioacuten

de la SFA (DEV)

Nombre del(a) Titular de la unidad

administrativa responsable de

coordinar la evaluacioacuten (Aacuterea de

Evaluacioacuten)

[Especificar el nombre del(a) Titular de la Unidad responsable de dar

seguimiento a la evaluacioacuten que funge como Aacuterea de Evaluacioacuten]

Nombres de los(as) servidores(as)

puacuteblicos(as) adscritos(as) a la unidad

administrativa responsable de

coordinar la evaluacioacuten que

coadyuvaron con la revisioacuten teacutecnica

de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del

titular de la unidad administrativa responsable de dar seguimiento a la

evaluacioacuten respecto de la revisioacuten teacutecnica de la misma]

Forma de contratacioacuten de la instancia

evaluadora

[Indicar el tipo de contratacioacuten dla instancia evaluadora Especificar el

tipo de procedimiento de contratacioacuten de la instancia evaluadora

consistente con los tipos de adjudicacioacuten establecidos en la Ley de

Adquisiciones Arrendamientos y Servicios del Sector Puacuteblico]

Costo total de la evaluacioacuten con IVA

incluido

[Especificar el costo total de la evaluacioacuten incluyendo el IVA (en caso

de que se haya causado) como sigue $XXX IVA incluido]

Asimismo en este anexo se deberaacute incluir una nota metodoloacutegica con la descripcioacuten de las teacutecnicas

y los modelos utilizados por el evaluador externo acompantildeada del disentildeo por muestreo

especificando los supuestos empleados y las principales caracteriacutesticas del tamantildeo y dispersioacuten de

la muestra utilizada

DIRECTORIO

Rauacutel Saacutenchez Kobashi

Secretario de la Secretariacutea de Finanzas y Administracioacuten

Francisco Fidel Teomitzi Saacutenchez

Subsecretario de Planeacioacuten

Arturo Neponuceno Crisoacutestomo

Director de Evaluacioacuten

Rodolfo de la Rosa Cabrera

Subdireccioacuten de Evaluacioacuten de Programas

Sauacutel Federico Oropeza Orea

Jefe del Departamento de Programas Estatales y Municipales

Ana Luz Guzmaacuten Figueroa

Analista del Departamento de Programas Estatales y Municipales

Marco Antonio Saacutenchez Gonzaacutelez

Analista del Departamento de Programas Estatales y Municipales

Page 25: Términos de Referencia para la Evaluación del Desempeño ...evaluacion.puebla.gob.mx/pdf/metodologias/TdR_Est/2017/TdR... · Perfil de la instancia evaluadora ... acuerdo con las

PAE 2017 24

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

a) El desempentildeo operativo del Pp entre municipios regionalizacioacuten geograacutefica instituciones

puacuteblicas o privadas u otros aspectos que suponen una accioacuten diferenciada de los procesos

(cuando aplique)

b) Volumen de la operacioacuten del Pp

c) Esquemas normativos del Pp y el ejercicio presupuestal en los municipios instituciones

puacuteblicas o privadas u otros aspectos que suponen una accioacuten diferenciada de los procesos

en las que opera el Pp (cuando aplique) y

d) Formas de interaccioacuten del Pp con otros niveles u oacuterdenes de gobierno (cuando aplique)

Los criterios anteriores no son limitativos por lo que la instancia evaluadora podraacute proponer criterios

adicionales que considere pertinentes para la definicioacuten de la muestra para el trabajo de campo

En el disentildeo muestral la instancia evaluadora deberaacute sentildealar los funcionarios del Pp o destinatarios

a los que se les aplicaraacuten los instrumentos de levantamiento de informacioacuten con los que se realizaraacute

el trabajo de campo asiacute como la ubicacioacuten geograacutefica de los mismos

Instrumentos de levantamiento de informacioacuten

La instancia evaluadora deberaacute disentildear los instrumentos que utilizaraacute para el levantamiento de

informacioacuten durante el trabajo de campo como son (por ejemplo) los cuestionarios por tipo de

funcionario a entrevistar para el caso de entrevistas semiestructuradas los guiones a utilizar en la

realizacioacuten de grupos focales los cuestionarios de aplicacioacuten electroacutenica las guiacuteas respectivas entre

otros Para lo anterior deberaacute considerar los siguientes temas guiacutea y preguntas de referencia

Planeacioacuten (planeacioacuten estrateacutegica programacioacuten y presupuesto)

iquestQueacute se entiende por planeacioacuten estrateacutegica para los operadores del Pp

iquestCuaacuteles son las actividades o acciones de planeacioacuten estrateacutegica del Pp que se realizan

iquestLa planeacioacuten estrateacutegica es el resultado de un ejercicio institucionalizado que involucra a

los actores clave de la gestioacuten del Pp

iquestExiste un documento resultado de la planeacioacuten estrateacutegica iquestEs claro difundido y

accesible iquestEn queacute medida es utilizado para guiar la operacioacuten del Pp

iquestLa planeacioacuten estrateacutegica estaacute vinculada con el cumplimiento entrega o generacioacuten de los

componentes o entregables del Pp

iquestLa planeacioacuten estrateacutegica establece indicadores para medir los avances en las metas

establecidas iquestLas metas son factibles y estaacuten orientadas a impulsar el desempentildeo del Pp

PAE 2017 25

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

iquestQueacute se entiende por planeacioacuten operativa y cuaacuteles son las diferencias con la planeacioacuten

estrateacutegica

Comunicacioacuten interna y externa del Pp (las preguntas que apliquen)

iquestQueacute actores intervienen en la comunicacioacuten del Pp

iquestExiste una estrategia de comunicacioacuten del Pp documentada En caso afirmativo describirla

iquestLa estrategia de comunicacioacuten del Pp (documentada o no) es adecuada

iquestLos medios utilizados el lenguaje y el contenido de los mensajes son pertinentes en funcioacuten

del puacuteblico al que van dirigidos

Solicitud de los componentes o entregables del Pp (las preguntas que apliquen)

iquestExiste un proceso claro imparcial y expliacutecito por medio del cual la poblacioacuten o aacuterea de

enfoque potencial puede solicitar los componentes o entregables que otorga el Pp

iquestLos requisitos para solicitar los componentes o entregables del Pp se presentan de manera

clara y completa

iquestLos puntos de recepcioacuten de solicitudes son accesibles y suficientes (cuando aplique)

iquestExisten mecanismos estandarizados para recibir y revisar la documentacioacuten entregada asiacute

como registrar y dar traacutemite a las solicitudes (cuando aplique)

iquestSon adecuados estos mecanismos (cuando aplique) En caso de que el Pp que apoye la

realizacioacuten de proyectos iquestse brinda asesoriacutea para la presentacioacuten de los mismos de ser asiacute

iquestes pertinente esta asesoriacutea

iquestEl proceso de solicitud de los componentes o entregables que otorga el Pp se encuentra

automatizado total o parcialmente

Para esta pregunta considerar los estados de digitalizacioacuten utilizados por la Comisioacuten Intersecretarial

para el Desarrollo del Gobierno electroacutenico seguacuten una adaptacioacuten realizada a la clasificacioacuten que

hace la ONU

Estado de digitalizacioacuten 1 traacutemites y servicios que se encuentran en estado informativo

Estado de digitalizacioacuten 2 traacutemites y servicios que cuentan con interfaces de comunicacioacuten

unidireccional

Estado de digitalizacioacuten 3 traacutemites y servicios que permiten realizar transacciones y

Estado de digitalizacioacuten 4 traacutemites y servicios que el usuario puede ejecutar de principio a

fin por medio de dispositivos digitales

PAE 2017 26

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para mayor informacioacuten referirse a ldquoFigure A4 The four stages of online service developmentrdquo en

los siguientes documentos

Lineamientos relativos a la digitalizacioacuten estandarizada de traacutemites y servicios con apego en

la Estrategia Digital Nacional

httpwwwgobmxcmsuploadsattachmentfile67232ti_1_pgcm_bases_lineam_tyspdf

United Nations E-Government Survey 2014 (paacutegina 195)

httpspublicadministrationunorgegovkbportalsegovkbdocumentsun2014-surveye-

gov_complete_survey-2014pdf

Seleccioacuten de destinatarios (cuando aplique)

iquestExiste una metodologiacutea o meacutetodo para la seleccioacuten de destinatarios o beneficiarios de los

componentes o entregables del Pp iquestLa metodologiacutea utilizada cuenta con criterios de

seleccioacuten y elegibilidad claros estandarizados y sistematizados

iquestLa seleccioacuten de destinatarios o beneficiarios de los componentes o entregables del Pp es un

proceso transparente e imparcial iquestEl resultado de la seleccioacuten es puacuteblico (cuando aplique)

iquestExiste informacioacuten en una base de datos que permita conocer quieacutenes o queacute instancias

reciben los componentes o entregables del Pp iquestQueacute informacioacuten integra esta base de datos

iquestExisten mecanismos para validar y actualizar esta base de datos iquestEstos mecanismos son

pertinentes

Produccioacuten de componentes o entregables

iquestSe cuenta con los insumos suficientes para generar el volumen de componentes o

entregables que permitan al Pp atender a su poblacioacuten o aacuterea de enfoque objetivo

iquestEl Pp tiene mecanismos para estimar la produccioacuten o generacioacuten necesaria de componentes

o entregables de acuerdo con la posible demanda o requerimientos de su poblacioacuten o aacuterea

de enfoque objetivo iquestEs adecuado este mecanismo

iquestExisten mecanismos de control de calidad para la generacioacuten de los componentes o

entregables del Pp iquestEstos mecanismos son pertinentes

iquestLas actividades de generacioacuten de componentes o entregables que otorga el Pp estaacuten

estandarizadas es decir son ejecutadas de manera homogeacutenea por todas las instancias

involucradas

PAE 2017 27

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Entrega

iquestLos componentes o entregables del Pp son proporcionados conforme a las especificaciones

y de manera oportuna a los destinatarios

iquestExisten especificaciones (programas o planes de trabajo) sobre la forma en que se deben

trasladar los componentes o entregables para (por ejemplo) asegurar su adecuada recepcioacuten

en el punto de destino iquestSon adecuadas estas especificaciones respecto a normas o

lineamientos existentes (cuando aplique)

iquestLa logiacutestica de distribucioacuten se actualiza (cuando aplique) iquestExiste un periodo para dicha

actualizacioacuten iquestEn el disentildeo y actualizacioacuten de la logiacutestica se toman en cuenta los factores

geograacuteficos y climatoloacutegicos en cada regioacuten donde opera el Pp (cuando aplique)

iquestLos puntos de entrega de los componentes o entregables son cercanos a los beneficiarios

o aacuterea de enfoque a atender y son de faacutecil acceso iquestSe considera que son suficientes iquestPor

queacute

Control (las preguntas que apliquen)

iquestEl Pp cuenta con los mecanismos para verificar que los componentes o entregables se

otorguen de acuerdo con lo establecido en la normativa especiacutefica y lleguen a la poblacioacuten

o aacuterea de enfoque que deba ser beneficiada iquestEstos mecanismos son adecuados

iquestExiste de manera sistematizada un documento que deacute cuenta de los resultados de

supervisioacuten y entrega de componentes o entregables iquestEste documento es adecuado iquestLos

resultados se utilizan para implementar mejoras en la operacioacuten del Pp

iquestExisten procedimientos estandarizados que verifiquen el cumplimiento de la

corresponsabilidad u obligatoriedad por parte de los beneficiarios o destinatarios de los

componentes o entregables del Pp (cuando aplique)

Seguimiento a destinatarios

iquestEl Pp tiene mecanismos para verificar el procedimiento de seguimiento a los destinatarios o

beneficiarios que permitan identificar si los componentes o entregables generados son

utilizados de acuerdo con lo establecido iquestCoacutemo se implementa el mecanismo iquestEste

mecanismo es adecuado

iquestExisten procedimientos estandarizados que permitan verificar el cumplimiento de la

corresponsabilidad u obligatoriedad por parte del destinatario o beneficiario (cuando

aplique)

PAE 2017 28

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

En caso de que los componentes o entregables involucren la ejecucioacuten de obra o de

infraestructura iquestel Pp cuenta con un mecanismo de seguimiento o supervisioacuten que permita

identificar si se realizaron acorde a la normativa aplicable iquestEl seguimiento o supervisioacuten

considera plazos para la revisioacuten de las condiciones de la obra o la infraestructura despueacutes

de terminada la obra

iquestEl Pp tiene mecanismos para identificar si se cumple con su Propoacutesito iquestSon suficientes y

pertinentes estos mecanismos

iquestExisten mecanismos para conocer la satisfaccioacuten del destinatario o beneficiario de los

componentes o entregables del Pp respecto de los componentes que ofrece el Pp iquestSon

adecuados estos mecanismos iquestSu operacioacuten permite una aplicacioacuten imparcial y objetiva

iquestExiste evidencia para afirmar que las quejas y sugerencias que brindan los destinatarios o

beneficiarios de los componentes o entregables del Pp son utilizadas para la mejora continua

del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

En esta seccioacuten se deberaacute realizar la medicioacuten de los atributos de eficacia oportunidad suficiencia

y pertinencia de los procesos y subprocesos o macroprocesos definidos en el mapa de procesos del

Pp A continuacioacuten se definen los atributos en el marco de la evaluacioacuten de procesos

Eficacia un proceso es eficaz en la medida en que cumple con sus metas

Oportunidad un proceso es oportuno en la medida en que otorga sus productos

(componentes o entregables) o resultados en un periodo de tiempo determinado o

adecuado para el logro de sus objetivos

Suficiencia un proceso es suficiente en la medida en que produce sus resultados de forma

completa o adecuada para el logro de sus objetivos

Pertinencia un proceso es pertinente si sus actividades y productos son adecuados para

lograr tanto sus metas especiacuteficas como sus objetivos es decir si contribuyen al

mejoramiento de la gestioacuten del Pp4

4 Las actividades son adecuadas si estaacuten en funcioacuten del logro del objetivo de cada proceso Por ejemplo si se verifica que el formato de los mensajes a difundir cumpla con las caracteriacutesticas necesarias para llegar a la poblacioacuten o aacuterea de enfoque objetivo como seriacutea una mensaje de audio en la lengua indiacutegena de la localidad donde se encuentran los posibles destinatarios o beneficiarios o bien como seriacutea un mensaje dirigido a personal operativo del Pp cuyo nivel de estudios promedio pudiera complicar la comprensioacuten de lenguaje teacutecnico utilizado

PAE 2017 29

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para la medicioacuten de los atributos de los procesos y subprocesos o macroprocesos del Pp deberaacute

realizarse una revisioacuten documental (normativa aplicable MIR evaluaciones externas sistemas de

informacioacuten y registros administrativos entre otros) misma que deberaacute complementarse con el

trabajo de campo con el objetivo de identificar disentildear y calcular indicadores relacionados con

dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de informacioacuten empleadas

La informacioacuten obtenida de estos indicadores deberaacute vaciarse en fichas propuestas por la instancia

evaluadora presentadas como en el Anexo 6 ldquoFichas de indicadores de atributos de los procesos del

Pprdquo (formato libre) Estas fichas deberaacuten considerar la medicioacuten de los atributos de eficacia

suficiencia oportunidad y pertinencia correspondientes a cada proceso y subproceso o

macroproceso

Valoracioacuten de los procesos y subprocesos de la operacioacuten del Pp

Deberaacute contener una siacutentesis de los resultados encontrados en la Evaluacioacuten de Procesos del Pp

resaltando los hallazgos maacutes relevantes que se hayan detectado y que pudiesen transformarse en

ASM

La instancia evaluadora deberaacute calcular una valoracioacuten global cuantitativa sobre la operacioacuten y la

ejecucioacuten de los procesos y subprocesos o macroprocesos del Pp a partir del siguiente esquema de

puntuacioacuten5

Eficacia

- Todos los procesos (o macroprocesos) son eficaces = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es eficaz = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es eficaz = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es eficaz = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es eficaz = 1 punto

- Ninguno de los procesos (o macroprocesos) es eficaz = 0 puntos

Oportunidad

- Todos los procesos (o macroprocesos) son oportunos = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es oportuno = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es oportuno = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es oportuno = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es oportuno = 1 punto

5 La valoracioacuten cuantitativa deberaacute estar sustentada y por tanto ser consistente con lo valorado por la instancia evaluadora en el apartado de ldquoMedicioacuten de atributos de los procesos y subprocesosrdquo

PAE 2017 30

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

- Ninguno de los procesos (o macroprocesos) es oportuno = 0 puntos

Suficiencia

- Todos los procesos (o macroprocesos) son suficientes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es suficiente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es suficiente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es suficiente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es suficiente = 1 punto

- Ninguno de los procesos (o macroprocesos) es suficiente = 0 puntos

Pertinencia

- Todos los procesos (o macroprocesos) son pertinentes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es pertinente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es pertinente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es pertinente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es pertinente = 1 punto

- Ninguno de los procesos (o macroprocesos) es pertinente = 0 puntos

A partir de los puntajes asignados en los cuatro atributos anteriores esta valoracioacuten cuantitativa

global debe considerar el total de puntos posibles de obtener (5 x 4 = 20 puntos) y los puntos

obtenidos en la Evaluacioacuten de Procesos Pp (lsquoyrsquo puntos) de modo que se indique el porcentaje de

puntos obtenidos del total de puntos posibles [(lsquoyrsquo20) x 100] = valoracioacuten cuantitativa global de la

operacioacuten del Pp

La instancia evaluadora deberaacute utilizar el Anexo 9 ldquoValoracioacuten global cuantitativardquo para documentar

argumentar y sustentar cada una de las valoraciones cuantitativas sobre la operacioacuten y la ejecucioacuten

de los procesos (o macroprocesos) del Pp

Adicionalmente en este apartado se deberaacuten integrar las recomendaciones y conclusiones que se

consideren maacutes relevantes de los procesos y subprocesos o macroprocesos del Pp las cuales deben

formularse con base en los hallazgos del trabajo de campo y de gabinete El objetivo final de las

recomendaciones es proveer informacioacuten valiosa a los operadores del Pp para realizar adecuaciones

en la ejecucioacuten de los procesos y subprocesos o macroprocesos de modo que se potencie la

consecucioacuten de resultados del Pp

Las recomendaciones que se formulen como resultado de la Evaluacioacuten de Procesos del Pp deberaacuten

tener las siguientes caracteriacutesticas

Derivarse de los hallazgos de la evaluacioacuten

PAE 2017 31

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Ser concretas y factibles

Incluir un proyecto de implementacioacuten que considere los siguientes elementos

- Breve anaacutelisis de la viabilidad o factibilidad de la implementacioacuten

- Principales responsables de la implementacioacuten

- Anaacutelisis de los efectos potenciales que puede implicar la implementacioacuten tanto en la

operacioacuten del Pp como en el logro de sus objetivos

- La comparacioacuten entre la situacioacuten actual y el resultado que se espera obtener con la

implementacioacuten de la recomendacioacuten

Estar categorizadas en dos liacuteneas de accioacuten estrateacutegicas

- Consolidacioacuten

- Reingenieriacutea de procesos o subprocesos

Al respecto la instancia evaluadora debe entender por consolidacioacuten aquellas recomendaciones que

estaacuten dirigidas a perfeccionar determinados aspectos de la operacioacuten como seriacutean algunas acciones

procedimientos o estrategias del Pp asiacute como iniciativas para el fortalecimiento de los sistemas

automatizados infraestructura entre otros

Por reingenieriacutea de procesos o subprocesos se entenderaacuten aquellas recomendaciones que apuntan

a una transformacioacuten o modificacioacuten profunda o sustancial de uno o varios de los procesos y

subprocesos del Pp Para ello se deberaacute llenar el Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de

Procesos del Pprdquo y que a su vez deben derivar en acciones de consolidacioacuten para la implementacioacuten

de los procesos transformados

Adicionalmente y de conformidad con el alcance de la Evaluacioacuten de Procesos del Pp se deberaacute

presentar una propuesta para crear o fortalecer el sistema de monitoreo de gestioacuten del Pp con

indicadores a nivel de procesos y subprocesos o macroprocesos

Asimismo a partir de todo el anaacutelisis y valoraciones realizadas se deberaacute emitir un pronunciamiento

acerca de la percepcioacuten de eficiencia que la instancia evaluadora haya tenido sobre la ejecucioacuten de

los procesos y subprocesos o macroprocesos del Pp

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible o si no hipoteacuteticos en un anexo de formato libre Anexo 10 ldquoSistema de

monitoreo e indicadores de gestioacuten del Pprdquo

PAE 2017 32

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Bitaacutecora de trabajo de campo y bases de datos

La instancia evaluadora deberaacute entregar una bitaacutecora de trabajo de campo que destaque de forma

sinteacutetica entre otros puntos las principales actividades y situaciones a las que se enfrentoacute y que

podriacutean afectar los resultados de la Evaluacioacuten de Procesos del Pp

Asimismo deberaacute entregar las bases de datos generadas a partir de la aplicacioacuten de los instrumentos

de recoleccioacuten de informacioacuten y de la recopilacioacuten de informacioacuten en el trabajo de campo Las bases

de datos deberaacuten entregarse en formatos compatibles con Excel debiendo mantener la

confidencialidad de los entrevistados pero sin alterar la informacioacuten proporcionada por estos En las

bases de datos debe estar sistematizada toda la informacioacuten recabada a partir de la aplicacioacuten de

los instrumentos de levantamiento de informacioacuten y deberaacute sustentar el anaacutelisis las valoraciones los

hallazgos y las conclusiones de la evaluacioacuten

PAE 2017 33

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Contenido del informe

Contenido miacutenimo del informe final de la evaluacioacuten

Derivado del contenido generado en las secciones anteriores deberaacuten elaborarse los siguientes

apartados en el informe final de la Evaluacioacuten de Procesos del Pp

i Introduccioacuten

ii Resumen Ejecutivo

iii Marco Legal

iv Datos Generales del Programa Presupuestario (Pp)

v Criterios Teacutecnicos para la Evaluacioacuten del Programa Presupuestario correspondiente

vi Apartados de la evaluacioacuten

Seccioacuten 1 Disentildeo

Diagnoacutestico del programa puacuteblico

Matriz de Indicadores para Resultados (MIR)

Seccioacuten 2 Procesos

Pertinencia de los proceso

Diagnoacutestico general de los procesos y subprocesos del Pp

- Contexto en que opera el Pp

- Diagnoacutestico inicial de los procesos y subprocesos

Descripcioacuten y valoracioacuten de los procesos y subprocesos del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

vii Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

viii Valoracioacuten final del Pp

ix Hallazgos

x Recomendaciones clasificadas por apartado

xi Conclusiones

xii Bibliografiacutea

xiii Anexos

Anexo 1 Descripcioacuten General del Programa

Anexo 2 Metodologiacutea para la cuantificacioacuten de las poblaciones potencial y objetivo

(Formato Libre)

Anexo 3 Evolucioacuten de la Cobertura

Anexo 4 Propuesta de mejora de la Matriz de Indicadores para Resultados

Anexo 5 Ficha de identificacioacuten y equivalencia de procesos del Pp

PAE 2017 34

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 Fichas de indicadores de atributos de los procesos del Pp (Formato libre)

Anexo 7 Diagramas de flujo de la operacioacuten del Pp

Anexo 8 Propuesta de modificacioacuten a los documentos normativos o institucionales

del Pp

Anexo 9 Valoracioacuten global cuantitativardquo

Anexo 10 Sistema de monitoreo e indicadores de gestioacuten del Pp (Formato libre)

Anexo 11 Recomendaciones de la Evaluacioacuten de Procesos del Pp

Anexo 12 Principales Fortalezas Retos y Recomendaciones

Anexo 13 Ficha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacuten

En el Resumen Ejecutivo asimismo se describiraacuten los principales hallazgos y recomendaciones del

evaluador externo

Para el desarrollo de los apartados antes referidos deberaacute atender las indicaciones que se desarrollan

en las siguientes secciones

Hallazgos y resultados Pp por Seccioacuten

Se debe realizar una valoracioacuten general del programa por seccioacuten utilizando las respuestas que

integran cada uno de los apartados En esta valoracioacuten integral se deberaacute sentildealar en queacute medida la

gestioacuten operativa conduce al logro de los objetivos del Pp

Asimismo se deben sentildealar las aacutereas de mejora las buenas praacutecticas y las fortalezas detectadas en

la operacioacuten del Pp y a partir de ello la instancia evaluadora emitiraacute recomendaciones de mejora

sobre aspectos especiacuteficos de cada proceso y subproceso o macroproceso del Pp Adicionalmente

se deberaacuten identificar los problemas o limitantes tanto normativos como operativos (ldquocuellos de

botellardquo) de coordinacioacuten entre unidades administrativas y otros que hubiese en los procesos y

subprocesos o macroprocesos del Pp entendieacutendose como aquellas praacutecticas procedimientos

actividades o traacutemites que obstaculizan la operacioacuten del Pp

En este sentido se deberaacuten identificar las situaciones en las que la normativa genere complicaciones

en la gestioacuten o ineficacia en el cumplimiento de los objetivos del Pp para lo cual se deberaacute presentar

(por cada situacioacuten identificada) una propuesta de modificacioacuten a la normativa aplicable al Pp

considerando las restricciones praacutecticas que existan para su implementacioacuten asiacute como los efectos

PAE 2017 35

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

potenciales de ser implementada Los resultados de este anaacutelisis deberaacuten describirse en el Anexo 7

ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales del Pprdquo

Para la identificacioacuten y descripcioacuten de los ldquocuellos de botellardquo buenas praacutecticas y fortalezas del Pp

se consideraraacute la informacioacuten derivada del anaacutelisis de la operacioacuten del Pp asiacute como los puntos de

vista de los principales actores que intervienen en ella Este anaacutelisis deberaacute contener las causas y las

consecuencias de los ldquocuellos de botellardquo detectados sus caracteriacutesticas y naturaleza (si son

normativas o estrictamente operativas) de igual manera se deberaacute desarrollar un anaacutelisis de las

buenas praacutecticas identificadas

Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

Se debe integrar en una sola tabla las fortalezas oportunidades debilidades y amenazas

especificadas por cada apartado de la evaluacioacuten y reportarlas en el Anexo 11 ldquoPrincipales Fortalezas

Retos y Recomendacionesrdquo en el que se deben incluir las fortalezas yo oportunidades las

debilidades yo amenazas y las recomendaciones por apartado de la evaluacioacuten

PAE 2017 36

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexos

Anexo 1 ldquoDescripcioacuten General del Programardquo

El Anexo tiene formato libre sin embargo debe contener una breve descripcioacuten de las caracteriacutesticas

maacutes relevantes del Pp en un maacuteximo de dos cuartillas Dicha descripcioacuten debe considerar los

siguientes aspectos

1 Identificacioacuten del programa

11 Nombre

12 Clave de programa

13 Dependencia yo Entidad coordinadora ejecutora

14 Antildeo de inicio de operacioacuten

2 Problema o necesidad que el Pp pretende atender atenuar o resolver

3 La contribucioacuten del Pp a las Metas y objetivos estatales a los que se vincula

4 Descripcioacuten de los objetivos del Pp asiacute como de los bienes yo servicios que ofrece

(componentes)

5 Identificacioacuten y cuantificacioacuten de la poblacioacuten o aacuterea de enfoque potencial y

objetivo

6 Presupuesto aprobado para el ejercicio fiscal en curso

7 Metas de los indicadores de Fin Propoacutesito y Componentes asiacute como los de nivel

actividad que se consideren relevantes y

8 Resumen de la valoracioacuten de la pertinencia del disentildeo del Pp respecto a la atencioacuten

del problema o necesidad

Anexo 2 ldquoMetodologiacutea para la cuantificacioacuten de la poblacioacuten o aacuterea de enfoque

potencial y objetivordquo

El Anexo tiene formato libre sin embargo se debe incluir la siguiente informacioacuten

Definicioacuten de la poblacioacuten o aacuterea de enfoque potencial objetivo y atendida

Cuantificacioacuten de la poblacioacuten potencial objetiva y atendida

Hallazgos sobre el procedimiento llevado a cabo para definir y cuantificar la poblacioacuten o

aacuterea de enfoque potencial objetivo y atendida

Recomendaciones

Propuesta orientada hacia la mejora

PAE 2017 37

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 3 ldquoEvolucioacuten de la Coberturardquo

Nombre del

Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten

Antildeo de la Evaluacioacuten

Tipo de Poblacioacuten

Unidad

de

Medida

2012 2013 2014 2015 2016

P Potencial

P Objetivo

P Atendida

119927119912 times 120783120782120782

119927119926

PAE 2017 38

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 4 ldquoPropuesta de mejora de la Matriz de Indicadores para Resultadosrdquo

Derivado del anaacutelisis y valoracioacuten de la pregunta de investigacioacuten nuacutemero 3 iquestLa estructura de

objetivos planteada por el programa mantiene loacutegica y correspondencia causal con el problema

planteado en el diagnoacutestico se realizaraacute una propuesta de mejora de MIR

Fin

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Propoacutesito

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Componente 1

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

PAE 2017 39

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Componente 2 hellip

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 40

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesos del Pprdquo

Para la identificacioacuten y clasificacioacuten de los procesos del Pp se sugieren los siguientes pasos

1 Listar los procesos identificados

Comparar los procesos identificados del Pp con aquellos correspondientes al Modelo general de

procesos Colocar en el rengloacuten correspondiente el nombre de cada proceso del Pp identificado

como equivalente

2 Colocar al final de la lista aquellos procesos del Pp que no sean equivalentes con el Modelo

general de procesos

Modelo general de

procesos

Nuacutemero

de

secuencia

Procesos o subprocesos del Pp identificados por el

evaluador

(Nombre y breve descripcioacuten)

Planeacioacuten Ejemplo (Ej) Planeacioacuten Estrateacutegica

Ej Programacioacuten

Ej Presupuestacioacuten

Comunicacioacuten interna y

externa

Ej Difusioacuten Federal

Ej Difusioacuten Local

Seleccioacuten de

destinatarios

Ej Recepcioacuten de solicitudes de becas

Ej Seleccioacuten de becarios

Produccioacuten de

entregables

Entrega

Control

Seguimiento Ej Seguimiento fiacutesico y supervisioacuten en campo

Evaluacioacuten externa Ej Publicacioacuten y lectura del PAE

Ej Definicioacuten de TdR

Ej Contratacioacuten

Ej Ejecucioacuten de la evaluacioacuten externa

Monitoreo Ej Registro de avances de indicadores

Ej Revisioacuten de registros

Ej Validacioacuten de registros e integracioacuten de informes

PAE 2017 41

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Procesos identificados por el evaluador que no coinciden con el Modelo general de procesos

PAE 2017 42

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 ldquoFichas de indicadores de atributos de los procesos del Pp (formato libre)rdquo

Para la construccioacuten de este anexo deberaacute realizarse una revisioacuten documental (normativa aplicable

MIR evaluaciones externas sistemas de informacioacuten y registros administrativos entre otros) misma

que deberaacute complementarse con el trabajo de campo con el objetivo de identificar disentildear y calcular

indicadores relacionados con dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de

informacioacuten empleadas

Ademaacutes de considerar la medicioacuten de los atributos de eficacia suficiencia oportunidad y pertinencia

de cada proceso y subproceso o macroproceso

PAE 2017 43

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 7 ldquoDiagramas de flujo de la operacioacuten del Pprdquo

Para la elaboracioacuten de los diagramas de flujo deberaacute utilizarse la notacioacuten empleada en el

documento ldquoGuiacutea para la Optimizacioacuten Estandarizacioacuten y Mejora Continua de Procesosrdquo publicada

por la SFP en la direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Para el Diagrama de Alto Nivel (Diagrama PEPSU)

Ejemplo ilustrativo

PAE 2017 44

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para el Diagrama de Flujo

PAE 2017 45

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

PAE 2017 46

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 8 ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales

del Pprdquo

Tipo de

norma-

tiva

Dice

Problema

generado

(causas y

consecuencias)

Se

recomienda

decir

Efecto esperado de

aplicar la

recomendacioacuten de

cambio

Restricciones praacutecticas

que puedan existir para

su implementacioacuten

PAE 2017 47

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 9 ldquoValoracioacuten global cuantitativa ldquo

Seccioacuten 1 Disentildeo

Disentildeo Valoracioacuten Argumento o justificacioacuten

Porcentaje del

Disentildeo del Pp

(Suma de valoracioacuten alcanzada por pregunta de la seccioacuten 1 Total maacuteximo de la

valoracioacuten de todas las preguntas de la seccioacuten 1 ) x 100

Seccioacuten 2 Procesos

Proceso Eficacia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

eficaces

(Total de procesos eficaces Total de procesos del Pp) x 100

Proceso Oportunidad

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

oportunos

(Total de procesos oportunos Total de procesos del Pp) x 100

Proceso Suficiencia

(SiacuteNo) Argumento o justificacioacuten

PAE 2017 48

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Porcentaje de

procesos

suficientes

(Total de procesos suficientes Total de procesos del Pp) x 100

Proceso Pertinencia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

pertinentes

(Total de procesos pertinentes Total de procesos del Pp) x 100

NOTA Los argumentos y justificaciones del evaluador deberaacuten considerar el anaacutelisis y valoraciones de

los subprocesos de cada proceso de modo que haya consistencia entre estos elementos Asimismo el

evaluador deberaacute expresar los resultados de la valoracioacuten cuantitativa en una graacutefica tipo radial

PAE 2017 49

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 10 ldquoSistema de monitoreo e indicadores de gestioacuten del Pp (formato libre)rdquo

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible

Nombre del Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten De Procesos

Antildeo de la Evaluacioacuten 2017

Fin Justificacioacuten Propoacutesito Justificacioacuten Componente (s) Justificacioacuten

Nombre de

Indicador

Meacutetodo de Caacutelculo

Claro SiacuteNo SiacuteNo SiacuteNo

Relevante SiacuteNo SiacuteNo SiacuteNo

Econoacutemico SiacuteNo SiacuteNo SiacuteNo

Monitoreable SiacuteNo SiacuteNo SiacuteNo

Adecuado SiacuteNo SiacuteNo SiacuteNo

Definicioacuten SiacuteNo SiacuteNo SiacuteNo

Unidad de Medida SiacuteNo SiacuteNo SiacuteNo

Frecuencia de

Medicioacuten

SiacuteNo SiacuteNo SiacuteNo

Liacutenea Base SiacuteNo SiacuteNo SiacuteNo

Metas SiacuteNo SiacuteNo SiacuteNo

Comportamiento

del Indicador

SiacuteNo SiacuteNo SiacuteNo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 50

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de Procesos del Pprdquo

En este Anexo la instancia evaluadora debe valorar si la recomendacioacuten implica una consolidacioacuten o

una reingenieriacutea del proceso

A) Consolidacioacuten

Proceso Recomendaci

oacuten

Breve

anaacutelisis de

viabilidad de

la

implementa-

cioacuten

Principales

responsables

de la

implementaci

oacuten

Situacioacuten

actual

Efectos

potenciales

esperados

Medio de

verifica-

cioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

B) Reingenieriacutea de procesos

Proceso Objetivo

Breve

anaacutelisis de

viabilidad

de la

implemen-

tacioacuten

Principales

responsables

de la

implemen-

tacioacuten

Situa-

cioacuten

actual

Metas y

efectos

potenciale

s

esperados

Elabora-

cioacuten de

flujogram

a del

nuevo

proceso

Medio

de

verifi-

cacioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

NOTA El nivel de priorizacioacuten Alto Medio o Bajo se estimaraacute considerando la mejora en la operacioacuten

del Pp la viabilidad de la implementacioacuten de la recomendacioacuten asiacute como el efecto potencial que esto

pueda tener el alcance del objetivo del Pp

PAE 2017 51

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 12 ldquoPrincipales Fortalezas Retos y Recomendacionesrdquo

Capacidades Internas Factores Externos

Fortalezas

(Cualquier capacidad con la que cuenta la dependencia o

entidad que le permita aprovechar sus recursos para la

obtencioacuten de sus objetivos)

Oportunidades

(Cualquier factor externo fuera del control de la dependencia o

entidad que puede ser aprovechado para la obtencioacuten de sus

objetivos)

Debilidades

(Cualquier limitante Interna de la dependencia o entidad que

puede afectar la obtencioacuten de sus objetivos)

Amenazas

(Cualquier factor externo fuera de control de la dependencia o

entidad que pueda afectar la obtencioacuten de sus objetivos)

PAE 2017 52

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacutenrdquo

El Informe Final de la Evaluacioacuten de Procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten

Superior deberaacuten contener una ficha con los siguientes datos

Ficha Teacutecnica con los datos generales de la evaluacioacuten

Nombre o denominacioacuten de la

evaluacioacuten

[Especificar el nombre de la evaluacioacuten considerando su tipo y ejercicio

evaluado]

Nombre o denominacioacuten del

programa evaluado

[Indicar el nombre del Pp sujeto a evaluacioacuten de acuerdo con lo

establecido en el PEF sentildealando su modalidad y clave]

Unidad Responsable de la operacioacuten

del programa

[Especificar la(s) unidad(es) responsable(s) de la administracioacuten

operacioacuten y ejecucioacuten de los programas subprogramas y proyectos del

Pp evaluado correspondientes a las dependencias y entidades]

Titular de la unidad responsable de la

operacioacuten del programa

[Indicar el nombre del(a) Titular de la Unidad Responsable de la

operacioacuten del Pp]

Antildeo del Programa Anual de

Evaluacioacuten (PAE) en que fue

considerada la evaluacioacuten

[Especificar el ejercicio fiscal al que corresponde el PAE en la que fue

programada la evaluacioacuten]

Antildeo de conclusioacuten y entrega de la

evaluacioacuten

[Indicar el antildeo en que se concluyoacute la evaluacioacuten]

Tipo de evaluacioacuten [Especificar el tipo de evaluacioacuten de acuerdo con los Lineamientos de

evaluacioacuten el nombre de la evaluacioacuten y con lo establecido en el PAE]

Nombre de la instancia evaluadora [Indicar el nombre de la firma consultoriacutea u organizacioacuten que realizoacute la

evaluacioacuten]

Nombre del(a) coordinador(a)

externo(a) de la evaluacioacuten

[Especificar el nombre del(a) responsable de la coordinacioacuten de la

evaluacioacuten dla instancia evaluadora]

Nombre de los(as) principales

colaboradores(as) del(a)

coordinador(a) de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del(a)

coordinador(a) de la evaluacioacuten]

PAE 2017 53

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Unidad Administrativa responsable de

la Coordinacioacuten de la evaluacioacuten

[De acuerdo con lo sentildealado en el PAE especificar la instancia a la que

corresponde la coordinacioacuten de la evaluacioacuten pej Secretariacutea de

Finanzas y Administracioacuten (SFA) asiacute como la unidad administrativa

mediante la cual se ejerce esta funcioacuten p ej Direccioacuten de Evaluacioacuten

de la SFA (DEV)

Nombre del(a) Titular de la unidad

administrativa responsable de

coordinar la evaluacioacuten (Aacuterea de

Evaluacioacuten)

[Especificar el nombre del(a) Titular de la Unidad responsable de dar

seguimiento a la evaluacioacuten que funge como Aacuterea de Evaluacioacuten]

Nombres de los(as) servidores(as)

puacuteblicos(as) adscritos(as) a la unidad

administrativa responsable de

coordinar la evaluacioacuten que

coadyuvaron con la revisioacuten teacutecnica

de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del

titular de la unidad administrativa responsable de dar seguimiento a la

evaluacioacuten respecto de la revisioacuten teacutecnica de la misma]

Forma de contratacioacuten de la instancia

evaluadora

[Indicar el tipo de contratacioacuten dla instancia evaluadora Especificar el

tipo de procedimiento de contratacioacuten de la instancia evaluadora

consistente con los tipos de adjudicacioacuten establecidos en la Ley de

Adquisiciones Arrendamientos y Servicios del Sector Puacuteblico]

Costo total de la evaluacioacuten con IVA

incluido

[Especificar el costo total de la evaluacioacuten incluyendo el IVA (en caso

de que se haya causado) como sigue $XXX IVA incluido]

Asimismo en este anexo se deberaacute incluir una nota metodoloacutegica con la descripcioacuten de las teacutecnicas

y los modelos utilizados por el evaluador externo acompantildeada del disentildeo por muestreo

especificando los supuestos empleados y las principales caracteriacutesticas del tamantildeo y dispersioacuten de

la muestra utilizada

DIRECTORIO

Rauacutel Saacutenchez Kobashi

Secretario de la Secretariacutea de Finanzas y Administracioacuten

Francisco Fidel Teomitzi Saacutenchez

Subsecretario de Planeacioacuten

Arturo Neponuceno Crisoacutestomo

Director de Evaluacioacuten

Rodolfo de la Rosa Cabrera

Subdireccioacuten de Evaluacioacuten de Programas

Sauacutel Federico Oropeza Orea

Jefe del Departamento de Programas Estatales y Municipales

Ana Luz Guzmaacuten Figueroa

Analista del Departamento de Programas Estatales y Municipales

Marco Antonio Saacutenchez Gonzaacutelez

Analista del Departamento de Programas Estatales y Municipales

Page 26: Términos de Referencia para la Evaluación del Desempeño ...evaluacion.puebla.gob.mx/pdf/metodologias/TdR_Est/2017/TdR... · Perfil de la instancia evaluadora ... acuerdo con las

PAE 2017 25

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

iquestQueacute se entiende por planeacioacuten operativa y cuaacuteles son las diferencias con la planeacioacuten

estrateacutegica

Comunicacioacuten interna y externa del Pp (las preguntas que apliquen)

iquestQueacute actores intervienen en la comunicacioacuten del Pp

iquestExiste una estrategia de comunicacioacuten del Pp documentada En caso afirmativo describirla

iquestLa estrategia de comunicacioacuten del Pp (documentada o no) es adecuada

iquestLos medios utilizados el lenguaje y el contenido de los mensajes son pertinentes en funcioacuten

del puacuteblico al que van dirigidos

Solicitud de los componentes o entregables del Pp (las preguntas que apliquen)

iquestExiste un proceso claro imparcial y expliacutecito por medio del cual la poblacioacuten o aacuterea de

enfoque potencial puede solicitar los componentes o entregables que otorga el Pp

iquestLos requisitos para solicitar los componentes o entregables del Pp se presentan de manera

clara y completa

iquestLos puntos de recepcioacuten de solicitudes son accesibles y suficientes (cuando aplique)

iquestExisten mecanismos estandarizados para recibir y revisar la documentacioacuten entregada asiacute

como registrar y dar traacutemite a las solicitudes (cuando aplique)

iquestSon adecuados estos mecanismos (cuando aplique) En caso de que el Pp que apoye la

realizacioacuten de proyectos iquestse brinda asesoriacutea para la presentacioacuten de los mismos de ser asiacute

iquestes pertinente esta asesoriacutea

iquestEl proceso de solicitud de los componentes o entregables que otorga el Pp se encuentra

automatizado total o parcialmente

Para esta pregunta considerar los estados de digitalizacioacuten utilizados por la Comisioacuten Intersecretarial

para el Desarrollo del Gobierno electroacutenico seguacuten una adaptacioacuten realizada a la clasificacioacuten que

hace la ONU

Estado de digitalizacioacuten 1 traacutemites y servicios que se encuentran en estado informativo

Estado de digitalizacioacuten 2 traacutemites y servicios que cuentan con interfaces de comunicacioacuten

unidireccional

Estado de digitalizacioacuten 3 traacutemites y servicios que permiten realizar transacciones y

Estado de digitalizacioacuten 4 traacutemites y servicios que el usuario puede ejecutar de principio a

fin por medio de dispositivos digitales

PAE 2017 26

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para mayor informacioacuten referirse a ldquoFigure A4 The four stages of online service developmentrdquo en

los siguientes documentos

Lineamientos relativos a la digitalizacioacuten estandarizada de traacutemites y servicios con apego en

la Estrategia Digital Nacional

httpwwwgobmxcmsuploadsattachmentfile67232ti_1_pgcm_bases_lineam_tyspdf

United Nations E-Government Survey 2014 (paacutegina 195)

httpspublicadministrationunorgegovkbportalsegovkbdocumentsun2014-surveye-

gov_complete_survey-2014pdf

Seleccioacuten de destinatarios (cuando aplique)

iquestExiste una metodologiacutea o meacutetodo para la seleccioacuten de destinatarios o beneficiarios de los

componentes o entregables del Pp iquestLa metodologiacutea utilizada cuenta con criterios de

seleccioacuten y elegibilidad claros estandarizados y sistematizados

iquestLa seleccioacuten de destinatarios o beneficiarios de los componentes o entregables del Pp es un

proceso transparente e imparcial iquestEl resultado de la seleccioacuten es puacuteblico (cuando aplique)

iquestExiste informacioacuten en una base de datos que permita conocer quieacutenes o queacute instancias

reciben los componentes o entregables del Pp iquestQueacute informacioacuten integra esta base de datos

iquestExisten mecanismos para validar y actualizar esta base de datos iquestEstos mecanismos son

pertinentes

Produccioacuten de componentes o entregables

iquestSe cuenta con los insumos suficientes para generar el volumen de componentes o

entregables que permitan al Pp atender a su poblacioacuten o aacuterea de enfoque objetivo

iquestEl Pp tiene mecanismos para estimar la produccioacuten o generacioacuten necesaria de componentes

o entregables de acuerdo con la posible demanda o requerimientos de su poblacioacuten o aacuterea

de enfoque objetivo iquestEs adecuado este mecanismo

iquestExisten mecanismos de control de calidad para la generacioacuten de los componentes o

entregables del Pp iquestEstos mecanismos son pertinentes

iquestLas actividades de generacioacuten de componentes o entregables que otorga el Pp estaacuten

estandarizadas es decir son ejecutadas de manera homogeacutenea por todas las instancias

involucradas

PAE 2017 27

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Entrega

iquestLos componentes o entregables del Pp son proporcionados conforme a las especificaciones

y de manera oportuna a los destinatarios

iquestExisten especificaciones (programas o planes de trabajo) sobre la forma en que se deben

trasladar los componentes o entregables para (por ejemplo) asegurar su adecuada recepcioacuten

en el punto de destino iquestSon adecuadas estas especificaciones respecto a normas o

lineamientos existentes (cuando aplique)

iquestLa logiacutestica de distribucioacuten se actualiza (cuando aplique) iquestExiste un periodo para dicha

actualizacioacuten iquestEn el disentildeo y actualizacioacuten de la logiacutestica se toman en cuenta los factores

geograacuteficos y climatoloacutegicos en cada regioacuten donde opera el Pp (cuando aplique)

iquestLos puntos de entrega de los componentes o entregables son cercanos a los beneficiarios

o aacuterea de enfoque a atender y son de faacutecil acceso iquestSe considera que son suficientes iquestPor

queacute

Control (las preguntas que apliquen)

iquestEl Pp cuenta con los mecanismos para verificar que los componentes o entregables se

otorguen de acuerdo con lo establecido en la normativa especiacutefica y lleguen a la poblacioacuten

o aacuterea de enfoque que deba ser beneficiada iquestEstos mecanismos son adecuados

iquestExiste de manera sistematizada un documento que deacute cuenta de los resultados de

supervisioacuten y entrega de componentes o entregables iquestEste documento es adecuado iquestLos

resultados se utilizan para implementar mejoras en la operacioacuten del Pp

iquestExisten procedimientos estandarizados que verifiquen el cumplimiento de la

corresponsabilidad u obligatoriedad por parte de los beneficiarios o destinatarios de los

componentes o entregables del Pp (cuando aplique)

Seguimiento a destinatarios

iquestEl Pp tiene mecanismos para verificar el procedimiento de seguimiento a los destinatarios o

beneficiarios que permitan identificar si los componentes o entregables generados son

utilizados de acuerdo con lo establecido iquestCoacutemo se implementa el mecanismo iquestEste

mecanismo es adecuado

iquestExisten procedimientos estandarizados que permitan verificar el cumplimiento de la

corresponsabilidad u obligatoriedad por parte del destinatario o beneficiario (cuando

aplique)

PAE 2017 28

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

En caso de que los componentes o entregables involucren la ejecucioacuten de obra o de

infraestructura iquestel Pp cuenta con un mecanismo de seguimiento o supervisioacuten que permita

identificar si se realizaron acorde a la normativa aplicable iquestEl seguimiento o supervisioacuten

considera plazos para la revisioacuten de las condiciones de la obra o la infraestructura despueacutes

de terminada la obra

iquestEl Pp tiene mecanismos para identificar si se cumple con su Propoacutesito iquestSon suficientes y

pertinentes estos mecanismos

iquestExisten mecanismos para conocer la satisfaccioacuten del destinatario o beneficiario de los

componentes o entregables del Pp respecto de los componentes que ofrece el Pp iquestSon

adecuados estos mecanismos iquestSu operacioacuten permite una aplicacioacuten imparcial y objetiva

iquestExiste evidencia para afirmar que las quejas y sugerencias que brindan los destinatarios o

beneficiarios de los componentes o entregables del Pp son utilizadas para la mejora continua

del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

En esta seccioacuten se deberaacute realizar la medicioacuten de los atributos de eficacia oportunidad suficiencia

y pertinencia de los procesos y subprocesos o macroprocesos definidos en el mapa de procesos del

Pp A continuacioacuten se definen los atributos en el marco de la evaluacioacuten de procesos

Eficacia un proceso es eficaz en la medida en que cumple con sus metas

Oportunidad un proceso es oportuno en la medida en que otorga sus productos

(componentes o entregables) o resultados en un periodo de tiempo determinado o

adecuado para el logro de sus objetivos

Suficiencia un proceso es suficiente en la medida en que produce sus resultados de forma

completa o adecuada para el logro de sus objetivos

Pertinencia un proceso es pertinente si sus actividades y productos son adecuados para

lograr tanto sus metas especiacuteficas como sus objetivos es decir si contribuyen al

mejoramiento de la gestioacuten del Pp4

4 Las actividades son adecuadas si estaacuten en funcioacuten del logro del objetivo de cada proceso Por ejemplo si se verifica que el formato de los mensajes a difundir cumpla con las caracteriacutesticas necesarias para llegar a la poblacioacuten o aacuterea de enfoque objetivo como seriacutea una mensaje de audio en la lengua indiacutegena de la localidad donde se encuentran los posibles destinatarios o beneficiarios o bien como seriacutea un mensaje dirigido a personal operativo del Pp cuyo nivel de estudios promedio pudiera complicar la comprensioacuten de lenguaje teacutecnico utilizado

PAE 2017 29

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para la medicioacuten de los atributos de los procesos y subprocesos o macroprocesos del Pp deberaacute

realizarse una revisioacuten documental (normativa aplicable MIR evaluaciones externas sistemas de

informacioacuten y registros administrativos entre otros) misma que deberaacute complementarse con el

trabajo de campo con el objetivo de identificar disentildear y calcular indicadores relacionados con

dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de informacioacuten empleadas

La informacioacuten obtenida de estos indicadores deberaacute vaciarse en fichas propuestas por la instancia

evaluadora presentadas como en el Anexo 6 ldquoFichas de indicadores de atributos de los procesos del

Pprdquo (formato libre) Estas fichas deberaacuten considerar la medicioacuten de los atributos de eficacia

suficiencia oportunidad y pertinencia correspondientes a cada proceso y subproceso o

macroproceso

Valoracioacuten de los procesos y subprocesos de la operacioacuten del Pp

Deberaacute contener una siacutentesis de los resultados encontrados en la Evaluacioacuten de Procesos del Pp

resaltando los hallazgos maacutes relevantes que se hayan detectado y que pudiesen transformarse en

ASM

La instancia evaluadora deberaacute calcular una valoracioacuten global cuantitativa sobre la operacioacuten y la

ejecucioacuten de los procesos y subprocesos o macroprocesos del Pp a partir del siguiente esquema de

puntuacioacuten5

Eficacia

- Todos los procesos (o macroprocesos) son eficaces = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es eficaz = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es eficaz = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es eficaz = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es eficaz = 1 punto

- Ninguno de los procesos (o macroprocesos) es eficaz = 0 puntos

Oportunidad

- Todos los procesos (o macroprocesos) son oportunos = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es oportuno = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es oportuno = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es oportuno = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es oportuno = 1 punto

5 La valoracioacuten cuantitativa deberaacute estar sustentada y por tanto ser consistente con lo valorado por la instancia evaluadora en el apartado de ldquoMedicioacuten de atributos de los procesos y subprocesosrdquo

PAE 2017 30

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

- Ninguno de los procesos (o macroprocesos) es oportuno = 0 puntos

Suficiencia

- Todos los procesos (o macroprocesos) son suficientes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es suficiente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es suficiente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es suficiente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es suficiente = 1 punto

- Ninguno de los procesos (o macroprocesos) es suficiente = 0 puntos

Pertinencia

- Todos los procesos (o macroprocesos) son pertinentes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es pertinente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es pertinente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es pertinente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es pertinente = 1 punto

- Ninguno de los procesos (o macroprocesos) es pertinente = 0 puntos

A partir de los puntajes asignados en los cuatro atributos anteriores esta valoracioacuten cuantitativa

global debe considerar el total de puntos posibles de obtener (5 x 4 = 20 puntos) y los puntos

obtenidos en la Evaluacioacuten de Procesos Pp (lsquoyrsquo puntos) de modo que se indique el porcentaje de

puntos obtenidos del total de puntos posibles [(lsquoyrsquo20) x 100] = valoracioacuten cuantitativa global de la

operacioacuten del Pp

La instancia evaluadora deberaacute utilizar el Anexo 9 ldquoValoracioacuten global cuantitativardquo para documentar

argumentar y sustentar cada una de las valoraciones cuantitativas sobre la operacioacuten y la ejecucioacuten

de los procesos (o macroprocesos) del Pp

Adicionalmente en este apartado se deberaacuten integrar las recomendaciones y conclusiones que se

consideren maacutes relevantes de los procesos y subprocesos o macroprocesos del Pp las cuales deben

formularse con base en los hallazgos del trabajo de campo y de gabinete El objetivo final de las

recomendaciones es proveer informacioacuten valiosa a los operadores del Pp para realizar adecuaciones

en la ejecucioacuten de los procesos y subprocesos o macroprocesos de modo que se potencie la

consecucioacuten de resultados del Pp

Las recomendaciones que se formulen como resultado de la Evaluacioacuten de Procesos del Pp deberaacuten

tener las siguientes caracteriacutesticas

Derivarse de los hallazgos de la evaluacioacuten

PAE 2017 31

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Ser concretas y factibles

Incluir un proyecto de implementacioacuten que considere los siguientes elementos

- Breve anaacutelisis de la viabilidad o factibilidad de la implementacioacuten

- Principales responsables de la implementacioacuten

- Anaacutelisis de los efectos potenciales que puede implicar la implementacioacuten tanto en la

operacioacuten del Pp como en el logro de sus objetivos

- La comparacioacuten entre la situacioacuten actual y el resultado que se espera obtener con la

implementacioacuten de la recomendacioacuten

Estar categorizadas en dos liacuteneas de accioacuten estrateacutegicas

- Consolidacioacuten

- Reingenieriacutea de procesos o subprocesos

Al respecto la instancia evaluadora debe entender por consolidacioacuten aquellas recomendaciones que

estaacuten dirigidas a perfeccionar determinados aspectos de la operacioacuten como seriacutean algunas acciones

procedimientos o estrategias del Pp asiacute como iniciativas para el fortalecimiento de los sistemas

automatizados infraestructura entre otros

Por reingenieriacutea de procesos o subprocesos se entenderaacuten aquellas recomendaciones que apuntan

a una transformacioacuten o modificacioacuten profunda o sustancial de uno o varios de los procesos y

subprocesos del Pp Para ello se deberaacute llenar el Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de

Procesos del Pprdquo y que a su vez deben derivar en acciones de consolidacioacuten para la implementacioacuten

de los procesos transformados

Adicionalmente y de conformidad con el alcance de la Evaluacioacuten de Procesos del Pp se deberaacute

presentar una propuesta para crear o fortalecer el sistema de monitoreo de gestioacuten del Pp con

indicadores a nivel de procesos y subprocesos o macroprocesos

Asimismo a partir de todo el anaacutelisis y valoraciones realizadas se deberaacute emitir un pronunciamiento

acerca de la percepcioacuten de eficiencia que la instancia evaluadora haya tenido sobre la ejecucioacuten de

los procesos y subprocesos o macroprocesos del Pp

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible o si no hipoteacuteticos en un anexo de formato libre Anexo 10 ldquoSistema de

monitoreo e indicadores de gestioacuten del Pprdquo

PAE 2017 32

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Bitaacutecora de trabajo de campo y bases de datos

La instancia evaluadora deberaacute entregar una bitaacutecora de trabajo de campo que destaque de forma

sinteacutetica entre otros puntos las principales actividades y situaciones a las que se enfrentoacute y que

podriacutean afectar los resultados de la Evaluacioacuten de Procesos del Pp

Asimismo deberaacute entregar las bases de datos generadas a partir de la aplicacioacuten de los instrumentos

de recoleccioacuten de informacioacuten y de la recopilacioacuten de informacioacuten en el trabajo de campo Las bases

de datos deberaacuten entregarse en formatos compatibles con Excel debiendo mantener la

confidencialidad de los entrevistados pero sin alterar la informacioacuten proporcionada por estos En las

bases de datos debe estar sistematizada toda la informacioacuten recabada a partir de la aplicacioacuten de

los instrumentos de levantamiento de informacioacuten y deberaacute sustentar el anaacutelisis las valoraciones los

hallazgos y las conclusiones de la evaluacioacuten

PAE 2017 33

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Contenido del informe

Contenido miacutenimo del informe final de la evaluacioacuten

Derivado del contenido generado en las secciones anteriores deberaacuten elaborarse los siguientes

apartados en el informe final de la Evaluacioacuten de Procesos del Pp

i Introduccioacuten

ii Resumen Ejecutivo

iii Marco Legal

iv Datos Generales del Programa Presupuestario (Pp)

v Criterios Teacutecnicos para la Evaluacioacuten del Programa Presupuestario correspondiente

vi Apartados de la evaluacioacuten

Seccioacuten 1 Disentildeo

Diagnoacutestico del programa puacuteblico

Matriz de Indicadores para Resultados (MIR)

Seccioacuten 2 Procesos

Pertinencia de los proceso

Diagnoacutestico general de los procesos y subprocesos del Pp

- Contexto en que opera el Pp

- Diagnoacutestico inicial de los procesos y subprocesos

Descripcioacuten y valoracioacuten de los procesos y subprocesos del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

vii Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

viii Valoracioacuten final del Pp

ix Hallazgos

x Recomendaciones clasificadas por apartado

xi Conclusiones

xii Bibliografiacutea

xiii Anexos

Anexo 1 Descripcioacuten General del Programa

Anexo 2 Metodologiacutea para la cuantificacioacuten de las poblaciones potencial y objetivo

(Formato Libre)

Anexo 3 Evolucioacuten de la Cobertura

Anexo 4 Propuesta de mejora de la Matriz de Indicadores para Resultados

Anexo 5 Ficha de identificacioacuten y equivalencia de procesos del Pp

PAE 2017 34

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 Fichas de indicadores de atributos de los procesos del Pp (Formato libre)

Anexo 7 Diagramas de flujo de la operacioacuten del Pp

Anexo 8 Propuesta de modificacioacuten a los documentos normativos o institucionales

del Pp

Anexo 9 Valoracioacuten global cuantitativardquo

Anexo 10 Sistema de monitoreo e indicadores de gestioacuten del Pp (Formato libre)

Anexo 11 Recomendaciones de la Evaluacioacuten de Procesos del Pp

Anexo 12 Principales Fortalezas Retos y Recomendaciones

Anexo 13 Ficha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacuten

En el Resumen Ejecutivo asimismo se describiraacuten los principales hallazgos y recomendaciones del

evaluador externo

Para el desarrollo de los apartados antes referidos deberaacute atender las indicaciones que se desarrollan

en las siguientes secciones

Hallazgos y resultados Pp por Seccioacuten

Se debe realizar una valoracioacuten general del programa por seccioacuten utilizando las respuestas que

integran cada uno de los apartados En esta valoracioacuten integral se deberaacute sentildealar en queacute medida la

gestioacuten operativa conduce al logro de los objetivos del Pp

Asimismo se deben sentildealar las aacutereas de mejora las buenas praacutecticas y las fortalezas detectadas en

la operacioacuten del Pp y a partir de ello la instancia evaluadora emitiraacute recomendaciones de mejora

sobre aspectos especiacuteficos de cada proceso y subproceso o macroproceso del Pp Adicionalmente

se deberaacuten identificar los problemas o limitantes tanto normativos como operativos (ldquocuellos de

botellardquo) de coordinacioacuten entre unidades administrativas y otros que hubiese en los procesos y

subprocesos o macroprocesos del Pp entendieacutendose como aquellas praacutecticas procedimientos

actividades o traacutemites que obstaculizan la operacioacuten del Pp

En este sentido se deberaacuten identificar las situaciones en las que la normativa genere complicaciones

en la gestioacuten o ineficacia en el cumplimiento de los objetivos del Pp para lo cual se deberaacute presentar

(por cada situacioacuten identificada) una propuesta de modificacioacuten a la normativa aplicable al Pp

considerando las restricciones praacutecticas que existan para su implementacioacuten asiacute como los efectos

PAE 2017 35

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

potenciales de ser implementada Los resultados de este anaacutelisis deberaacuten describirse en el Anexo 7

ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales del Pprdquo

Para la identificacioacuten y descripcioacuten de los ldquocuellos de botellardquo buenas praacutecticas y fortalezas del Pp

se consideraraacute la informacioacuten derivada del anaacutelisis de la operacioacuten del Pp asiacute como los puntos de

vista de los principales actores que intervienen en ella Este anaacutelisis deberaacute contener las causas y las

consecuencias de los ldquocuellos de botellardquo detectados sus caracteriacutesticas y naturaleza (si son

normativas o estrictamente operativas) de igual manera se deberaacute desarrollar un anaacutelisis de las

buenas praacutecticas identificadas

Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

Se debe integrar en una sola tabla las fortalezas oportunidades debilidades y amenazas

especificadas por cada apartado de la evaluacioacuten y reportarlas en el Anexo 11 ldquoPrincipales Fortalezas

Retos y Recomendacionesrdquo en el que se deben incluir las fortalezas yo oportunidades las

debilidades yo amenazas y las recomendaciones por apartado de la evaluacioacuten

PAE 2017 36

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexos

Anexo 1 ldquoDescripcioacuten General del Programardquo

El Anexo tiene formato libre sin embargo debe contener una breve descripcioacuten de las caracteriacutesticas

maacutes relevantes del Pp en un maacuteximo de dos cuartillas Dicha descripcioacuten debe considerar los

siguientes aspectos

1 Identificacioacuten del programa

11 Nombre

12 Clave de programa

13 Dependencia yo Entidad coordinadora ejecutora

14 Antildeo de inicio de operacioacuten

2 Problema o necesidad que el Pp pretende atender atenuar o resolver

3 La contribucioacuten del Pp a las Metas y objetivos estatales a los que se vincula

4 Descripcioacuten de los objetivos del Pp asiacute como de los bienes yo servicios que ofrece

(componentes)

5 Identificacioacuten y cuantificacioacuten de la poblacioacuten o aacuterea de enfoque potencial y

objetivo

6 Presupuesto aprobado para el ejercicio fiscal en curso

7 Metas de los indicadores de Fin Propoacutesito y Componentes asiacute como los de nivel

actividad que se consideren relevantes y

8 Resumen de la valoracioacuten de la pertinencia del disentildeo del Pp respecto a la atencioacuten

del problema o necesidad

Anexo 2 ldquoMetodologiacutea para la cuantificacioacuten de la poblacioacuten o aacuterea de enfoque

potencial y objetivordquo

El Anexo tiene formato libre sin embargo se debe incluir la siguiente informacioacuten

Definicioacuten de la poblacioacuten o aacuterea de enfoque potencial objetivo y atendida

Cuantificacioacuten de la poblacioacuten potencial objetiva y atendida

Hallazgos sobre el procedimiento llevado a cabo para definir y cuantificar la poblacioacuten o

aacuterea de enfoque potencial objetivo y atendida

Recomendaciones

Propuesta orientada hacia la mejora

PAE 2017 37

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 3 ldquoEvolucioacuten de la Coberturardquo

Nombre del

Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten

Antildeo de la Evaluacioacuten

Tipo de Poblacioacuten

Unidad

de

Medida

2012 2013 2014 2015 2016

P Potencial

P Objetivo

P Atendida

119927119912 times 120783120782120782

119927119926

PAE 2017 38

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 4 ldquoPropuesta de mejora de la Matriz de Indicadores para Resultadosrdquo

Derivado del anaacutelisis y valoracioacuten de la pregunta de investigacioacuten nuacutemero 3 iquestLa estructura de

objetivos planteada por el programa mantiene loacutegica y correspondencia causal con el problema

planteado en el diagnoacutestico se realizaraacute una propuesta de mejora de MIR

Fin

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Propoacutesito

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Componente 1

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

PAE 2017 39

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Componente 2 hellip

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 40

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesos del Pprdquo

Para la identificacioacuten y clasificacioacuten de los procesos del Pp se sugieren los siguientes pasos

1 Listar los procesos identificados

Comparar los procesos identificados del Pp con aquellos correspondientes al Modelo general de

procesos Colocar en el rengloacuten correspondiente el nombre de cada proceso del Pp identificado

como equivalente

2 Colocar al final de la lista aquellos procesos del Pp que no sean equivalentes con el Modelo

general de procesos

Modelo general de

procesos

Nuacutemero

de

secuencia

Procesos o subprocesos del Pp identificados por el

evaluador

(Nombre y breve descripcioacuten)

Planeacioacuten Ejemplo (Ej) Planeacioacuten Estrateacutegica

Ej Programacioacuten

Ej Presupuestacioacuten

Comunicacioacuten interna y

externa

Ej Difusioacuten Federal

Ej Difusioacuten Local

Seleccioacuten de

destinatarios

Ej Recepcioacuten de solicitudes de becas

Ej Seleccioacuten de becarios

Produccioacuten de

entregables

Entrega

Control

Seguimiento Ej Seguimiento fiacutesico y supervisioacuten en campo

Evaluacioacuten externa Ej Publicacioacuten y lectura del PAE

Ej Definicioacuten de TdR

Ej Contratacioacuten

Ej Ejecucioacuten de la evaluacioacuten externa

Monitoreo Ej Registro de avances de indicadores

Ej Revisioacuten de registros

Ej Validacioacuten de registros e integracioacuten de informes

PAE 2017 41

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Procesos identificados por el evaluador que no coinciden con el Modelo general de procesos

PAE 2017 42

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 ldquoFichas de indicadores de atributos de los procesos del Pp (formato libre)rdquo

Para la construccioacuten de este anexo deberaacute realizarse una revisioacuten documental (normativa aplicable

MIR evaluaciones externas sistemas de informacioacuten y registros administrativos entre otros) misma

que deberaacute complementarse con el trabajo de campo con el objetivo de identificar disentildear y calcular

indicadores relacionados con dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de

informacioacuten empleadas

Ademaacutes de considerar la medicioacuten de los atributos de eficacia suficiencia oportunidad y pertinencia

de cada proceso y subproceso o macroproceso

PAE 2017 43

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 7 ldquoDiagramas de flujo de la operacioacuten del Pprdquo

Para la elaboracioacuten de los diagramas de flujo deberaacute utilizarse la notacioacuten empleada en el

documento ldquoGuiacutea para la Optimizacioacuten Estandarizacioacuten y Mejora Continua de Procesosrdquo publicada

por la SFP en la direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Para el Diagrama de Alto Nivel (Diagrama PEPSU)

Ejemplo ilustrativo

PAE 2017 44

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para el Diagrama de Flujo

PAE 2017 45

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

PAE 2017 46

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 8 ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales

del Pprdquo

Tipo de

norma-

tiva

Dice

Problema

generado

(causas y

consecuencias)

Se

recomienda

decir

Efecto esperado de

aplicar la

recomendacioacuten de

cambio

Restricciones praacutecticas

que puedan existir para

su implementacioacuten

PAE 2017 47

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 9 ldquoValoracioacuten global cuantitativa ldquo

Seccioacuten 1 Disentildeo

Disentildeo Valoracioacuten Argumento o justificacioacuten

Porcentaje del

Disentildeo del Pp

(Suma de valoracioacuten alcanzada por pregunta de la seccioacuten 1 Total maacuteximo de la

valoracioacuten de todas las preguntas de la seccioacuten 1 ) x 100

Seccioacuten 2 Procesos

Proceso Eficacia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

eficaces

(Total de procesos eficaces Total de procesos del Pp) x 100

Proceso Oportunidad

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

oportunos

(Total de procesos oportunos Total de procesos del Pp) x 100

Proceso Suficiencia

(SiacuteNo) Argumento o justificacioacuten

PAE 2017 48

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Porcentaje de

procesos

suficientes

(Total de procesos suficientes Total de procesos del Pp) x 100

Proceso Pertinencia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

pertinentes

(Total de procesos pertinentes Total de procesos del Pp) x 100

NOTA Los argumentos y justificaciones del evaluador deberaacuten considerar el anaacutelisis y valoraciones de

los subprocesos de cada proceso de modo que haya consistencia entre estos elementos Asimismo el

evaluador deberaacute expresar los resultados de la valoracioacuten cuantitativa en una graacutefica tipo radial

PAE 2017 49

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 10 ldquoSistema de monitoreo e indicadores de gestioacuten del Pp (formato libre)rdquo

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible

Nombre del Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten De Procesos

Antildeo de la Evaluacioacuten 2017

Fin Justificacioacuten Propoacutesito Justificacioacuten Componente (s) Justificacioacuten

Nombre de

Indicador

Meacutetodo de Caacutelculo

Claro SiacuteNo SiacuteNo SiacuteNo

Relevante SiacuteNo SiacuteNo SiacuteNo

Econoacutemico SiacuteNo SiacuteNo SiacuteNo

Monitoreable SiacuteNo SiacuteNo SiacuteNo

Adecuado SiacuteNo SiacuteNo SiacuteNo

Definicioacuten SiacuteNo SiacuteNo SiacuteNo

Unidad de Medida SiacuteNo SiacuteNo SiacuteNo

Frecuencia de

Medicioacuten

SiacuteNo SiacuteNo SiacuteNo

Liacutenea Base SiacuteNo SiacuteNo SiacuteNo

Metas SiacuteNo SiacuteNo SiacuteNo

Comportamiento

del Indicador

SiacuteNo SiacuteNo SiacuteNo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 50

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de Procesos del Pprdquo

En este Anexo la instancia evaluadora debe valorar si la recomendacioacuten implica una consolidacioacuten o

una reingenieriacutea del proceso

A) Consolidacioacuten

Proceso Recomendaci

oacuten

Breve

anaacutelisis de

viabilidad de

la

implementa-

cioacuten

Principales

responsables

de la

implementaci

oacuten

Situacioacuten

actual

Efectos

potenciales

esperados

Medio de

verifica-

cioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

B) Reingenieriacutea de procesos

Proceso Objetivo

Breve

anaacutelisis de

viabilidad

de la

implemen-

tacioacuten

Principales

responsables

de la

implemen-

tacioacuten

Situa-

cioacuten

actual

Metas y

efectos

potenciale

s

esperados

Elabora-

cioacuten de

flujogram

a del

nuevo

proceso

Medio

de

verifi-

cacioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

NOTA El nivel de priorizacioacuten Alto Medio o Bajo se estimaraacute considerando la mejora en la operacioacuten

del Pp la viabilidad de la implementacioacuten de la recomendacioacuten asiacute como el efecto potencial que esto

pueda tener el alcance del objetivo del Pp

PAE 2017 51

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 12 ldquoPrincipales Fortalezas Retos y Recomendacionesrdquo

Capacidades Internas Factores Externos

Fortalezas

(Cualquier capacidad con la que cuenta la dependencia o

entidad que le permita aprovechar sus recursos para la

obtencioacuten de sus objetivos)

Oportunidades

(Cualquier factor externo fuera del control de la dependencia o

entidad que puede ser aprovechado para la obtencioacuten de sus

objetivos)

Debilidades

(Cualquier limitante Interna de la dependencia o entidad que

puede afectar la obtencioacuten de sus objetivos)

Amenazas

(Cualquier factor externo fuera de control de la dependencia o

entidad que pueda afectar la obtencioacuten de sus objetivos)

PAE 2017 52

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacutenrdquo

El Informe Final de la Evaluacioacuten de Procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten

Superior deberaacuten contener una ficha con los siguientes datos

Ficha Teacutecnica con los datos generales de la evaluacioacuten

Nombre o denominacioacuten de la

evaluacioacuten

[Especificar el nombre de la evaluacioacuten considerando su tipo y ejercicio

evaluado]

Nombre o denominacioacuten del

programa evaluado

[Indicar el nombre del Pp sujeto a evaluacioacuten de acuerdo con lo

establecido en el PEF sentildealando su modalidad y clave]

Unidad Responsable de la operacioacuten

del programa

[Especificar la(s) unidad(es) responsable(s) de la administracioacuten

operacioacuten y ejecucioacuten de los programas subprogramas y proyectos del

Pp evaluado correspondientes a las dependencias y entidades]

Titular de la unidad responsable de la

operacioacuten del programa

[Indicar el nombre del(a) Titular de la Unidad Responsable de la

operacioacuten del Pp]

Antildeo del Programa Anual de

Evaluacioacuten (PAE) en que fue

considerada la evaluacioacuten

[Especificar el ejercicio fiscal al que corresponde el PAE en la que fue

programada la evaluacioacuten]

Antildeo de conclusioacuten y entrega de la

evaluacioacuten

[Indicar el antildeo en que se concluyoacute la evaluacioacuten]

Tipo de evaluacioacuten [Especificar el tipo de evaluacioacuten de acuerdo con los Lineamientos de

evaluacioacuten el nombre de la evaluacioacuten y con lo establecido en el PAE]

Nombre de la instancia evaluadora [Indicar el nombre de la firma consultoriacutea u organizacioacuten que realizoacute la

evaluacioacuten]

Nombre del(a) coordinador(a)

externo(a) de la evaluacioacuten

[Especificar el nombre del(a) responsable de la coordinacioacuten de la

evaluacioacuten dla instancia evaluadora]

Nombre de los(as) principales

colaboradores(as) del(a)

coordinador(a) de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del(a)

coordinador(a) de la evaluacioacuten]

PAE 2017 53

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Unidad Administrativa responsable de

la Coordinacioacuten de la evaluacioacuten

[De acuerdo con lo sentildealado en el PAE especificar la instancia a la que

corresponde la coordinacioacuten de la evaluacioacuten pej Secretariacutea de

Finanzas y Administracioacuten (SFA) asiacute como la unidad administrativa

mediante la cual se ejerce esta funcioacuten p ej Direccioacuten de Evaluacioacuten

de la SFA (DEV)

Nombre del(a) Titular de la unidad

administrativa responsable de

coordinar la evaluacioacuten (Aacuterea de

Evaluacioacuten)

[Especificar el nombre del(a) Titular de la Unidad responsable de dar

seguimiento a la evaluacioacuten que funge como Aacuterea de Evaluacioacuten]

Nombres de los(as) servidores(as)

puacuteblicos(as) adscritos(as) a la unidad

administrativa responsable de

coordinar la evaluacioacuten que

coadyuvaron con la revisioacuten teacutecnica

de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del

titular de la unidad administrativa responsable de dar seguimiento a la

evaluacioacuten respecto de la revisioacuten teacutecnica de la misma]

Forma de contratacioacuten de la instancia

evaluadora

[Indicar el tipo de contratacioacuten dla instancia evaluadora Especificar el

tipo de procedimiento de contratacioacuten de la instancia evaluadora

consistente con los tipos de adjudicacioacuten establecidos en la Ley de

Adquisiciones Arrendamientos y Servicios del Sector Puacuteblico]

Costo total de la evaluacioacuten con IVA

incluido

[Especificar el costo total de la evaluacioacuten incluyendo el IVA (en caso

de que se haya causado) como sigue $XXX IVA incluido]

Asimismo en este anexo se deberaacute incluir una nota metodoloacutegica con la descripcioacuten de las teacutecnicas

y los modelos utilizados por el evaluador externo acompantildeada del disentildeo por muestreo

especificando los supuestos empleados y las principales caracteriacutesticas del tamantildeo y dispersioacuten de

la muestra utilizada

DIRECTORIO

Rauacutel Saacutenchez Kobashi

Secretario de la Secretariacutea de Finanzas y Administracioacuten

Francisco Fidel Teomitzi Saacutenchez

Subsecretario de Planeacioacuten

Arturo Neponuceno Crisoacutestomo

Director de Evaluacioacuten

Rodolfo de la Rosa Cabrera

Subdireccioacuten de Evaluacioacuten de Programas

Sauacutel Federico Oropeza Orea

Jefe del Departamento de Programas Estatales y Municipales

Ana Luz Guzmaacuten Figueroa

Analista del Departamento de Programas Estatales y Municipales

Marco Antonio Saacutenchez Gonzaacutelez

Analista del Departamento de Programas Estatales y Municipales

Page 27: Términos de Referencia para la Evaluación del Desempeño ...evaluacion.puebla.gob.mx/pdf/metodologias/TdR_Est/2017/TdR... · Perfil de la instancia evaluadora ... acuerdo con las

PAE 2017 26

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para mayor informacioacuten referirse a ldquoFigure A4 The four stages of online service developmentrdquo en

los siguientes documentos

Lineamientos relativos a la digitalizacioacuten estandarizada de traacutemites y servicios con apego en

la Estrategia Digital Nacional

httpwwwgobmxcmsuploadsattachmentfile67232ti_1_pgcm_bases_lineam_tyspdf

United Nations E-Government Survey 2014 (paacutegina 195)

httpspublicadministrationunorgegovkbportalsegovkbdocumentsun2014-surveye-

gov_complete_survey-2014pdf

Seleccioacuten de destinatarios (cuando aplique)

iquestExiste una metodologiacutea o meacutetodo para la seleccioacuten de destinatarios o beneficiarios de los

componentes o entregables del Pp iquestLa metodologiacutea utilizada cuenta con criterios de

seleccioacuten y elegibilidad claros estandarizados y sistematizados

iquestLa seleccioacuten de destinatarios o beneficiarios de los componentes o entregables del Pp es un

proceso transparente e imparcial iquestEl resultado de la seleccioacuten es puacuteblico (cuando aplique)

iquestExiste informacioacuten en una base de datos que permita conocer quieacutenes o queacute instancias

reciben los componentes o entregables del Pp iquestQueacute informacioacuten integra esta base de datos

iquestExisten mecanismos para validar y actualizar esta base de datos iquestEstos mecanismos son

pertinentes

Produccioacuten de componentes o entregables

iquestSe cuenta con los insumos suficientes para generar el volumen de componentes o

entregables que permitan al Pp atender a su poblacioacuten o aacuterea de enfoque objetivo

iquestEl Pp tiene mecanismos para estimar la produccioacuten o generacioacuten necesaria de componentes

o entregables de acuerdo con la posible demanda o requerimientos de su poblacioacuten o aacuterea

de enfoque objetivo iquestEs adecuado este mecanismo

iquestExisten mecanismos de control de calidad para la generacioacuten de los componentes o

entregables del Pp iquestEstos mecanismos son pertinentes

iquestLas actividades de generacioacuten de componentes o entregables que otorga el Pp estaacuten

estandarizadas es decir son ejecutadas de manera homogeacutenea por todas las instancias

involucradas

PAE 2017 27

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Entrega

iquestLos componentes o entregables del Pp son proporcionados conforme a las especificaciones

y de manera oportuna a los destinatarios

iquestExisten especificaciones (programas o planes de trabajo) sobre la forma en que se deben

trasladar los componentes o entregables para (por ejemplo) asegurar su adecuada recepcioacuten

en el punto de destino iquestSon adecuadas estas especificaciones respecto a normas o

lineamientos existentes (cuando aplique)

iquestLa logiacutestica de distribucioacuten se actualiza (cuando aplique) iquestExiste un periodo para dicha

actualizacioacuten iquestEn el disentildeo y actualizacioacuten de la logiacutestica se toman en cuenta los factores

geograacuteficos y climatoloacutegicos en cada regioacuten donde opera el Pp (cuando aplique)

iquestLos puntos de entrega de los componentes o entregables son cercanos a los beneficiarios

o aacuterea de enfoque a atender y son de faacutecil acceso iquestSe considera que son suficientes iquestPor

queacute

Control (las preguntas que apliquen)

iquestEl Pp cuenta con los mecanismos para verificar que los componentes o entregables se

otorguen de acuerdo con lo establecido en la normativa especiacutefica y lleguen a la poblacioacuten

o aacuterea de enfoque que deba ser beneficiada iquestEstos mecanismos son adecuados

iquestExiste de manera sistematizada un documento que deacute cuenta de los resultados de

supervisioacuten y entrega de componentes o entregables iquestEste documento es adecuado iquestLos

resultados se utilizan para implementar mejoras en la operacioacuten del Pp

iquestExisten procedimientos estandarizados que verifiquen el cumplimiento de la

corresponsabilidad u obligatoriedad por parte de los beneficiarios o destinatarios de los

componentes o entregables del Pp (cuando aplique)

Seguimiento a destinatarios

iquestEl Pp tiene mecanismos para verificar el procedimiento de seguimiento a los destinatarios o

beneficiarios que permitan identificar si los componentes o entregables generados son

utilizados de acuerdo con lo establecido iquestCoacutemo se implementa el mecanismo iquestEste

mecanismo es adecuado

iquestExisten procedimientos estandarizados que permitan verificar el cumplimiento de la

corresponsabilidad u obligatoriedad por parte del destinatario o beneficiario (cuando

aplique)

PAE 2017 28

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

En caso de que los componentes o entregables involucren la ejecucioacuten de obra o de

infraestructura iquestel Pp cuenta con un mecanismo de seguimiento o supervisioacuten que permita

identificar si se realizaron acorde a la normativa aplicable iquestEl seguimiento o supervisioacuten

considera plazos para la revisioacuten de las condiciones de la obra o la infraestructura despueacutes

de terminada la obra

iquestEl Pp tiene mecanismos para identificar si se cumple con su Propoacutesito iquestSon suficientes y

pertinentes estos mecanismos

iquestExisten mecanismos para conocer la satisfaccioacuten del destinatario o beneficiario de los

componentes o entregables del Pp respecto de los componentes que ofrece el Pp iquestSon

adecuados estos mecanismos iquestSu operacioacuten permite una aplicacioacuten imparcial y objetiva

iquestExiste evidencia para afirmar que las quejas y sugerencias que brindan los destinatarios o

beneficiarios de los componentes o entregables del Pp son utilizadas para la mejora continua

del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

En esta seccioacuten se deberaacute realizar la medicioacuten de los atributos de eficacia oportunidad suficiencia

y pertinencia de los procesos y subprocesos o macroprocesos definidos en el mapa de procesos del

Pp A continuacioacuten se definen los atributos en el marco de la evaluacioacuten de procesos

Eficacia un proceso es eficaz en la medida en que cumple con sus metas

Oportunidad un proceso es oportuno en la medida en que otorga sus productos

(componentes o entregables) o resultados en un periodo de tiempo determinado o

adecuado para el logro de sus objetivos

Suficiencia un proceso es suficiente en la medida en que produce sus resultados de forma

completa o adecuada para el logro de sus objetivos

Pertinencia un proceso es pertinente si sus actividades y productos son adecuados para

lograr tanto sus metas especiacuteficas como sus objetivos es decir si contribuyen al

mejoramiento de la gestioacuten del Pp4

4 Las actividades son adecuadas si estaacuten en funcioacuten del logro del objetivo de cada proceso Por ejemplo si se verifica que el formato de los mensajes a difundir cumpla con las caracteriacutesticas necesarias para llegar a la poblacioacuten o aacuterea de enfoque objetivo como seriacutea una mensaje de audio en la lengua indiacutegena de la localidad donde se encuentran los posibles destinatarios o beneficiarios o bien como seriacutea un mensaje dirigido a personal operativo del Pp cuyo nivel de estudios promedio pudiera complicar la comprensioacuten de lenguaje teacutecnico utilizado

PAE 2017 29

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para la medicioacuten de los atributos de los procesos y subprocesos o macroprocesos del Pp deberaacute

realizarse una revisioacuten documental (normativa aplicable MIR evaluaciones externas sistemas de

informacioacuten y registros administrativos entre otros) misma que deberaacute complementarse con el

trabajo de campo con el objetivo de identificar disentildear y calcular indicadores relacionados con

dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de informacioacuten empleadas

La informacioacuten obtenida de estos indicadores deberaacute vaciarse en fichas propuestas por la instancia

evaluadora presentadas como en el Anexo 6 ldquoFichas de indicadores de atributos de los procesos del

Pprdquo (formato libre) Estas fichas deberaacuten considerar la medicioacuten de los atributos de eficacia

suficiencia oportunidad y pertinencia correspondientes a cada proceso y subproceso o

macroproceso

Valoracioacuten de los procesos y subprocesos de la operacioacuten del Pp

Deberaacute contener una siacutentesis de los resultados encontrados en la Evaluacioacuten de Procesos del Pp

resaltando los hallazgos maacutes relevantes que se hayan detectado y que pudiesen transformarse en

ASM

La instancia evaluadora deberaacute calcular una valoracioacuten global cuantitativa sobre la operacioacuten y la

ejecucioacuten de los procesos y subprocesos o macroprocesos del Pp a partir del siguiente esquema de

puntuacioacuten5

Eficacia

- Todos los procesos (o macroprocesos) son eficaces = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es eficaz = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es eficaz = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es eficaz = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es eficaz = 1 punto

- Ninguno de los procesos (o macroprocesos) es eficaz = 0 puntos

Oportunidad

- Todos los procesos (o macroprocesos) son oportunos = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es oportuno = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es oportuno = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es oportuno = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es oportuno = 1 punto

5 La valoracioacuten cuantitativa deberaacute estar sustentada y por tanto ser consistente con lo valorado por la instancia evaluadora en el apartado de ldquoMedicioacuten de atributos de los procesos y subprocesosrdquo

PAE 2017 30

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

- Ninguno de los procesos (o macroprocesos) es oportuno = 0 puntos

Suficiencia

- Todos los procesos (o macroprocesos) son suficientes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es suficiente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es suficiente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es suficiente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es suficiente = 1 punto

- Ninguno de los procesos (o macroprocesos) es suficiente = 0 puntos

Pertinencia

- Todos los procesos (o macroprocesos) son pertinentes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es pertinente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es pertinente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es pertinente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es pertinente = 1 punto

- Ninguno de los procesos (o macroprocesos) es pertinente = 0 puntos

A partir de los puntajes asignados en los cuatro atributos anteriores esta valoracioacuten cuantitativa

global debe considerar el total de puntos posibles de obtener (5 x 4 = 20 puntos) y los puntos

obtenidos en la Evaluacioacuten de Procesos Pp (lsquoyrsquo puntos) de modo que se indique el porcentaje de

puntos obtenidos del total de puntos posibles [(lsquoyrsquo20) x 100] = valoracioacuten cuantitativa global de la

operacioacuten del Pp

La instancia evaluadora deberaacute utilizar el Anexo 9 ldquoValoracioacuten global cuantitativardquo para documentar

argumentar y sustentar cada una de las valoraciones cuantitativas sobre la operacioacuten y la ejecucioacuten

de los procesos (o macroprocesos) del Pp

Adicionalmente en este apartado se deberaacuten integrar las recomendaciones y conclusiones que se

consideren maacutes relevantes de los procesos y subprocesos o macroprocesos del Pp las cuales deben

formularse con base en los hallazgos del trabajo de campo y de gabinete El objetivo final de las

recomendaciones es proveer informacioacuten valiosa a los operadores del Pp para realizar adecuaciones

en la ejecucioacuten de los procesos y subprocesos o macroprocesos de modo que se potencie la

consecucioacuten de resultados del Pp

Las recomendaciones que se formulen como resultado de la Evaluacioacuten de Procesos del Pp deberaacuten

tener las siguientes caracteriacutesticas

Derivarse de los hallazgos de la evaluacioacuten

PAE 2017 31

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Ser concretas y factibles

Incluir un proyecto de implementacioacuten que considere los siguientes elementos

- Breve anaacutelisis de la viabilidad o factibilidad de la implementacioacuten

- Principales responsables de la implementacioacuten

- Anaacutelisis de los efectos potenciales que puede implicar la implementacioacuten tanto en la

operacioacuten del Pp como en el logro de sus objetivos

- La comparacioacuten entre la situacioacuten actual y el resultado que se espera obtener con la

implementacioacuten de la recomendacioacuten

Estar categorizadas en dos liacuteneas de accioacuten estrateacutegicas

- Consolidacioacuten

- Reingenieriacutea de procesos o subprocesos

Al respecto la instancia evaluadora debe entender por consolidacioacuten aquellas recomendaciones que

estaacuten dirigidas a perfeccionar determinados aspectos de la operacioacuten como seriacutean algunas acciones

procedimientos o estrategias del Pp asiacute como iniciativas para el fortalecimiento de los sistemas

automatizados infraestructura entre otros

Por reingenieriacutea de procesos o subprocesos se entenderaacuten aquellas recomendaciones que apuntan

a una transformacioacuten o modificacioacuten profunda o sustancial de uno o varios de los procesos y

subprocesos del Pp Para ello se deberaacute llenar el Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de

Procesos del Pprdquo y que a su vez deben derivar en acciones de consolidacioacuten para la implementacioacuten

de los procesos transformados

Adicionalmente y de conformidad con el alcance de la Evaluacioacuten de Procesos del Pp se deberaacute

presentar una propuesta para crear o fortalecer el sistema de monitoreo de gestioacuten del Pp con

indicadores a nivel de procesos y subprocesos o macroprocesos

Asimismo a partir de todo el anaacutelisis y valoraciones realizadas se deberaacute emitir un pronunciamiento

acerca de la percepcioacuten de eficiencia que la instancia evaluadora haya tenido sobre la ejecucioacuten de

los procesos y subprocesos o macroprocesos del Pp

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible o si no hipoteacuteticos en un anexo de formato libre Anexo 10 ldquoSistema de

monitoreo e indicadores de gestioacuten del Pprdquo

PAE 2017 32

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Bitaacutecora de trabajo de campo y bases de datos

La instancia evaluadora deberaacute entregar una bitaacutecora de trabajo de campo que destaque de forma

sinteacutetica entre otros puntos las principales actividades y situaciones a las que se enfrentoacute y que

podriacutean afectar los resultados de la Evaluacioacuten de Procesos del Pp

Asimismo deberaacute entregar las bases de datos generadas a partir de la aplicacioacuten de los instrumentos

de recoleccioacuten de informacioacuten y de la recopilacioacuten de informacioacuten en el trabajo de campo Las bases

de datos deberaacuten entregarse en formatos compatibles con Excel debiendo mantener la

confidencialidad de los entrevistados pero sin alterar la informacioacuten proporcionada por estos En las

bases de datos debe estar sistematizada toda la informacioacuten recabada a partir de la aplicacioacuten de

los instrumentos de levantamiento de informacioacuten y deberaacute sustentar el anaacutelisis las valoraciones los

hallazgos y las conclusiones de la evaluacioacuten

PAE 2017 33

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Contenido del informe

Contenido miacutenimo del informe final de la evaluacioacuten

Derivado del contenido generado en las secciones anteriores deberaacuten elaborarse los siguientes

apartados en el informe final de la Evaluacioacuten de Procesos del Pp

i Introduccioacuten

ii Resumen Ejecutivo

iii Marco Legal

iv Datos Generales del Programa Presupuestario (Pp)

v Criterios Teacutecnicos para la Evaluacioacuten del Programa Presupuestario correspondiente

vi Apartados de la evaluacioacuten

Seccioacuten 1 Disentildeo

Diagnoacutestico del programa puacuteblico

Matriz de Indicadores para Resultados (MIR)

Seccioacuten 2 Procesos

Pertinencia de los proceso

Diagnoacutestico general de los procesos y subprocesos del Pp

- Contexto en que opera el Pp

- Diagnoacutestico inicial de los procesos y subprocesos

Descripcioacuten y valoracioacuten de los procesos y subprocesos del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

vii Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

viii Valoracioacuten final del Pp

ix Hallazgos

x Recomendaciones clasificadas por apartado

xi Conclusiones

xii Bibliografiacutea

xiii Anexos

Anexo 1 Descripcioacuten General del Programa

Anexo 2 Metodologiacutea para la cuantificacioacuten de las poblaciones potencial y objetivo

(Formato Libre)

Anexo 3 Evolucioacuten de la Cobertura

Anexo 4 Propuesta de mejora de la Matriz de Indicadores para Resultados

Anexo 5 Ficha de identificacioacuten y equivalencia de procesos del Pp

PAE 2017 34

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 Fichas de indicadores de atributos de los procesos del Pp (Formato libre)

Anexo 7 Diagramas de flujo de la operacioacuten del Pp

Anexo 8 Propuesta de modificacioacuten a los documentos normativos o institucionales

del Pp

Anexo 9 Valoracioacuten global cuantitativardquo

Anexo 10 Sistema de monitoreo e indicadores de gestioacuten del Pp (Formato libre)

Anexo 11 Recomendaciones de la Evaluacioacuten de Procesos del Pp

Anexo 12 Principales Fortalezas Retos y Recomendaciones

Anexo 13 Ficha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacuten

En el Resumen Ejecutivo asimismo se describiraacuten los principales hallazgos y recomendaciones del

evaluador externo

Para el desarrollo de los apartados antes referidos deberaacute atender las indicaciones que se desarrollan

en las siguientes secciones

Hallazgos y resultados Pp por Seccioacuten

Se debe realizar una valoracioacuten general del programa por seccioacuten utilizando las respuestas que

integran cada uno de los apartados En esta valoracioacuten integral se deberaacute sentildealar en queacute medida la

gestioacuten operativa conduce al logro de los objetivos del Pp

Asimismo se deben sentildealar las aacutereas de mejora las buenas praacutecticas y las fortalezas detectadas en

la operacioacuten del Pp y a partir de ello la instancia evaluadora emitiraacute recomendaciones de mejora

sobre aspectos especiacuteficos de cada proceso y subproceso o macroproceso del Pp Adicionalmente

se deberaacuten identificar los problemas o limitantes tanto normativos como operativos (ldquocuellos de

botellardquo) de coordinacioacuten entre unidades administrativas y otros que hubiese en los procesos y

subprocesos o macroprocesos del Pp entendieacutendose como aquellas praacutecticas procedimientos

actividades o traacutemites que obstaculizan la operacioacuten del Pp

En este sentido se deberaacuten identificar las situaciones en las que la normativa genere complicaciones

en la gestioacuten o ineficacia en el cumplimiento de los objetivos del Pp para lo cual se deberaacute presentar

(por cada situacioacuten identificada) una propuesta de modificacioacuten a la normativa aplicable al Pp

considerando las restricciones praacutecticas que existan para su implementacioacuten asiacute como los efectos

PAE 2017 35

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

potenciales de ser implementada Los resultados de este anaacutelisis deberaacuten describirse en el Anexo 7

ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales del Pprdquo

Para la identificacioacuten y descripcioacuten de los ldquocuellos de botellardquo buenas praacutecticas y fortalezas del Pp

se consideraraacute la informacioacuten derivada del anaacutelisis de la operacioacuten del Pp asiacute como los puntos de

vista de los principales actores que intervienen en ella Este anaacutelisis deberaacute contener las causas y las

consecuencias de los ldquocuellos de botellardquo detectados sus caracteriacutesticas y naturaleza (si son

normativas o estrictamente operativas) de igual manera se deberaacute desarrollar un anaacutelisis de las

buenas praacutecticas identificadas

Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

Se debe integrar en una sola tabla las fortalezas oportunidades debilidades y amenazas

especificadas por cada apartado de la evaluacioacuten y reportarlas en el Anexo 11 ldquoPrincipales Fortalezas

Retos y Recomendacionesrdquo en el que se deben incluir las fortalezas yo oportunidades las

debilidades yo amenazas y las recomendaciones por apartado de la evaluacioacuten

PAE 2017 36

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexos

Anexo 1 ldquoDescripcioacuten General del Programardquo

El Anexo tiene formato libre sin embargo debe contener una breve descripcioacuten de las caracteriacutesticas

maacutes relevantes del Pp en un maacuteximo de dos cuartillas Dicha descripcioacuten debe considerar los

siguientes aspectos

1 Identificacioacuten del programa

11 Nombre

12 Clave de programa

13 Dependencia yo Entidad coordinadora ejecutora

14 Antildeo de inicio de operacioacuten

2 Problema o necesidad que el Pp pretende atender atenuar o resolver

3 La contribucioacuten del Pp a las Metas y objetivos estatales a los que se vincula

4 Descripcioacuten de los objetivos del Pp asiacute como de los bienes yo servicios que ofrece

(componentes)

5 Identificacioacuten y cuantificacioacuten de la poblacioacuten o aacuterea de enfoque potencial y

objetivo

6 Presupuesto aprobado para el ejercicio fiscal en curso

7 Metas de los indicadores de Fin Propoacutesito y Componentes asiacute como los de nivel

actividad que se consideren relevantes y

8 Resumen de la valoracioacuten de la pertinencia del disentildeo del Pp respecto a la atencioacuten

del problema o necesidad

Anexo 2 ldquoMetodologiacutea para la cuantificacioacuten de la poblacioacuten o aacuterea de enfoque

potencial y objetivordquo

El Anexo tiene formato libre sin embargo se debe incluir la siguiente informacioacuten

Definicioacuten de la poblacioacuten o aacuterea de enfoque potencial objetivo y atendida

Cuantificacioacuten de la poblacioacuten potencial objetiva y atendida

Hallazgos sobre el procedimiento llevado a cabo para definir y cuantificar la poblacioacuten o

aacuterea de enfoque potencial objetivo y atendida

Recomendaciones

Propuesta orientada hacia la mejora

PAE 2017 37

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 3 ldquoEvolucioacuten de la Coberturardquo

Nombre del

Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten

Antildeo de la Evaluacioacuten

Tipo de Poblacioacuten

Unidad

de

Medida

2012 2013 2014 2015 2016

P Potencial

P Objetivo

P Atendida

119927119912 times 120783120782120782

119927119926

PAE 2017 38

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 4 ldquoPropuesta de mejora de la Matriz de Indicadores para Resultadosrdquo

Derivado del anaacutelisis y valoracioacuten de la pregunta de investigacioacuten nuacutemero 3 iquestLa estructura de

objetivos planteada por el programa mantiene loacutegica y correspondencia causal con el problema

planteado en el diagnoacutestico se realizaraacute una propuesta de mejora de MIR

Fin

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Propoacutesito

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Componente 1

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

PAE 2017 39

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Componente 2 hellip

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 40

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesos del Pprdquo

Para la identificacioacuten y clasificacioacuten de los procesos del Pp se sugieren los siguientes pasos

1 Listar los procesos identificados

Comparar los procesos identificados del Pp con aquellos correspondientes al Modelo general de

procesos Colocar en el rengloacuten correspondiente el nombre de cada proceso del Pp identificado

como equivalente

2 Colocar al final de la lista aquellos procesos del Pp que no sean equivalentes con el Modelo

general de procesos

Modelo general de

procesos

Nuacutemero

de

secuencia

Procesos o subprocesos del Pp identificados por el

evaluador

(Nombre y breve descripcioacuten)

Planeacioacuten Ejemplo (Ej) Planeacioacuten Estrateacutegica

Ej Programacioacuten

Ej Presupuestacioacuten

Comunicacioacuten interna y

externa

Ej Difusioacuten Federal

Ej Difusioacuten Local

Seleccioacuten de

destinatarios

Ej Recepcioacuten de solicitudes de becas

Ej Seleccioacuten de becarios

Produccioacuten de

entregables

Entrega

Control

Seguimiento Ej Seguimiento fiacutesico y supervisioacuten en campo

Evaluacioacuten externa Ej Publicacioacuten y lectura del PAE

Ej Definicioacuten de TdR

Ej Contratacioacuten

Ej Ejecucioacuten de la evaluacioacuten externa

Monitoreo Ej Registro de avances de indicadores

Ej Revisioacuten de registros

Ej Validacioacuten de registros e integracioacuten de informes

PAE 2017 41

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Procesos identificados por el evaluador que no coinciden con el Modelo general de procesos

PAE 2017 42

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 ldquoFichas de indicadores de atributos de los procesos del Pp (formato libre)rdquo

Para la construccioacuten de este anexo deberaacute realizarse una revisioacuten documental (normativa aplicable

MIR evaluaciones externas sistemas de informacioacuten y registros administrativos entre otros) misma

que deberaacute complementarse con el trabajo de campo con el objetivo de identificar disentildear y calcular

indicadores relacionados con dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de

informacioacuten empleadas

Ademaacutes de considerar la medicioacuten de los atributos de eficacia suficiencia oportunidad y pertinencia

de cada proceso y subproceso o macroproceso

PAE 2017 43

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 7 ldquoDiagramas de flujo de la operacioacuten del Pprdquo

Para la elaboracioacuten de los diagramas de flujo deberaacute utilizarse la notacioacuten empleada en el

documento ldquoGuiacutea para la Optimizacioacuten Estandarizacioacuten y Mejora Continua de Procesosrdquo publicada

por la SFP en la direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Para el Diagrama de Alto Nivel (Diagrama PEPSU)

Ejemplo ilustrativo

PAE 2017 44

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para el Diagrama de Flujo

PAE 2017 45

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

PAE 2017 46

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 8 ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales

del Pprdquo

Tipo de

norma-

tiva

Dice

Problema

generado

(causas y

consecuencias)

Se

recomienda

decir

Efecto esperado de

aplicar la

recomendacioacuten de

cambio

Restricciones praacutecticas

que puedan existir para

su implementacioacuten

PAE 2017 47

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 9 ldquoValoracioacuten global cuantitativa ldquo

Seccioacuten 1 Disentildeo

Disentildeo Valoracioacuten Argumento o justificacioacuten

Porcentaje del

Disentildeo del Pp

(Suma de valoracioacuten alcanzada por pregunta de la seccioacuten 1 Total maacuteximo de la

valoracioacuten de todas las preguntas de la seccioacuten 1 ) x 100

Seccioacuten 2 Procesos

Proceso Eficacia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

eficaces

(Total de procesos eficaces Total de procesos del Pp) x 100

Proceso Oportunidad

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

oportunos

(Total de procesos oportunos Total de procesos del Pp) x 100

Proceso Suficiencia

(SiacuteNo) Argumento o justificacioacuten

PAE 2017 48

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Porcentaje de

procesos

suficientes

(Total de procesos suficientes Total de procesos del Pp) x 100

Proceso Pertinencia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

pertinentes

(Total de procesos pertinentes Total de procesos del Pp) x 100

NOTA Los argumentos y justificaciones del evaluador deberaacuten considerar el anaacutelisis y valoraciones de

los subprocesos de cada proceso de modo que haya consistencia entre estos elementos Asimismo el

evaluador deberaacute expresar los resultados de la valoracioacuten cuantitativa en una graacutefica tipo radial

PAE 2017 49

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 10 ldquoSistema de monitoreo e indicadores de gestioacuten del Pp (formato libre)rdquo

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible

Nombre del Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten De Procesos

Antildeo de la Evaluacioacuten 2017

Fin Justificacioacuten Propoacutesito Justificacioacuten Componente (s) Justificacioacuten

Nombre de

Indicador

Meacutetodo de Caacutelculo

Claro SiacuteNo SiacuteNo SiacuteNo

Relevante SiacuteNo SiacuteNo SiacuteNo

Econoacutemico SiacuteNo SiacuteNo SiacuteNo

Monitoreable SiacuteNo SiacuteNo SiacuteNo

Adecuado SiacuteNo SiacuteNo SiacuteNo

Definicioacuten SiacuteNo SiacuteNo SiacuteNo

Unidad de Medida SiacuteNo SiacuteNo SiacuteNo

Frecuencia de

Medicioacuten

SiacuteNo SiacuteNo SiacuteNo

Liacutenea Base SiacuteNo SiacuteNo SiacuteNo

Metas SiacuteNo SiacuteNo SiacuteNo

Comportamiento

del Indicador

SiacuteNo SiacuteNo SiacuteNo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 50

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de Procesos del Pprdquo

En este Anexo la instancia evaluadora debe valorar si la recomendacioacuten implica una consolidacioacuten o

una reingenieriacutea del proceso

A) Consolidacioacuten

Proceso Recomendaci

oacuten

Breve

anaacutelisis de

viabilidad de

la

implementa-

cioacuten

Principales

responsables

de la

implementaci

oacuten

Situacioacuten

actual

Efectos

potenciales

esperados

Medio de

verifica-

cioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

B) Reingenieriacutea de procesos

Proceso Objetivo

Breve

anaacutelisis de

viabilidad

de la

implemen-

tacioacuten

Principales

responsables

de la

implemen-

tacioacuten

Situa-

cioacuten

actual

Metas y

efectos

potenciale

s

esperados

Elabora-

cioacuten de

flujogram

a del

nuevo

proceso

Medio

de

verifi-

cacioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

NOTA El nivel de priorizacioacuten Alto Medio o Bajo se estimaraacute considerando la mejora en la operacioacuten

del Pp la viabilidad de la implementacioacuten de la recomendacioacuten asiacute como el efecto potencial que esto

pueda tener el alcance del objetivo del Pp

PAE 2017 51

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 12 ldquoPrincipales Fortalezas Retos y Recomendacionesrdquo

Capacidades Internas Factores Externos

Fortalezas

(Cualquier capacidad con la que cuenta la dependencia o

entidad que le permita aprovechar sus recursos para la

obtencioacuten de sus objetivos)

Oportunidades

(Cualquier factor externo fuera del control de la dependencia o

entidad que puede ser aprovechado para la obtencioacuten de sus

objetivos)

Debilidades

(Cualquier limitante Interna de la dependencia o entidad que

puede afectar la obtencioacuten de sus objetivos)

Amenazas

(Cualquier factor externo fuera de control de la dependencia o

entidad que pueda afectar la obtencioacuten de sus objetivos)

PAE 2017 52

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacutenrdquo

El Informe Final de la Evaluacioacuten de Procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten

Superior deberaacuten contener una ficha con los siguientes datos

Ficha Teacutecnica con los datos generales de la evaluacioacuten

Nombre o denominacioacuten de la

evaluacioacuten

[Especificar el nombre de la evaluacioacuten considerando su tipo y ejercicio

evaluado]

Nombre o denominacioacuten del

programa evaluado

[Indicar el nombre del Pp sujeto a evaluacioacuten de acuerdo con lo

establecido en el PEF sentildealando su modalidad y clave]

Unidad Responsable de la operacioacuten

del programa

[Especificar la(s) unidad(es) responsable(s) de la administracioacuten

operacioacuten y ejecucioacuten de los programas subprogramas y proyectos del

Pp evaluado correspondientes a las dependencias y entidades]

Titular de la unidad responsable de la

operacioacuten del programa

[Indicar el nombre del(a) Titular de la Unidad Responsable de la

operacioacuten del Pp]

Antildeo del Programa Anual de

Evaluacioacuten (PAE) en que fue

considerada la evaluacioacuten

[Especificar el ejercicio fiscal al que corresponde el PAE en la que fue

programada la evaluacioacuten]

Antildeo de conclusioacuten y entrega de la

evaluacioacuten

[Indicar el antildeo en que se concluyoacute la evaluacioacuten]

Tipo de evaluacioacuten [Especificar el tipo de evaluacioacuten de acuerdo con los Lineamientos de

evaluacioacuten el nombre de la evaluacioacuten y con lo establecido en el PAE]

Nombre de la instancia evaluadora [Indicar el nombre de la firma consultoriacutea u organizacioacuten que realizoacute la

evaluacioacuten]

Nombre del(a) coordinador(a)

externo(a) de la evaluacioacuten

[Especificar el nombre del(a) responsable de la coordinacioacuten de la

evaluacioacuten dla instancia evaluadora]

Nombre de los(as) principales

colaboradores(as) del(a)

coordinador(a) de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del(a)

coordinador(a) de la evaluacioacuten]

PAE 2017 53

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Unidad Administrativa responsable de

la Coordinacioacuten de la evaluacioacuten

[De acuerdo con lo sentildealado en el PAE especificar la instancia a la que

corresponde la coordinacioacuten de la evaluacioacuten pej Secretariacutea de

Finanzas y Administracioacuten (SFA) asiacute como la unidad administrativa

mediante la cual se ejerce esta funcioacuten p ej Direccioacuten de Evaluacioacuten

de la SFA (DEV)

Nombre del(a) Titular de la unidad

administrativa responsable de

coordinar la evaluacioacuten (Aacuterea de

Evaluacioacuten)

[Especificar el nombre del(a) Titular de la Unidad responsable de dar

seguimiento a la evaluacioacuten que funge como Aacuterea de Evaluacioacuten]

Nombres de los(as) servidores(as)

puacuteblicos(as) adscritos(as) a la unidad

administrativa responsable de

coordinar la evaluacioacuten que

coadyuvaron con la revisioacuten teacutecnica

de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del

titular de la unidad administrativa responsable de dar seguimiento a la

evaluacioacuten respecto de la revisioacuten teacutecnica de la misma]

Forma de contratacioacuten de la instancia

evaluadora

[Indicar el tipo de contratacioacuten dla instancia evaluadora Especificar el

tipo de procedimiento de contratacioacuten de la instancia evaluadora

consistente con los tipos de adjudicacioacuten establecidos en la Ley de

Adquisiciones Arrendamientos y Servicios del Sector Puacuteblico]

Costo total de la evaluacioacuten con IVA

incluido

[Especificar el costo total de la evaluacioacuten incluyendo el IVA (en caso

de que se haya causado) como sigue $XXX IVA incluido]

Asimismo en este anexo se deberaacute incluir una nota metodoloacutegica con la descripcioacuten de las teacutecnicas

y los modelos utilizados por el evaluador externo acompantildeada del disentildeo por muestreo

especificando los supuestos empleados y las principales caracteriacutesticas del tamantildeo y dispersioacuten de

la muestra utilizada

DIRECTORIO

Rauacutel Saacutenchez Kobashi

Secretario de la Secretariacutea de Finanzas y Administracioacuten

Francisco Fidel Teomitzi Saacutenchez

Subsecretario de Planeacioacuten

Arturo Neponuceno Crisoacutestomo

Director de Evaluacioacuten

Rodolfo de la Rosa Cabrera

Subdireccioacuten de Evaluacioacuten de Programas

Sauacutel Federico Oropeza Orea

Jefe del Departamento de Programas Estatales y Municipales

Ana Luz Guzmaacuten Figueroa

Analista del Departamento de Programas Estatales y Municipales

Marco Antonio Saacutenchez Gonzaacutelez

Analista del Departamento de Programas Estatales y Municipales

Page 28: Términos de Referencia para la Evaluación del Desempeño ...evaluacion.puebla.gob.mx/pdf/metodologias/TdR_Est/2017/TdR... · Perfil de la instancia evaluadora ... acuerdo con las

PAE 2017 27

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Entrega

iquestLos componentes o entregables del Pp son proporcionados conforme a las especificaciones

y de manera oportuna a los destinatarios

iquestExisten especificaciones (programas o planes de trabajo) sobre la forma en que se deben

trasladar los componentes o entregables para (por ejemplo) asegurar su adecuada recepcioacuten

en el punto de destino iquestSon adecuadas estas especificaciones respecto a normas o

lineamientos existentes (cuando aplique)

iquestLa logiacutestica de distribucioacuten se actualiza (cuando aplique) iquestExiste un periodo para dicha

actualizacioacuten iquestEn el disentildeo y actualizacioacuten de la logiacutestica se toman en cuenta los factores

geograacuteficos y climatoloacutegicos en cada regioacuten donde opera el Pp (cuando aplique)

iquestLos puntos de entrega de los componentes o entregables son cercanos a los beneficiarios

o aacuterea de enfoque a atender y son de faacutecil acceso iquestSe considera que son suficientes iquestPor

queacute

Control (las preguntas que apliquen)

iquestEl Pp cuenta con los mecanismos para verificar que los componentes o entregables se

otorguen de acuerdo con lo establecido en la normativa especiacutefica y lleguen a la poblacioacuten

o aacuterea de enfoque que deba ser beneficiada iquestEstos mecanismos son adecuados

iquestExiste de manera sistematizada un documento que deacute cuenta de los resultados de

supervisioacuten y entrega de componentes o entregables iquestEste documento es adecuado iquestLos

resultados se utilizan para implementar mejoras en la operacioacuten del Pp

iquestExisten procedimientos estandarizados que verifiquen el cumplimiento de la

corresponsabilidad u obligatoriedad por parte de los beneficiarios o destinatarios de los

componentes o entregables del Pp (cuando aplique)

Seguimiento a destinatarios

iquestEl Pp tiene mecanismos para verificar el procedimiento de seguimiento a los destinatarios o

beneficiarios que permitan identificar si los componentes o entregables generados son

utilizados de acuerdo con lo establecido iquestCoacutemo se implementa el mecanismo iquestEste

mecanismo es adecuado

iquestExisten procedimientos estandarizados que permitan verificar el cumplimiento de la

corresponsabilidad u obligatoriedad por parte del destinatario o beneficiario (cuando

aplique)

PAE 2017 28

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

En caso de que los componentes o entregables involucren la ejecucioacuten de obra o de

infraestructura iquestel Pp cuenta con un mecanismo de seguimiento o supervisioacuten que permita

identificar si se realizaron acorde a la normativa aplicable iquestEl seguimiento o supervisioacuten

considera plazos para la revisioacuten de las condiciones de la obra o la infraestructura despueacutes

de terminada la obra

iquestEl Pp tiene mecanismos para identificar si se cumple con su Propoacutesito iquestSon suficientes y

pertinentes estos mecanismos

iquestExisten mecanismos para conocer la satisfaccioacuten del destinatario o beneficiario de los

componentes o entregables del Pp respecto de los componentes que ofrece el Pp iquestSon

adecuados estos mecanismos iquestSu operacioacuten permite una aplicacioacuten imparcial y objetiva

iquestExiste evidencia para afirmar que las quejas y sugerencias que brindan los destinatarios o

beneficiarios de los componentes o entregables del Pp son utilizadas para la mejora continua

del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

En esta seccioacuten se deberaacute realizar la medicioacuten de los atributos de eficacia oportunidad suficiencia

y pertinencia de los procesos y subprocesos o macroprocesos definidos en el mapa de procesos del

Pp A continuacioacuten se definen los atributos en el marco de la evaluacioacuten de procesos

Eficacia un proceso es eficaz en la medida en que cumple con sus metas

Oportunidad un proceso es oportuno en la medida en que otorga sus productos

(componentes o entregables) o resultados en un periodo de tiempo determinado o

adecuado para el logro de sus objetivos

Suficiencia un proceso es suficiente en la medida en que produce sus resultados de forma

completa o adecuada para el logro de sus objetivos

Pertinencia un proceso es pertinente si sus actividades y productos son adecuados para

lograr tanto sus metas especiacuteficas como sus objetivos es decir si contribuyen al

mejoramiento de la gestioacuten del Pp4

4 Las actividades son adecuadas si estaacuten en funcioacuten del logro del objetivo de cada proceso Por ejemplo si se verifica que el formato de los mensajes a difundir cumpla con las caracteriacutesticas necesarias para llegar a la poblacioacuten o aacuterea de enfoque objetivo como seriacutea una mensaje de audio en la lengua indiacutegena de la localidad donde se encuentran los posibles destinatarios o beneficiarios o bien como seriacutea un mensaje dirigido a personal operativo del Pp cuyo nivel de estudios promedio pudiera complicar la comprensioacuten de lenguaje teacutecnico utilizado

PAE 2017 29

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para la medicioacuten de los atributos de los procesos y subprocesos o macroprocesos del Pp deberaacute

realizarse una revisioacuten documental (normativa aplicable MIR evaluaciones externas sistemas de

informacioacuten y registros administrativos entre otros) misma que deberaacute complementarse con el

trabajo de campo con el objetivo de identificar disentildear y calcular indicadores relacionados con

dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de informacioacuten empleadas

La informacioacuten obtenida de estos indicadores deberaacute vaciarse en fichas propuestas por la instancia

evaluadora presentadas como en el Anexo 6 ldquoFichas de indicadores de atributos de los procesos del

Pprdquo (formato libre) Estas fichas deberaacuten considerar la medicioacuten de los atributos de eficacia

suficiencia oportunidad y pertinencia correspondientes a cada proceso y subproceso o

macroproceso

Valoracioacuten de los procesos y subprocesos de la operacioacuten del Pp

Deberaacute contener una siacutentesis de los resultados encontrados en la Evaluacioacuten de Procesos del Pp

resaltando los hallazgos maacutes relevantes que se hayan detectado y que pudiesen transformarse en

ASM

La instancia evaluadora deberaacute calcular una valoracioacuten global cuantitativa sobre la operacioacuten y la

ejecucioacuten de los procesos y subprocesos o macroprocesos del Pp a partir del siguiente esquema de

puntuacioacuten5

Eficacia

- Todos los procesos (o macroprocesos) son eficaces = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es eficaz = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es eficaz = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es eficaz = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es eficaz = 1 punto

- Ninguno de los procesos (o macroprocesos) es eficaz = 0 puntos

Oportunidad

- Todos los procesos (o macroprocesos) son oportunos = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es oportuno = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es oportuno = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es oportuno = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es oportuno = 1 punto

5 La valoracioacuten cuantitativa deberaacute estar sustentada y por tanto ser consistente con lo valorado por la instancia evaluadora en el apartado de ldquoMedicioacuten de atributos de los procesos y subprocesosrdquo

PAE 2017 30

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

- Ninguno de los procesos (o macroprocesos) es oportuno = 0 puntos

Suficiencia

- Todos los procesos (o macroprocesos) son suficientes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es suficiente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es suficiente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es suficiente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es suficiente = 1 punto

- Ninguno de los procesos (o macroprocesos) es suficiente = 0 puntos

Pertinencia

- Todos los procesos (o macroprocesos) son pertinentes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es pertinente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es pertinente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es pertinente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es pertinente = 1 punto

- Ninguno de los procesos (o macroprocesos) es pertinente = 0 puntos

A partir de los puntajes asignados en los cuatro atributos anteriores esta valoracioacuten cuantitativa

global debe considerar el total de puntos posibles de obtener (5 x 4 = 20 puntos) y los puntos

obtenidos en la Evaluacioacuten de Procesos Pp (lsquoyrsquo puntos) de modo que se indique el porcentaje de

puntos obtenidos del total de puntos posibles [(lsquoyrsquo20) x 100] = valoracioacuten cuantitativa global de la

operacioacuten del Pp

La instancia evaluadora deberaacute utilizar el Anexo 9 ldquoValoracioacuten global cuantitativardquo para documentar

argumentar y sustentar cada una de las valoraciones cuantitativas sobre la operacioacuten y la ejecucioacuten

de los procesos (o macroprocesos) del Pp

Adicionalmente en este apartado se deberaacuten integrar las recomendaciones y conclusiones que se

consideren maacutes relevantes de los procesos y subprocesos o macroprocesos del Pp las cuales deben

formularse con base en los hallazgos del trabajo de campo y de gabinete El objetivo final de las

recomendaciones es proveer informacioacuten valiosa a los operadores del Pp para realizar adecuaciones

en la ejecucioacuten de los procesos y subprocesos o macroprocesos de modo que se potencie la

consecucioacuten de resultados del Pp

Las recomendaciones que se formulen como resultado de la Evaluacioacuten de Procesos del Pp deberaacuten

tener las siguientes caracteriacutesticas

Derivarse de los hallazgos de la evaluacioacuten

PAE 2017 31

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Ser concretas y factibles

Incluir un proyecto de implementacioacuten que considere los siguientes elementos

- Breve anaacutelisis de la viabilidad o factibilidad de la implementacioacuten

- Principales responsables de la implementacioacuten

- Anaacutelisis de los efectos potenciales que puede implicar la implementacioacuten tanto en la

operacioacuten del Pp como en el logro de sus objetivos

- La comparacioacuten entre la situacioacuten actual y el resultado que se espera obtener con la

implementacioacuten de la recomendacioacuten

Estar categorizadas en dos liacuteneas de accioacuten estrateacutegicas

- Consolidacioacuten

- Reingenieriacutea de procesos o subprocesos

Al respecto la instancia evaluadora debe entender por consolidacioacuten aquellas recomendaciones que

estaacuten dirigidas a perfeccionar determinados aspectos de la operacioacuten como seriacutean algunas acciones

procedimientos o estrategias del Pp asiacute como iniciativas para el fortalecimiento de los sistemas

automatizados infraestructura entre otros

Por reingenieriacutea de procesos o subprocesos se entenderaacuten aquellas recomendaciones que apuntan

a una transformacioacuten o modificacioacuten profunda o sustancial de uno o varios de los procesos y

subprocesos del Pp Para ello se deberaacute llenar el Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de

Procesos del Pprdquo y que a su vez deben derivar en acciones de consolidacioacuten para la implementacioacuten

de los procesos transformados

Adicionalmente y de conformidad con el alcance de la Evaluacioacuten de Procesos del Pp se deberaacute

presentar una propuesta para crear o fortalecer el sistema de monitoreo de gestioacuten del Pp con

indicadores a nivel de procesos y subprocesos o macroprocesos

Asimismo a partir de todo el anaacutelisis y valoraciones realizadas se deberaacute emitir un pronunciamiento

acerca de la percepcioacuten de eficiencia que la instancia evaluadora haya tenido sobre la ejecucioacuten de

los procesos y subprocesos o macroprocesos del Pp

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible o si no hipoteacuteticos en un anexo de formato libre Anexo 10 ldquoSistema de

monitoreo e indicadores de gestioacuten del Pprdquo

PAE 2017 32

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Bitaacutecora de trabajo de campo y bases de datos

La instancia evaluadora deberaacute entregar una bitaacutecora de trabajo de campo que destaque de forma

sinteacutetica entre otros puntos las principales actividades y situaciones a las que se enfrentoacute y que

podriacutean afectar los resultados de la Evaluacioacuten de Procesos del Pp

Asimismo deberaacute entregar las bases de datos generadas a partir de la aplicacioacuten de los instrumentos

de recoleccioacuten de informacioacuten y de la recopilacioacuten de informacioacuten en el trabajo de campo Las bases

de datos deberaacuten entregarse en formatos compatibles con Excel debiendo mantener la

confidencialidad de los entrevistados pero sin alterar la informacioacuten proporcionada por estos En las

bases de datos debe estar sistematizada toda la informacioacuten recabada a partir de la aplicacioacuten de

los instrumentos de levantamiento de informacioacuten y deberaacute sustentar el anaacutelisis las valoraciones los

hallazgos y las conclusiones de la evaluacioacuten

PAE 2017 33

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Contenido del informe

Contenido miacutenimo del informe final de la evaluacioacuten

Derivado del contenido generado en las secciones anteriores deberaacuten elaborarse los siguientes

apartados en el informe final de la Evaluacioacuten de Procesos del Pp

i Introduccioacuten

ii Resumen Ejecutivo

iii Marco Legal

iv Datos Generales del Programa Presupuestario (Pp)

v Criterios Teacutecnicos para la Evaluacioacuten del Programa Presupuestario correspondiente

vi Apartados de la evaluacioacuten

Seccioacuten 1 Disentildeo

Diagnoacutestico del programa puacuteblico

Matriz de Indicadores para Resultados (MIR)

Seccioacuten 2 Procesos

Pertinencia de los proceso

Diagnoacutestico general de los procesos y subprocesos del Pp

- Contexto en que opera el Pp

- Diagnoacutestico inicial de los procesos y subprocesos

Descripcioacuten y valoracioacuten de los procesos y subprocesos del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

vii Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

viii Valoracioacuten final del Pp

ix Hallazgos

x Recomendaciones clasificadas por apartado

xi Conclusiones

xii Bibliografiacutea

xiii Anexos

Anexo 1 Descripcioacuten General del Programa

Anexo 2 Metodologiacutea para la cuantificacioacuten de las poblaciones potencial y objetivo

(Formato Libre)

Anexo 3 Evolucioacuten de la Cobertura

Anexo 4 Propuesta de mejora de la Matriz de Indicadores para Resultados

Anexo 5 Ficha de identificacioacuten y equivalencia de procesos del Pp

PAE 2017 34

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 Fichas de indicadores de atributos de los procesos del Pp (Formato libre)

Anexo 7 Diagramas de flujo de la operacioacuten del Pp

Anexo 8 Propuesta de modificacioacuten a los documentos normativos o institucionales

del Pp

Anexo 9 Valoracioacuten global cuantitativardquo

Anexo 10 Sistema de monitoreo e indicadores de gestioacuten del Pp (Formato libre)

Anexo 11 Recomendaciones de la Evaluacioacuten de Procesos del Pp

Anexo 12 Principales Fortalezas Retos y Recomendaciones

Anexo 13 Ficha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacuten

En el Resumen Ejecutivo asimismo se describiraacuten los principales hallazgos y recomendaciones del

evaluador externo

Para el desarrollo de los apartados antes referidos deberaacute atender las indicaciones que se desarrollan

en las siguientes secciones

Hallazgos y resultados Pp por Seccioacuten

Se debe realizar una valoracioacuten general del programa por seccioacuten utilizando las respuestas que

integran cada uno de los apartados En esta valoracioacuten integral se deberaacute sentildealar en queacute medida la

gestioacuten operativa conduce al logro de los objetivos del Pp

Asimismo se deben sentildealar las aacutereas de mejora las buenas praacutecticas y las fortalezas detectadas en

la operacioacuten del Pp y a partir de ello la instancia evaluadora emitiraacute recomendaciones de mejora

sobre aspectos especiacuteficos de cada proceso y subproceso o macroproceso del Pp Adicionalmente

se deberaacuten identificar los problemas o limitantes tanto normativos como operativos (ldquocuellos de

botellardquo) de coordinacioacuten entre unidades administrativas y otros que hubiese en los procesos y

subprocesos o macroprocesos del Pp entendieacutendose como aquellas praacutecticas procedimientos

actividades o traacutemites que obstaculizan la operacioacuten del Pp

En este sentido se deberaacuten identificar las situaciones en las que la normativa genere complicaciones

en la gestioacuten o ineficacia en el cumplimiento de los objetivos del Pp para lo cual se deberaacute presentar

(por cada situacioacuten identificada) una propuesta de modificacioacuten a la normativa aplicable al Pp

considerando las restricciones praacutecticas que existan para su implementacioacuten asiacute como los efectos

PAE 2017 35

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

potenciales de ser implementada Los resultados de este anaacutelisis deberaacuten describirse en el Anexo 7

ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales del Pprdquo

Para la identificacioacuten y descripcioacuten de los ldquocuellos de botellardquo buenas praacutecticas y fortalezas del Pp

se consideraraacute la informacioacuten derivada del anaacutelisis de la operacioacuten del Pp asiacute como los puntos de

vista de los principales actores que intervienen en ella Este anaacutelisis deberaacute contener las causas y las

consecuencias de los ldquocuellos de botellardquo detectados sus caracteriacutesticas y naturaleza (si son

normativas o estrictamente operativas) de igual manera se deberaacute desarrollar un anaacutelisis de las

buenas praacutecticas identificadas

Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

Se debe integrar en una sola tabla las fortalezas oportunidades debilidades y amenazas

especificadas por cada apartado de la evaluacioacuten y reportarlas en el Anexo 11 ldquoPrincipales Fortalezas

Retos y Recomendacionesrdquo en el que se deben incluir las fortalezas yo oportunidades las

debilidades yo amenazas y las recomendaciones por apartado de la evaluacioacuten

PAE 2017 36

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexos

Anexo 1 ldquoDescripcioacuten General del Programardquo

El Anexo tiene formato libre sin embargo debe contener una breve descripcioacuten de las caracteriacutesticas

maacutes relevantes del Pp en un maacuteximo de dos cuartillas Dicha descripcioacuten debe considerar los

siguientes aspectos

1 Identificacioacuten del programa

11 Nombre

12 Clave de programa

13 Dependencia yo Entidad coordinadora ejecutora

14 Antildeo de inicio de operacioacuten

2 Problema o necesidad que el Pp pretende atender atenuar o resolver

3 La contribucioacuten del Pp a las Metas y objetivos estatales a los que se vincula

4 Descripcioacuten de los objetivos del Pp asiacute como de los bienes yo servicios que ofrece

(componentes)

5 Identificacioacuten y cuantificacioacuten de la poblacioacuten o aacuterea de enfoque potencial y

objetivo

6 Presupuesto aprobado para el ejercicio fiscal en curso

7 Metas de los indicadores de Fin Propoacutesito y Componentes asiacute como los de nivel

actividad que se consideren relevantes y

8 Resumen de la valoracioacuten de la pertinencia del disentildeo del Pp respecto a la atencioacuten

del problema o necesidad

Anexo 2 ldquoMetodologiacutea para la cuantificacioacuten de la poblacioacuten o aacuterea de enfoque

potencial y objetivordquo

El Anexo tiene formato libre sin embargo se debe incluir la siguiente informacioacuten

Definicioacuten de la poblacioacuten o aacuterea de enfoque potencial objetivo y atendida

Cuantificacioacuten de la poblacioacuten potencial objetiva y atendida

Hallazgos sobre el procedimiento llevado a cabo para definir y cuantificar la poblacioacuten o

aacuterea de enfoque potencial objetivo y atendida

Recomendaciones

Propuesta orientada hacia la mejora

PAE 2017 37

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 3 ldquoEvolucioacuten de la Coberturardquo

Nombre del

Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten

Antildeo de la Evaluacioacuten

Tipo de Poblacioacuten

Unidad

de

Medida

2012 2013 2014 2015 2016

P Potencial

P Objetivo

P Atendida

119927119912 times 120783120782120782

119927119926

PAE 2017 38

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 4 ldquoPropuesta de mejora de la Matriz de Indicadores para Resultadosrdquo

Derivado del anaacutelisis y valoracioacuten de la pregunta de investigacioacuten nuacutemero 3 iquestLa estructura de

objetivos planteada por el programa mantiene loacutegica y correspondencia causal con el problema

planteado en el diagnoacutestico se realizaraacute una propuesta de mejora de MIR

Fin

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Propoacutesito

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Componente 1

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

PAE 2017 39

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Componente 2 hellip

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 40

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesos del Pprdquo

Para la identificacioacuten y clasificacioacuten de los procesos del Pp se sugieren los siguientes pasos

1 Listar los procesos identificados

Comparar los procesos identificados del Pp con aquellos correspondientes al Modelo general de

procesos Colocar en el rengloacuten correspondiente el nombre de cada proceso del Pp identificado

como equivalente

2 Colocar al final de la lista aquellos procesos del Pp que no sean equivalentes con el Modelo

general de procesos

Modelo general de

procesos

Nuacutemero

de

secuencia

Procesos o subprocesos del Pp identificados por el

evaluador

(Nombre y breve descripcioacuten)

Planeacioacuten Ejemplo (Ej) Planeacioacuten Estrateacutegica

Ej Programacioacuten

Ej Presupuestacioacuten

Comunicacioacuten interna y

externa

Ej Difusioacuten Federal

Ej Difusioacuten Local

Seleccioacuten de

destinatarios

Ej Recepcioacuten de solicitudes de becas

Ej Seleccioacuten de becarios

Produccioacuten de

entregables

Entrega

Control

Seguimiento Ej Seguimiento fiacutesico y supervisioacuten en campo

Evaluacioacuten externa Ej Publicacioacuten y lectura del PAE

Ej Definicioacuten de TdR

Ej Contratacioacuten

Ej Ejecucioacuten de la evaluacioacuten externa

Monitoreo Ej Registro de avances de indicadores

Ej Revisioacuten de registros

Ej Validacioacuten de registros e integracioacuten de informes

PAE 2017 41

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Procesos identificados por el evaluador que no coinciden con el Modelo general de procesos

PAE 2017 42

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 ldquoFichas de indicadores de atributos de los procesos del Pp (formato libre)rdquo

Para la construccioacuten de este anexo deberaacute realizarse una revisioacuten documental (normativa aplicable

MIR evaluaciones externas sistemas de informacioacuten y registros administrativos entre otros) misma

que deberaacute complementarse con el trabajo de campo con el objetivo de identificar disentildear y calcular

indicadores relacionados con dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de

informacioacuten empleadas

Ademaacutes de considerar la medicioacuten de los atributos de eficacia suficiencia oportunidad y pertinencia

de cada proceso y subproceso o macroproceso

PAE 2017 43

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 7 ldquoDiagramas de flujo de la operacioacuten del Pprdquo

Para la elaboracioacuten de los diagramas de flujo deberaacute utilizarse la notacioacuten empleada en el

documento ldquoGuiacutea para la Optimizacioacuten Estandarizacioacuten y Mejora Continua de Procesosrdquo publicada

por la SFP en la direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Para el Diagrama de Alto Nivel (Diagrama PEPSU)

Ejemplo ilustrativo

PAE 2017 44

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para el Diagrama de Flujo

PAE 2017 45

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

PAE 2017 46

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 8 ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales

del Pprdquo

Tipo de

norma-

tiva

Dice

Problema

generado

(causas y

consecuencias)

Se

recomienda

decir

Efecto esperado de

aplicar la

recomendacioacuten de

cambio

Restricciones praacutecticas

que puedan existir para

su implementacioacuten

PAE 2017 47

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 9 ldquoValoracioacuten global cuantitativa ldquo

Seccioacuten 1 Disentildeo

Disentildeo Valoracioacuten Argumento o justificacioacuten

Porcentaje del

Disentildeo del Pp

(Suma de valoracioacuten alcanzada por pregunta de la seccioacuten 1 Total maacuteximo de la

valoracioacuten de todas las preguntas de la seccioacuten 1 ) x 100

Seccioacuten 2 Procesos

Proceso Eficacia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

eficaces

(Total de procesos eficaces Total de procesos del Pp) x 100

Proceso Oportunidad

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

oportunos

(Total de procesos oportunos Total de procesos del Pp) x 100

Proceso Suficiencia

(SiacuteNo) Argumento o justificacioacuten

PAE 2017 48

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Porcentaje de

procesos

suficientes

(Total de procesos suficientes Total de procesos del Pp) x 100

Proceso Pertinencia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

pertinentes

(Total de procesos pertinentes Total de procesos del Pp) x 100

NOTA Los argumentos y justificaciones del evaluador deberaacuten considerar el anaacutelisis y valoraciones de

los subprocesos de cada proceso de modo que haya consistencia entre estos elementos Asimismo el

evaluador deberaacute expresar los resultados de la valoracioacuten cuantitativa en una graacutefica tipo radial

PAE 2017 49

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 10 ldquoSistema de monitoreo e indicadores de gestioacuten del Pp (formato libre)rdquo

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible

Nombre del Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten De Procesos

Antildeo de la Evaluacioacuten 2017

Fin Justificacioacuten Propoacutesito Justificacioacuten Componente (s) Justificacioacuten

Nombre de

Indicador

Meacutetodo de Caacutelculo

Claro SiacuteNo SiacuteNo SiacuteNo

Relevante SiacuteNo SiacuteNo SiacuteNo

Econoacutemico SiacuteNo SiacuteNo SiacuteNo

Monitoreable SiacuteNo SiacuteNo SiacuteNo

Adecuado SiacuteNo SiacuteNo SiacuteNo

Definicioacuten SiacuteNo SiacuteNo SiacuteNo

Unidad de Medida SiacuteNo SiacuteNo SiacuteNo

Frecuencia de

Medicioacuten

SiacuteNo SiacuteNo SiacuteNo

Liacutenea Base SiacuteNo SiacuteNo SiacuteNo

Metas SiacuteNo SiacuteNo SiacuteNo

Comportamiento

del Indicador

SiacuteNo SiacuteNo SiacuteNo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 50

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de Procesos del Pprdquo

En este Anexo la instancia evaluadora debe valorar si la recomendacioacuten implica una consolidacioacuten o

una reingenieriacutea del proceso

A) Consolidacioacuten

Proceso Recomendaci

oacuten

Breve

anaacutelisis de

viabilidad de

la

implementa-

cioacuten

Principales

responsables

de la

implementaci

oacuten

Situacioacuten

actual

Efectos

potenciales

esperados

Medio de

verifica-

cioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

B) Reingenieriacutea de procesos

Proceso Objetivo

Breve

anaacutelisis de

viabilidad

de la

implemen-

tacioacuten

Principales

responsables

de la

implemen-

tacioacuten

Situa-

cioacuten

actual

Metas y

efectos

potenciale

s

esperados

Elabora-

cioacuten de

flujogram

a del

nuevo

proceso

Medio

de

verifi-

cacioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

NOTA El nivel de priorizacioacuten Alto Medio o Bajo se estimaraacute considerando la mejora en la operacioacuten

del Pp la viabilidad de la implementacioacuten de la recomendacioacuten asiacute como el efecto potencial que esto

pueda tener el alcance del objetivo del Pp

PAE 2017 51

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 12 ldquoPrincipales Fortalezas Retos y Recomendacionesrdquo

Capacidades Internas Factores Externos

Fortalezas

(Cualquier capacidad con la que cuenta la dependencia o

entidad que le permita aprovechar sus recursos para la

obtencioacuten de sus objetivos)

Oportunidades

(Cualquier factor externo fuera del control de la dependencia o

entidad que puede ser aprovechado para la obtencioacuten de sus

objetivos)

Debilidades

(Cualquier limitante Interna de la dependencia o entidad que

puede afectar la obtencioacuten de sus objetivos)

Amenazas

(Cualquier factor externo fuera de control de la dependencia o

entidad que pueda afectar la obtencioacuten de sus objetivos)

PAE 2017 52

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacutenrdquo

El Informe Final de la Evaluacioacuten de Procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten

Superior deberaacuten contener una ficha con los siguientes datos

Ficha Teacutecnica con los datos generales de la evaluacioacuten

Nombre o denominacioacuten de la

evaluacioacuten

[Especificar el nombre de la evaluacioacuten considerando su tipo y ejercicio

evaluado]

Nombre o denominacioacuten del

programa evaluado

[Indicar el nombre del Pp sujeto a evaluacioacuten de acuerdo con lo

establecido en el PEF sentildealando su modalidad y clave]

Unidad Responsable de la operacioacuten

del programa

[Especificar la(s) unidad(es) responsable(s) de la administracioacuten

operacioacuten y ejecucioacuten de los programas subprogramas y proyectos del

Pp evaluado correspondientes a las dependencias y entidades]

Titular de la unidad responsable de la

operacioacuten del programa

[Indicar el nombre del(a) Titular de la Unidad Responsable de la

operacioacuten del Pp]

Antildeo del Programa Anual de

Evaluacioacuten (PAE) en que fue

considerada la evaluacioacuten

[Especificar el ejercicio fiscal al que corresponde el PAE en la que fue

programada la evaluacioacuten]

Antildeo de conclusioacuten y entrega de la

evaluacioacuten

[Indicar el antildeo en que se concluyoacute la evaluacioacuten]

Tipo de evaluacioacuten [Especificar el tipo de evaluacioacuten de acuerdo con los Lineamientos de

evaluacioacuten el nombre de la evaluacioacuten y con lo establecido en el PAE]

Nombre de la instancia evaluadora [Indicar el nombre de la firma consultoriacutea u organizacioacuten que realizoacute la

evaluacioacuten]

Nombre del(a) coordinador(a)

externo(a) de la evaluacioacuten

[Especificar el nombre del(a) responsable de la coordinacioacuten de la

evaluacioacuten dla instancia evaluadora]

Nombre de los(as) principales

colaboradores(as) del(a)

coordinador(a) de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del(a)

coordinador(a) de la evaluacioacuten]

PAE 2017 53

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Unidad Administrativa responsable de

la Coordinacioacuten de la evaluacioacuten

[De acuerdo con lo sentildealado en el PAE especificar la instancia a la que

corresponde la coordinacioacuten de la evaluacioacuten pej Secretariacutea de

Finanzas y Administracioacuten (SFA) asiacute como la unidad administrativa

mediante la cual se ejerce esta funcioacuten p ej Direccioacuten de Evaluacioacuten

de la SFA (DEV)

Nombre del(a) Titular de la unidad

administrativa responsable de

coordinar la evaluacioacuten (Aacuterea de

Evaluacioacuten)

[Especificar el nombre del(a) Titular de la Unidad responsable de dar

seguimiento a la evaluacioacuten que funge como Aacuterea de Evaluacioacuten]

Nombres de los(as) servidores(as)

puacuteblicos(as) adscritos(as) a la unidad

administrativa responsable de

coordinar la evaluacioacuten que

coadyuvaron con la revisioacuten teacutecnica

de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del

titular de la unidad administrativa responsable de dar seguimiento a la

evaluacioacuten respecto de la revisioacuten teacutecnica de la misma]

Forma de contratacioacuten de la instancia

evaluadora

[Indicar el tipo de contratacioacuten dla instancia evaluadora Especificar el

tipo de procedimiento de contratacioacuten de la instancia evaluadora

consistente con los tipos de adjudicacioacuten establecidos en la Ley de

Adquisiciones Arrendamientos y Servicios del Sector Puacuteblico]

Costo total de la evaluacioacuten con IVA

incluido

[Especificar el costo total de la evaluacioacuten incluyendo el IVA (en caso

de que se haya causado) como sigue $XXX IVA incluido]

Asimismo en este anexo se deberaacute incluir una nota metodoloacutegica con la descripcioacuten de las teacutecnicas

y los modelos utilizados por el evaluador externo acompantildeada del disentildeo por muestreo

especificando los supuestos empleados y las principales caracteriacutesticas del tamantildeo y dispersioacuten de

la muestra utilizada

DIRECTORIO

Rauacutel Saacutenchez Kobashi

Secretario de la Secretariacutea de Finanzas y Administracioacuten

Francisco Fidel Teomitzi Saacutenchez

Subsecretario de Planeacioacuten

Arturo Neponuceno Crisoacutestomo

Director de Evaluacioacuten

Rodolfo de la Rosa Cabrera

Subdireccioacuten de Evaluacioacuten de Programas

Sauacutel Federico Oropeza Orea

Jefe del Departamento de Programas Estatales y Municipales

Ana Luz Guzmaacuten Figueroa

Analista del Departamento de Programas Estatales y Municipales

Marco Antonio Saacutenchez Gonzaacutelez

Analista del Departamento de Programas Estatales y Municipales

Page 29: Términos de Referencia para la Evaluación del Desempeño ...evaluacion.puebla.gob.mx/pdf/metodologias/TdR_Est/2017/TdR... · Perfil de la instancia evaluadora ... acuerdo con las

PAE 2017 28

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

En caso de que los componentes o entregables involucren la ejecucioacuten de obra o de

infraestructura iquestel Pp cuenta con un mecanismo de seguimiento o supervisioacuten que permita

identificar si se realizaron acorde a la normativa aplicable iquestEl seguimiento o supervisioacuten

considera plazos para la revisioacuten de las condiciones de la obra o la infraestructura despueacutes

de terminada la obra

iquestEl Pp tiene mecanismos para identificar si se cumple con su Propoacutesito iquestSon suficientes y

pertinentes estos mecanismos

iquestExisten mecanismos para conocer la satisfaccioacuten del destinatario o beneficiario de los

componentes o entregables del Pp respecto de los componentes que ofrece el Pp iquestSon

adecuados estos mecanismos iquestSu operacioacuten permite una aplicacioacuten imparcial y objetiva

iquestExiste evidencia para afirmar que las quejas y sugerencias que brindan los destinatarios o

beneficiarios de los componentes o entregables del Pp son utilizadas para la mejora continua

del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

En esta seccioacuten se deberaacute realizar la medicioacuten de los atributos de eficacia oportunidad suficiencia

y pertinencia de los procesos y subprocesos o macroprocesos definidos en el mapa de procesos del

Pp A continuacioacuten se definen los atributos en el marco de la evaluacioacuten de procesos

Eficacia un proceso es eficaz en la medida en que cumple con sus metas

Oportunidad un proceso es oportuno en la medida en que otorga sus productos

(componentes o entregables) o resultados en un periodo de tiempo determinado o

adecuado para el logro de sus objetivos

Suficiencia un proceso es suficiente en la medida en que produce sus resultados de forma

completa o adecuada para el logro de sus objetivos

Pertinencia un proceso es pertinente si sus actividades y productos son adecuados para

lograr tanto sus metas especiacuteficas como sus objetivos es decir si contribuyen al

mejoramiento de la gestioacuten del Pp4

4 Las actividades son adecuadas si estaacuten en funcioacuten del logro del objetivo de cada proceso Por ejemplo si se verifica que el formato de los mensajes a difundir cumpla con las caracteriacutesticas necesarias para llegar a la poblacioacuten o aacuterea de enfoque objetivo como seriacutea una mensaje de audio en la lengua indiacutegena de la localidad donde se encuentran los posibles destinatarios o beneficiarios o bien como seriacutea un mensaje dirigido a personal operativo del Pp cuyo nivel de estudios promedio pudiera complicar la comprensioacuten de lenguaje teacutecnico utilizado

PAE 2017 29

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para la medicioacuten de los atributos de los procesos y subprocesos o macroprocesos del Pp deberaacute

realizarse una revisioacuten documental (normativa aplicable MIR evaluaciones externas sistemas de

informacioacuten y registros administrativos entre otros) misma que deberaacute complementarse con el

trabajo de campo con el objetivo de identificar disentildear y calcular indicadores relacionados con

dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de informacioacuten empleadas

La informacioacuten obtenida de estos indicadores deberaacute vaciarse en fichas propuestas por la instancia

evaluadora presentadas como en el Anexo 6 ldquoFichas de indicadores de atributos de los procesos del

Pprdquo (formato libre) Estas fichas deberaacuten considerar la medicioacuten de los atributos de eficacia

suficiencia oportunidad y pertinencia correspondientes a cada proceso y subproceso o

macroproceso

Valoracioacuten de los procesos y subprocesos de la operacioacuten del Pp

Deberaacute contener una siacutentesis de los resultados encontrados en la Evaluacioacuten de Procesos del Pp

resaltando los hallazgos maacutes relevantes que se hayan detectado y que pudiesen transformarse en

ASM

La instancia evaluadora deberaacute calcular una valoracioacuten global cuantitativa sobre la operacioacuten y la

ejecucioacuten de los procesos y subprocesos o macroprocesos del Pp a partir del siguiente esquema de

puntuacioacuten5

Eficacia

- Todos los procesos (o macroprocesos) son eficaces = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es eficaz = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es eficaz = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es eficaz = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es eficaz = 1 punto

- Ninguno de los procesos (o macroprocesos) es eficaz = 0 puntos

Oportunidad

- Todos los procesos (o macroprocesos) son oportunos = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es oportuno = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es oportuno = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es oportuno = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es oportuno = 1 punto

5 La valoracioacuten cuantitativa deberaacute estar sustentada y por tanto ser consistente con lo valorado por la instancia evaluadora en el apartado de ldquoMedicioacuten de atributos de los procesos y subprocesosrdquo

PAE 2017 30

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

- Ninguno de los procesos (o macroprocesos) es oportuno = 0 puntos

Suficiencia

- Todos los procesos (o macroprocesos) son suficientes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es suficiente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es suficiente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es suficiente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es suficiente = 1 punto

- Ninguno de los procesos (o macroprocesos) es suficiente = 0 puntos

Pertinencia

- Todos los procesos (o macroprocesos) son pertinentes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es pertinente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es pertinente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es pertinente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es pertinente = 1 punto

- Ninguno de los procesos (o macroprocesos) es pertinente = 0 puntos

A partir de los puntajes asignados en los cuatro atributos anteriores esta valoracioacuten cuantitativa

global debe considerar el total de puntos posibles de obtener (5 x 4 = 20 puntos) y los puntos

obtenidos en la Evaluacioacuten de Procesos Pp (lsquoyrsquo puntos) de modo que se indique el porcentaje de

puntos obtenidos del total de puntos posibles [(lsquoyrsquo20) x 100] = valoracioacuten cuantitativa global de la

operacioacuten del Pp

La instancia evaluadora deberaacute utilizar el Anexo 9 ldquoValoracioacuten global cuantitativardquo para documentar

argumentar y sustentar cada una de las valoraciones cuantitativas sobre la operacioacuten y la ejecucioacuten

de los procesos (o macroprocesos) del Pp

Adicionalmente en este apartado se deberaacuten integrar las recomendaciones y conclusiones que se

consideren maacutes relevantes de los procesos y subprocesos o macroprocesos del Pp las cuales deben

formularse con base en los hallazgos del trabajo de campo y de gabinete El objetivo final de las

recomendaciones es proveer informacioacuten valiosa a los operadores del Pp para realizar adecuaciones

en la ejecucioacuten de los procesos y subprocesos o macroprocesos de modo que se potencie la

consecucioacuten de resultados del Pp

Las recomendaciones que se formulen como resultado de la Evaluacioacuten de Procesos del Pp deberaacuten

tener las siguientes caracteriacutesticas

Derivarse de los hallazgos de la evaluacioacuten

PAE 2017 31

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Ser concretas y factibles

Incluir un proyecto de implementacioacuten que considere los siguientes elementos

- Breve anaacutelisis de la viabilidad o factibilidad de la implementacioacuten

- Principales responsables de la implementacioacuten

- Anaacutelisis de los efectos potenciales que puede implicar la implementacioacuten tanto en la

operacioacuten del Pp como en el logro de sus objetivos

- La comparacioacuten entre la situacioacuten actual y el resultado que se espera obtener con la

implementacioacuten de la recomendacioacuten

Estar categorizadas en dos liacuteneas de accioacuten estrateacutegicas

- Consolidacioacuten

- Reingenieriacutea de procesos o subprocesos

Al respecto la instancia evaluadora debe entender por consolidacioacuten aquellas recomendaciones que

estaacuten dirigidas a perfeccionar determinados aspectos de la operacioacuten como seriacutean algunas acciones

procedimientos o estrategias del Pp asiacute como iniciativas para el fortalecimiento de los sistemas

automatizados infraestructura entre otros

Por reingenieriacutea de procesos o subprocesos se entenderaacuten aquellas recomendaciones que apuntan

a una transformacioacuten o modificacioacuten profunda o sustancial de uno o varios de los procesos y

subprocesos del Pp Para ello se deberaacute llenar el Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de

Procesos del Pprdquo y que a su vez deben derivar en acciones de consolidacioacuten para la implementacioacuten

de los procesos transformados

Adicionalmente y de conformidad con el alcance de la Evaluacioacuten de Procesos del Pp se deberaacute

presentar una propuesta para crear o fortalecer el sistema de monitoreo de gestioacuten del Pp con

indicadores a nivel de procesos y subprocesos o macroprocesos

Asimismo a partir de todo el anaacutelisis y valoraciones realizadas se deberaacute emitir un pronunciamiento

acerca de la percepcioacuten de eficiencia que la instancia evaluadora haya tenido sobre la ejecucioacuten de

los procesos y subprocesos o macroprocesos del Pp

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible o si no hipoteacuteticos en un anexo de formato libre Anexo 10 ldquoSistema de

monitoreo e indicadores de gestioacuten del Pprdquo

PAE 2017 32

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Bitaacutecora de trabajo de campo y bases de datos

La instancia evaluadora deberaacute entregar una bitaacutecora de trabajo de campo que destaque de forma

sinteacutetica entre otros puntos las principales actividades y situaciones a las que se enfrentoacute y que

podriacutean afectar los resultados de la Evaluacioacuten de Procesos del Pp

Asimismo deberaacute entregar las bases de datos generadas a partir de la aplicacioacuten de los instrumentos

de recoleccioacuten de informacioacuten y de la recopilacioacuten de informacioacuten en el trabajo de campo Las bases

de datos deberaacuten entregarse en formatos compatibles con Excel debiendo mantener la

confidencialidad de los entrevistados pero sin alterar la informacioacuten proporcionada por estos En las

bases de datos debe estar sistematizada toda la informacioacuten recabada a partir de la aplicacioacuten de

los instrumentos de levantamiento de informacioacuten y deberaacute sustentar el anaacutelisis las valoraciones los

hallazgos y las conclusiones de la evaluacioacuten

PAE 2017 33

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Contenido del informe

Contenido miacutenimo del informe final de la evaluacioacuten

Derivado del contenido generado en las secciones anteriores deberaacuten elaborarse los siguientes

apartados en el informe final de la Evaluacioacuten de Procesos del Pp

i Introduccioacuten

ii Resumen Ejecutivo

iii Marco Legal

iv Datos Generales del Programa Presupuestario (Pp)

v Criterios Teacutecnicos para la Evaluacioacuten del Programa Presupuestario correspondiente

vi Apartados de la evaluacioacuten

Seccioacuten 1 Disentildeo

Diagnoacutestico del programa puacuteblico

Matriz de Indicadores para Resultados (MIR)

Seccioacuten 2 Procesos

Pertinencia de los proceso

Diagnoacutestico general de los procesos y subprocesos del Pp

- Contexto en que opera el Pp

- Diagnoacutestico inicial de los procesos y subprocesos

Descripcioacuten y valoracioacuten de los procesos y subprocesos del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

vii Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

viii Valoracioacuten final del Pp

ix Hallazgos

x Recomendaciones clasificadas por apartado

xi Conclusiones

xii Bibliografiacutea

xiii Anexos

Anexo 1 Descripcioacuten General del Programa

Anexo 2 Metodologiacutea para la cuantificacioacuten de las poblaciones potencial y objetivo

(Formato Libre)

Anexo 3 Evolucioacuten de la Cobertura

Anexo 4 Propuesta de mejora de la Matriz de Indicadores para Resultados

Anexo 5 Ficha de identificacioacuten y equivalencia de procesos del Pp

PAE 2017 34

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 Fichas de indicadores de atributos de los procesos del Pp (Formato libre)

Anexo 7 Diagramas de flujo de la operacioacuten del Pp

Anexo 8 Propuesta de modificacioacuten a los documentos normativos o institucionales

del Pp

Anexo 9 Valoracioacuten global cuantitativardquo

Anexo 10 Sistema de monitoreo e indicadores de gestioacuten del Pp (Formato libre)

Anexo 11 Recomendaciones de la Evaluacioacuten de Procesos del Pp

Anexo 12 Principales Fortalezas Retos y Recomendaciones

Anexo 13 Ficha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacuten

En el Resumen Ejecutivo asimismo se describiraacuten los principales hallazgos y recomendaciones del

evaluador externo

Para el desarrollo de los apartados antes referidos deberaacute atender las indicaciones que se desarrollan

en las siguientes secciones

Hallazgos y resultados Pp por Seccioacuten

Se debe realizar una valoracioacuten general del programa por seccioacuten utilizando las respuestas que

integran cada uno de los apartados En esta valoracioacuten integral se deberaacute sentildealar en queacute medida la

gestioacuten operativa conduce al logro de los objetivos del Pp

Asimismo se deben sentildealar las aacutereas de mejora las buenas praacutecticas y las fortalezas detectadas en

la operacioacuten del Pp y a partir de ello la instancia evaluadora emitiraacute recomendaciones de mejora

sobre aspectos especiacuteficos de cada proceso y subproceso o macroproceso del Pp Adicionalmente

se deberaacuten identificar los problemas o limitantes tanto normativos como operativos (ldquocuellos de

botellardquo) de coordinacioacuten entre unidades administrativas y otros que hubiese en los procesos y

subprocesos o macroprocesos del Pp entendieacutendose como aquellas praacutecticas procedimientos

actividades o traacutemites que obstaculizan la operacioacuten del Pp

En este sentido se deberaacuten identificar las situaciones en las que la normativa genere complicaciones

en la gestioacuten o ineficacia en el cumplimiento de los objetivos del Pp para lo cual se deberaacute presentar

(por cada situacioacuten identificada) una propuesta de modificacioacuten a la normativa aplicable al Pp

considerando las restricciones praacutecticas que existan para su implementacioacuten asiacute como los efectos

PAE 2017 35

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

potenciales de ser implementada Los resultados de este anaacutelisis deberaacuten describirse en el Anexo 7

ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales del Pprdquo

Para la identificacioacuten y descripcioacuten de los ldquocuellos de botellardquo buenas praacutecticas y fortalezas del Pp

se consideraraacute la informacioacuten derivada del anaacutelisis de la operacioacuten del Pp asiacute como los puntos de

vista de los principales actores que intervienen en ella Este anaacutelisis deberaacute contener las causas y las

consecuencias de los ldquocuellos de botellardquo detectados sus caracteriacutesticas y naturaleza (si son

normativas o estrictamente operativas) de igual manera se deberaacute desarrollar un anaacutelisis de las

buenas praacutecticas identificadas

Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

Se debe integrar en una sola tabla las fortalezas oportunidades debilidades y amenazas

especificadas por cada apartado de la evaluacioacuten y reportarlas en el Anexo 11 ldquoPrincipales Fortalezas

Retos y Recomendacionesrdquo en el que se deben incluir las fortalezas yo oportunidades las

debilidades yo amenazas y las recomendaciones por apartado de la evaluacioacuten

PAE 2017 36

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexos

Anexo 1 ldquoDescripcioacuten General del Programardquo

El Anexo tiene formato libre sin embargo debe contener una breve descripcioacuten de las caracteriacutesticas

maacutes relevantes del Pp en un maacuteximo de dos cuartillas Dicha descripcioacuten debe considerar los

siguientes aspectos

1 Identificacioacuten del programa

11 Nombre

12 Clave de programa

13 Dependencia yo Entidad coordinadora ejecutora

14 Antildeo de inicio de operacioacuten

2 Problema o necesidad que el Pp pretende atender atenuar o resolver

3 La contribucioacuten del Pp a las Metas y objetivos estatales a los que se vincula

4 Descripcioacuten de los objetivos del Pp asiacute como de los bienes yo servicios que ofrece

(componentes)

5 Identificacioacuten y cuantificacioacuten de la poblacioacuten o aacuterea de enfoque potencial y

objetivo

6 Presupuesto aprobado para el ejercicio fiscal en curso

7 Metas de los indicadores de Fin Propoacutesito y Componentes asiacute como los de nivel

actividad que se consideren relevantes y

8 Resumen de la valoracioacuten de la pertinencia del disentildeo del Pp respecto a la atencioacuten

del problema o necesidad

Anexo 2 ldquoMetodologiacutea para la cuantificacioacuten de la poblacioacuten o aacuterea de enfoque

potencial y objetivordquo

El Anexo tiene formato libre sin embargo se debe incluir la siguiente informacioacuten

Definicioacuten de la poblacioacuten o aacuterea de enfoque potencial objetivo y atendida

Cuantificacioacuten de la poblacioacuten potencial objetiva y atendida

Hallazgos sobre el procedimiento llevado a cabo para definir y cuantificar la poblacioacuten o

aacuterea de enfoque potencial objetivo y atendida

Recomendaciones

Propuesta orientada hacia la mejora

PAE 2017 37

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 3 ldquoEvolucioacuten de la Coberturardquo

Nombre del

Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten

Antildeo de la Evaluacioacuten

Tipo de Poblacioacuten

Unidad

de

Medida

2012 2013 2014 2015 2016

P Potencial

P Objetivo

P Atendida

119927119912 times 120783120782120782

119927119926

PAE 2017 38

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 4 ldquoPropuesta de mejora de la Matriz de Indicadores para Resultadosrdquo

Derivado del anaacutelisis y valoracioacuten de la pregunta de investigacioacuten nuacutemero 3 iquestLa estructura de

objetivos planteada por el programa mantiene loacutegica y correspondencia causal con el problema

planteado en el diagnoacutestico se realizaraacute una propuesta de mejora de MIR

Fin

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Propoacutesito

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Componente 1

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

PAE 2017 39

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Componente 2 hellip

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 40

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesos del Pprdquo

Para la identificacioacuten y clasificacioacuten de los procesos del Pp se sugieren los siguientes pasos

1 Listar los procesos identificados

Comparar los procesos identificados del Pp con aquellos correspondientes al Modelo general de

procesos Colocar en el rengloacuten correspondiente el nombre de cada proceso del Pp identificado

como equivalente

2 Colocar al final de la lista aquellos procesos del Pp que no sean equivalentes con el Modelo

general de procesos

Modelo general de

procesos

Nuacutemero

de

secuencia

Procesos o subprocesos del Pp identificados por el

evaluador

(Nombre y breve descripcioacuten)

Planeacioacuten Ejemplo (Ej) Planeacioacuten Estrateacutegica

Ej Programacioacuten

Ej Presupuestacioacuten

Comunicacioacuten interna y

externa

Ej Difusioacuten Federal

Ej Difusioacuten Local

Seleccioacuten de

destinatarios

Ej Recepcioacuten de solicitudes de becas

Ej Seleccioacuten de becarios

Produccioacuten de

entregables

Entrega

Control

Seguimiento Ej Seguimiento fiacutesico y supervisioacuten en campo

Evaluacioacuten externa Ej Publicacioacuten y lectura del PAE

Ej Definicioacuten de TdR

Ej Contratacioacuten

Ej Ejecucioacuten de la evaluacioacuten externa

Monitoreo Ej Registro de avances de indicadores

Ej Revisioacuten de registros

Ej Validacioacuten de registros e integracioacuten de informes

PAE 2017 41

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Procesos identificados por el evaluador que no coinciden con el Modelo general de procesos

PAE 2017 42

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 ldquoFichas de indicadores de atributos de los procesos del Pp (formato libre)rdquo

Para la construccioacuten de este anexo deberaacute realizarse una revisioacuten documental (normativa aplicable

MIR evaluaciones externas sistemas de informacioacuten y registros administrativos entre otros) misma

que deberaacute complementarse con el trabajo de campo con el objetivo de identificar disentildear y calcular

indicadores relacionados con dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de

informacioacuten empleadas

Ademaacutes de considerar la medicioacuten de los atributos de eficacia suficiencia oportunidad y pertinencia

de cada proceso y subproceso o macroproceso

PAE 2017 43

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 7 ldquoDiagramas de flujo de la operacioacuten del Pprdquo

Para la elaboracioacuten de los diagramas de flujo deberaacute utilizarse la notacioacuten empleada en el

documento ldquoGuiacutea para la Optimizacioacuten Estandarizacioacuten y Mejora Continua de Procesosrdquo publicada

por la SFP en la direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Para el Diagrama de Alto Nivel (Diagrama PEPSU)

Ejemplo ilustrativo

PAE 2017 44

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para el Diagrama de Flujo

PAE 2017 45

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

PAE 2017 46

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 8 ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales

del Pprdquo

Tipo de

norma-

tiva

Dice

Problema

generado

(causas y

consecuencias)

Se

recomienda

decir

Efecto esperado de

aplicar la

recomendacioacuten de

cambio

Restricciones praacutecticas

que puedan existir para

su implementacioacuten

PAE 2017 47

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 9 ldquoValoracioacuten global cuantitativa ldquo

Seccioacuten 1 Disentildeo

Disentildeo Valoracioacuten Argumento o justificacioacuten

Porcentaje del

Disentildeo del Pp

(Suma de valoracioacuten alcanzada por pregunta de la seccioacuten 1 Total maacuteximo de la

valoracioacuten de todas las preguntas de la seccioacuten 1 ) x 100

Seccioacuten 2 Procesos

Proceso Eficacia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

eficaces

(Total de procesos eficaces Total de procesos del Pp) x 100

Proceso Oportunidad

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

oportunos

(Total de procesos oportunos Total de procesos del Pp) x 100

Proceso Suficiencia

(SiacuteNo) Argumento o justificacioacuten

PAE 2017 48

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Porcentaje de

procesos

suficientes

(Total de procesos suficientes Total de procesos del Pp) x 100

Proceso Pertinencia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

pertinentes

(Total de procesos pertinentes Total de procesos del Pp) x 100

NOTA Los argumentos y justificaciones del evaluador deberaacuten considerar el anaacutelisis y valoraciones de

los subprocesos de cada proceso de modo que haya consistencia entre estos elementos Asimismo el

evaluador deberaacute expresar los resultados de la valoracioacuten cuantitativa en una graacutefica tipo radial

PAE 2017 49

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 10 ldquoSistema de monitoreo e indicadores de gestioacuten del Pp (formato libre)rdquo

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible

Nombre del Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten De Procesos

Antildeo de la Evaluacioacuten 2017

Fin Justificacioacuten Propoacutesito Justificacioacuten Componente (s) Justificacioacuten

Nombre de

Indicador

Meacutetodo de Caacutelculo

Claro SiacuteNo SiacuteNo SiacuteNo

Relevante SiacuteNo SiacuteNo SiacuteNo

Econoacutemico SiacuteNo SiacuteNo SiacuteNo

Monitoreable SiacuteNo SiacuteNo SiacuteNo

Adecuado SiacuteNo SiacuteNo SiacuteNo

Definicioacuten SiacuteNo SiacuteNo SiacuteNo

Unidad de Medida SiacuteNo SiacuteNo SiacuteNo

Frecuencia de

Medicioacuten

SiacuteNo SiacuteNo SiacuteNo

Liacutenea Base SiacuteNo SiacuteNo SiacuteNo

Metas SiacuteNo SiacuteNo SiacuteNo

Comportamiento

del Indicador

SiacuteNo SiacuteNo SiacuteNo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 50

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de Procesos del Pprdquo

En este Anexo la instancia evaluadora debe valorar si la recomendacioacuten implica una consolidacioacuten o

una reingenieriacutea del proceso

A) Consolidacioacuten

Proceso Recomendaci

oacuten

Breve

anaacutelisis de

viabilidad de

la

implementa-

cioacuten

Principales

responsables

de la

implementaci

oacuten

Situacioacuten

actual

Efectos

potenciales

esperados

Medio de

verifica-

cioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

B) Reingenieriacutea de procesos

Proceso Objetivo

Breve

anaacutelisis de

viabilidad

de la

implemen-

tacioacuten

Principales

responsables

de la

implemen-

tacioacuten

Situa-

cioacuten

actual

Metas y

efectos

potenciale

s

esperados

Elabora-

cioacuten de

flujogram

a del

nuevo

proceso

Medio

de

verifi-

cacioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

NOTA El nivel de priorizacioacuten Alto Medio o Bajo se estimaraacute considerando la mejora en la operacioacuten

del Pp la viabilidad de la implementacioacuten de la recomendacioacuten asiacute como el efecto potencial que esto

pueda tener el alcance del objetivo del Pp

PAE 2017 51

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 12 ldquoPrincipales Fortalezas Retos y Recomendacionesrdquo

Capacidades Internas Factores Externos

Fortalezas

(Cualquier capacidad con la que cuenta la dependencia o

entidad que le permita aprovechar sus recursos para la

obtencioacuten de sus objetivos)

Oportunidades

(Cualquier factor externo fuera del control de la dependencia o

entidad que puede ser aprovechado para la obtencioacuten de sus

objetivos)

Debilidades

(Cualquier limitante Interna de la dependencia o entidad que

puede afectar la obtencioacuten de sus objetivos)

Amenazas

(Cualquier factor externo fuera de control de la dependencia o

entidad que pueda afectar la obtencioacuten de sus objetivos)

PAE 2017 52

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacutenrdquo

El Informe Final de la Evaluacioacuten de Procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten

Superior deberaacuten contener una ficha con los siguientes datos

Ficha Teacutecnica con los datos generales de la evaluacioacuten

Nombre o denominacioacuten de la

evaluacioacuten

[Especificar el nombre de la evaluacioacuten considerando su tipo y ejercicio

evaluado]

Nombre o denominacioacuten del

programa evaluado

[Indicar el nombre del Pp sujeto a evaluacioacuten de acuerdo con lo

establecido en el PEF sentildealando su modalidad y clave]

Unidad Responsable de la operacioacuten

del programa

[Especificar la(s) unidad(es) responsable(s) de la administracioacuten

operacioacuten y ejecucioacuten de los programas subprogramas y proyectos del

Pp evaluado correspondientes a las dependencias y entidades]

Titular de la unidad responsable de la

operacioacuten del programa

[Indicar el nombre del(a) Titular de la Unidad Responsable de la

operacioacuten del Pp]

Antildeo del Programa Anual de

Evaluacioacuten (PAE) en que fue

considerada la evaluacioacuten

[Especificar el ejercicio fiscal al que corresponde el PAE en la que fue

programada la evaluacioacuten]

Antildeo de conclusioacuten y entrega de la

evaluacioacuten

[Indicar el antildeo en que se concluyoacute la evaluacioacuten]

Tipo de evaluacioacuten [Especificar el tipo de evaluacioacuten de acuerdo con los Lineamientos de

evaluacioacuten el nombre de la evaluacioacuten y con lo establecido en el PAE]

Nombre de la instancia evaluadora [Indicar el nombre de la firma consultoriacutea u organizacioacuten que realizoacute la

evaluacioacuten]

Nombre del(a) coordinador(a)

externo(a) de la evaluacioacuten

[Especificar el nombre del(a) responsable de la coordinacioacuten de la

evaluacioacuten dla instancia evaluadora]

Nombre de los(as) principales

colaboradores(as) del(a)

coordinador(a) de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del(a)

coordinador(a) de la evaluacioacuten]

PAE 2017 53

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Unidad Administrativa responsable de

la Coordinacioacuten de la evaluacioacuten

[De acuerdo con lo sentildealado en el PAE especificar la instancia a la que

corresponde la coordinacioacuten de la evaluacioacuten pej Secretariacutea de

Finanzas y Administracioacuten (SFA) asiacute como la unidad administrativa

mediante la cual se ejerce esta funcioacuten p ej Direccioacuten de Evaluacioacuten

de la SFA (DEV)

Nombre del(a) Titular de la unidad

administrativa responsable de

coordinar la evaluacioacuten (Aacuterea de

Evaluacioacuten)

[Especificar el nombre del(a) Titular de la Unidad responsable de dar

seguimiento a la evaluacioacuten que funge como Aacuterea de Evaluacioacuten]

Nombres de los(as) servidores(as)

puacuteblicos(as) adscritos(as) a la unidad

administrativa responsable de

coordinar la evaluacioacuten que

coadyuvaron con la revisioacuten teacutecnica

de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del

titular de la unidad administrativa responsable de dar seguimiento a la

evaluacioacuten respecto de la revisioacuten teacutecnica de la misma]

Forma de contratacioacuten de la instancia

evaluadora

[Indicar el tipo de contratacioacuten dla instancia evaluadora Especificar el

tipo de procedimiento de contratacioacuten de la instancia evaluadora

consistente con los tipos de adjudicacioacuten establecidos en la Ley de

Adquisiciones Arrendamientos y Servicios del Sector Puacuteblico]

Costo total de la evaluacioacuten con IVA

incluido

[Especificar el costo total de la evaluacioacuten incluyendo el IVA (en caso

de que se haya causado) como sigue $XXX IVA incluido]

Asimismo en este anexo se deberaacute incluir una nota metodoloacutegica con la descripcioacuten de las teacutecnicas

y los modelos utilizados por el evaluador externo acompantildeada del disentildeo por muestreo

especificando los supuestos empleados y las principales caracteriacutesticas del tamantildeo y dispersioacuten de

la muestra utilizada

DIRECTORIO

Rauacutel Saacutenchez Kobashi

Secretario de la Secretariacutea de Finanzas y Administracioacuten

Francisco Fidel Teomitzi Saacutenchez

Subsecretario de Planeacioacuten

Arturo Neponuceno Crisoacutestomo

Director de Evaluacioacuten

Rodolfo de la Rosa Cabrera

Subdireccioacuten de Evaluacioacuten de Programas

Sauacutel Federico Oropeza Orea

Jefe del Departamento de Programas Estatales y Municipales

Ana Luz Guzmaacuten Figueroa

Analista del Departamento de Programas Estatales y Municipales

Marco Antonio Saacutenchez Gonzaacutelez

Analista del Departamento de Programas Estatales y Municipales

Page 30: Términos de Referencia para la Evaluación del Desempeño ...evaluacion.puebla.gob.mx/pdf/metodologias/TdR_Est/2017/TdR... · Perfil de la instancia evaluadora ... acuerdo con las

PAE 2017 29

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para la medicioacuten de los atributos de los procesos y subprocesos o macroprocesos del Pp deberaacute

realizarse una revisioacuten documental (normativa aplicable MIR evaluaciones externas sistemas de

informacioacuten y registros administrativos entre otros) misma que deberaacute complementarse con el

trabajo de campo con el objetivo de identificar disentildear y calcular indicadores relacionados con

dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de informacioacuten empleadas

La informacioacuten obtenida de estos indicadores deberaacute vaciarse en fichas propuestas por la instancia

evaluadora presentadas como en el Anexo 6 ldquoFichas de indicadores de atributos de los procesos del

Pprdquo (formato libre) Estas fichas deberaacuten considerar la medicioacuten de los atributos de eficacia

suficiencia oportunidad y pertinencia correspondientes a cada proceso y subproceso o

macroproceso

Valoracioacuten de los procesos y subprocesos de la operacioacuten del Pp

Deberaacute contener una siacutentesis de los resultados encontrados en la Evaluacioacuten de Procesos del Pp

resaltando los hallazgos maacutes relevantes que se hayan detectado y que pudiesen transformarse en

ASM

La instancia evaluadora deberaacute calcular una valoracioacuten global cuantitativa sobre la operacioacuten y la

ejecucioacuten de los procesos y subprocesos o macroprocesos del Pp a partir del siguiente esquema de

puntuacioacuten5

Eficacia

- Todos los procesos (o macroprocesos) son eficaces = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es eficaz = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es eficaz = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es eficaz = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es eficaz = 1 punto

- Ninguno de los procesos (o macroprocesos) es eficaz = 0 puntos

Oportunidad

- Todos los procesos (o macroprocesos) son oportunos = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es oportuno = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es oportuno = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es oportuno = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es oportuno = 1 punto

5 La valoracioacuten cuantitativa deberaacute estar sustentada y por tanto ser consistente con lo valorado por la instancia evaluadora en el apartado de ldquoMedicioacuten de atributos de los procesos y subprocesosrdquo

PAE 2017 30

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

- Ninguno de los procesos (o macroprocesos) es oportuno = 0 puntos

Suficiencia

- Todos los procesos (o macroprocesos) son suficientes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es suficiente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es suficiente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es suficiente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es suficiente = 1 punto

- Ninguno de los procesos (o macroprocesos) es suficiente = 0 puntos

Pertinencia

- Todos los procesos (o macroprocesos) son pertinentes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es pertinente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es pertinente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es pertinente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es pertinente = 1 punto

- Ninguno de los procesos (o macroprocesos) es pertinente = 0 puntos

A partir de los puntajes asignados en los cuatro atributos anteriores esta valoracioacuten cuantitativa

global debe considerar el total de puntos posibles de obtener (5 x 4 = 20 puntos) y los puntos

obtenidos en la Evaluacioacuten de Procesos Pp (lsquoyrsquo puntos) de modo que se indique el porcentaje de

puntos obtenidos del total de puntos posibles [(lsquoyrsquo20) x 100] = valoracioacuten cuantitativa global de la

operacioacuten del Pp

La instancia evaluadora deberaacute utilizar el Anexo 9 ldquoValoracioacuten global cuantitativardquo para documentar

argumentar y sustentar cada una de las valoraciones cuantitativas sobre la operacioacuten y la ejecucioacuten

de los procesos (o macroprocesos) del Pp

Adicionalmente en este apartado se deberaacuten integrar las recomendaciones y conclusiones que se

consideren maacutes relevantes de los procesos y subprocesos o macroprocesos del Pp las cuales deben

formularse con base en los hallazgos del trabajo de campo y de gabinete El objetivo final de las

recomendaciones es proveer informacioacuten valiosa a los operadores del Pp para realizar adecuaciones

en la ejecucioacuten de los procesos y subprocesos o macroprocesos de modo que se potencie la

consecucioacuten de resultados del Pp

Las recomendaciones que se formulen como resultado de la Evaluacioacuten de Procesos del Pp deberaacuten

tener las siguientes caracteriacutesticas

Derivarse de los hallazgos de la evaluacioacuten

PAE 2017 31

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Ser concretas y factibles

Incluir un proyecto de implementacioacuten que considere los siguientes elementos

- Breve anaacutelisis de la viabilidad o factibilidad de la implementacioacuten

- Principales responsables de la implementacioacuten

- Anaacutelisis de los efectos potenciales que puede implicar la implementacioacuten tanto en la

operacioacuten del Pp como en el logro de sus objetivos

- La comparacioacuten entre la situacioacuten actual y el resultado que se espera obtener con la

implementacioacuten de la recomendacioacuten

Estar categorizadas en dos liacuteneas de accioacuten estrateacutegicas

- Consolidacioacuten

- Reingenieriacutea de procesos o subprocesos

Al respecto la instancia evaluadora debe entender por consolidacioacuten aquellas recomendaciones que

estaacuten dirigidas a perfeccionar determinados aspectos de la operacioacuten como seriacutean algunas acciones

procedimientos o estrategias del Pp asiacute como iniciativas para el fortalecimiento de los sistemas

automatizados infraestructura entre otros

Por reingenieriacutea de procesos o subprocesos se entenderaacuten aquellas recomendaciones que apuntan

a una transformacioacuten o modificacioacuten profunda o sustancial de uno o varios de los procesos y

subprocesos del Pp Para ello se deberaacute llenar el Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de

Procesos del Pprdquo y que a su vez deben derivar en acciones de consolidacioacuten para la implementacioacuten

de los procesos transformados

Adicionalmente y de conformidad con el alcance de la Evaluacioacuten de Procesos del Pp se deberaacute

presentar una propuesta para crear o fortalecer el sistema de monitoreo de gestioacuten del Pp con

indicadores a nivel de procesos y subprocesos o macroprocesos

Asimismo a partir de todo el anaacutelisis y valoraciones realizadas se deberaacute emitir un pronunciamiento

acerca de la percepcioacuten de eficiencia que la instancia evaluadora haya tenido sobre la ejecucioacuten de

los procesos y subprocesos o macroprocesos del Pp

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible o si no hipoteacuteticos en un anexo de formato libre Anexo 10 ldquoSistema de

monitoreo e indicadores de gestioacuten del Pprdquo

PAE 2017 32

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Bitaacutecora de trabajo de campo y bases de datos

La instancia evaluadora deberaacute entregar una bitaacutecora de trabajo de campo que destaque de forma

sinteacutetica entre otros puntos las principales actividades y situaciones a las que se enfrentoacute y que

podriacutean afectar los resultados de la Evaluacioacuten de Procesos del Pp

Asimismo deberaacute entregar las bases de datos generadas a partir de la aplicacioacuten de los instrumentos

de recoleccioacuten de informacioacuten y de la recopilacioacuten de informacioacuten en el trabajo de campo Las bases

de datos deberaacuten entregarse en formatos compatibles con Excel debiendo mantener la

confidencialidad de los entrevistados pero sin alterar la informacioacuten proporcionada por estos En las

bases de datos debe estar sistematizada toda la informacioacuten recabada a partir de la aplicacioacuten de

los instrumentos de levantamiento de informacioacuten y deberaacute sustentar el anaacutelisis las valoraciones los

hallazgos y las conclusiones de la evaluacioacuten

PAE 2017 33

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Contenido del informe

Contenido miacutenimo del informe final de la evaluacioacuten

Derivado del contenido generado en las secciones anteriores deberaacuten elaborarse los siguientes

apartados en el informe final de la Evaluacioacuten de Procesos del Pp

i Introduccioacuten

ii Resumen Ejecutivo

iii Marco Legal

iv Datos Generales del Programa Presupuestario (Pp)

v Criterios Teacutecnicos para la Evaluacioacuten del Programa Presupuestario correspondiente

vi Apartados de la evaluacioacuten

Seccioacuten 1 Disentildeo

Diagnoacutestico del programa puacuteblico

Matriz de Indicadores para Resultados (MIR)

Seccioacuten 2 Procesos

Pertinencia de los proceso

Diagnoacutestico general de los procesos y subprocesos del Pp

- Contexto en que opera el Pp

- Diagnoacutestico inicial de los procesos y subprocesos

Descripcioacuten y valoracioacuten de los procesos y subprocesos del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

vii Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

viii Valoracioacuten final del Pp

ix Hallazgos

x Recomendaciones clasificadas por apartado

xi Conclusiones

xii Bibliografiacutea

xiii Anexos

Anexo 1 Descripcioacuten General del Programa

Anexo 2 Metodologiacutea para la cuantificacioacuten de las poblaciones potencial y objetivo

(Formato Libre)

Anexo 3 Evolucioacuten de la Cobertura

Anexo 4 Propuesta de mejora de la Matriz de Indicadores para Resultados

Anexo 5 Ficha de identificacioacuten y equivalencia de procesos del Pp

PAE 2017 34

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 Fichas de indicadores de atributos de los procesos del Pp (Formato libre)

Anexo 7 Diagramas de flujo de la operacioacuten del Pp

Anexo 8 Propuesta de modificacioacuten a los documentos normativos o institucionales

del Pp

Anexo 9 Valoracioacuten global cuantitativardquo

Anexo 10 Sistema de monitoreo e indicadores de gestioacuten del Pp (Formato libre)

Anexo 11 Recomendaciones de la Evaluacioacuten de Procesos del Pp

Anexo 12 Principales Fortalezas Retos y Recomendaciones

Anexo 13 Ficha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacuten

En el Resumen Ejecutivo asimismo se describiraacuten los principales hallazgos y recomendaciones del

evaluador externo

Para el desarrollo de los apartados antes referidos deberaacute atender las indicaciones que se desarrollan

en las siguientes secciones

Hallazgos y resultados Pp por Seccioacuten

Se debe realizar una valoracioacuten general del programa por seccioacuten utilizando las respuestas que

integran cada uno de los apartados En esta valoracioacuten integral se deberaacute sentildealar en queacute medida la

gestioacuten operativa conduce al logro de los objetivos del Pp

Asimismo se deben sentildealar las aacutereas de mejora las buenas praacutecticas y las fortalezas detectadas en

la operacioacuten del Pp y a partir de ello la instancia evaluadora emitiraacute recomendaciones de mejora

sobre aspectos especiacuteficos de cada proceso y subproceso o macroproceso del Pp Adicionalmente

se deberaacuten identificar los problemas o limitantes tanto normativos como operativos (ldquocuellos de

botellardquo) de coordinacioacuten entre unidades administrativas y otros que hubiese en los procesos y

subprocesos o macroprocesos del Pp entendieacutendose como aquellas praacutecticas procedimientos

actividades o traacutemites que obstaculizan la operacioacuten del Pp

En este sentido se deberaacuten identificar las situaciones en las que la normativa genere complicaciones

en la gestioacuten o ineficacia en el cumplimiento de los objetivos del Pp para lo cual se deberaacute presentar

(por cada situacioacuten identificada) una propuesta de modificacioacuten a la normativa aplicable al Pp

considerando las restricciones praacutecticas que existan para su implementacioacuten asiacute como los efectos

PAE 2017 35

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

potenciales de ser implementada Los resultados de este anaacutelisis deberaacuten describirse en el Anexo 7

ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales del Pprdquo

Para la identificacioacuten y descripcioacuten de los ldquocuellos de botellardquo buenas praacutecticas y fortalezas del Pp

se consideraraacute la informacioacuten derivada del anaacutelisis de la operacioacuten del Pp asiacute como los puntos de

vista de los principales actores que intervienen en ella Este anaacutelisis deberaacute contener las causas y las

consecuencias de los ldquocuellos de botellardquo detectados sus caracteriacutesticas y naturaleza (si son

normativas o estrictamente operativas) de igual manera se deberaacute desarrollar un anaacutelisis de las

buenas praacutecticas identificadas

Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

Se debe integrar en una sola tabla las fortalezas oportunidades debilidades y amenazas

especificadas por cada apartado de la evaluacioacuten y reportarlas en el Anexo 11 ldquoPrincipales Fortalezas

Retos y Recomendacionesrdquo en el que se deben incluir las fortalezas yo oportunidades las

debilidades yo amenazas y las recomendaciones por apartado de la evaluacioacuten

PAE 2017 36

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexos

Anexo 1 ldquoDescripcioacuten General del Programardquo

El Anexo tiene formato libre sin embargo debe contener una breve descripcioacuten de las caracteriacutesticas

maacutes relevantes del Pp en un maacuteximo de dos cuartillas Dicha descripcioacuten debe considerar los

siguientes aspectos

1 Identificacioacuten del programa

11 Nombre

12 Clave de programa

13 Dependencia yo Entidad coordinadora ejecutora

14 Antildeo de inicio de operacioacuten

2 Problema o necesidad que el Pp pretende atender atenuar o resolver

3 La contribucioacuten del Pp a las Metas y objetivos estatales a los que se vincula

4 Descripcioacuten de los objetivos del Pp asiacute como de los bienes yo servicios que ofrece

(componentes)

5 Identificacioacuten y cuantificacioacuten de la poblacioacuten o aacuterea de enfoque potencial y

objetivo

6 Presupuesto aprobado para el ejercicio fiscal en curso

7 Metas de los indicadores de Fin Propoacutesito y Componentes asiacute como los de nivel

actividad que se consideren relevantes y

8 Resumen de la valoracioacuten de la pertinencia del disentildeo del Pp respecto a la atencioacuten

del problema o necesidad

Anexo 2 ldquoMetodologiacutea para la cuantificacioacuten de la poblacioacuten o aacuterea de enfoque

potencial y objetivordquo

El Anexo tiene formato libre sin embargo se debe incluir la siguiente informacioacuten

Definicioacuten de la poblacioacuten o aacuterea de enfoque potencial objetivo y atendida

Cuantificacioacuten de la poblacioacuten potencial objetiva y atendida

Hallazgos sobre el procedimiento llevado a cabo para definir y cuantificar la poblacioacuten o

aacuterea de enfoque potencial objetivo y atendida

Recomendaciones

Propuesta orientada hacia la mejora

PAE 2017 37

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 3 ldquoEvolucioacuten de la Coberturardquo

Nombre del

Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten

Antildeo de la Evaluacioacuten

Tipo de Poblacioacuten

Unidad

de

Medida

2012 2013 2014 2015 2016

P Potencial

P Objetivo

P Atendida

119927119912 times 120783120782120782

119927119926

PAE 2017 38

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 4 ldquoPropuesta de mejora de la Matriz de Indicadores para Resultadosrdquo

Derivado del anaacutelisis y valoracioacuten de la pregunta de investigacioacuten nuacutemero 3 iquestLa estructura de

objetivos planteada por el programa mantiene loacutegica y correspondencia causal con el problema

planteado en el diagnoacutestico se realizaraacute una propuesta de mejora de MIR

Fin

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Propoacutesito

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Componente 1

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

PAE 2017 39

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Componente 2 hellip

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 40

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesos del Pprdquo

Para la identificacioacuten y clasificacioacuten de los procesos del Pp se sugieren los siguientes pasos

1 Listar los procesos identificados

Comparar los procesos identificados del Pp con aquellos correspondientes al Modelo general de

procesos Colocar en el rengloacuten correspondiente el nombre de cada proceso del Pp identificado

como equivalente

2 Colocar al final de la lista aquellos procesos del Pp que no sean equivalentes con el Modelo

general de procesos

Modelo general de

procesos

Nuacutemero

de

secuencia

Procesos o subprocesos del Pp identificados por el

evaluador

(Nombre y breve descripcioacuten)

Planeacioacuten Ejemplo (Ej) Planeacioacuten Estrateacutegica

Ej Programacioacuten

Ej Presupuestacioacuten

Comunicacioacuten interna y

externa

Ej Difusioacuten Federal

Ej Difusioacuten Local

Seleccioacuten de

destinatarios

Ej Recepcioacuten de solicitudes de becas

Ej Seleccioacuten de becarios

Produccioacuten de

entregables

Entrega

Control

Seguimiento Ej Seguimiento fiacutesico y supervisioacuten en campo

Evaluacioacuten externa Ej Publicacioacuten y lectura del PAE

Ej Definicioacuten de TdR

Ej Contratacioacuten

Ej Ejecucioacuten de la evaluacioacuten externa

Monitoreo Ej Registro de avances de indicadores

Ej Revisioacuten de registros

Ej Validacioacuten de registros e integracioacuten de informes

PAE 2017 41

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Procesos identificados por el evaluador que no coinciden con el Modelo general de procesos

PAE 2017 42

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 ldquoFichas de indicadores de atributos de los procesos del Pp (formato libre)rdquo

Para la construccioacuten de este anexo deberaacute realizarse una revisioacuten documental (normativa aplicable

MIR evaluaciones externas sistemas de informacioacuten y registros administrativos entre otros) misma

que deberaacute complementarse con el trabajo de campo con el objetivo de identificar disentildear y calcular

indicadores relacionados con dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de

informacioacuten empleadas

Ademaacutes de considerar la medicioacuten de los atributos de eficacia suficiencia oportunidad y pertinencia

de cada proceso y subproceso o macroproceso

PAE 2017 43

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 7 ldquoDiagramas de flujo de la operacioacuten del Pprdquo

Para la elaboracioacuten de los diagramas de flujo deberaacute utilizarse la notacioacuten empleada en el

documento ldquoGuiacutea para la Optimizacioacuten Estandarizacioacuten y Mejora Continua de Procesosrdquo publicada

por la SFP en la direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Para el Diagrama de Alto Nivel (Diagrama PEPSU)

Ejemplo ilustrativo

PAE 2017 44

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para el Diagrama de Flujo

PAE 2017 45

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

PAE 2017 46

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 8 ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales

del Pprdquo

Tipo de

norma-

tiva

Dice

Problema

generado

(causas y

consecuencias)

Se

recomienda

decir

Efecto esperado de

aplicar la

recomendacioacuten de

cambio

Restricciones praacutecticas

que puedan existir para

su implementacioacuten

PAE 2017 47

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 9 ldquoValoracioacuten global cuantitativa ldquo

Seccioacuten 1 Disentildeo

Disentildeo Valoracioacuten Argumento o justificacioacuten

Porcentaje del

Disentildeo del Pp

(Suma de valoracioacuten alcanzada por pregunta de la seccioacuten 1 Total maacuteximo de la

valoracioacuten de todas las preguntas de la seccioacuten 1 ) x 100

Seccioacuten 2 Procesos

Proceso Eficacia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

eficaces

(Total de procesos eficaces Total de procesos del Pp) x 100

Proceso Oportunidad

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

oportunos

(Total de procesos oportunos Total de procesos del Pp) x 100

Proceso Suficiencia

(SiacuteNo) Argumento o justificacioacuten

PAE 2017 48

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Porcentaje de

procesos

suficientes

(Total de procesos suficientes Total de procesos del Pp) x 100

Proceso Pertinencia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

pertinentes

(Total de procesos pertinentes Total de procesos del Pp) x 100

NOTA Los argumentos y justificaciones del evaluador deberaacuten considerar el anaacutelisis y valoraciones de

los subprocesos de cada proceso de modo que haya consistencia entre estos elementos Asimismo el

evaluador deberaacute expresar los resultados de la valoracioacuten cuantitativa en una graacutefica tipo radial

PAE 2017 49

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 10 ldquoSistema de monitoreo e indicadores de gestioacuten del Pp (formato libre)rdquo

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible

Nombre del Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten De Procesos

Antildeo de la Evaluacioacuten 2017

Fin Justificacioacuten Propoacutesito Justificacioacuten Componente (s) Justificacioacuten

Nombre de

Indicador

Meacutetodo de Caacutelculo

Claro SiacuteNo SiacuteNo SiacuteNo

Relevante SiacuteNo SiacuteNo SiacuteNo

Econoacutemico SiacuteNo SiacuteNo SiacuteNo

Monitoreable SiacuteNo SiacuteNo SiacuteNo

Adecuado SiacuteNo SiacuteNo SiacuteNo

Definicioacuten SiacuteNo SiacuteNo SiacuteNo

Unidad de Medida SiacuteNo SiacuteNo SiacuteNo

Frecuencia de

Medicioacuten

SiacuteNo SiacuteNo SiacuteNo

Liacutenea Base SiacuteNo SiacuteNo SiacuteNo

Metas SiacuteNo SiacuteNo SiacuteNo

Comportamiento

del Indicador

SiacuteNo SiacuteNo SiacuteNo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 50

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de Procesos del Pprdquo

En este Anexo la instancia evaluadora debe valorar si la recomendacioacuten implica una consolidacioacuten o

una reingenieriacutea del proceso

A) Consolidacioacuten

Proceso Recomendaci

oacuten

Breve

anaacutelisis de

viabilidad de

la

implementa-

cioacuten

Principales

responsables

de la

implementaci

oacuten

Situacioacuten

actual

Efectos

potenciales

esperados

Medio de

verifica-

cioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

B) Reingenieriacutea de procesos

Proceso Objetivo

Breve

anaacutelisis de

viabilidad

de la

implemen-

tacioacuten

Principales

responsables

de la

implemen-

tacioacuten

Situa-

cioacuten

actual

Metas y

efectos

potenciale

s

esperados

Elabora-

cioacuten de

flujogram

a del

nuevo

proceso

Medio

de

verifi-

cacioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

NOTA El nivel de priorizacioacuten Alto Medio o Bajo se estimaraacute considerando la mejora en la operacioacuten

del Pp la viabilidad de la implementacioacuten de la recomendacioacuten asiacute como el efecto potencial que esto

pueda tener el alcance del objetivo del Pp

PAE 2017 51

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 12 ldquoPrincipales Fortalezas Retos y Recomendacionesrdquo

Capacidades Internas Factores Externos

Fortalezas

(Cualquier capacidad con la que cuenta la dependencia o

entidad que le permita aprovechar sus recursos para la

obtencioacuten de sus objetivos)

Oportunidades

(Cualquier factor externo fuera del control de la dependencia o

entidad que puede ser aprovechado para la obtencioacuten de sus

objetivos)

Debilidades

(Cualquier limitante Interna de la dependencia o entidad que

puede afectar la obtencioacuten de sus objetivos)

Amenazas

(Cualquier factor externo fuera de control de la dependencia o

entidad que pueda afectar la obtencioacuten de sus objetivos)

PAE 2017 52

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacutenrdquo

El Informe Final de la Evaluacioacuten de Procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten

Superior deberaacuten contener una ficha con los siguientes datos

Ficha Teacutecnica con los datos generales de la evaluacioacuten

Nombre o denominacioacuten de la

evaluacioacuten

[Especificar el nombre de la evaluacioacuten considerando su tipo y ejercicio

evaluado]

Nombre o denominacioacuten del

programa evaluado

[Indicar el nombre del Pp sujeto a evaluacioacuten de acuerdo con lo

establecido en el PEF sentildealando su modalidad y clave]

Unidad Responsable de la operacioacuten

del programa

[Especificar la(s) unidad(es) responsable(s) de la administracioacuten

operacioacuten y ejecucioacuten de los programas subprogramas y proyectos del

Pp evaluado correspondientes a las dependencias y entidades]

Titular de la unidad responsable de la

operacioacuten del programa

[Indicar el nombre del(a) Titular de la Unidad Responsable de la

operacioacuten del Pp]

Antildeo del Programa Anual de

Evaluacioacuten (PAE) en que fue

considerada la evaluacioacuten

[Especificar el ejercicio fiscal al que corresponde el PAE en la que fue

programada la evaluacioacuten]

Antildeo de conclusioacuten y entrega de la

evaluacioacuten

[Indicar el antildeo en que se concluyoacute la evaluacioacuten]

Tipo de evaluacioacuten [Especificar el tipo de evaluacioacuten de acuerdo con los Lineamientos de

evaluacioacuten el nombre de la evaluacioacuten y con lo establecido en el PAE]

Nombre de la instancia evaluadora [Indicar el nombre de la firma consultoriacutea u organizacioacuten que realizoacute la

evaluacioacuten]

Nombre del(a) coordinador(a)

externo(a) de la evaluacioacuten

[Especificar el nombre del(a) responsable de la coordinacioacuten de la

evaluacioacuten dla instancia evaluadora]

Nombre de los(as) principales

colaboradores(as) del(a)

coordinador(a) de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del(a)

coordinador(a) de la evaluacioacuten]

PAE 2017 53

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Unidad Administrativa responsable de

la Coordinacioacuten de la evaluacioacuten

[De acuerdo con lo sentildealado en el PAE especificar la instancia a la que

corresponde la coordinacioacuten de la evaluacioacuten pej Secretariacutea de

Finanzas y Administracioacuten (SFA) asiacute como la unidad administrativa

mediante la cual se ejerce esta funcioacuten p ej Direccioacuten de Evaluacioacuten

de la SFA (DEV)

Nombre del(a) Titular de la unidad

administrativa responsable de

coordinar la evaluacioacuten (Aacuterea de

Evaluacioacuten)

[Especificar el nombre del(a) Titular de la Unidad responsable de dar

seguimiento a la evaluacioacuten que funge como Aacuterea de Evaluacioacuten]

Nombres de los(as) servidores(as)

puacuteblicos(as) adscritos(as) a la unidad

administrativa responsable de

coordinar la evaluacioacuten que

coadyuvaron con la revisioacuten teacutecnica

de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del

titular de la unidad administrativa responsable de dar seguimiento a la

evaluacioacuten respecto de la revisioacuten teacutecnica de la misma]

Forma de contratacioacuten de la instancia

evaluadora

[Indicar el tipo de contratacioacuten dla instancia evaluadora Especificar el

tipo de procedimiento de contratacioacuten de la instancia evaluadora

consistente con los tipos de adjudicacioacuten establecidos en la Ley de

Adquisiciones Arrendamientos y Servicios del Sector Puacuteblico]

Costo total de la evaluacioacuten con IVA

incluido

[Especificar el costo total de la evaluacioacuten incluyendo el IVA (en caso

de que se haya causado) como sigue $XXX IVA incluido]

Asimismo en este anexo se deberaacute incluir una nota metodoloacutegica con la descripcioacuten de las teacutecnicas

y los modelos utilizados por el evaluador externo acompantildeada del disentildeo por muestreo

especificando los supuestos empleados y las principales caracteriacutesticas del tamantildeo y dispersioacuten de

la muestra utilizada

DIRECTORIO

Rauacutel Saacutenchez Kobashi

Secretario de la Secretariacutea de Finanzas y Administracioacuten

Francisco Fidel Teomitzi Saacutenchez

Subsecretario de Planeacioacuten

Arturo Neponuceno Crisoacutestomo

Director de Evaluacioacuten

Rodolfo de la Rosa Cabrera

Subdireccioacuten de Evaluacioacuten de Programas

Sauacutel Federico Oropeza Orea

Jefe del Departamento de Programas Estatales y Municipales

Ana Luz Guzmaacuten Figueroa

Analista del Departamento de Programas Estatales y Municipales

Marco Antonio Saacutenchez Gonzaacutelez

Analista del Departamento de Programas Estatales y Municipales

Page 31: Términos de Referencia para la Evaluación del Desempeño ...evaluacion.puebla.gob.mx/pdf/metodologias/TdR_Est/2017/TdR... · Perfil de la instancia evaluadora ... acuerdo con las

PAE 2017 30

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

- Ninguno de los procesos (o macroprocesos) es oportuno = 0 puntos

Suficiencia

- Todos los procesos (o macroprocesos) son suficientes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es suficiente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es suficiente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es suficiente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es suficiente = 1 punto

- Ninguno de los procesos (o macroprocesos) es suficiente = 0 puntos

Pertinencia

- Todos los procesos (o macroprocesos) son pertinentes = 5 puntos

- Entre 70 y 9999 de los procesos (o macroprocesos) es pertinente = 4 puntos

- Entre 40 y 6999 de los procesos (o macroprocesos) es pertinente = 3 puntos

- Entre 20 y 3999 de los procesos (o macroprocesos) es pertinente = 2 puntos

- Entre 1 y 1999 de los procesos (o macroprocesos) es pertinente = 1 punto

- Ninguno de los procesos (o macroprocesos) es pertinente = 0 puntos

A partir de los puntajes asignados en los cuatro atributos anteriores esta valoracioacuten cuantitativa

global debe considerar el total de puntos posibles de obtener (5 x 4 = 20 puntos) y los puntos

obtenidos en la Evaluacioacuten de Procesos Pp (lsquoyrsquo puntos) de modo que se indique el porcentaje de

puntos obtenidos del total de puntos posibles [(lsquoyrsquo20) x 100] = valoracioacuten cuantitativa global de la

operacioacuten del Pp

La instancia evaluadora deberaacute utilizar el Anexo 9 ldquoValoracioacuten global cuantitativardquo para documentar

argumentar y sustentar cada una de las valoraciones cuantitativas sobre la operacioacuten y la ejecucioacuten

de los procesos (o macroprocesos) del Pp

Adicionalmente en este apartado se deberaacuten integrar las recomendaciones y conclusiones que se

consideren maacutes relevantes de los procesos y subprocesos o macroprocesos del Pp las cuales deben

formularse con base en los hallazgos del trabajo de campo y de gabinete El objetivo final de las

recomendaciones es proveer informacioacuten valiosa a los operadores del Pp para realizar adecuaciones

en la ejecucioacuten de los procesos y subprocesos o macroprocesos de modo que se potencie la

consecucioacuten de resultados del Pp

Las recomendaciones que se formulen como resultado de la Evaluacioacuten de Procesos del Pp deberaacuten

tener las siguientes caracteriacutesticas

Derivarse de los hallazgos de la evaluacioacuten

PAE 2017 31

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Ser concretas y factibles

Incluir un proyecto de implementacioacuten que considere los siguientes elementos

- Breve anaacutelisis de la viabilidad o factibilidad de la implementacioacuten

- Principales responsables de la implementacioacuten

- Anaacutelisis de los efectos potenciales que puede implicar la implementacioacuten tanto en la

operacioacuten del Pp como en el logro de sus objetivos

- La comparacioacuten entre la situacioacuten actual y el resultado que se espera obtener con la

implementacioacuten de la recomendacioacuten

Estar categorizadas en dos liacuteneas de accioacuten estrateacutegicas

- Consolidacioacuten

- Reingenieriacutea de procesos o subprocesos

Al respecto la instancia evaluadora debe entender por consolidacioacuten aquellas recomendaciones que

estaacuten dirigidas a perfeccionar determinados aspectos de la operacioacuten como seriacutean algunas acciones

procedimientos o estrategias del Pp asiacute como iniciativas para el fortalecimiento de los sistemas

automatizados infraestructura entre otros

Por reingenieriacutea de procesos o subprocesos se entenderaacuten aquellas recomendaciones que apuntan

a una transformacioacuten o modificacioacuten profunda o sustancial de uno o varios de los procesos y

subprocesos del Pp Para ello se deberaacute llenar el Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de

Procesos del Pprdquo y que a su vez deben derivar en acciones de consolidacioacuten para la implementacioacuten

de los procesos transformados

Adicionalmente y de conformidad con el alcance de la Evaluacioacuten de Procesos del Pp se deberaacute

presentar una propuesta para crear o fortalecer el sistema de monitoreo de gestioacuten del Pp con

indicadores a nivel de procesos y subprocesos o macroprocesos

Asimismo a partir de todo el anaacutelisis y valoraciones realizadas se deberaacute emitir un pronunciamiento

acerca de la percepcioacuten de eficiencia que la instancia evaluadora haya tenido sobre la ejecucioacuten de

los procesos y subprocesos o macroprocesos del Pp

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible o si no hipoteacuteticos en un anexo de formato libre Anexo 10 ldquoSistema de

monitoreo e indicadores de gestioacuten del Pprdquo

PAE 2017 32

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Bitaacutecora de trabajo de campo y bases de datos

La instancia evaluadora deberaacute entregar una bitaacutecora de trabajo de campo que destaque de forma

sinteacutetica entre otros puntos las principales actividades y situaciones a las que se enfrentoacute y que

podriacutean afectar los resultados de la Evaluacioacuten de Procesos del Pp

Asimismo deberaacute entregar las bases de datos generadas a partir de la aplicacioacuten de los instrumentos

de recoleccioacuten de informacioacuten y de la recopilacioacuten de informacioacuten en el trabajo de campo Las bases

de datos deberaacuten entregarse en formatos compatibles con Excel debiendo mantener la

confidencialidad de los entrevistados pero sin alterar la informacioacuten proporcionada por estos En las

bases de datos debe estar sistematizada toda la informacioacuten recabada a partir de la aplicacioacuten de

los instrumentos de levantamiento de informacioacuten y deberaacute sustentar el anaacutelisis las valoraciones los

hallazgos y las conclusiones de la evaluacioacuten

PAE 2017 33

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Contenido del informe

Contenido miacutenimo del informe final de la evaluacioacuten

Derivado del contenido generado en las secciones anteriores deberaacuten elaborarse los siguientes

apartados en el informe final de la Evaluacioacuten de Procesos del Pp

i Introduccioacuten

ii Resumen Ejecutivo

iii Marco Legal

iv Datos Generales del Programa Presupuestario (Pp)

v Criterios Teacutecnicos para la Evaluacioacuten del Programa Presupuestario correspondiente

vi Apartados de la evaluacioacuten

Seccioacuten 1 Disentildeo

Diagnoacutestico del programa puacuteblico

Matriz de Indicadores para Resultados (MIR)

Seccioacuten 2 Procesos

Pertinencia de los proceso

Diagnoacutestico general de los procesos y subprocesos del Pp

- Contexto en que opera el Pp

- Diagnoacutestico inicial de los procesos y subprocesos

Descripcioacuten y valoracioacuten de los procesos y subprocesos del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

vii Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

viii Valoracioacuten final del Pp

ix Hallazgos

x Recomendaciones clasificadas por apartado

xi Conclusiones

xii Bibliografiacutea

xiii Anexos

Anexo 1 Descripcioacuten General del Programa

Anexo 2 Metodologiacutea para la cuantificacioacuten de las poblaciones potencial y objetivo

(Formato Libre)

Anexo 3 Evolucioacuten de la Cobertura

Anexo 4 Propuesta de mejora de la Matriz de Indicadores para Resultados

Anexo 5 Ficha de identificacioacuten y equivalencia de procesos del Pp

PAE 2017 34

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 Fichas de indicadores de atributos de los procesos del Pp (Formato libre)

Anexo 7 Diagramas de flujo de la operacioacuten del Pp

Anexo 8 Propuesta de modificacioacuten a los documentos normativos o institucionales

del Pp

Anexo 9 Valoracioacuten global cuantitativardquo

Anexo 10 Sistema de monitoreo e indicadores de gestioacuten del Pp (Formato libre)

Anexo 11 Recomendaciones de la Evaluacioacuten de Procesos del Pp

Anexo 12 Principales Fortalezas Retos y Recomendaciones

Anexo 13 Ficha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacuten

En el Resumen Ejecutivo asimismo se describiraacuten los principales hallazgos y recomendaciones del

evaluador externo

Para el desarrollo de los apartados antes referidos deberaacute atender las indicaciones que se desarrollan

en las siguientes secciones

Hallazgos y resultados Pp por Seccioacuten

Se debe realizar una valoracioacuten general del programa por seccioacuten utilizando las respuestas que

integran cada uno de los apartados En esta valoracioacuten integral se deberaacute sentildealar en queacute medida la

gestioacuten operativa conduce al logro de los objetivos del Pp

Asimismo se deben sentildealar las aacutereas de mejora las buenas praacutecticas y las fortalezas detectadas en

la operacioacuten del Pp y a partir de ello la instancia evaluadora emitiraacute recomendaciones de mejora

sobre aspectos especiacuteficos de cada proceso y subproceso o macroproceso del Pp Adicionalmente

se deberaacuten identificar los problemas o limitantes tanto normativos como operativos (ldquocuellos de

botellardquo) de coordinacioacuten entre unidades administrativas y otros que hubiese en los procesos y

subprocesos o macroprocesos del Pp entendieacutendose como aquellas praacutecticas procedimientos

actividades o traacutemites que obstaculizan la operacioacuten del Pp

En este sentido se deberaacuten identificar las situaciones en las que la normativa genere complicaciones

en la gestioacuten o ineficacia en el cumplimiento de los objetivos del Pp para lo cual se deberaacute presentar

(por cada situacioacuten identificada) una propuesta de modificacioacuten a la normativa aplicable al Pp

considerando las restricciones praacutecticas que existan para su implementacioacuten asiacute como los efectos

PAE 2017 35

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

potenciales de ser implementada Los resultados de este anaacutelisis deberaacuten describirse en el Anexo 7

ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales del Pprdquo

Para la identificacioacuten y descripcioacuten de los ldquocuellos de botellardquo buenas praacutecticas y fortalezas del Pp

se consideraraacute la informacioacuten derivada del anaacutelisis de la operacioacuten del Pp asiacute como los puntos de

vista de los principales actores que intervienen en ella Este anaacutelisis deberaacute contener las causas y las

consecuencias de los ldquocuellos de botellardquo detectados sus caracteriacutesticas y naturaleza (si son

normativas o estrictamente operativas) de igual manera se deberaacute desarrollar un anaacutelisis de las

buenas praacutecticas identificadas

Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

Se debe integrar en una sola tabla las fortalezas oportunidades debilidades y amenazas

especificadas por cada apartado de la evaluacioacuten y reportarlas en el Anexo 11 ldquoPrincipales Fortalezas

Retos y Recomendacionesrdquo en el que se deben incluir las fortalezas yo oportunidades las

debilidades yo amenazas y las recomendaciones por apartado de la evaluacioacuten

PAE 2017 36

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexos

Anexo 1 ldquoDescripcioacuten General del Programardquo

El Anexo tiene formato libre sin embargo debe contener una breve descripcioacuten de las caracteriacutesticas

maacutes relevantes del Pp en un maacuteximo de dos cuartillas Dicha descripcioacuten debe considerar los

siguientes aspectos

1 Identificacioacuten del programa

11 Nombre

12 Clave de programa

13 Dependencia yo Entidad coordinadora ejecutora

14 Antildeo de inicio de operacioacuten

2 Problema o necesidad que el Pp pretende atender atenuar o resolver

3 La contribucioacuten del Pp a las Metas y objetivos estatales a los que se vincula

4 Descripcioacuten de los objetivos del Pp asiacute como de los bienes yo servicios que ofrece

(componentes)

5 Identificacioacuten y cuantificacioacuten de la poblacioacuten o aacuterea de enfoque potencial y

objetivo

6 Presupuesto aprobado para el ejercicio fiscal en curso

7 Metas de los indicadores de Fin Propoacutesito y Componentes asiacute como los de nivel

actividad que se consideren relevantes y

8 Resumen de la valoracioacuten de la pertinencia del disentildeo del Pp respecto a la atencioacuten

del problema o necesidad

Anexo 2 ldquoMetodologiacutea para la cuantificacioacuten de la poblacioacuten o aacuterea de enfoque

potencial y objetivordquo

El Anexo tiene formato libre sin embargo se debe incluir la siguiente informacioacuten

Definicioacuten de la poblacioacuten o aacuterea de enfoque potencial objetivo y atendida

Cuantificacioacuten de la poblacioacuten potencial objetiva y atendida

Hallazgos sobre el procedimiento llevado a cabo para definir y cuantificar la poblacioacuten o

aacuterea de enfoque potencial objetivo y atendida

Recomendaciones

Propuesta orientada hacia la mejora

PAE 2017 37

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 3 ldquoEvolucioacuten de la Coberturardquo

Nombre del

Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten

Antildeo de la Evaluacioacuten

Tipo de Poblacioacuten

Unidad

de

Medida

2012 2013 2014 2015 2016

P Potencial

P Objetivo

P Atendida

119927119912 times 120783120782120782

119927119926

PAE 2017 38

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 4 ldquoPropuesta de mejora de la Matriz de Indicadores para Resultadosrdquo

Derivado del anaacutelisis y valoracioacuten de la pregunta de investigacioacuten nuacutemero 3 iquestLa estructura de

objetivos planteada por el programa mantiene loacutegica y correspondencia causal con el problema

planteado en el diagnoacutestico se realizaraacute una propuesta de mejora de MIR

Fin

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Propoacutesito

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Componente 1

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

PAE 2017 39

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Componente 2 hellip

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 40

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesos del Pprdquo

Para la identificacioacuten y clasificacioacuten de los procesos del Pp se sugieren los siguientes pasos

1 Listar los procesos identificados

Comparar los procesos identificados del Pp con aquellos correspondientes al Modelo general de

procesos Colocar en el rengloacuten correspondiente el nombre de cada proceso del Pp identificado

como equivalente

2 Colocar al final de la lista aquellos procesos del Pp que no sean equivalentes con el Modelo

general de procesos

Modelo general de

procesos

Nuacutemero

de

secuencia

Procesos o subprocesos del Pp identificados por el

evaluador

(Nombre y breve descripcioacuten)

Planeacioacuten Ejemplo (Ej) Planeacioacuten Estrateacutegica

Ej Programacioacuten

Ej Presupuestacioacuten

Comunicacioacuten interna y

externa

Ej Difusioacuten Federal

Ej Difusioacuten Local

Seleccioacuten de

destinatarios

Ej Recepcioacuten de solicitudes de becas

Ej Seleccioacuten de becarios

Produccioacuten de

entregables

Entrega

Control

Seguimiento Ej Seguimiento fiacutesico y supervisioacuten en campo

Evaluacioacuten externa Ej Publicacioacuten y lectura del PAE

Ej Definicioacuten de TdR

Ej Contratacioacuten

Ej Ejecucioacuten de la evaluacioacuten externa

Monitoreo Ej Registro de avances de indicadores

Ej Revisioacuten de registros

Ej Validacioacuten de registros e integracioacuten de informes

PAE 2017 41

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Procesos identificados por el evaluador que no coinciden con el Modelo general de procesos

PAE 2017 42

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 ldquoFichas de indicadores de atributos de los procesos del Pp (formato libre)rdquo

Para la construccioacuten de este anexo deberaacute realizarse una revisioacuten documental (normativa aplicable

MIR evaluaciones externas sistemas de informacioacuten y registros administrativos entre otros) misma

que deberaacute complementarse con el trabajo de campo con el objetivo de identificar disentildear y calcular

indicadores relacionados con dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de

informacioacuten empleadas

Ademaacutes de considerar la medicioacuten de los atributos de eficacia suficiencia oportunidad y pertinencia

de cada proceso y subproceso o macroproceso

PAE 2017 43

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 7 ldquoDiagramas de flujo de la operacioacuten del Pprdquo

Para la elaboracioacuten de los diagramas de flujo deberaacute utilizarse la notacioacuten empleada en el

documento ldquoGuiacutea para la Optimizacioacuten Estandarizacioacuten y Mejora Continua de Procesosrdquo publicada

por la SFP en la direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Para el Diagrama de Alto Nivel (Diagrama PEPSU)

Ejemplo ilustrativo

PAE 2017 44

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para el Diagrama de Flujo

PAE 2017 45

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

PAE 2017 46

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 8 ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales

del Pprdquo

Tipo de

norma-

tiva

Dice

Problema

generado

(causas y

consecuencias)

Se

recomienda

decir

Efecto esperado de

aplicar la

recomendacioacuten de

cambio

Restricciones praacutecticas

que puedan existir para

su implementacioacuten

PAE 2017 47

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 9 ldquoValoracioacuten global cuantitativa ldquo

Seccioacuten 1 Disentildeo

Disentildeo Valoracioacuten Argumento o justificacioacuten

Porcentaje del

Disentildeo del Pp

(Suma de valoracioacuten alcanzada por pregunta de la seccioacuten 1 Total maacuteximo de la

valoracioacuten de todas las preguntas de la seccioacuten 1 ) x 100

Seccioacuten 2 Procesos

Proceso Eficacia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

eficaces

(Total de procesos eficaces Total de procesos del Pp) x 100

Proceso Oportunidad

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

oportunos

(Total de procesos oportunos Total de procesos del Pp) x 100

Proceso Suficiencia

(SiacuteNo) Argumento o justificacioacuten

PAE 2017 48

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Porcentaje de

procesos

suficientes

(Total de procesos suficientes Total de procesos del Pp) x 100

Proceso Pertinencia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

pertinentes

(Total de procesos pertinentes Total de procesos del Pp) x 100

NOTA Los argumentos y justificaciones del evaluador deberaacuten considerar el anaacutelisis y valoraciones de

los subprocesos de cada proceso de modo que haya consistencia entre estos elementos Asimismo el

evaluador deberaacute expresar los resultados de la valoracioacuten cuantitativa en una graacutefica tipo radial

PAE 2017 49

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 10 ldquoSistema de monitoreo e indicadores de gestioacuten del Pp (formato libre)rdquo

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible

Nombre del Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten De Procesos

Antildeo de la Evaluacioacuten 2017

Fin Justificacioacuten Propoacutesito Justificacioacuten Componente (s) Justificacioacuten

Nombre de

Indicador

Meacutetodo de Caacutelculo

Claro SiacuteNo SiacuteNo SiacuteNo

Relevante SiacuteNo SiacuteNo SiacuteNo

Econoacutemico SiacuteNo SiacuteNo SiacuteNo

Monitoreable SiacuteNo SiacuteNo SiacuteNo

Adecuado SiacuteNo SiacuteNo SiacuteNo

Definicioacuten SiacuteNo SiacuteNo SiacuteNo

Unidad de Medida SiacuteNo SiacuteNo SiacuteNo

Frecuencia de

Medicioacuten

SiacuteNo SiacuteNo SiacuteNo

Liacutenea Base SiacuteNo SiacuteNo SiacuteNo

Metas SiacuteNo SiacuteNo SiacuteNo

Comportamiento

del Indicador

SiacuteNo SiacuteNo SiacuteNo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 50

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de Procesos del Pprdquo

En este Anexo la instancia evaluadora debe valorar si la recomendacioacuten implica una consolidacioacuten o

una reingenieriacutea del proceso

A) Consolidacioacuten

Proceso Recomendaci

oacuten

Breve

anaacutelisis de

viabilidad de

la

implementa-

cioacuten

Principales

responsables

de la

implementaci

oacuten

Situacioacuten

actual

Efectos

potenciales

esperados

Medio de

verifica-

cioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

B) Reingenieriacutea de procesos

Proceso Objetivo

Breve

anaacutelisis de

viabilidad

de la

implemen-

tacioacuten

Principales

responsables

de la

implemen-

tacioacuten

Situa-

cioacuten

actual

Metas y

efectos

potenciale

s

esperados

Elabora-

cioacuten de

flujogram

a del

nuevo

proceso

Medio

de

verifi-

cacioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

NOTA El nivel de priorizacioacuten Alto Medio o Bajo se estimaraacute considerando la mejora en la operacioacuten

del Pp la viabilidad de la implementacioacuten de la recomendacioacuten asiacute como el efecto potencial que esto

pueda tener el alcance del objetivo del Pp

PAE 2017 51

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 12 ldquoPrincipales Fortalezas Retos y Recomendacionesrdquo

Capacidades Internas Factores Externos

Fortalezas

(Cualquier capacidad con la que cuenta la dependencia o

entidad que le permita aprovechar sus recursos para la

obtencioacuten de sus objetivos)

Oportunidades

(Cualquier factor externo fuera del control de la dependencia o

entidad que puede ser aprovechado para la obtencioacuten de sus

objetivos)

Debilidades

(Cualquier limitante Interna de la dependencia o entidad que

puede afectar la obtencioacuten de sus objetivos)

Amenazas

(Cualquier factor externo fuera de control de la dependencia o

entidad que pueda afectar la obtencioacuten de sus objetivos)

PAE 2017 52

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacutenrdquo

El Informe Final de la Evaluacioacuten de Procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten

Superior deberaacuten contener una ficha con los siguientes datos

Ficha Teacutecnica con los datos generales de la evaluacioacuten

Nombre o denominacioacuten de la

evaluacioacuten

[Especificar el nombre de la evaluacioacuten considerando su tipo y ejercicio

evaluado]

Nombre o denominacioacuten del

programa evaluado

[Indicar el nombre del Pp sujeto a evaluacioacuten de acuerdo con lo

establecido en el PEF sentildealando su modalidad y clave]

Unidad Responsable de la operacioacuten

del programa

[Especificar la(s) unidad(es) responsable(s) de la administracioacuten

operacioacuten y ejecucioacuten de los programas subprogramas y proyectos del

Pp evaluado correspondientes a las dependencias y entidades]

Titular de la unidad responsable de la

operacioacuten del programa

[Indicar el nombre del(a) Titular de la Unidad Responsable de la

operacioacuten del Pp]

Antildeo del Programa Anual de

Evaluacioacuten (PAE) en que fue

considerada la evaluacioacuten

[Especificar el ejercicio fiscal al que corresponde el PAE en la que fue

programada la evaluacioacuten]

Antildeo de conclusioacuten y entrega de la

evaluacioacuten

[Indicar el antildeo en que se concluyoacute la evaluacioacuten]

Tipo de evaluacioacuten [Especificar el tipo de evaluacioacuten de acuerdo con los Lineamientos de

evaluacioacuten el nombre de la evaluacioacuten y con lo establecido en el PAE]

Nombre de la instancia evaluadora [Indicar el nombre de la firma consultoriacutea u organizacioacuten que realizoacute la

evaluacioacuten]

Nombre del(a) coordinador(a)

externo(a) de la evaluacioacuten

[Especificar el nombre del(a) responsable de la coordinacioacuten de la

evaluacioacuten dla instancia evaluadora]

Nombre de los(as) principales

colaboradores(as) del(a)

coordinador(a) de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del(a)

coordinador(a) de la evaluacioacuten]

PAE 2017 53

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Unidad Administrativa responsable de

la Coordinacioacuten de la evaluacioacuten

[De acuerdo con lo sentildealado en el PAE especificar la instancia a la que

corresponde la coordinacioacuten de la evaluacioacuten pej Secretariacutea de

Finanzas y Administracioacuten (SFA) asiacute como la unidad administrativa

mediante la cual se ejerce esta funcioacuten p ej Direccioacuten de Evaluacioacuten

de la SFA (DEV)

Nombre del(a) Titular de la unidad

administrativa responsable de

coordinar la evaluacioacuten (Aacuterea de

Evaluacioacuten)

[Especificar el nombre del(a) Titular de la Unidad responsable de dar

seguimiento a la evaluacioacuten que funge como Aacuterea de Evaluacioacuten]

Nombres de los(as) servidores(as)

puacuteblicos(as) adscritos(as) a la unidad

administrativa responsable de

coordinar la evaluacioacuten que

coadyuvaron con la revisioacuten teacutecnica

de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del

titular de la unidad administrativa responsable de dar seguimiento a la

evaluacioacuten respecto de la revisioacuten teacutecnica de la misma]

Forma de contratacioacuten de la instancia

evaluadora

[Indicar el tipo de contratacioacuten dla instancia evaluadora Especificar el

tipo de procedimiento de contratacioacuten de la instancia evaluadora

consistente con los tipos de adjudicacioacuten establecidos en la Ley de

Adquisiciones Arrendamientos y Servicios del Sector Puacuteblico]

Costo total de la evaluacioacuten con IVA

incluido

[Especificar el costo total de la evaluacioacuten incluyendo el IVA (en caso

de que se haya causado) como sigue $XXX IVA incluido]

Asimismo en este anexo se deberaacute incluir una nota metodoloacutegica con la descripcioacuten de las teacutecnicas

y los modelos utilizados por el evaluador externo acompantildeada del disentildeo por muestreo

especificando los supuestos empleados y las principales caracteriacutesticas del tamantildeo y dispersioacuten de

la muestra utilizada

DIRECTORIO

Rauacutel Saacutenchez Kobashi

Secretario de la Secretariacutea de Finanzas y Administracioacuten

Francisco Fidel Teomitzi Saacutenchez

Subsecretario de Planeacioacuten

Arturo Neponuceno Crisoacutestomo

Director de Evaluacioacuten

Rodolfo de la Rosa Cabrera

Subdireccioacuten de Evaluacioacuten de Programas

Sauacutel Federico Oropeza Orea

Jefe del Departamento de Programas Estatales y Municipales

Ana Luz Guzmaacuten Figueroa

Analista del Departamento de Programas Estatales y Municipales

Marco Antonio Saacutenchez Gonzaacutelez

Analista del Departamento de Programas Estatales y Municipales

Page 32: Términos de Referencia para la Evaluación del Desempeño ...evaluacion.puebla.gob.mx/pdf/metodologias/TdR_Est/2017/TdR... · Perfil de la instancia evaluadora ... acuerdo con las

PAE 2017 31

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Ser concretas y factibles

Incluir un proyecto de implementacioacuten que considere los siguientes elementos

- Breve anaacutelisis de la viabilidad o factibilidad de la implementacioacuten

- Principales responsables de la implementacioacuten

- Anaacutelisis de los efectos potenciales que puede implicar la implementacioacuten tanto en la

operacioacuten del Pp como en el logro de sus objetivos

- La comparacioacuten entre la situacioacuten actual y el resultado que se espera obtener con la

implementacioacuten de la recomendacioacuten

Estar categorizadas en dos liacuteneas de accioacuten estrateacutegicas

- Consolidacioacuten

- Reingenieriacutea de procesos o subprocesos

Al respecto la instancia evaluadora debe entender por consolidacioacuten aquellas recomendaciones que

estaacuten dirigidas a perfeccionar determinados aspectos de la operacioacuten como seriacutean algunas acciones

procedimientos o estrategias del Pp asiacute como iniciativas para el fortalecimiento de los sistemas

automatizados infraestructura entre otros

Por reingenieriacutea de procesos o subprocesos se entenderaacuten aquellas recomendaciones que apuntan

a una transformacioacuten o modificacioacuten profunda o sustancial de uno o varios de los procesos y

subprocesos del Pp Para ello se deberaacute llenar el Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de

Procesos del Pprdquo y que a su vez deben derivar en acciones de consolidacioacuten para la implementacioacuten

de los procesos transformados

Adicionalmente y de conformidad con el alcance de la Evaluacioacuten de Procesos del Pp se deberaacute

presentar una propuesta para crear o fortalecer el sistema de monitoreo de gestioacuten del Pp con

indicadores a nivel de procesos y subprocesos o macroprocesos

Asimismo a partir de todo el anaacutelisis y valoraciones realizadas se deberaacute emitir un pronunciamiento

acerca de la percepcioacuten de eficiencia que la instancia evaluadora haya tenido sobre la ejecucioacuten de

los procesos y subprocesos o macroprocesos del Pp

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible o si no hipoteacuteticos en un anexo de formato libre Anexo 10 ldquoSistema de

monitoreo e indicadores de gestioacuten del Pprdquo

PAE 2017 32

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Bitaacutecora de trabajo de campo y bases de datos

La instancia evaluadora deberaacute entregar una bitaacutecora de trabajo de campo que destaque de forma

sinteacutetica entre otros puntos las principales actividades y situaciones a las que se enfrentoacute y que

podriacutean afectar los resultados de la Evaluacioacuten de Procesos del Pp

Asimismo deberaacute entregar las bases de datos generadas a partir de la aplicacioacuten de los instrumentos

de recoleccioacuten de informacioacuten y de la recopilacioacuten de informacioacuten en el trabajo de campo Las bases

de datos deberaacuten entregarse en formatos compatibles con Excel debiendo mantener la

confidencialidad de los entrevistados pero sin alterar la informacioacuten proporcionada por estos En las

bases de datos debe estar sistematizada toda la informacioacuten recabada a partir de la aplicacioacuten de

los instrumentos de levantamiento de informacioacuten y deberaacute sustentar el anaacutelisis las valoraciones los

hallazgos y las conclusiones de la evaluacioacuten

PAE 2017 33

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Contenido del informe

Contenido miacutenimo del informe final de la evaluacioacuten

Derivado del contenido generado en las secciones anteriores deberaacuten elaborarse los siguientes

apartados en el informe final de la Evaluacioacuten de Procesos del Pp

i Introduccioacuten

ii Resumen Ejecutivo

iii Marco Legal

iv Datos Generales del Programa Presupuestario (Pp)

v Criterios Teacutecnicos para la Evaluacioacuten del Programa Presupuestario correspondiente

vi Apartados de la evaluacioacuten

Seccioacuten 1 Disentildeo

Diagnoacutestico del programa puacuteblico

Matriz de Indicadores para Resultados (MIR)

Seccioacuten 2 Procesos

Pertinencia de los proceso

Diagnoacutestico general de los procesos y subprocesos del Pp

- Contexto en que opera el Pp

- Diagnoacutestico inicial de los procesos y subprocesos

Descripcioacuten y valoracioacuten de los procesos y subprocesos del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

vii Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

viii Valoracioacuten final del Pp

ix Hallazgos

x Recomendaciones clasificadas por apartado

xi Conclusiones

xii Bibliografiacutea

xiii Anexos

Anexo 1 Descripcioacuten General del Programa

Anexo 2 Metodologiacutea para la cuantificacioacuten de las poblaciones potencial y objetivo

(Formato Libre)

Anexo 3 Evolucioacuten de la Cobertura

Anexo 4 Propuesta de mejora de la Matriz de Indicadores para Resultados

Anexo 5 Ficha de identificacioacuten y equivalencia de procesos del Pp

PAE 2017 34

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 Fichas de indicadores de atributos de los procesos del Pp (Formato libre)

Anexo 7 Diagramas de flujo de la operacioacuten del Pp

Anexo 8 Propuesta de modificacioacuten a los documentos normativos o institucionales

del Pp

Anexo 9 Valoracioacuten global cuantitativardquo

Anexo 10 Sistema de monitoreo e indicadores de gestioacuten del Pp (Formato libre)

Anexo 11 Recomendaciones de la Evaluacioacuten de Procesos del Pp

Anexo 12 Principales Fortalezas Retos y Recomendaciones

Anexo 13 Ficha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacuten

En el Resumen Ejecutivo asimismo se describiraacuten los principales hallazgos y recomendaciones del

evaluador externo

Para el desarrollo de los apartados antes referidos deberaacute atender las indicaciones que se desarrollan

en las siguientes secciones

Hallazgos y resultados Pp por Seccioacuten

Se debe realizar una valoracioacuten general del programa por seccioacuten utilizando las respuestas que

integran cada uno de los apartados En esta valoracioacuten integral se deberaacute sentildealar en queacute medida la

gestioacuten operativa conduce al logro de los objetivos del Pp

Asimismo se deben sentildealar las aacutereas de mejora las buenas praacutecticas y las fortalezas detectadas en

la operacioacuten del Pp y a partir de ello la instancia evaluadora emitiraacute recomendaciones de mejora

sobre aspectos especiacuteficos de cada proceso y subproceso o macroproceso del Pp Adicionalmente

se deberaacuten identificar los problemas o limitantes tanto normativos como operativos (ldquocuellos de

botellardquo) de coordinacioacuten entre unidades administrativas y otros que hubiese en los procesos y

subprocesos o macroprocesos del Pp entendieacutendose como aquellas praacutecticas procedimientos

actividades o traacutemites que obstaculizan la operacioacuten del Pp

En este sentido se deberaacuten identificar las situaciones en las que la normativa genere complicaciones

en la gestioacuten o ineficacia en el cumplimiento de los objetivos del Pp para lo cual se deberaacute presentar

(por cada situacioacuten identificada) una propuesta de modificacioacuten a la normativa aplicable al Pp

considerando las restricciones praacutecticas que existan para su implementacioacuten asiacute como los efectos

PAE 2017 35

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

potenciales de ser implementada Los resultados de este anaacutelisis deberaacuten describirse en el Anexo 7

ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales del Pprdquo

Para la identificacioacuten y descripcioacuten de los ldquocuellos de botellardquo buenas praacutecticas y fortalezas del Pp

se consideraraacute la informacioacuten derivada del anaacutelisis de la operacioacuten del Pp asiacute como los puntos de

vista de los principales actores que intervienen en ella Este anaacutelisis deberaacute contener las causas y las

consecuencias de los ldquocuellos de botellardquo detectados sus caracteriacutesticas y naturaleza (si son

normativas o estrictamente operativas) de igual manera se deberaacute desarrollar un anaacutelisis de las

buenas praacutecticas identificadas

Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

Se debe integrar en una sola tabla las fortalezas oportunidades debilidades y amenazas

especificadas por cada apartado de la evaluacioacuten y reportarlas en el Anexo 11 ldquoPrincipales Fortalezas

Retos y Recomendacionesrdquo en el que se deben incluir las fortalezas yo oportunidades las

debilidades yo amenazas y las recomendaciones por apartado de la evaluacioacuten

PAE 2017 36

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexos

Anexo 1 ldquoDescripcioacuten General del Programardquo

El Anexo tiene formato libre sin embargo debe contener una breve descripcioacuten de las caracteriacutesticas

maacutes relevantes del Pp en un maacuteximo de dos cuartillas Dicha descripcioacuten debe considerar los

siguientes aspectos

1 Identificacioacuten del programa

11 Nombre

12 Clave de programa

13 Dependencia yo Entidad coordinadora ejecutora

14 Antildeo de inicio de operacioacuten

2 Problema o necesidad que el Pp pretende atender atenuar o resolver

3 La contribucioacuten del Pp a las Metas y objetivos estatales a los que se vincula

4 Descripcioacuten de los objetivos del Pp asiacute como de los bienes yo servicios que ofrece

(componentes)

5 Identificacioacuten y cuantificacioacuten de la poblacioacuten o aacuterea de enfoque potencial y

objetivo

6 Presupuesto aprobado para el ejercicio fiscal en curso

7 Metas de los indicadores de Fin Propoacutesito y Componentes asiacute como los de nivel

actividad que se consideren relevantes y

8 Resumen de la valoracioacuten de la pertinencia del disentildeo del Pp respecto a la atencioacuten

del problema o necesidad

Anexo 2 ldquoMetodologiacutea para la cuantificacioacuten de la poblacioacuten o aacuterea de enfoque

potencial y objetivordquo

El Anexo tiene formato libre sin embargo se debe incluir la siguiente informacioacuten

Definicioacuten de la poblacioacuten o aacuterea de enfoque potencial objetivo y atendida

Cuantificacioacuten de la poblacioacuten potencial objetiva y atendida

Hallazgos sobre el procedimiento llevado a cabo para definir y cuantificar la poblacioacuten o

aacuterea de enfoque potencial objetivo y atendida

Recomendaciones

Propuesta orientada hacia la mejora

PAE 2017 37

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 3 ldquoEvolucioacuten de la Coberturardquo

Nombre del

Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten

Antildeo de la Evaluacioacuten

Tipo de Poblacioacuten

Unidad

de

Medida

2012 2013 2014 2015 2016

P Potencial

P Objetivo

P Atendida

119927119912 times 120783120782120782

119927119926

PAE 2017 38

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 4 ldquoPropuesta de mejora de la Matriz de Indicadores para Resultadosrdquo

Derivado del anaacutelisis y valoracioacuten de la pregunta de investigacioacuten nuacutemero 3 iquestLa estructura de

objetivos planteada por el programa mantiene loacutegica y correspondencia causal con el problema

planteado en el diagnoacutestico se realizaraacute una propuesta de mejora de MIR

Fin

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Propoacutesito

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Componente 1

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

PAE 2017 39

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Componente 2 hellip

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 40

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesos del Pprdquo

Para la identificacioacuten y clasificacioacuten de los procesos del Pp se sugieren los siguientes pasos

1 Listar los procesos identificados

Comparar los procesos identificados del Pp con aquellos correspondientes al Modelo general de

procesos Colocar en el rengloacuten correspondiente el nombre de cada proceso del Pp identificado

como equivalente

2 Colocar al final de la lista aquellos procesos del Pp que no sean equivalentes con el Modelo

general de procesos

Modelo general de

procesos

Nuacutemero

de

secuencia

Procesos o subprocesos del Pp identificados por el

evaluador

(Nombre y breve descripcioacuten)

Planeacioacuten Ejemplo (Ej) Planeacioacuten Estrateacutegica

Ej Programacioacuten

Ej Presupuestacioacuten

Comunicacioacuten interna y

externa

Ej Difusioacuten Federal

Ej Difusioacuten Local

Seleccioacuten de

destinatarios

Ej Recepcioacuten de solicitudes de becas

Ej Seleccioacuten de becarios

Produccioacuten de

entregables

Entrega

Control

Seguimiento Ej Seguimiento fiacutesico y supervisioacuten en campo

Evaluacioacuten externa Ej Publicacioacuten y lectura del PAE

Ej Definicioacuten de TdR

Ej Contratacioacuten

Ej Ejecucioacuten de la evaluacioacuten externa

Monitoreo Ej Registro de avances de indicadores

Ej Revisioacuten de registros

Ej Validacioacuten de registros e integracioacuten de informes

PAE 2017 41

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Procesos identificados por el evaluador que no coinciden con el Modelo general de procesos

PAE 2017 42

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 ldquoFichas de indicadores de atributos de los procesos del Pp (formato libre)rdquo

Para la construccioacuten de este anexo deberaacute realizarse una revisioacuten documental (normativa aplicable

MIR evaluaciones externas sistemas de informacioacuten y registros administrativos entre otros) misma

que deberaacute complementarse con el trabajo de campo con el objetivo de identificar disentildear y calcular

indicadores relacionados con dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de

informacioacuten empleadas

Ademaacutes de considerar la medicioacuten de los atributos de eficacia suficiencia oportunidad y pertinencia

de cada proceso y subproceso o macroproceso

PAE 2017 43

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 7 ldquoDiagramas de flujo de la operacioacuten del Pprdquo

Para la elaboracioacuten de los diagramas de flujo deberaacute utilizarse la notacioacuten empleada en el

documento ldquoGuiacutea para la Optimizacioacuten Estandarizacioacuten y Mejora Continua de Procesosrdquo publicada

por la SFP en la direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Para el Diagrama de Alto Nivel (Diagrama PEPSU)

Ejemplo ilustrativo

PAE 2017 44

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para el Diagrama de Flujo

PAE 2017 45

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

PAE 2017 46

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 8 ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales

del Pprdquo

Tipo de

norma-

tiva

Dice

Problema

generado

(causas y

consecuencias)

Se

recomienda

decir

Efecto esperado de

aplicar la

recomendacioacuten de

cambio

Restricciones praacutecticas

que puedan existir para

su implementacioacuten

PAE 2017 47

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 9 ldquoValoracioacuten global cuantitativa ldquo

Seccioacuten 1 Disentildeo

Disentildeo Valoracioacuten Argumento o justificacioacuten

Porcentaje del

Disentildeo del Pp

(Suma de valoracioacuten alcanzada por pregunta de la seccioacuten 1 Total maacuteximo de la

valoracioacuten de todas las preguntas de la seccioacuten 1 ) x 100

Seccioacuten 2 Procesos

Proceso Eficacia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

eficaces

(Total de procesos eficaces Total de procesos del Pp) x 100

Proceso Oportunidad

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

oportunos

(Total de procesos oportunos Total de procesos del Pp) x 100

Proceso Suficiencia

(SiacuteNo) Argumento o justificacioacuten

PAE 2017 48

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Porcentaje de

procesos

suficientes

(Total de procesos suficientes Total de procesos del Pp) x 100

Proceso Pertinencia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

pertinentes

(Total de procesos pertinentes Total de procesos del Pp) x 100

NOTA Los argumentos y justificaciones del evaluador deberaacuten considerar el anaacutelisis y valoraciones de

los subprocesos de cada proceso de modo que haya consistencia entre estos elementos Asimismo el

evaluador deberaacute expresar los resultados de la valoracioacuten cuantitativa en una graacutefica tipo radial

PAE 2017 49

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 10 ldquoSistema de monitoreo e indicadores de gestioacuten del Pp (formato libre)rdquo

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible

Nombre del Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten De Procesos

Antildeo de la Evaluacioacuten 2017

Fin Justificacioacuten Propoacutesito Justificacioacuten Componente (s) Justificacioacuten

Nombre de

Indicador

Meacutetodo de Caacutelculo

Claro SiacuteNo SiacuteNo SiacuteNo

Relevante SiacuteNo SiacuteNo SiacuteNo

Econoacutemico SiacuteNo SiacuteNo SiacuteNo

Monitoreable SiacuteNo SiacuteNo SiacuteNo

Adecuado SiacuteNo SiacuteNo SiacuteNo

Definicioacuten SiacuteNo SiacuteNo SiacuteNo

Unidad de Medida SiacuteNo SiacuteNo SiacuteNo

Frecuencia de

Medicioacuten

SiacuteNo SiacuteNo SiacuteNo

Liacutenea Base SiacuteNo SiacuteNo SiacuteNo

Metas SiacuteNo SiacuteNo SiacuteNo

Comportamiento

del Indicador

SiacuteNo SiacuteNo SiacuteNo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 50

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de Procesos del Pprdquo

En este Anexo la instancia evaluadora debe valorar si la recomendacioacuten implica una consolidacioacuten o

una reingenieriacutea del proceso

A) Consolidacioacuten

Proceso Recomendaci

oacuten

Breve

anaacutelisis de

viabilidad de

la

implementa-

cioacuten

Principales

responsables

de la

implementaci

oacuten

Situacioacuten

actual

Efectos

potenciales

esperados

Medio de

verifica-

cioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

B) Reingenieriacutea de procesos

Proceso Objetivo

Breve

anaacutelisis de

viabilidad

de la

implemen-

tacioacuten

Principales

responsables

de la

implemen-

tacioacuten

Situa-

cioacuten

actual

Metas y

efectos

potenciale

s

esperados

Elabora-

cioacuten de

flujogram

a del

nuevo

proceso

Medio

de

verifi-

cacioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

NOTA El nivel de priorizacioacuten Alto Medio o Bajo se estimaraacute considerando la mejora en la operacioacuten

del Pp la viabilidad de la implementacioacuten de la recomendacioacuten asiacute como el efecto potencial que esto

pueda tener el alcance del objetivo del Pp

PAE 2017 51

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 12 ldquoPrincipales Fortalezas Retos y Recomendacionesrdquo

Capacidades Internas Factores Externos

Fortalezas

(Cualquier capacidad con la que cuenta la dependencia o

entidad que le permita aprovechar sus recursos para la

obtencioacuten de sus objetivos)

Oportunidades

(Cualquier factor externo fuera del control de la dependencia o

entidad que puede ser aprovechado para la obtencioacuten de sus

objetivos)

Debilidades

(Cualquier limitante Interna de la dependencia o entidad que

puede afectar la obtencioacuten de sus objetivos)

Amenazas

(Cualquier factor externo fuera de control de la dependencia o

entidad que pueda afectar la obtencioacuten de sus objetivos)

PAE 2017 52

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacutenrdquo

El Informe Final de la Evaluacioacuten de Procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten

Superior deberaacuten contener una ficha con los siguientes datos

Ficha Teacutecnica con los datos generales de la evaluacioacuten

Nombre o denominacioacuten de la

evaluacioacuten

[Especificar el nombre de la evaluacioacuten considerando su tipo y ejercicio

evaluado]

Nombre o denominacioacuten del

programa evaluado

[Indicar el nombre del Pp sujeto a evaluacioacuten de acuerdo con lo

establecido en el PEF sentildealando su modalidad y clave]

Unidad Responsable de la operacioacuten

del programa

[Especificar la(s) unidad(es) responsable(s) de la administracioacuten

operacioacuten y ejecucioacuten de los programas subprogramas y proyectos del

Pp evaluado correspondientes a las dependencias y entidades]

Titular de la unidad responsable de la

operacioacuten del programa

[Indicar el nombre del(a) Titular de la Unidad Responsable de la

operacioacuten del Pp]

Antildeo del Programa Anual de

Evaluacioacuten (PAE) en que fue

considerada la evaluacioacuten

[Especificar el ejercicio fiscal al que corresponde el PAE en la que fue

programada la evaluacioacuten]

Antildeo de conclusioacuten y entrega de la

evaluacioacuten

[Indicar el antildeo en que se concluyoacute la evaluacioacuten]

Tipo de evaluacioacuten [Especificar el tipo de evaluacioacuten de acuerdo con los Lineamientos de

evaluacioacuten el nombre de la evaluacioacuten y con lo establecido en el PAE]

Nombre de la instancia evaluadora [Indicar el nombre de la firma consultoriacutea u organizacioacuten que realizoacute la

evaluacioacuten]

Nombre del(a) coordinador(a)

externo(a) de la evaluacioacuten

[Especificar el nombre del(a) responsable de la coordinacioacuten de la

evaluacioacuten dla instancia evaluadora]

Nombre de los(as) principales

colaboradores(as) del(a)

coordinador(a) de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del(a)

coordinador(a) de la evaluacioacuten]

PAE 2017 53

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Unidad Administrativa responsable de

la Coordinacioacuten de la evaluacioacuten

[De acuerdo con lo sentildealado en el PAE especificar la instancia a la que

corresponde la coordinacioacuten de la evaluacioacuten pej Secretariacutea de

Finanzas y Administracioacuten (SFA) asiacute como la unidad administrativa

mediante la cual se ejerce esta funcioacuten p ej Direccioacuten de Evaluacioacuten

de la SFA (DEV)

Nombre del(a) Titular de la unidad

administrativa responsable de

coordinar la evaluacioacuten (Aacuterea de

Evaluacioacuten)

[Especificar el nombre del(a) Titular de la Unidad responsable de dar

seguimiento a la evaluacioacuten que funge como Aacuterea de Evaluacioacuten]

Nombres de los(as) servidores(as)

puacuteblicos(as) adscritos(as) a la unidad

administrativa responsable de

coordinar la evaluacioacuten que

coadyuvaron con la revisioacuten teacutecnica

de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del

titular de la unidad administrativa responsable de dar seguimiento a la

evaluacioacuten respecto de la revisioacuten teacutecnica de la misma]

Forma de contratacioacuten de la instancia

evaluadora

[Indicar el tipo de contratacioacuten dla instancia evaluadora Especificar el

tipo de procedimiento de contratacioacuten de la instancia evaluadora

consistente con los tipos de adjudicacioacuten establecidos en la Ley de

Adquisiciones Arrendamientos y Servicios del Sector Puacuteblico]

Costo total de la evaluacioacuten con IVA

incluido

[Especificar el costo total de la evaluacioacuten incluyendo el IVA (en caso

de que se haya causado) como sigue $XXX IVA incluido]

Asimismo en este anexo se deberaacute incluir una nota metodoloacutegica con la descripcioacuten de las teacutecnicas

y los modelos utilizados por el evaluador externo acompantildeada del disentildeo por muestreo

especificando los supuestos empleados y las principales caracteriacutesticas del tamantildeo y dispersioacuten de

la muestra utilizada

DIRECTORIO

Rauacutel Saacutenchez Kobashi

Secretario de la Secretariacutea de Finanzas y Administracioacuten

Francisco Fidel Teomitzi Saacutenchez

Subsecretario de Planeacioacuten

Arturo Neponuceno Crisoacutestomo

Director de Evaluacioacuten

Rodolfo de la Rosa Cabrera

Subdireccioacuten de Evaluacioacuten de Programas

Sauacutel Federico Oropeza Orea

Jefe del Departamento de Programas Estatales y Municipales

Ana Luz Guzmaacuten Figueroa

Analista del Departamento de Programas Estatales y Municipales

Marco Antonio Saacutenchez Gonzaacutelez

Analista del Departamento de Programas Estatales y Municipales

Page 33: Términos de Referencia para la Evaluación del Desempeño ...evaluacion.puebla.gob.mx/pdf/metodologias/TdR_Est/2017/TdR... · Perfil de la instancia evaluadora ... acuerdo con las

PAE 2017 32

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Bitaacutecora de trabajo de campo y bases de datos

La instancia evaluadora deberaacute entregar una bitaacutecora de trabajo de campo que destaque de forma

sinteacutetica entre otros puntos las principales actividades y situaciones a las que se enfrentoacute y que

podriacutean afectar los resultados de la Evaluacioacuten de Procesos del Pp

Asimismo deberaacute entregar las bases de datos generadas a partir de la aplicacioacuten de los instrumentos

de recoleccioacuten de informacioacuten y de la recopilacioacuten de informacioacuten en el trabajo de campo Las bases

de datos deberaacuten entregarse en formatos compatibles con Excel debiendo mantener la

confidencialidad de los entrevistados pero sin alterar la informacioacuten proporcionada por estos En las

bases de datos debe estar sistematizada toda la informacioacuten recabada a partir de la aplicacioacuten de

los instrumentos de levantamiento de informacioacuten y deberaacute sustentar el anaacutelisis las valoraciones los

hallazgos y las conclusiones de la evaluacioacuten

PAE 2017 33

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Contenido del informe

Contenido miacutenimo del informe final de la evaluacioacuten

Derivado del contenido generado en las secciones anteriores deberaacuten elaborarse los siguientes

apartados en el informe final de la Evaluacioacuten de Procesos del Pp

i Introduccioacuten

ii Resumen Ejecutivo

iii Marco Legal

iv Datos Generales del Programa Presupuestario (Pp)

v Criterios Teacutecnicos para la Evaluacioacuten del Programa Presupuestario correspondiente

vi Apartados de la evaluacioacuten

Seccioacuten 1 Disentildeo

Diagnoacutestico del programa puacuteblico

Matriz de Indicadores para Resultados (MIR)

Seccioacuten 2 Procesos

Pertinencia de los proceso

Diagnoacutestico general de los procesos y subprocesos del Pp

- Contexto en que opera el Pp

- Diagnoacutestico inicial de los procesos y subprocesos

Descripcioacuten y valoracioacuten de los procesos y subprocesos del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

vii Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

viii Valoracioacuten final del Pp

ix Hallazgos

x Recomendaciones clasificadas por apartado

xi Conclusiones

xii Bibliografiacutea

xiii Anexos

Anexo 1 Descripcioacuten General del Programa

Anexo 2 Metodologiacutea para la cuantificacioacuten de las poblaciones potencial y objetivo

(Formato Libre)

Anexo 3 Evolucioacuten de la Cobertura

Anexo 4 Propuesta de mejora de la Matriz de Indicadores para Resultados

Anexo 5 Ficha de identificacioacuten y equivalencia de procesos del Pp

PAE 2017 34

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 Fichas de indicadores de atributos de los procesos del Pp (Formato libre)

Anexo 7 Diagramas de flujo de la operacioacuten del Pp

Anexo 8 Propuesta de modificacioacuten a los documentos normativos o institucionales

del Pp

Anexo 9 Valoracioacuten global cuantitativardquo

Anexo 10 Sistema de monitoreo e indicadores de gestioacuten del Pp (Formato libre)

Anexo 11 Recomendaciones de la Evaluacioacuten de Procesos del Pp

Anexo 12 Principales Fortalezas Retos y Recomendaciones

Anexo 13 Ficha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacuten

En el Resumen Ejecutivo asimismo se describiraacuten los principales hallazgos y recomendaciones del

evaluador externo

Para el desarrollo de los apartados antes referidos deberaacute atender las indicaciones que se desarrollan

en las siguientes secciones

Hallazgos y resultados Pp por Seccioacuten

Se debe realizar una valoracioacuten general del programa por seccioacuten utilizando las respuestas que

integran cada uno de los apartados En esta valoracioacuten integral se deberaacute sentildealar en queacute medida la

gestioacuten operativa conduce al logro de los objetivos del Pp

Asimismo se deben sentildealar las aacutereas de mejora las buenas praacutecticas y las fortalezas detectadas en

la operacioacuten del Pp y a partir de ello la instancia evaluadora emitiraacute recomendaciones de mejora

sobre aspectos especiacuteficos de cada proceso y subproceso o macroproceso del Pp Adicionalmente

se deberaacuten identificar los problemas o limitantes tanto normativos como operativos (ldquocuellos de

botellardquo) de coordinacioacuten entre unidades administrativas y otros que hubiese en los procesos y

subprocesos o macroprocesos del Pp entendieacutendose como aquellas praacutecticas procedimientos

actividades o traacutemites que obstaculizan la operacioacuten del Pp

En este sentido se deberaacuten identificar las situaciones en las que la normativa genere complicaciones

en la gestioacuten o ineficacia en el cumplimiento de los objetivos del Pp para lo cual se deberaacute presentar

(por cada situacioacuten identificada) una propuesta de modificacioacuten a la normativa aplicable al Pp

considerando las restricciones praacutecticas que existan para su implementacioacuten asiacute como los efectos

PAE 2017 35

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

potenciales de ser implementada Los resultados de este anaacutelisis deberaacuten describirse en el Anexo 7

ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales del Pprdquo

Para la identificacioacuten y descripcioacuten de los ldquocuellos de botellardquo buenas praacutecticas y fortalezas del Pp

se consideraraacute la informacioacuten derivada del anaacutelisis de la operacioacuten del Pp asiacute como los puntos de

vista de los principales actores que intervienen en ella Este anaacutelisis deberaacute contener las causas y las

consecuencias de los ldquocuellos de botellardquo detectados sus caracteriacutesticas y naturaleza (si son

normativas o estrictamente operativas) de igual manera se deberaacute desarrollar un anaacutelisis de las

buenas praacutecticas identificadas

Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

Se debe integrar en una sola tabla las fortalezas oportunidades debilidades y amenazas

especificadas por cada apartado de la evaluacioacuten y reportarlas en el Anexo 11 ldquoPrincipales Fortalezas

Retos y Recomendacionesrdquo en el que se deben incluir las fortalezas yo oportunidades las

debilidades yo amenazas y las recomendaciones por apartado de la evaluacioacuten

PAE 2017 36

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexos

Anexo 1 ldquoDescripcioacuten General del Programardquo

El Anexo tiene formato libre sin embargo debe contener una breve descripcioacuten de las caracteriacutesticas

maacutes relevantes del Pp en un maacuteximo de dos cuartillas Dicha descripcioacuten debe considerar los

siguientes aspectos

1 Identificacioacuten del programa

11 Nombre

12 Clave de programa

13 Dependencia yo Entidad coordinadora ejecutora

14 Antildeo de inicio de operacioacuten

2 Problema o necesidad que el Pp pretende atender atenuar o resolver

3 La contribucioacuten del Pp a las Metas y objetivos estatales a los que se vincula

4 Descripcioacuten de los objetivos del Pp asiacute como de los bienes yo servicios que ofrece

(componentes)

5 Identificacioacuten y cuantificacioacuten de la poblacioacuten o aacuterea de enfoque potencial y

objetivo

6 Presupuesto aprobado para el ejercicio fiscal en curso

7 Metas de los indicadores de Fin Propoacutesito y Componentes asiacute como los de nivel

actividad que se consideren relevantes y

8 Resumen de la valoracioacuten de la pertinencia del disentildeo del Pp respecto a la atencioacuten

del problema o necesidad

Anexo 2 ldquoMetodologiacutea para la cuantificacioacuten de la poblacioacuten o aacuterea de enfoque

potencial y objetivordquo

El Anexo tiene formato libre sin embargo se debe incluir la siguiente informacioacuten

Definicioacuten de la poblacioacuten o aacuterea de enfoque potencial objetivo y atendida

Cuantificacioacuten de la poblacioacuten potencial objetiva y atendida

Hallazgos sobre el procedimiento llevado a cabo para definir y cuantificar la poblacioacuten o

aacuterea de enfoque potencial objetivo y atendida

Recomendaciones

Propuesta orientada hacia la mejora

PAE 2017 37

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 3 ldquoEvolucioacuten de la Coberturardquo

Nombre del

Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten

Antildeo de la Evaluacioacuten

Tipo de Poblacioacuten

Unidad

de

Medida

2012 2013 2014 2015 2016

P Potencial

P Objetivo

P Atendida

119927119912 times 120783120782120782

119927119926

PAE 2017 38

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 4 ldquoPropuesta de mejora de la Matriz de Indicadores para Resultadosrdquo

Derivado del anaacutelisis y valoracioacuten de la pregunta de investigacioacuten nuacutemero 3 iquestLa estructura de

objetivos planteada por el programa mantiene loacutegica y correspondencia causal con el problema

planteado en el diagnoacutestico se realizaraacute una propuesta de mejora de MIR

Fin

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Propoacutesito

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Componente 1

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

PAE 2017 39

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Componente 2 hellip

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 40

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesos del Pprdquo

Para la identificacioacuten y clasificacioacuten de los procesos del Pp se sugieren los siguientes pasos

1 Listar los procesos identificados

Comparar los procesos identificados del Pp con aquellos correspondientes al Modelo general de

procesos Colocar en el rengloacuten correspondiente el nombre de cada proceso del Pp identificado

como equivalente

2 Colocar al final de la lista aquellos procesos del Pp que no sean equivalentes con el Modelo

general de procesos

Modelo general de

procesos

Nuacutemero

de

secuencia

Procesos o subprocesos del Pp identificados por el

evaluador

(Nombre y breve descripcioacuten)

Planeacioacuten Ejemplo (Ej) Planeacioacuten Estrateacutegica

Ej Programacioacuten

Ej Presupuestacioacuten

Comunicacioacuten interna y

externa

Ej Difusioacuten Federal

Ej Difusioacuten Local

Seleccioacuten de

destinatarios

Ej Recepcioacuten de solicitudes de becas

Ej Seleccioacuten de becarios

Produccioacuten de

entregables

Entrega

Control

Seguimiento Ej Seguimiento fiacutesico y supervisioacuten en campo

Evaluacioacuten externa Ej Publicacioacuten y lectura del PAE

Ej Definicioacuten de TdR

Ej Contratacioacuten

Ej Ejecucioacuten de la evaluacioacuten externa

Monitoreo Ej Registro de avances de indicadores

Ej Revisioacuten de registros

Ej Validacioacuten de registros e integracioacuten de informes

PAE 2017 41

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Procesos identificados por el evaluador que no coinciden con el Modelo general de procesos

PAE 2017 42

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 ldquoFichas de indicadores de atributos de los procesos del Pp (formato libre)rdquo

Para la construccioacuten de este anexo deberaacute realizarse una revisioacuten documental (normativa aplicable

MIR evaluaciones externas sistemas de informacioacuten y registros administrativos entre otros) misma

que deberaacute complementarse con el trabajo de campo con el objetivo de identificar disentildear y calcular

indicadores relacionados con dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de

informacioacuten empleadas

Ademaacutes de considerar la medicioacuten de los atributos de eficacia suficiencia oportunidad y pertinencia

de cada proceso y subproceso o macroproceso

PAE 2017 43

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 7 ldquoDiagramas de flujo de la operacioacuten del Pprdquo

Para la elaboracioacuten de los diagramas de flujo deberaacute utilizarse la notacioacuten empleada en el

documento ldquoGuiacutea para la Optimizacioacuten Estandarizacioacuten y Mejora Continua de Procesosrdquo publicada

por la SFP en la direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Para el Diagrama de Alto Nivel (Diagrama PEPSU)

Ejemplo ilustrativo

PAE 2017 44

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para el Diagrama de Flujo

PAE 2017 45

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

PAE 2017 46

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 8 ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales

del Pprdquo

Tipo de

norma-

tiva

Dice

Problema

generado

(causas y

consecuencias)

Se

recomienda

decir

Efecto esperado de

aplicar la

recomendacioacuten de

cambio

Restricciones praacutecticas

que puedan existir para

su implementacioacuten

PAE 2017 47

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 9 ldquoValoracioacuten global cuantitativa ldquo

Seccioacuten 1 Disentildeo

Disentildeo Valoracioacuten Argumento o justificacioacuten

Porcentaje del

Disentildeo del Pp

(Suma de valoracioacuten alcanzada por pregunta de la seccioacuten 1 Total maacuteximo de la

valoracioacuten de todas las preguntas de la seccioacuten 1 ) x 100

Seccioacuten 2 Procesos

Proceso Eficacia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

eficaces

(Total de procesos eficaces Total de procesos del Pp) x 100

Proceso Oportunidad

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

oportunos

(Total de procesos oportunos Total de procesos del Pp) x 100

Proceso Suficiencia

(SiacuteNo) Argumento o justificacioacuten

PAE 2017 48

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Porcentaje de

procesos

suficientes

(Total de procesos suficientes Total de procesos del Pp) x 100

Proceso Pertinencia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

pertinentes

(Total de procesos pertinentes Total de procesos del Pp) x 100

NOTA Los argumentos y justificaciones del evaluador deberaacuten considerar el anaacutelisis y valoraciones de

los subprocesos de cada proceso de modo que haya consistencia entre estos elementos Asimismo el

evaluador deberaacute expresar los resultados de la valoracioacuten cuantitativa en una graacutefica tipo radial

PAE 2017 49

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 10 ldquoSistema de monitoreo e indicadores de gestioacuten del Pp (formato libre)rdquo

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible

Nombre del Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten De Procesos

Antildeo de la Evaluacioacuten 2017

Fin Justificacioacuten Propoacutesito Justificacioacuten Componente (s) Justificacioacuten

Nombre de

Indicador

Meacutetodo de Caacutelculo

Claro SiacuteNo SiacuteNo SiacuteNo

Relevante SiacuteNo SiacuteNo SiacuteNo

Econoacutemico SiacuteNo SiacuteNo SiacuteNo

Monitoreable SiacuteNo SiacuteNo SiacuteNo

Adecuado SiacuteNo SiacuteNo SiacuteNo

Definicioacuten SiacuteNo SiacuteNo SiacuteNo

Unidad de Medida SiacuteNo SiacuteNo SiacuteNo

Frecuencia de

Medicioacuten

SiacuteNo SiacuteNo SiacuteNo

Liacutenea Base SiacuteNo SiacuteNo SiacuteNo

Metas SiacuteNo SiacuteNo SiacuteNo

Comportamiento

del Indicador

SiacuteNo SiacuteNo SiacuteNo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 50

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de Procesos del Pprdquo

En este Anexo la instancia evaluadora debe valorar si la recomendacioacuten implica una consolidacioacuten o

una reingenieriacutea del proceso

A) Consolidacioacuten

Proceso Recomendaci

oacuten

Breve

anaacutelisis de

viabilidad de

la

implementa-

cioacuten

Principales

responsables

de la

implementaci

oacuten

Situacioacuten

actual

Efectos

potenciales

esperados

Medio de

verifica-

cioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

B) Reingenieriacutea de procesos

Proceso Objetivo

Breve

anaacutelisis de

viabilidad

de la

implemen-

tacioacuten

Principales

responsables

de la

implemen-

tacioacuten

Situa-

cioacuten

actual

Metas y

efectos

potenciale

s

esperados

Elabora-

cioacuten de

flujogram

a del

nuevo

proceso

Medio

de

verifi-

cacioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

NOTA El nivel de priorizacioacuten Alto Medio o Bajo se estimaraacute considerando la mejora en la operacioacuten

del Pp la viabilidad de la implementacioacuten de la recomendacioacuten asiacute como el efecto potencial que esto

pueda tener el alcance del objetivo del Pp

PAE 2017 51

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 12 ldquoPrincipales Fortalezas Retos y Recomendacionesrdquo

Capacidades Internas Factores Externos

Fortalezas

(Cualquier capacidad con la que cuenta la dependencia o

entidad que le permita aprovechar sus recursos para la

obtencioacuten de sus objetivos)

Oportunidades

(Cualquier factor externo fuera del control de la dependencia o

entidad que puede ser aprovechado para la obtencioacuten de sus

objetivos)

Debilidades

(Cualquier limitante Interna de la dependencia o entidad que

puede afectar la obtencioacuten de sus objetivos)

Amenazas

(Cualquier factor externo fuera de control de la dependencia o

entidad que pueda afectar la obtencioacuten de sus objetivos)

PAE 2017 52

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacutenrdquo

El Informe Final de la Evaluacioacuten de Procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten

Superior deberaacuten contener una ficha con los siguientes datos

Ficha Teacutecnica con los datos generales de la evaluacioacuten

Nombre o denominacioacuten de la

evaluacioacuten

[Especificar el nombre de la evaluacioacuten considerando su tipo y ejercicio

evaluado]

Nombre o denominacioacuten del

programa evaluado

[Indicar el nombre del Pp sujeto a evaluacioacuten de acuerdo con lo

establecido en el PEF sentildealando su modalidad y clave]

Unidad Responsable de la operacioacuten

del programa

[Especificar la(s) unidad(es) responsable(s) de la administracioacuten

operacioacuten y ejecucioacuten de los programas subprogramas y proyectos del

Pp evaluado correspondientes a las dependencias y entidades]

Titular de la unidad responsable de la

operacioacuten del programa

[Indicar el nombre del(a) Titular de la Unidad Responsable de la

operacioacuten del Pp]

Antildeo del Programa Anual de

Evaluacioacuten (PAE) en que fue

considerada la evaluacioacuten

[Especificar el ejercicio fiscal al que corresponde el PAE en la que fue

programada la evaluacioacuten]

Antildeo de conclusioacuten y entrega de la

evaluacioacuten

[Indicar el antildeo en que se concluyoacute la evaluacioacuten]

Tipo de evaluacioacuten [Especificar el tipo de evaluacioacuten de acuerdo con los Lineamientos de

evaluacioacuten el nombre de la evaluacioacuten y con lo establecido en el PAE]

Nombre de la instancia evaluadora [Indicar el nombre de la firma consultoriacutea u organizacioacuten que realizoacute la

evaluacioacuten]

Nombre del(a) coordinador(a)

externo(a) de la evaluacioacuten

[Especificar el nombre del(a) responsable de la coordinacioacuten de la

evaluacioacuten dla instancia evaluadora]

Nombre de los(as) principales

colaboradores(as) del(a)

coordinador(a) de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del(a)

coordinador(a) de la evaluacioacuten]

PAE 2017 53

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Unidad Administrativa responsable de

la Coordinacioacuten de la evaluacioacuten

[De acuerdo con lo sentildealado en el PAE especificar la instancia a la que

corresponde la coordinacioacuten de la evaluacioacuten pej Secretariacutea de

Finanzas y Administracioacuten (SFA) asiacute como la unidad administrativa

mediante la cual se ejerce esta funcioacuten p ej Direccioacuten de Evaluacioacuten

de la SFA (DEV)

Nombre del(a) Titular de la unidad

administrativa responsable de

coordinar la evaluacioacuten (Aacuterea de

Evaluacioacuten)

[Especificar el nombre del(a) Titular de la Unidad responsable de dar

seguimiento a la evaluacioacuten que funge como Aacuterea de Evaluacioacuten]

Nombres de los(as) servidores(as)

puacuteblicos(as) adscritos(as) a la unidad

administrativa responsable de

coordinar la evaluacioacuten que

coadyuvaron con la revisioacuten teacutecnica

de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del

titular de la unidad administrativa responsable de dar seguimiento a la

evaluacioacuten respecto de la revisioacuten teacutecnica de la misma]

Forma de contratacioacuten de la instancia

evaluadora

[Indicar el tipo de contratacioacuten dla instancia evaluadora Especificar el

tipo de procedimiento de contratacioacuten de la instancia evaluadora

consistente con los tipos de adjudicacioacuten establecidos en la Ley de

Adquisiciones Arrendamientos y Servicios del Sector Puacuteblico]

Costo total de la evaluacioacuten con IVA

incluido

[Especificar el costo total de la evaluacioacuten incluyendo el IVA (en caso

de que se haya causado) como sigue $XXX IVA incluido]

Asimismo en este anexo se deberaacute incluir una nota metodoloacutegica con la descripcioacuten de las teacutecnicas

y los modelos utilizados por el evaluador externo acompantildeada del disentildeo por muestreo

especificando los supuestos empleados y las principales caracteriacutesticas del tamantildeo y dispersioacuten de

la muestra utilizada

DIRECTORIO

Rauacutel Saacutenchez Kobashi

Secretario de la Secretariacutea de Finanzas y Administracioacuten

Francisco Fidel Teomitzi Saacutenchez

Subsecretario de Planeacioacuten

Arturo Neponuceno Crisoacutestomo

Director de Evaluacioacuten

Rodolfo de la Rosa Cabrera

Subdireccioacuten de Evaluacioacuten de Programas

Sauacutel Federico Oropeza Orea

Jefe del Departamento de Programas Estatales y Municipales

Ana Luz Guzmaacuten Figueroa

Analista del Departamento de Programas Estatales y Municipales

Marco Antonio Saacutenchez Gonzaacutelez

Analista del Departamento de Programas Estatales y Municipales

Page 34: Términos de Referencia para la Evaluación del Desempeño ...evaluacion.puebla.gob.mx/pdf/metodologias/TdR_Est/2017/TdR... · Perfil de la instancia evaluadora ... acuerdo con las

PAE 2017 33

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Contenido del informe

Contenido miacutenimo del informe final de la evaluacioacuten

Derivado del contenido generado en las secciones anteriores deberaacuten elaborarse los siguientes

apartados en el informe final de la Evaluacioacuten de Procesos del Pp

i Introduccioacuten

ii Resumen Ejecutivo

iii Marco Legal

iv Datos Generales del Programa Presupuestario (Pp)

v Criterios Teacutecnicos para la Evaluacioacuten del Programa Presupuestario correspondiente

vi Apartados de la evaluacioacuten

Seccioacuten 1 Disentildeo

Diagnoacutestico del programa puacuteblico

Matriz de Indicadores para Resultados (MIR)

Seccioacuten 2 Procesos

Pertinencia de los proceso

Diagnoacutestico general de los procesos y subprocesos del Pp

- Contexto en que opera el Pp

- Diagnoacutestico inicial de los procesos y subprocesos

Descripcioacuten y valoracioacuten de los procesos y subprocesos del Pp

Medicioacuten de atributos de los procesos y subprocesos del Pp

vii Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

viii Valoracioacuten final del Pp

ix Hallazgos

x Recomendaciones clasificadas por apartado

xi Conclusiones

xii Bibliografiacutea

xiii Anexos

Anexo 1 Descripcioacuten General del Programa

Anexo 2 Metodologiacutea para la cuantificacioacuten de las poblaciones potencial y objetivo

(Formato Libre)

Anexo 3 Evolucioacuten de la Cobertura

Anexo 4 Propuesta de mejora de la Matriz de Indicadores para Resultados

Anexo 5 Ficha de identificacioacuten y equivalencia de procesos del Pp

PAE 2017 34

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 Fichas de indicadores de atributos de los procesos del Pp (Formato libre)

Anexo 7 Diagramas de flujo de la operacioacuten del Pp

Anexo 8 Propuesta de modificacioacuten a los documentos normativos o institucionales

del Pp

Anexo 9 Valoracioacuten global cuantitativardquo

Anexo 10 Sistema de monitoreo e indicadores de gestioacuten del Pp (Formato libre)

Anexo 11 Recomendaciones de la Evaluacioacuten de Procesos del Pp

Anexo 12 Principales Fortalezas Retos y Recomendaciones

Anexo 13 Ficha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacuten

En el Resumen Ejecutivo asimismo se describiraacuten los principales hallazgos y recomendaciones del

evaluador externo

Para el desarrollo de los apartados antes referidos deberaacute atender las indicaciones que se desarrollan

en las siguientes secciones

Hallazgos y resultados Pp por Seccioacuten

Se debe realizar una valoracioacuten general del programa por seccioacuten utilizando las respuestas que

integran cada uno de los apartados En esta valoracioacuten integral se deberaacute sentildealar en queacute medida la

gestioacuten operativa conduce al logro de los objetivos del Pp

Asimismo se deben sentildealar las aacutereas de mejora las buenas praacutecticas y las fortalezas detectadas en

la operacioacuten del Pp y a partir de ello la instancia evaluadora emitiraacute recomendaciones de mejora

sobre aspectos especiacuteficos de cada proceso y subproceso o macroproceso del Pp Adicionalmente

se deberaacuten identificar los problemas o limitantes tanto normativos como operativos (ldquocuellos de

botellardquo) de coordinacioacuten entre unidades administrativas y otros que hubiese en los procesos y

subprocesos o macroprocesos del Pp entendieacutendose como aquellas praacutecticas procedimientos

actividades o traacutemites que obstaculizan la operacioacuten del Pp

En este sentido se deberaacuten identificar las situaciones en las que la normativa genere complicaciones

en la gestioacuten o ineficacia en el cumplimiento de los objetivos del Pp para lo cual se deberaacute presentar

(por cada situacioacuten identificada) una propuesta de modificacioacuten a la normativa aplicable al Pp

considerando las restricciones praacutecticas que existan para su implementacioacuten asiacute como los efectos

PAE 2017 35

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

potenciales de ser implementada Los resultados de este anaacutelisis deberaacuten describirse en el Anexo 7

ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales del Pprdquo

Para la identificacioacuten y descripcioacuten de los ldquocuellos de botellardquo buenas praacutecticas y fortalezas del Pp

se consideraraacute la informacioacuten derivada del anaacutelisis de la operacioacuten del Pp asiacute como los puntos de

vista de los principales actores que intervienen en ella Este anaacutelisis deberaacute contener las causas y las

consecuencias de los ldquocuellos de botellardquo detectados sus caracteriacutesticas y naturaleza (si son

normativas o estrictamente operativas) de igual manera se deberaacute desarrollar un anaacutelisis de las

buenas praacutecticas identificadas

Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

Se debe integrar en una sola tabla las fortalezas oportunidades debilidades y amenazas

especificadas por cada apartado de la evaluacioacuten y reportarlas en el Anexo 11 ldquoPrincipales Fortalezas

Retos y Recomendacionesrdquo en el que se deben incluir las fortalezas yo oportunidades las

debilidades yo amenazas y las recomendaciones por apartado de la evaluacioacuten

PAE 2017 36

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexos

Anexo 1 ldquoDescripcioacuten General del Programardquo

El Anexo tiene formato libre sin embargo debe contener una breve descripcioacuten de las caracteriacutesticas

maacutes relevantes del Pp en un maacuteximo de dos cuartillas Dicha descripcioacuten debe considerar los

siguientes aspectos

1 Identificacioacuten del programa

11 Nombre

12 Clave de programa

13 Dependencia yo Entidad coordinadora ejecutora

14 Antildeo de inicio de operacioacuten

2 Problema o necesidad que el Pp pretende atender atenuar o resolver

3 La contribucioacuten del Pp a las Metas y objetivos estatales a los que se vincula

4 Descripcioacuten de los objetivos del Pp asiacute como de los bienes yo servicios que ofrece

(componentes)

5 Identificacioacuten y cuantificacioacuten de la poblacioacuten o aacuterea de enfoque potencial y

objetivo

6 Presupuesto aprobado para el ejercicio fiscal en curso

7 Metas de los indicadores de Fin Propoacutesito y Componentes asiacute como los de nivel

actividad que se consideren relevantes y

8 Resumen de la valoracioacuten de la pertinencia del disentildeo del Pp respecto a la atencioacuten

del problema o necesidad

Anexo 2 ldquoMetodologiacutea para la cuantificacioacuten de la poblacioacuten o aacuterea de enfoque

potencial y objetivordquo

El Anexo tiene formato libre sin embargo se debe incluir la siguiente informacioacuten

Definicioacuten de la poblacioacuten o aacuterea de enfoque potencial objetivo y atendida

Cuantificacioacuten de la poblacioacuten potencial objetiva y atendida

Hallazgos sobre el procedimiento llevado a cabo para definir y cuantificar la poblacioacuten o

aacuterea de enfoque potencial objetivo y atendida

Recomendaciones

Propuesta orientada hacia la mejora

PAE 2017 37

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 3 ldquoEvolucioacuten de la Coberturardquo

Nombre del

Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten

Antildeo de la Evaluacioacuten

Tipo de Poblacioacuten

Unidad

de

Medida

2012 2013 2014 2015 2016

P Potencial

P Objetivo

P Atendida

119927119912 times 120783120782120782

119927119926

PAE 2017 38

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 4 ldquoPropuesta de mejora de la Matriz de Indicadores para Resultadosrdquo

Derivado del anaacutelisis y valoracioacuten de la pregunta de investigacioacuten nuacutemero 3 iquestLa estructura de

objetivos planteada por el programa mantiene loacutegica y correspondencia causal con el problema

planteado en el diagnoacutestico se realizaraacute una propuesta de mejora de MIR

Fin

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Propoacutesito

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Componente 1

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

PAE 2017 39

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Componente 2 hellip

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 40

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesos del Pprdquo

Para la identificacioacuten y clasificacioacuten de los procesos del Pp se sugieren los siguientes pasos

1 Listar los procesos identificados

Comparar los procesos identificados del Pp con aquellos correspondientes al Modelo general de

procesos Colocar en el rengloacuten correspondiente el nombre de cada proceso del Pp identificado

como equivalente

2 Colocar al final de la lista aquellos procesos del Pp que no sean equivalentes con el Modelo

general de procesos

Modelo general de

procesos

Nuacutemero

de

secuencia

Procesos o subprocesos del Pp identificados por el

evaluador

(Nombre y breve descripcioacuten)

Planeacioacuten Ejemplo (Ej) Planeacioacuten Estrateacutegica

Ej Programacioacuten

Ej Presupuestacioacuten

Comunicacioacuten interna y

externa

Ej Difusioacuten Federal

Ej Difusioacuten Local

Seleccioacuten de

destinatarios

Ej Recepcioacuten de solicitudes de becas

Ej Seleccioacuten de becarios

Produccioacuten de

entregables

Entrega

Control

Seguimiento Ej Seguimiento fiacutesico y supervisioacuten en campo

Evaluacioacuten externa Ej Publicacioacuten y lectura del PAE

Ej Definicioacuten de TdR

Ej Contratacioacuten

Ej Ejecucioacuten de la evaluacioacuten externa

Monitoreo Ej Registro de avances de indicadores

Ej Revisioacuten de registros

Ej Validacioacuten de registros e integracioacuten de informes

PAE 2017 41

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Procesos identificados por el evaluador que no coinciden con el Modelo general de procesos

PAE 2017 42

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 ldquoFichas de indicadores de atributos de los procesos del Pp (formato libre)rdquo

Para la construccioacuten de este anexo deberaacute realizarse una revisioacuten documental (normativa aplicable

MIR evaluaciones externas sistemas de informacioacuten y registros administrativos entre otros) misma

que deberaacute complementarse con el trabajo de campo con el objetivo de identificar disentildear y calcular

indicadores relacionados con dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de

informacioacuten empleadas

Ademaacutes de considerar la medicioacuten de los atributos de eficacia suficiencia oportunidad y pertinencia

de cada proceso y subproceso o macroproceso

PAE 2017 43

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 7 ldquoDiagramas de flujo de la operacioacuten del Pprdquo

Para la elaboracioacuten de los diagramas de flujo deberaacute utilizarse la notacioacuten empleada en el

documento ldquoGuiacutea para la Optimizacioacuten Estandarizacioacuten y Mejora Continua de Procesosrdquo publicada

por la SFP en la direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Para el Diagrama de Alto Nivel (Diagrama PEPSU)

Ejemplo ilustrativo

PAE 2017 44

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para el Diagrama de Flujo

PAE 2017 45

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

PAE 2017 46

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 8 ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales

del Pprdquo

Tipo de

norma-

tiva

Dice

Problema

generado

(causas y

consecuencias)

Se

recomienda

decir

Efecto esperado de

aplicar la

recomendacioacuten de

cambio

Restricciones praacutecticas

que puedan existir para

su implementacioacuten

PAE 2017 47

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 9 ldquoValoracioacuten global cuantitativa ldquo

Seccioacuten 1 Disentildeo

Disentildeo Valoracioacuten Argumento o justificacioacuten

Porcentaje del

Disentildeo del Pp

(Suma de valoracioacuten alcanzada por pregunta de la seccioacuten 1 Total maacuteximo de la

valoracioacuten de todas las preguntas de la seccioacuten 1 ) x 100

Seccioacuten 2 Procesos

Proceso Eficacia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

eficaces

(Total de procesos eficaces Total de procesos del Pp) x 100

Proceso Oportunidad

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

oportunos

(Total de procesos oportunos Total de procesos del Pp) x 100

Proceso Suficiencia

(SiacuteNo) Argumento o justificacioacuten

PAE 2017 48

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Porcentaje de

procesos

suficientes

(Total de procesos suficientes Total de procesos del Pp) x 100

Proceso Pertinencia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

pertinentes

(Total de procesos pertinentes Total de procesos del Pp) x 100

NOTA Los argumentos y justificaciones del evaluador deberaacuten considerar el anaacutelisis y valoraciones de

los subprocesos de cada proceso de modo que haya consistencia entre estos elementos Asimismo el

evaluador deberaacute expresar los resultados de la valoracioacuten cuantitativa en una graacutefica tipo radial

PAE 2017 49

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 10 ldquoSistema de monitoreo e indicadores de gestioacuten del Pp (formato libre)rdquo

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible

Nombre del Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten De Procesos

Antildeo de la Evaluacioacuten 2017

Fin Justificacioacuten Propoacutesito Justificacioacuten Componente (s) Justificacioacuten

Nombre de

Indicador

Meacutetodo de Caacutelculo

Claro SiacuteNo SiacuteNo SiacuteNo

Relevante SiacuteNo SiacuteNo SiacuteNo

Econoacutemico SiacuteNo SiacuteNo SiacuteNo

Monitoreable SiacuteNo SiacuteNo SiacuteNo

Adecuado SiacuteNo SiacuteNo SiacuteNo

Definicioacuten SiacuteNo SiacuteNo SiacuteNo

Unidad de Medida SiacuteNo SiacuteNo SiacuteNo

Frecuencia de

Medicioacuten

SiacuteNo SiacuteNo SiacuteNo

Liacutenea Base SiacuteNo SiacuteNo SiacuteNo

Metas SiacuteNo SiacuteNo SiacuteNo

Comportamiento

del Indicador

SiacuteNo SiacuteNo SiacuteNo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 50

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de Procesos del Pprdquo

En este Anexo la instancia evaluadora debe valorar si la recomendacioacuten implica una consolidacioacuten o

una reingenieriacutea del proceso

A) Consolidacioacuten

Proceso Recomendaci

oacuten

Breve

anaacutelisis de

viabilidad de

la

implementa-

cioacuten

Principales

responsables

de la

implementaci

oacuten

Situacioacuten

actual

Efectos

potenciales

esperados

Medio de

verifica-

cioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

B) Reingenieriacutea de procesos

Proceso Objetivo

Breve

anaacutelisis de

viabilidad

de la

implemen-

tacioacuten

Principales

responsables

de la

implemen-

tacioacuten

Situa-

cioacuten

actual

Metas y

efectos

potenciale

s

esperados

Elabora-

cioacuten de

flujogram

a del

nuevo

proceso

Medio

de

verifi-

cacioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

NOTA El nivel de priorizacioacuten Alto Medio o Bajo se estimaraacute considerando la mejora en la operacioacuten

del Pp la viabilidad de la implementacioacuten de la recomendacioacuten asiacute como el efecto potencial que esto

pueda tener el alcance del objetivo del Pp

PAE 2017 51

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 12 ldquoPrincipales Fortalezas Retos y Recomendacionesrdquo

Capacidades Internas Factores Externos

Fortalezas

(Cualquier capacidad con la que cuenta la dependencia o

entidad que le permita aprovechar sus recursos para la

obtencioacuten de sus objetivos)

Oportunidades

(Cualquier factor externo fuera del control de la dependencia o

entidad que puede ser aprovechado para la obtencioacuten de sus

objetivos)

Debilidades

(Cualquier limitante Interna de la dependencia o entidad que

puede afectar la obtencioacuten de sus objetivos)

Amenazas

(Cualquier factor externo fuera de control de la dependencia o

entidad que pueda afectar la obtencioacuten de sus objetivos)

PAE 2017 52

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacutenrdquo

El Informe Final de la Evaluacioacuten de Procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten

Superior deberaacuten contener una ficha con los siguientes datos

Ficha Teacutecnica con los datos generales de la evaluacioacuten

Nombre o denominacioacuten de la

evaluacioacuten

[Especificar el nombre de la evaluacioacuten considerando su tipo y ejercicio

evaluado]

Nombre o denominacioacuten del

programa evaluado

[Indicar el nombre del Pp sujeto a evaluacioacuten de acuerdo con lo

establecido en el PEF sentildealando su modalidad y clave]

Unidad Responsable de la operacioacuten

del programa

[Especificar la(s) unidad(es) responsable(s) de la administracioacuten

operacioacuten y ejecucioacuten de los programas subprogramas y proyectos del

Pp evaluado correspondientes a las dependencias y entidades]

Titular de la unidad responsable de la

operacioacuten del programa

[Indicar el nombre del(a) Titular de la Unidad Responsable de la

operacioacuten del Pp]

Antildeo del Programa Anual de

Evaluacioacuten (PAE) en que fue

considerada la evaluacioacuten

[Especificar el ejercicio fiscal al que corresponde el PAE en la que fue

programada la evaluacioacuten]

Antildeo de conclusioacuten y entrega de la

evaluacioacuten

[Indicar el antildeo en que se concluyoacute la evaluacioacuten]

Tipo de evaluacioacuten [Especificar el tipo de evaluacioacuten de acuerdo con los Lineamientos de

evaluacioacuten el nombre de la evaluacioacuten y con lo establecido en el PAE]

Nombre de la instancia evaluadora [Indicar el nombre de la firma consultoriacutea u organizacioacuten que realizoacute la

evaluacioacuten]

Nombre del(a) coordinador(a)

externo(a) de la evaluacioacuten

[Especificar el nombre del(a) responsable de la coordinacioacuten de la

evaluacioacuten dla instancia evaluadora]

Nombre de los(as) principales

colaboradores(as) del(a)

coordinador(a) de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del(a)

coordinador(a) de la evaluacioacuten]

PAE 2017 53

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Unidad Administrativa responsable de

la Coordinacioacuten de la evaluacioacuten

[De acuerdo con lo sentildealado en el PAE especificar la instancia a la que

corresponde la coordinacioacuten de la evaluacioacuten pej Secretariacutea de

Finanzas y Administracioacuten (SFA) asiacute como la unidad administrativa

mediante la cual se ejerce esta funcioacuten p ej Direccioacuten de Evaluacioacuten

de la SFA (DEV)

Nombre del(a) Titular de la unidad

administrativa responsable de

coordinar la evaluacioacuten (Aacuterea de

Evaluacioacuten)

[Especificar el nombre del(a) Titular de la Unidad responsable de dar

seguimiento a la evaluacioacuten que funge como Aacuterea de Evaluacioacuten]

Nombres de los(as) servidores(as)

puacuteblicos(as) adscritos(as) a la unidad

administrativa responsable de

coordinar la evaluacioacuten que

coadyuvaron con la revisioacuten teacutecnica

de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del

titular de la unidad administrativa responsable de dar seguimiento a la

evaluacioacuten respecto de la revisioacuten teacutecnica de la misma]

Forma de contratacioacuten de la instancia

evaluadora

[Indicar el tipo de contratacioacuten dla instancia evaluadora Especificar el

tipo de procedimiento de contratacioacuten de la instancia evaluadora

consistente con los tipos de adjudicacioacuten establecidos en la Ley de

Adquisiciones Arrendamientos y Servicios del Sector Puacuteblico]

Costo total de la evaluacioacuten con IVA

incluido

[Especificar el costo total de la evaluacioacuten incluyendo el IVA (en caso

de que se haya causado) como sigue $XXX IVA incluido]

Asimismo en este anexo se deberaacute incluir una nota metodoloacutegica con la descripcioacuten de las teacutecnicas

y los modelos utilizados por el evaluador externo acompantildeada del disentildeo por muestreo

especificando los supuestos empleados y las principales caracteriacutesticas del tamantildeo y dispersioacuten de

la muestra utilizada

DIRECTORIO

Rauacutel Saacutenchez Kobashi

Secretario de la Secretariacutea de Finanzas y Administracioacuten

Francisco Fidel Teomitzi Saacutenchez

Subsecretario de Planeacioacuten

Arturo Neponuceno Crisoacutestomo

Director de Evaluacioacuten

Rodolfo de la Rosa Cabrera

Subdireccioacuten de Evaluacioacuten de Programas

Sauacutel Federico Oropeza Orea

Jefe del Departamento de Programas Estatales y Municipales

Ana Luz Guzmaacuten Figueroa

Analista del Departamento de Programas Estatales y Municipales

Marco Antonio Saacutenchez Gonzaacutelez

Analista del Departamento de Programas Estatales y Municipales

Page 35: Términos de Referencia para la Evaluación del Desempeño ...evaluacion.puebla.gob.mx/pdf/metodologias/TdR_Est/2017/TdR... · Perfil de la instancia evaluadora ... acuerdo con las

PAE 2017 34

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 Fichas de indicadores de atributos de los procesos del Pp (Formato libre)

Anexo 7 Diagramas de flujo de la operacioacuten del Pp

Anexo 8 Propuesta de modificacioacuten a los documentos normativos o institucionales

del Pp

Anexo 9 Valoracioacuten global cuantitativardquo

Anexo 10 Sistema de monitoreo e indicadores de gestioacuten del Pp (Formato libre)

Anexo 11 Recomendaciones de la Evaluacioacuten de Procesos del Pp

Anexo 12 Principales Fortalezas Retos y Recomendaciones

Anexo 13 Ficha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacuten

En el Resumen Ejecutivo asimismo se describiraacuten los principales hallazgos y recomendaciones del

evaluador externo

Para el desarrollo de los apartados antes referidos deberaacute atender las indicaciones que se desarrollan

en las siguientes secciones

Hallazgos y resultados Pp por Seccioacuten

Se debe realizar una valoracioacuten general del programa por seccioacuten utilizando las respuestas que

integran cada uno de los apartados En esta valoracioacuten integral se deberaacute sentildealar en queacute medida la

gestioacuten operativa conduce al logro de los objetivos del Pp

Asimismo se deben sentildealar las aacutereas de mejora las buenas praacutecticas y las fortalezas detectadas en

la operacioacuten del Pp y a partir de ello la instancia evaluadora emitiraacute recomendaciones de mejora

sobre aspectos especiacuteficos de cada proceso y subproceso o macroproceso del Pp Adicionalmente

se deberaacuten identificar los problemas o limitantes tanto normativos como operativos (ldquocuellos de

botellardquo) de coordinacioacuten entre unidades administrativas y otros que hubiese en los procesos y

subprocesos o macroprocesos del Pp entendieacutendose como aquellas praacutecticas procedimientos

actividades o traacutemites que obstaculizan la operacioacuten del Pp

En este sentido se deberaacuten identificar las situaciones en las que la normativa genere complicaciones

en la gestioacuten o ineficacia en el cumplimiento de los objetivos del Pp para lo cual se deberaacute presentar

(por cada situacioacuten identificada) una propuesta de modificacioacuten a la normativa aplicable al Pp

considerando las restricciones praacutecticas que existan para su implementacioacuten asiacute como los efectos

PAE 2017 35

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

potenciales de ser implementada Los resultados de este anaacutelisis deberaacuten describirse en el Anexo 7

ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales del Pprdquo

Para la identificacioacuten y descripcioacuten de los ldquocuellos de botellardquo buenas praacutecticas y fortalezas del Pp

se consideraraacute la informacioacuten derivada del anaacutelisis de la operacioacuten del Pp asiacute como los puntos de

vista de los principales actores que intervienen en ella Este anaacutelisis deberaacute contener las causas y las

consecuencias de los ldquocuellos de botellardquo detectados sus caracteriacutesticas y naturaleza (si son

normativas o estrictamente operativas) de igual manera se deberaacute desarrollar un anaacutelisis de las

buenas praacutecticas identificadas

Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

Se debe integrar en una sola tabla las fortalezas oportunidades debilidades y amenazas

especificadas por cada apartado de la evaluacioacuten y reportarlas en el Anexo 11 ldquoPrincipales Fortalezas

Retos y Recomendacionesrdquo en el que se deben incluir las fortalezas yo oportunidades las

debilidades yo amenazas y las recomendaciones por apartado de la evaluacioacuten

PAE 2017 36

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexos

Anexo 1 ldquoDescripcioacuten General del Programardquo

El Anexo tiene formato libre sin embargo debe contener una breve descripcioacuten de las caracteriacutesticas

maacutes relevantes del Pp en un maacuteximo de dos cuartillas Dicha descripcioacuten debe considerar los

siguientes aspectos

1 Identificacioacuten del programa

11 Nombre

12 Clave de programa

13 Dependencia yo Entidad coordinadora ejecutora

14 Antildeo de inicio de operacioacuten

2 Problema o necesidad que el Pp pretende atender atenuar o resolver

3 La contribucioacuten del Pp a las Metas y objetivos estatales a los que se vincula

4 Descripcioacuten de los objetivos del Pp asiacute como de los bienes yo servicios que ofrece

(componentes)

5 Identificacioacuten y cuantificacioacuten de la poblacioacuten o aacuterea de enfoque potencial y

objetivo

6 Presupuesto aprobado para el ejercicio fiscal en curso

7 Metas de los indicadores de Fin Propoacutesito y Componentes asiacute como los de nivel

actividad que se consideren relevantes y

8 Resumen de la valoracioacuten de la pertinencia del disentildeo del Pp respecto a la atencioacuten

del problema o necesidad

Anexo 2 ldquoMetodologiacutea para la cuantificacioacuten de la poblacioacuten o aacuterea de enfoque

potencial y objetivordquo

El Anexo tiene formato libre sin embargo se debe incluir la siguiente informacioacuten

Definicioacuten de la poblacioacuten o aacuterea de enfoque potencial objetivo y atendida

Cuantificacioacuten de la poblacioacuten potencial objetiva y atendida

Hallazgos sobre el procedimiento llevado a cabo para definir y cuantificar la poblacioacuten o

aacuterea de enfoque potencial objetivo y atendida

Recomendaciones

Propuesta orientada hacia la mejora

PAE 2017 37

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 3 ldquoEvolucioacuten de la Coberturardquo

Nombre del

Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten

Antildeo de la Evaluacioacuten

Tipo de Poblacioacuten

Unidad

de

Medida

2012 2013 2014 2015 2016

P Potencial

P Objetivo

P Atendida

119927119912 times 120783120782120782

119927119926

PAE 2017 38

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 4 ldquoPropuesta de mejora de la Matriz de Indicadores para Resultadosrdquo

Derivado del anaacutelisis y valoracioacuten de la pregunta de investigacioacuten nuacutemero 3 iquestLa estructura de

objetivos planteada por el programa mantiene loacutegica y correspondencia causal con el problema

planteado en el diagnoacutestico se realizaraacute una propuesta de mejora de MIR

Fin

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Propoacutesito

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Componente 1

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

PAE 2017 39

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Componente 2 hellip

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 40

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesos del Pprdquo

Para la identificacioacuten y clasificacioacuten de los procesos del Pp se sugieren los siguientes pasos

1 Listar los procesos identificados

Comparar los procesos identificados del Pp con aquellos correspondientes al Modelo general de

procesos Colocar en el rengloacuten correspondiente el nombre de cada proceso del Pp identificado

como equivalente

2 Colocar al final de la lista aquellos procesos del Pp que no sean equivalentes con el Modelo

general de procesos

Modelo general de

procesos

Nuacutemero

de

secuencia

Procesos o subprocesos del Pp identificados por el

evaluador

(Nombre y breve descripcioacuten)

Planeacioacuten Ejemplo (Ej) Planeacioacuten Estrateacutegica

Ej Programacioacuten

Ej Presupuestacioacuten

Comunicacioacuten interna y

externa

Ej Difusioacuten Federal

Ej Difusioacuten Local

Seleccioacuten de

destinatarios

Ej Recepcioacuten de solicitudes de becas

Ej Seleccioacuten de becarios

Produccioacuten de

entregables

Entrega

Control

Seguimiento Ej Seguimiento fiacutesico y supervisioacuten en campo

Evaluacioacuten externa Ej Publicacioacuten y lectura del PAE

Ej Definicioacuten de TdR

Ej Contratacioacuten

Ej Ejecucioacuten de la evaluacioacuten externa

Monitoreo Ej Registro de avances de indicadores

Ej Revisioacuten de registros

Ej Validacioacuten de registros e integracioacuten de informes

PAE 2017 41

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Procesos identificados por el evaluador que no coinciden con el Modelo general de procesos

PAE 2017 42

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 ldquoFichas de indicadores de atributos de los procesos del Pp (formato libre)rdquo

Para la construccioacuten de este anexo deberaacute realizarse una revisioacuten documental (normativa aplicable

MIR evaluaciones externas sistemas de informacioacuten y registros administrativos entre otros) misma

que deberaacute complementarse con el trabajo de campo con el objetivo de identificar disentildear y calcular

indicadores relacionados con dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de

informacioacuten empleadas

Ademaacutes de considerar la medicioacuten de los atributos de eficacia suficiencia oportunidad y pertinencia

de cada proceso y subproceso o macroproceso

PAE 2017 43

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 7 ldquoDiagramas de flujo de la operacioacuten del Pprdquo

Para la elaboracioacuten de los diagramas de flujo deberaacute utilizarse la notacioacuten empleada en el

documento ldquoGuiacutea para la Optimizacioacuten Estandarizacioacuten y Mejora Continua de Procesosrdquo publicada

por la SFP en la direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Para el Diagrama de Alto Nivel (Diagrama PEPSU)

Ejemplo ilustrativo

PAE 2017 44

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para el Diagrama de Flujo

PAE 2017 45

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

PAE 2017 46

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 8 ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales

del Pprdquo

Tipo de

norma-

tiva

Dice

Problema

generado

(causas y

consecuencias)

Se

recomienda

decir

Efecto esperado de

aplicar la

recomendacioacuten de

cambio

Restricciones praacutecticas

que puedan existir para

su implementacioacuten

PAE 2017 47

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 9 ldquoValoracioacuten global cuantitativa ldquo

Seccioacuten 1 Disentildeo

Disentildeo Valoracioacuten Argumento o justificacioacuten

Porcentaje del

Disentildeo del Pp

(Suma de valoracioacuten alcanzada por pregunta de la seccioacuten 1 Total maacuteximo de la

valoracioacuten de todas las preguntas de la seccioacuten 1 ) x 100

Seccioacuten 2 Procesos

Proceso Eficacia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

eficaces

(Total de procesos eficaces Total de procesos del Pp) x 100

Proceso Oportunidad

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

oportunos

(Total de procesos oportunos Total de procesos del Pp) x 100

Proceso Suficiencia

(SiacuteNo) Argumento o justificacioacuten

PAE 2017 48

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Porcentaje de

procesos

suficientes

(Total de procesos suficientes Total de procesos del Pp) x 100

Proceso Pertinencia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

pertinentes

(Total de procesos pertinentes Total de procesos del Pp) x 100

NOTA Los argumentos y justificaciones del evaluador deberaacuten considerar el anaacutelisis y valoraciones de

los subprocesos de cada proceso de modo que haya consistencia entre estos elementos Asimismo el

evaluador deberaacute expresar los resultados de la valoracioacuten cuantitativa en una graacutefica tipo radial

PAE 2017 49

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 10 ldquoSistema de monitoreo e indicadores de gestioacuten del Pp (formato libre)rdquo

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible

Nombre del Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten De Procesos

Antildeo de la Evaluacioacuten 2017

Fin Justificacioacuten Propoacutesito Justificacioacuten Componente (s) Justificacioacuten

Nombre de

Indicador

Meacutetodo de Caacutelculo

Claro SiacuteNo SiacuteNo SiacuteNo

Relevante SiacuteNo SiacuteNo SiacuteNo

Econoacutemico SiacuteNo SiacuteNo SiacuteNo

Monitoreable SiacuteNo SiacuteNo SiacuteNo

Adecuado SiacuteNo SiacuteNo SiacuteNo

Definicioacuten SiacuteNo SiacuteNo SiacuteNo

Unidad de Medida SiacuteNo SiacuteNo SiacuteNo

Frecuencia de

Medicioacuten

SiacuteNo SiacuteNo SiacuteNo

Liacutenea Base SiacuteNo SiacuteNo SiacuteNo

Metas SiacuteNo SiacuteNo SiacuteNo

Comportamiento

del Indicador

SiacuteNo SiacuteNo SiacuteNo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 50

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de Procesos del Pprdquo

En este Anexo la instancia evaluadora debe valorar si la recomendacioacuten implica una consolidacioacuten o

una reingenieriacutea del proceso

A) Consolidacioacuten

Proceso Recomendaci

oacuten

Breve

anaacutelisis de

viabilidad de

la

implementa-

cioacuten

Principales

responsables

de la

implementaci

oacuten

Situacioacuten

actual

Efectos

potenciales

esperados

Medio de

verifica-

cioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

B) Reingenieriacutea de procesos

Proceso Objetivo

Breve

anaacutelisis de

viabilidad

de la

implemen-

tacioacuten

Principales

responsables

de la

implemen-

tacioacuten

Situa-

cioacuten

actual

Metas y

efectos

potenciale

s

esperados

Elabora-

cioacuten de

flujogram

a del

nuevo

proceso

Medio

de

verifi-

cacioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

NOTA El nivel de priorizacioacuten Alto Medio o Bajo se estimaraacute considerando la mejora en la operacioacuten

del Pp la viabilidad de la implementacioacuten de la recomendacioacuten asiacute como el efecto potencial que esto

pueda tener el alcance del objetivo del Pp

PAE 2017 51

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 12 ldquoPrincipales Fortalezas Retos y Recomendacionesrdquo

Capacidades Internas Factores Externos

Fortalezas

(Cualquier capacidad con la que cuenta la dependencia o

entidad que le permita aprovechar sus recursos para la

obtencioacuten de sus objetivos)

Oportunidades

(Cualquier factor externo fuera del control de la dependencia o

entidad que puede ser aprovechado para la obtencioacuten de sus

objetivos)

Debilidades

(Cualquier limitante Interna de la dependencia o entidad que

puede afectar la obtencioacuten de sus objetivos)

Amenazas

(Cualquier factor externo fuera de control de la dependencia o

entidad que pueda afectar la obtencioacuten de sus objetivos)

PAE 2017 52

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacutenrdquo

El Informe Final de la Evaluacioacuten de Procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten

Superior deberaacuten contener una ficha con los siguientes datos

Ficha Teacutecnica con los datos generales de la evaluacioacuten

Nombre o denominacioacuten de la

evaluacioacuten

[Especificar el nombre de la evaluacioacuten considerando su tipo y ejercicio

evaluado]

Nombre o denominacioacuten del

programa evaluado

[Indicar el nombre del Pp sujeto a evaluacioacuten de acuerdo con lo

establecido en el PEF sentildealando su modalidad y clave]

Unidad Responsable de la operacioacuten

del programa

[Especificar la(s) unidad(es) responsable(s) de la administracioacuten

operacioacuten y ejecucioacuten de los programas subprogramas y proyectos del

Pp evaluado correspondientes a las dependencias y entidades]

Titular de la unidad responsable de la

operacioacuten del programa

[Indicar el nombre del(a) Titular de la Unidad Responsable de la

operacioacuten del Pp]

Antildeo del Programa Anual de

Evaluacioacuten (PAE) en que fue

considerada la evaluacioacuten

[Especificar el ejercicio fiscal al que corresponde el PAE en la que fue

programada la evaluacioacuten]

Antildeo de conclusioacuten y entrega de la

evaluacioacuten

[Indicar el antildeo en que se concluyoacute la evaluacioacuten]

Tipo de evaluacioacuten [Especificar el tipo de evaluacioacuten de acuerdo con los Lineamientos de

evaluacioacuten el nombre de la evaluacioacuten y con lo establecido en el PAE]

Nombre de la instancia evaluadora [Indicar el nombre de la firma consultoriacutea u organizacioacuten que realizoacute la

evaluacioacuten]

Nombre del(a) coordinador(a)

externo(a) de la evaluacioacuten

[Especificar el nombre del(a) responsable de la coordinacioacuten de la

evaluacioacuten dla instancia evaluadora]

Nombre de los(as) principales

colaboradores(as) del(a)

coordinador(a) de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del(a)

coordinador(a) de la evaluacioacuten]

PAE 2017 53

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Unidad Administrativa responsable de

la Coordinacioacuten de la evaluacioacuten

[De acuerdo con lo sentildealado en el PAE especificar la instancia a la que

corresponde la coordinacioacuten de la evaluacioacuten pej Secretariacutea de

Finanzas y Administracioacuten (SFA) asiacute como la unidad administrativa

mediante la cual se ejerce esta funcioacuten p ej Direccioacuten de Evaluacioacuten

de la SFA (DEV)

Nombre del(a) Titular de la unidad

administrativa responsable de

coordinar la evaluacioacuten (Aacuterea de

Evaluacioacuten)

[Especificar el nombre del(a) Titular de la Unidad responsable de dar

seguimiento a la evaluacioacuten que funge como Aacuterea de Evaluacioacuten]

Nombres de los(as) servidores(as)

puacuteblicos(as) adscritos(as) a la unidad

administrativa responsable de

coordinar la evaluacioacuten que

coadyuvaron con la revisioacuten teacutecnica

de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del

titular de la unidad administrativa responsable de dar seguimiento a la

evaluacioacuten respecto de la revisioacuten teacutecnica de la misma]

Forma de contratacioacuten de la instancia

evaluadora

[Indicar el tipo de contratacioacuten dla instancia evaluadora Especificar el

tipo de procedimiento de contratacioacuten de la instancia evaluadora

consistente con los tipos de adjudicacioacuten establecidos en la Ley de

Adquisiciones Arrendamientos y Servicios del Sector Puacuteblico]

Costo total de la evaluacioacuten con IVA

incluido

[Especificar el costo total de la evaluacioacuten incluyendo el IVA (en caso

de que se haya causado) como sigue $XXX IVA incluido]

Asimismo en este anexo se deberaacute incluir una nota metodoloacutegica con la descripcioacuten de las teacutecnicas

y los modelos utilizados por el evaluador externo acompantildeada del disentildeo por muestreo

especificando los supuestos empleados y las principales caracteriacutesticas del tamantildeo y dispersioacuten de

la muestra utilizada

DIRECTORIO

Rauacutel Saacutenchez Kobashi

Secretario de la Secretariacutea de Finanzas y Administracioacuten

Francisco Fidel Teomitzi Saacutenchez

Subsecretario de Planeacioacuten

Arturo Neponuceno Crisoacutestomo

Director de Evaluacioacuten

Rodolfo de la Rosa Cabrera

Subdireccioacuten de Evaluacioacuten de Programas

Sauacutel Federico Oropeza Orea

Jefe del Departamento de Programas Estatales y Municipales

Ana Luz Guzmaacuten Figueroa

Analista del Departamento de Programas Estatales y Municipales

Marco Antonio Saacutenchez Gonzaacutelez

Analista del Departamento de Programas Estatales y Municipales

Page 36: Términos de Referencia para la Evaluación del Desempeño ...evaluacion.puebla.gob.mx/pdf/metodologias/TdR_Est/2017/TdR... · Perfil de la instancia evaluadora ... acuerdo con las

PAE 2017 35

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

potenciales de ser implementada Los resultados de este anaacutelisis deberaacuten describirse en el Anexo 7

ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales del Pprdquo

Para la identificacioacuten y descripcioacuten de los ldquocuellos de botellardquo buenas praacutecticas y fortalezas del Pp

se consideraraacute la informacioacuten derivada del anaacutelisis de la operacioacuten del Pp asiacute como los puntos de

vista de los principales actores que intervienen en ella Este anaacutelisis deberaacute contener las causas y las

consecuencias de los ldquocuellos de botellardquo detectados sus caracteriacutesticas y naturaleza (si son

normativas o estrictamente operativas) de igual manera se deberaacute desarrollar un anaacutelisis de las

buenas praacutecticas identificadas

Anaacutelisis de Fortalezas Oportunidades Debilidades y Amenazas

Se debe integrar en una sola tabla las fortalezas oportunidades debilidades y amenazas

especificadas por cada apartado de la evaluacioacuten y reportarlas en el Anexo 11 ldquoPrincipales Fortalezas

Retos y Recomendacionesrdquo en el que se deben incluir las fortalezas yo oportunidades las

debilidades yo amenazas y las recomendaciones por apartado de la evaluacioacuten

PAE 2017 36

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexos

Anexo 1 ldquoDescripcioacuten General del Programardquo

El Anexo tiene formato libre sin embargo debe contener una breve descripcioacuten de las caracteriacutesticas

maacutes relevantes del Pp en un maacuteximo de dos cuartillas Dicha descripcioacuten debe considerar los

siguientes aspectos

1 Identificacioacuten del programa

11 Nombre

12 Clave de programa

13 Dependencia yo Entidad coordinadora ejecutora

14 Antildeo de inicio de operacioacuten

2 Problema o necesidad que el Pp pretende atender atenuar o resolver

3 La contribucioacuten del Pp a las Metas y objetivos estatales a los que se vincula

4 Descripcioacuten de los objetivos del Pp asiacute como de los bienes yo servicios que ofrece

(componentes)

5 Identificacioacuten y cuantificacioacuten de la poblacioacuten o aacuterea de enfoque potencial y

objetivo

6 Presupuesto aprobado para el ejercicio fiscal en curso

7 Metas de los indicadores de Fin Propoacutesito y Componentes asiacute como los de nivel

actividad que se consideren relevantes y

8 Resumen de la valoracioacuten de la pertinencia del disentildeo del Pp respecto a la atencioacuten

del problema o necesidad

Anexo 2 ldquoMetodologiacutea para la cuantificacioacuten de la poblacioacuten o aacuterea de enfoque

potencial y objetivordquo

El Anexo tiene formato libre sin embargo se debe incluir la siguiente informacioacuten

Definicioacuten de la poblacioacuten o aacuterea de enfoque potencial objetivo y atendida

Cuantificacioacuten de la poblacioacuten potencial objetiva y atendida

Hallazgos sobre el procedimiento llevado a cabo para definir y cuantificar la poblacioacuten o

aacuterea de enfoque potencial objetivo y atendida

Recomendaciones

Propuesta orientada hacia la mejora

PAE 2017 37

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 3 ldquoEvolucioacuten de la Coberturardquo

Nombre del

Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten

Antildeo de la Evaluacioacuten

Tipo de Poblacioacuten

Unidad

de

Medida

2012 2013 2014 2015 2016

P Potencial

P Objetivo

P Atendida

119927119912 times 120783120782120782

119927119926

PAE 2017 38

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 4 ldquoPropuesta de mejora de la Matriz de Indicadores para Resultadosrdquo

Derivado del anaacutelisis y valoracioacuten de la pregunta de investigacioacuten nuacutemero 3 iquestLa estructura de

objetivos planteada por el programa mantiene loacutegica y correspondencia causal con el problema

planteado en el diagnoacutestico se realizaraacute una propuesta de mejora de MIR

Fin

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Propoacutesito

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Componente 1

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

PAE 2017 39

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Componente 2 hellip

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 40

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesos del Pprdquo

Para la identificacioacuten y clasificacioacuten de los procesos del Pp se sugieren los siguientes pasos

1 Listar los procesos identificados

Comparar los procesos identificados del Pp con aquellos correspondientes al Modelo general de

procesos Colocar en el rengloacuten correspondiente el nombre de cada proceso del Pp identificado

como equivalente

2 Colocar al final de la lista aquellos procesos del Pp que no sean equivalentes con el Modelo

general de procesos

Modelo general de

procesos

Nuacutemero

de

secuencia

Procesos o subprocesos del Pp identificados por el

evaluador

(Nombre y breve descripcioacuten)

Planeacioacuten Ejemplo (Ej) Planeacioacuten Estrateacutegica

Ej Programacioacuten

Ej Presupuestacioacuten

Comunicacioacuten interna y

externa

Ej Difusioacuten Federal

Ej Difusioacuten Local

Seleccioacuten de

destinatarios

Ej Recepcioacuten de solicitudes de becas

Ej Seleccioacuten de becarios

Produccioacuten de

entregables

Entrega

Control

Seguimiento Ej Seguimiento fiacutesico y supervisioacuten en campo

Evaluacioacuten externa Ej Publicacioacuten y lectura del PAE

Ej Definicioacuten de TdR

Ej Contratacioacuten

Ej Ejecucioacuten de la evaluacioacuten externa

Monitoreo Ej Registro de avances de indicadores

Ej Revisioacuten de registros

Ej Validacioacuten de registros e integracioacuten de informes

PAE 2017 41

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Procesos identificados por el evaluador que no coinciden con el Modelo general de procesos

PAE 2017 42

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 ldquoFichas de indicadores de atributos de los procesos del Pp (formato libre)rdquo

Para la construccioacuten de este anexo deberaacute realizarse una revisioacuten documental (normativa aplicable

MIR evaluaciones externas sistemas de informacioacuten y registros administrativos entre otros) misma

que deberaacute complementarse con el trabajo de campo con el objetivo de identificar disentildear y calcular

indicadores relacionados con dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de

informacioacuten empleadas

Ademaacutes de considerar la medicioacuten de los atributos de eficacia suficiencia oportunidad y pertinencia

de cada proceso y subproceso o macroproceso

PAE 2017 43

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 7 ldquoDiagramas de flujo de la operacioacuten del Pprdquo

Para la elaboracioacuten de los diagramas de flujo deberaacute utilizarse la notacioacuten empleada en el

documento ldquoGuiacutea para la Optimizacioacuten Estandarizacioacuten y Mejora Continua de Procesosrdquo publicada

por la SFP en la direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Para el Diagrama de Alto Nivel (Diagrama PEPSU)

Ejemplo ilustrativo

PAE 2017 44

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para el Diagrama de Flujo

PAE 2017 45

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

PAE 2017 46

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 8 ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales

del Pprdquo

Tipo de

norma-

tiva

Dice

Problema

generado

(causas y

consecuencias)

Se

recomienda

decir

Efecto esperado de

aplicar la

recomendacioacuten de

cambio

Restricciones praacutecticas

que puedan existir para

su implementacioacuten

PAE 2017 47

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 9 ldquoValoracioacuten global cuantitativa ldquo

Seccioacuten 1 Disentildeo

Disentildeo Valoracioacuten Argumento o justificacioacuten

Porcentaje del

Disentildeo del Pp

(Suma de valoracioacuten alcanzada por pregunta de la seccioacuten 1 Total maacuteximo de la

valoracioacuten de todas las preguntas de la seccioacuten 1 ) x 100

Seccioacuten 2 Procesos

Proceso Eficacia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

eficaces

(Total de procesos eficaces Total de procesos del Pp) x 100

Proceso Oportunidad

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

oportunos

(Total de procesos oportunos Total de procesos del Pp) x 100

Proceso Suficiencia

(SiacuteNo) Argumento o justificacioacuten

PAE 2017 48

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Porcentaje de

procesos

suficientes

(Total de procesos suficientes Total de procesos del Pp) x 100

Proceso Pertinencia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

pertinentes

(Total de procesos pertinentes Total de procesos del Pp) x 100

NOTA Los argumentos y justificaciones del evaluador deberaacuten considerar el anaacutelisis y valoraciones de

los subprocesos de cada proceso de modo que haya consistencia entre estos elementos Asimismo el

evaluador deberaacute expresar los resultados de la valoracioacuten cuantitativa en una graacutefica tipo radial

PAE 2017 49

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 10 ldquoSistema de monitoreo e indicadores de gestioacuten del Pp (formato libre)rdquo

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible

Nombre del Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten De Procesos

Antildeo de la Evaluacioacuten 2017

Fin Justificacioacuten Propoacutesito Justificacioacuten Componente (s) Justificacioacuten

Nombre de

Indicador

Meacutetodo de Caacutelculo

Claro SiacuteNo SiacuteNo SiacuteNo

Relevante SiacuteNo SiacuteNo SiacuteNo

Econoacutemico SiacuteNo SiacuteNo SiacuteNo

Monitoreable SiacuteNo SiacuteNo SiacuteNo

Adecuado SiacuteNo SiacuteNo SiacuteNo

Definicioacuten SiacuteNo SiacuteNo SiacuteNo

Unidad de Medida SiacuteNo SiacuteNo SiacuteNo

Frecuencia de

Medicioacuten

SiacuteNo SiacuteNo SiacuteNo

Liacutenea Base SiacuteNo SiacuteNo SiacuteNo

Metas SiacuteNo SiacuteNo SiacuteNo

Comportamiento

del Indicador

SiacuteNo SiacuteNo SiacuteNo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 50

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de Procesos del Pprdquo

En este Anexo la instancia evaluadora debe valorar si la recomendacioacuten implica una consolidacioacuten o

una reingenieriacutea del proceso

A) Consolidacioacuten

Proceso Recomendaci

oacuten

Breve

anaacutelisis de

viabilidad de

la

implementa-

cioacuten

Principales

responsables

de la

implementaci

oacuten

Situacioacuten

actual

Efectos

potenciales

esperados

Medio de

verifica-

cioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

B) Reingenieriacutea de procesos

Proceso Objetivo

Breve

anaacutelisis de

viabilidad

de la

implemen-

tacioacuten

Principales

responsables

de la

implemen-

tacioacuten

Situa-

cioacuten

actual

Metas y

efectos

potenciale

s

esperados

Elabora-

cioacuten de

flujogram

a del

nuevo

proceso

Medio

de

verifi-

cacioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

NOTA El nivel de priorizacioacuten Alto Medio o Bajo se estimaraacute considerando la mejora en la operacioacuten

del Pp la viabilidad de la implementacioacuten de la recomendacioacuten asiacute como el efecto potencial que esto

pueda tener el alcance del objetivo del Pp

PAE 2017 51

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 12 ldquoPrincipales Fortalezas Retos y Recomendacionesrdquo

Capacidades Internas Factores Externos

Fortalezas

(Cualquier capacidad con la que cuenta la dependencia o

entidad que le permita aprovechar sus recursos para la

obtencioacuten de sus objetivos)

Oportunidades

(Cualquier factor externo fuera del control de la dependencia o

entidad que puede ser aprovechado para la obtencioacuten de sus

objetivos)

Debilidades

(Cualquier limitante Interna de la dependencia o entidad que

puede afectar la obtencioacuten de sus objetivos)

Amenazas

(Cualquier factor externo fuera de control de la dependencia o

entidad que pueda afectar la obtencioacuten de sus objetivos)

PAE 2017 52

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacutenrdquo

El Informe Final de la Evaluacioacuten de Procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten

Superior deberaacuten contener una ficha con los siguientes datos

Ficha Teacutecnica con los datos generales de la evaluacioacuten

Nombre o denominacioacuten de la

evaluacioacuten

[Especificar el nombre de la evaluacioacuten considerando su tipo y ejercicio

evaluado]

Nombre o denominacioacuten del

programa evaluado

[Indicar el nombre del Pp sujeto a evaluacioacuten de acuerdo con lo

establecido en el PEF sentildealando su modalidad y clave]

Unidad Responsable de la operacioacuten

del programa

[Especificar la(s) unidad(es) responsable(s) de la administracioacuten

operacioacuten y ejecucioacuten de los programas subprogramas y proyectos del

Pp evaluado correspondientes a las dependencias y entidades]

Titular de la unidad responsable de la

operacioacuten del programa

[Indicar el nombre del(a) Titular de la Unidad Responsable de la

operacioacuten del Pp]

Antildeo del Programa Anual de

Evaluacioacuten (PAE) en que fue

considerada la evaluacioacuten

[Especificar el ejercicio fiscal al que corresponde el PAE en la que fue

programada la evaluacioacuten]

Antildeo de conclusioacuten y entrega de la

evaluacioacuten

[Indicar el antildeo en que se concluyoacute la evaluacioacuten]

Tipo de evaluacioacuten [Especificar el tipo de evaluacioacuten de acuerdo con los Lineamientos de

evaluacioacuten el nombre de la evaluacioacuten y con lo establecido en el PAE]

Nombre de la instancia evaluadora [Indicar el nombre de la firma consultoriacutea u organizacioacuten que realizoacute la

evaluacioacuten]

Nombre del(a) coordinador(a)

externo(a) de la evaluacioacuten

[Especificar el nombre del(a) responsable de la coordinacioacuten de la

evaluacioacuten dla instancia evaluadora]

Nombre de los(as) principales

colaboradores(as) del(a)

coordinador(a) de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del(a)

coordinador(a) de la evaluacioacuten]

PAE 2017 53

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Unidad Administrativa responsable de

la Coordinacioacuten de la evaluacioacuten

[De acuerdo con lo sentildealado en el PAE especificar la instancia a la que

corresponde la coordinacioacuten de la evaluacioacuten pej Secretariacutea de

Finanzas y Administracioacuten (SFA) asiacute como la unidad administrativa

mediante la cual se ejerce esta funcioacuten p ej Direccioacuten de Evaluacioacuten

de la SFA (DEV)

Nombre del(a) Titular de la unidad

administrativa responsable de

coordinar la evaluacioacuten (Aacuterea de

Evaluacioacuten)

[Especificar el nombre del(a) Titular de la Unidad responsable de dar

seguimiento a la evaluacioacuten que funge como Aacuterea de Evaluacioacuten]

Nombres de los(as) servidores(as)

puacuteblicos(as) adscritos(as) a la unidad

administrativa responsable de

coordinar la evaluacioacuten que

coadyuvaron con la revisioacuten teacutecnica

de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del

titular de la unidad administrativa responsable de dar seguimiento a la

evaluacioacuten respecto de la revisioacuten teacutecnica de la misma]

Forma de contratacioacuten de la instancia

evaluadora

[Indicar el tipo de contratacioacuten dla instancia evaluadora Especificar el

tipo de procedimiento de contratacioacuten de la instancia evaluadora

consistente con los tipos de adjudicacioacuten establecidos en la Ley de

Adquisiciones Arrendamientos y Servicios del Sector Puacuteblico]

Costo total de la evaluacioacuten con IVA

incluido

[Especificar el costo total de la evaluacioacuten incluyendo el IVA (en caso

de que se haya causado) como sigue $XXX IVA incluido]

Asimismo en este anexo se deberaacute incluir una nota metodoloacutegica con la descripcioacuten de las teacutecnicas

y los modelos utilizados por el evaluador externo acompantildeada del disentildeo por muestreo

especificando los supuestos empleados y las principales caracteriacutesticas del tamantildeo y dispersioacuten de

la muestra utilizada

DIRECTORIO

Rauacutel Saacutenchez Kobashi

Secretario de la Secretariacutea de Finanzas y Administracioacuten

Francisco Fidel Teomitzi Saacutenchez

Subsecretario de Planeacioacuten

Arturo Neponuceno Crisoacutestomo

Director de Evaluacioacuten

Rodolfo de la Rosa Cabrera

Subdireccioacuten de Evaluacioacuten de Programas

Sauacutel Federico Oropeza Orea

Jefe del Departamento de Programas Estatales y Municipales

Ana Luz Guzmaacuten Figueroa

Analista del Departamento de Programas Estatales y Municipales

Marco Antonio Saacutenchez Gonzaacutelez

Analista del Departamento de Programas Estatales y Municipales

Page 37: Términos de Referencia para la Evaluación del Desempeño ...evaluacion.puebla.gob.mx/pdf/metodologias/TdR_Est/2017/TdR... · Perfil de la instancia evaluadora ... acuerdo con las

PAE 2017 36

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexos

Anexo 1 ldquoDescripcioacuten General del Programardquo

El Anexo tiene formato libre sin embargo debe contener una breve descripcioacuten de las caracteriacutesticas

maacutes relevantes del Pp en un maacuteximo de dos cuartillas Dicha descripcioacuten debe considerar los

siguientes aspectos

1 Identificacioacuten del programa

11 Nombre

12 Clave de programa

13 Dependencia yo Entidad coordinadora ejecutora

14 Antildeo de inicio de operacioacuten

2 Problema o necesidad que el Pp pretende atender atenuar o resolver

3 La contribucioacuten del Pp a las Metas y objetivos estatales a los que se vincula

4 Descripcioacuten de los objetivos del Pp asiacute como de los bienes yo servicios que ofrece

(componentes)

5 Identificacioacuten y cuantificacioacuten de la poblacioacuten o aacuterea de enfoque potencial y

objetivo

6 Presupuesto aprobado para el ejercicio fiscal en curso

7 Metas de los indicadores de Fin Propoacutesito y Componentes asiacute como los de nivel

actividad que se consideren relevantes y

8 Resumen de la valoracioacuten de la pertinencia del disentildeo del Pp respecto a la atencioacuten

del problema o necesidad

Anexo 2 ldquoMetodologiacutea para la cuantificacioacuten de la poblacioacuten o aacuterea de enfoque

potencial y objetivordquo

El Anexo tiene formato libre sin embargo se debe incluir la siguiente informacioacuten

Definicioacuten de la poblacioacuten o aacuterea de enfoque potencial objetivo y atendida

Cuantificacioacuten de la poblacioacuten potencial objetiva y atendida

Hallazgos sobre el procedimiento llevado a cabo para definir y cuantificar la poblacioacuten o

aacuterea de enfoque potencial objetivo y atendida

Recomendaciones

Propuesta orientada hacia la mejora

PAE 2017 37

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 3 ldquoEvolucioacuten de la Coberturardquo

Nombre del

Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten

Antildeo de la Evaluacioacuten

Tipo de Poblacioacuten

Unidad

de

Medida

2012 2013 2014 2015 2016

P Potencial

P Objetivo

P Atendida

119927119912 times 120783120782120782

119927119926

PAE 2017 38

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 4 ldquoPropuesta de mejora de la Matriz de Indicadores para Resultadosrdquo

Derivado del anaacutelisis y valoracioacuten de la pregunta de investigacioacuten nuacutemero 3 iquestLa estructura de

objetivos planteada por el programa mantiene loacutegica y correspondencia causal con el problema

planteado en el diagnoacutestico se realizaraacute una propuesta de mejora de MIR

Fin

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Propoacutesito

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Componente 1

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

PAE 2017 39

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Componente 2 hellip

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 40

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesos del Pprdquo

Para la identificacioacuten y clasificacioacuten de los procesos del Pp se sugieren los siguientes pasos

1 Listar los procesos identificados

Comparar los procesos identificados del Pp con aquellos correspondientes al Modelo general de

procesos Colocar en el rengloacuten correspondiente el nombre de cada proceso del Pp identificado

como equivalente

2 Colocar al final de la lista aquellos procesos del Pp que no sean equivalentes con el Modelo

general de procesos

Modelo general de

procesos

Nuacutemero

de

secuencia

Procesos o subprocesos del Pp identificados por el

evaluador

(Nombre y breve descripcioacuten)

Planeacioacuten Ejemplo (Ej) Planeacioacuten Estrateacutegica

Ej Programacioacuten

Ej Presupuestacioacuten

Comunicacioacuten interna y

externa

Ej Difusioacuten Federal

Ej Difusioacuten Local

Seleccioacuten de

destinatarios

Ej Recepcioacuten de solicitudes de becas

Ej Seleccioacuten de becarios

Produccioacuten de

entregables

Entrega

Control

Seguimiento Ej Seguimiento fiacutesico y supervisioacuten en campo

Evaluacioacuten externa Ej Publicacioacuten y lectura del PAE

Ej Definicioacuten de TdR

Ej Contratacioacuten

Ej Ejecucioacuten de la evaluacioacuten externa

Monitoreo Ej Registro de avances de indicadores

Ej Revisioacuten de registros

Ej Validacioacuten de registros e integracioacuten de informes

PAE 2017 41

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Procesos identificados por el evaluador que no coinciden con el Modelo general de procesos

PAE 2017 42

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 ldquoFichas de indicadores de atributos de los procesos del Pp (formato libre)rdquo

Para la construccioacuten de este anexo deberaacute realizarse una revisioacuten documental (normativa aplicable

MIR evaluaciones externas sistemas de informacioacuten y registros administrativos entre otros) misma

que deberaacute complementarse con el trabajo de campo con el objetivo de identificar disentildear y calcular

indicadores relacionados con dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de

informacioacuten empleadas

Ademaacutes de considerar la medicioacuten de los atributos de eficacia suficiencia oportunidad y pertinencia

de cada proceso y subproceso o macroproceso

PAE 2017 43

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 7 ldquoDiagramas de flujo de la operacioacuten del Pprdquo

Para la elaboracioacuten de los diagramas de flujo deberaacute utilizarse la notacioacuten empleada en el

documento ldquoGuiacutea para la Optimizacioacuten Estandarizacioacuten y Mejora Continua de Procesosrdquo publicada

por la SFP en la direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Para el Diagrama de Alto Nivel (Diagrama PEPSU)

Ejemplo ilustrativo

PAE 2017 44

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para el Diagrama de Flujo

PAE 2017 45

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

PAE 2017 46

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 8 ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales

del Pprdquo

Tipo de

norma-

tiva

Dice

Problema

generado

(causas y

consecuencias)

Se

recomienda

decir

Efecto esperado de

aplicar la

recomendacioacuten de

cambio

Restricciones praacutecticas

que puedan existir para

su implementacioacuten

PAE 2017 47

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 9 ldquoValoracioacuten global cuantitativa ldquo

Seccioacuten 1 Disentildeo

Disentildeo Valoracioacuten Argumento o justificacioacuten

Porcentaje del

Disentildeo del Pp

(Suma de valoracioacuten alcanzada por pregunta de la seccioacuten 1 Total maacuteximo de la

valoracioacuten de todas las preguntas de la seccioacuten 1 ) x 100

Seccioacuten 2 Procesos

Proceso Eficacia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

eficaces

(Total de procesos eficaces Total de procesos del Pp) x 100

Proceso Oportunidad

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

oportunos

(Total de procesos oportunos Total de procesos del Pp) x 100

Proceso Suficiencia

(SiacuteNo) Argumento o justificacioacuten

PAE 2017 48

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Porcentaje de

procesos

suficientes

(Total de procesos suficientes Total de procesos del Pp) x 100

Proceso Pertinencia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

pertinentes

(Total de procesos pertinentes Total de procesos del Pp) x 100

NOTA Los argumentos y justificaciones del evaluador deberaacuten considerar el anaacutelisis y valoraciones de

los subprocesos de cada proceso de modo que haya consistencia entre estos elementos Asimismo el

evaluador deberaacute expresar los resultados de la valoracioacuten cuantitativa en una graacutefica tipo radial

PAE 2017 49

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 10 ldquoSistema de monitoreo e indicadores de gestioacuten del Pp (formato libre)rdquo

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible

Nombre del Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten De Procesos

Antildeo de la Evaluacioacuten 2017

Fin Justificacioacuten Propoacutesito Justificacioacuten Componente (s) Justificacioacuten

Nombre de

Indicador

Meacutetodo de Caacutelculo

Claro SiacuteNo SiacuteNo SiacuteNo

Relevante SiacuteNo SiacuteNo SiacuteNo

Econoacutemico SiacuteNo SiacuteNo SiacuteNo

Monitoreable SiacuteNo SiacuteNo SiacuteNo

Adecuado SiacuteNo SiacuteNo SiacuteNo

Definicioacuten SiacuteNo SiacuteNo SiacuteNo

Unidad de Medida SiacuteNo SiacuteNo SiacuteNo

Frecuencia de

Medicioacuten

SiacuteNo SiacuteNo SiacuteNo

Liacutenea Base SiacuteNo SiacuteNo SiacuteNo

Metas SiacuteNo SiacuteNo SiacuteNo

Comportamiento

del Indicador

SiacuteNo SiacuteNo SiacuteNo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 50

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de Procesos del Pprdquo

En este Anexo la instancia evaluadora debe valorar si la recomendacioacuten implica una consolidacioacuten o

una reingenieriacutea del proceso

A) Consolidacioacuten

Proceso Recomendaci

oacuten

Breve

anaacutelisis de

viabilidad de

la

implementa-

cioacuten

Principales

responsables

de la

implementaci

oacuten

Situacioacuten

actual

Efectos

potenciales

esperados

Medio de

verifica-

cioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

B) Reingenieriacutea de procesos

Proceso Objetivo

Breve

anaacutelisis de

viabilidad

de la

implemen-

tacioacuten

Principales

responsables

de la

implemen-

tacioacuten

Situa-

cioacuten

actual

Metas y

efectos

potenciale

s

esperados

Elabora-

cioacuten de

flujogram

a del

nuevo

proceso

Medio

de

verifi-

cacioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

NOTA El nivel de priorizacioacuten Alto Medio o Bajo se estimaraacute considerando la mejora en la operacioacuten

del Pp la viabilidad de la implementacioacuten de la recomendacioacuten asiacute como el efecto potencial que esto

pueda tener el alcance del objetivo del Pp

PAE 2017 51

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 12 ldquoPrincipales Fortalezas Retos y Recomendacionesrdquo

Capacidades Internas Factores Externos

Fortalezas

(Cualquier capacidad con la que cuenta la dependencia o

entidad que le permita aprovechar sus recursos para la

obtencioacuten de sus objetivos)

Oportunidades

(Cualquier factor externo fuera del control de la dependencia o

entidad que puede ser aprovechado para la obtencioacuten de sus

objetivos)

Debilidades

(Cualquier limitante Interna de la dependencia o entidad que

puede afectar la obtencioacuten de sus objetivos)

Amenazas

(Cualquier factor externo fuera de control de la dependencia o

entidad que pueda afectar la obtencioacuten de sus objetivos)

PAE 2017 52

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacutenrdquo

El Informe Final de la Evaluacioacuten de Procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten

Superior deberaacuten contener una ficha con los siguientes datos

Ficha Teacutecnica con los datos generales de la evaluacioacuten

Nombre o denominacioacuten de la

evaluacioacuten

[Especificar el nombre de la evaluacioacuten considerando su tipo y ejercicio

evaluado]

Nombre o denominacioacuten del

programa evaluado

[Indicar el nombre del Pp sujeto a evaluacioacuten de acuerdo con lo

establecido en el PEF sentildealando su modalidad y clave]

Unidad Responsable de la operacioacuten

del programa

[Especificar la(s) unidad(es) responsable(s) de la administracioacuten

operacioacuten y ejecucioacuten de los programas subprogramas y proyectos del

Pp evaluado correspondientes a las dependencias y entidades]

Titular de la unidad responsable de la

operacioacuten del programa

[Indicar el nombre del(a) Titular de la Unidad Responsable de la

operacioacuten del Pp]

Antildeo del Programa Anual de

Evaluacioacuten (PAE) en que fue

considerada la evaluacioacuten

[Especificar el ejercicio fiscal al que corresponde el PAE en la que fue

programada la evaluacioacuten]

Antildeo de conclusioacuten y entrega de la

evaluacioacuten

[Indicar el antildeo en que se concluyoacute la evaluacioacuten]

Tipo de evaluacioacuten [Especificar el tipo de evaluacioacuten de acuerdo con los Lineamientos de

evaluacioacuten el nombre de la evaluacioacuten y con lo establecido en el PAE]

Nombre de la instancia evaluadora [Indicar el nombre de la firma consultoriacutea u organizacioacuten que realizoacute la

evaluacioacuten]

Nombre del(a) coordinador(a)

externo(a) de la evaluacioacuten

[Especificar el nombre del(a) responsable de la coordinacioacuten de la

evaluacioacuten dla instancia evaluadora]

Nombre de los(as) principales

colaboradores(as) del(a)

coordinador(a) de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del(a)

coordinador(a) de la evaluacioacuten]

PAE 2017 53

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Unidad Administrativa responsable de

la Coordinacioacuten de la evaluacioacuten

[De acuerdo con lo sentildealado en el PAE especificar la instancia a la que

corresponde la coordinacioacuten de la evaluacioacuten pej Secretariacutea de

Finanzas y Administracioacuten (SFA) asiacute como la unidad administrativa

mediante la cual se ejerce esta funcioacuten p ej Direccioacuten de Evaluacioacuten

de la SFA (DEV)

Nombre del(a) Titular de la unidad

administrativa responsable de

coordinar la evaluacioacuten (Aacuterea de

Evaluacioacuten)

[Especificar el nombre del(a) Titular de la Unidad responsable de dar

seguimiento a la evaluacioacuten que funge como Aacuterea de Evaluacioacuten]

Nombres de los(as) servidores(as)

puacuteblicos(as) adscritos(as) a la unidad

administrativa responsable de

coordinar la evaluacioacuten que

coadyuvaron con la revisioacuten teacutecnica

de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del

titular de la unidad administrativa responsable de dar seguimiento a la

evaluacioacuten respecto de la revisioacuten teacutecnica de la misma]

Forma de contratacioacuten de la instancia

evaluadora

[Indicar el tipo de contratacioacuten dla instancia evaluadora Especificar el

tipo de procedimiento de contratacioacuten de la instancia evaluadora

consistente con los tipos de adjudicacioacuten establecidos en la Ley de

Adquisiciones Arrendamientos y Servicios del Sector Puacuteblico]

Costo total de la evaluacioacuten con IVA

incluido

[Especificar el costo total de la evaluacioacuten incluyendo el IVA (en caso

de que se haya causado) como sigue $XXX IVA incluido]

Asimismo en este anexo se deberaacute incluir una nota metodoloacutegica con la descripcioacuten de las teacutecnicas

y los modelos utilizados por el evaluador externo acompantildeada del disentildeo por muestreo

especificando los supuestos empleados y las principales caracteriacutesticas del tamantildeo y dispersioacuten de

la muestra utilizada

DIRECTORIO

Rauacutel Saacutenchez Kobashi

Secretario de la Secretariacutea de Finanzas y Administracioacuten

Francisco Fidel Teomitzi Saacutenchez

Subsecretario de Planeacioacuten

Arturo Neponuceno Crisoacutestomo

Director de Evaluacioacuten

Rodolfo de la Rosa Cabrera

Subdireccioacuten de Evaluacioacuten de Programas

Sauacutel Federico Oropeza Orea

Jefe del Departamento de Programas Estatales y Municipales

Ana Luz Guzmaacuten Figueroa

Analista del Departamento de Programas Estatales y Municipales

Marco Antonio Saacutenchez Gonzaacutelez

Analista del Departamento de Programas Estatales y Municipales

Page 38: Términos de Referencia para la Evaluación del Desempeño ...evaluacion.puebla.gob.mx/pdf/metodologias/TdR_Est/2017/TdR... · Perfil de la instancia evaluadora ... acuerdo con las

PAE 2017 37

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 3 ldquoEvolucioacuten de la Coberturardquo

Nombre del

Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten

Antildeo de la Evaluacioacuten

Tipo de Poblacioacuten

Unidad

de

Medida

2012 2013 2014 2015 2016

P Potencial

P Objetivo

P Atendida

119927119912 times 120783120782120782

119927119926

PAE 2017 38

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 4 ldquoPropuesta de mejora de la Matriz de Indicadores para Resultadosrdquo

Derivado del anaacutelisis y valoracioacuten de la pregunta de investigacioacuten nuacutemero 3 iquestLa estructura de

objetivos planteada por el programa mantiene loacutegica y correspondencia causal con el problema

planteado en el diagnoacutestico se realizaraacute una propuesta de mejora de MIR

Fin

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Propoacutesito

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Componente 1

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

PAE 2017 39

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Componente 2 hellip

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 40

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesos del Pprdquo

Para la identificacioacuten y clasificacioacuten de los procesos del Pp se sugieren los siguientes pasos

1 Listar los procesos identificados

Comparar los procesos identificados del Pp con aquellos correspondientes al Modelo general de

procesos Colocar en el rengloacuten correspondiente el nombre de cada proceso del Pp identificado

como equivalente

2 Colocar al final de la lista aquellos procesos del Pp que no sean equivalentes con el Modelo

general de procesos

Modelo general de

procesos

Nuacutemero

de

secuencia

Procesos o subprocesos del Pp identificados por el

evaluador

(Nombre y breve descripcioacuten)

Planeacioacuten Ejemplo (Ej) Planeacioacuten Estrateacutegica

Ej Programacioacuten

Ej Presupuestacioacuten

Comunicacioacuten interna y

externa

Ej Difusioacuten Federal

Ej Difusioacuten Local

Seleccioacuten de

destinatarios

Ej Recepcioacuten de solicitudes de becas

Ej Seleccioacuten de becarios

Produccioacuten de

entregables

Entrega

Control

Seguimiento Ej Seguimiento fiacutesico y supervisioacuten en campo

Evaluacioacuten externa Ej Publicacioacuten y lectura del PAE

Ej Definicioacuten de TdR

Ej Contratacioacuten

Ej Ejecucioacuten de la evaluacioacuten externa

Monitoreo Ej Registro de avances de indicadores

Ej Revisioacuten de registros

Ej Validacioacuten de registros e integracioacuten de informes

PAE 2017 41

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Procesos identificados por el evaluador que no coinciden con el Modelo general de procesos

PAE 2017 42

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 ldquoFichas de indicadores de atributos de los procesos del Pp (formato libre)rdquo

Para la construccioacuten de este anexo deberaacute realizarse una revisioacuten documental (normativa aplicable

MIR evaluaciones externas sistemas de informacioacuten y registros administrativos entre otros) misma

que deberaacute complementarse con el trabajo de campo con el objetivo de identificar disentildear y calcular

indicadores relacionados con dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de

informacioacuten empleadas

Ademaacutes de considerar la medicioacuten de los atributos de eficacia suficiencia oportunidad y pertinencia

de cada proceso y subproceso o macroproceso

PAE 2017 43

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 7 ldquoDiagramas de flujo de la operacioacuten del Pprdquo

Para la elaboracioacuten de los diagramas de flujo deberaacute utilizarse la notacioacuten empleada en el

documento ldquoGuiacutea para la Optimizacioacuten Estandarizacioacuten y Mejora Continua de Procesosrdquo publicada

por la SFP en la direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Para el Diagrama de Alto Nivel (Diagrama PEPSU)

Ejemplo ilustrativo

PAE 2017 44

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para el Diagrama de Flujo

PAE 2017 45

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

PAE 2017 46

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 8 ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales

del Pprdquo

Tipo de

norma-

tiva

Dice

Problema

generado

(causas y

consecuencias)

Se

recomienda

decir

Efecto esperado de

aplicar la

recomendacioacuten de

cambio

Restricciones praacutecticas

que puedan existir para

su implementacioacuten

PAE 2017 47

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 9 ldquoValoracioacuten global cuantitativa ldquo

Seccioacuten 1 Disentildeo

Disentildeo Valoracioacuten Argumento o justificacioacuten

Porcentaje del

Disentildeo del Pp

(Suma de valoracioacuten alcanzada por pregunta de la seccioacuten 1 Total maacuteximo de la

valoracioacuten de todas las preguntas de la seccioacuten 1 ) x 100

Seccioacuten 2 Procesos

Proceso Eficacia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

eficaces

(Total de procesos eficaces Total de procesos del Pp) x 100

Proceso Oportunidad

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

oportunos

(Total de procesos oportunos Total de procesos del Pp) x 100

Proceso Suficiencia

(SiacuteNo) Argumento o justificacioacuten

PAE 2017 48

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Porcentaje de

procesos

suficientes

(Total de procesos suficientes Total de procesos del Pp) x 100

Proceso Pertinencia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

pertinentes

(Total de procesos pertinentes Total de procesos del Pp) x 100

NOTA Los argumentos y justificaciones del evaluador deberaacuten considerar el anaacutelisis y valoraciones de

los subprocesos de cada proceso de modo que haya consistencia entre estos elementos Asimismo el

evaluador deberaacute expresar los resultados de la valoracioacuten cuantitativa en una graacutefica tipo radial

PAE 2017 49

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 10 ldquoSistema de monitoreo e indicadores de gestioacuten del Pp (formato libre)rdquo

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible

Nombre del Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten De Procesos

Antildeo de la Evaluacioacuten 2017

Fin Justificacioacuten Propoacutesito Justificacioacuten Componente (s) Justificacioacuten

Nombre de

Indicador

Meacutetodo de Caacutelculo

Claro SiacuteNo SiacuteNo SiacuteNo

Relevante SiacuteNo SiacuteNo SiacuteNo

Econoacutemico SiacuteNo SiacuteNo SiacuteNo

Monitoreable SiacuteNo SiacuteNo SiacuteNo

Adecuado SiacuteNo SiacuteNo SiacuteNo

Definicioacuten SiacuteNo SiacuteNo SiacuteNo

Unidad de Medida SiacuteNo SiacuteNo SiacuteNo

Frecuencia de

Medicioacuten

SiacuteNo SiacuteNo SiacuteNo

Liacutenea Base SiacuteNo SiacuteNo SiacuteNo

Metas SiacuteNo SiacuteNo SiacuteNo

Comportamiento

del Indicador

SiacuteNo SiacuteNo SiacuteNo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 50

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de Procesos del Pprdquo

En este Anexo la instancia evaluadora debe valorar si la recomendacioacuten implica una consolidacioacuten o

una reingenieriacutea del proceso

A) Consolidacioacuten

Proceso Recomendaci

oacuten

Breve

anaacutelisis de

viabilidad de

la

implementa-

cioacuten

Principales

responsables

de la

implementaci

oacuten

Situacioacuten

actual

Efectos

potenciales

esperados

Medio de

verifica-

cioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

B) Reingenieriacutea de procesos

Proceso Objetivo

Breve

anaacutelisis de

viabilidad

de la

implemen-

tacioacuten

Principales

responsables

de la

implemen-

tacioacuten

Situa-

cioacuten

actual

Metas y

efectos

potenciale

s

esperados

Elabora-

cioacuten de

flujogram

a del

nuevo

proceso

Medio

de

verifi-

cacioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

NOTA El nivel de priorizacioacuten Alto Medio o Bajo se estimaraacute considerando la mejora en la operacioacuten

del Pp la viabilidad de la implementacioacuten de la recomendacioacuten asiacute como el efecto potencial que esto

pueda tener el alcance del objetivo del Pp

PAE 2017 51

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 12 ldquoPrincipales Fortalezas Retos y Recomendacionesrdquo

Capacidades Internas Factores Externos

Fortalezas

(Cualquier capacidad con la que cuenta la dependencia o

entidad que le permita aprovechar sus recursos para la

obtencioacuten de sus objetivos)

Oportunidades

(Cualquier factor externo fuera del control de la dependencia o

entidad que puede ser aprovechado para la obtencioacuten de sus

objetivos)

Debilidades

(Cualquier limitante Interna de la dependencia o entidad que

puede afectar la obtencioacuten de sus objetivos)

Amenazas

(Cualquier factor externo fuera de control de la dependencia o

entidad que pueda afectar la obtencioacuten de sus objetivos)

PAE 2017 52

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacutenrdquo

El Informe Final de la Evaluacioacuten de Procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten

Superior deberaacuten contener una ficha con los siguientes datos

Ficha Teacutecnica con los datos generales de la evaluacioacuten

Nombre o denominacioacuten de la

evaluacioacuten

[Especificar el nombre de la evaluacioacuten considerando su tipo y ejercicio

evaluado]

Nombre o denominacioacuten del

programa evaluado

[Indicar el nombre del Pp sujeto a evaluacioacuten de acuerdo con lo

establecido en el PEF sentildealando su modalidad y clave]

Unidad Responsable de la operacioacuten

del programa

[Especificar la(s) unidad(es) responsable(s) de la administracioacuten

operacioacuten y ejecucioacuten de los programas subprogramas y proyectos del

Pp evaluado correspondientes a las dependencias y entidades]

Titular de la unidad responsable de la

operacioacuten del programa

[Indicar el nombre del(a) Titular de la Unidad Responsable de la

operacioacuten del Pp]

Antildeo del Programa Anual de

Evaluacioacuten (PAE) en que fue

considerada la evaluacioacuten

[Especificar el ejercicio fiscal al que corresponde el PAE en la que fue

programada la evaluacioacuten]

Antildeo de conclusioacuten y entrega de la

evaluacioacuten

[Indicar el antildeo en que se concluyoacute la evaluacioacuten]

Tipo de evaluacioacuten [Especificar el tipo de evaluacioacuten de acuerdo con los Lineamientos de

evaluacioacuten el nombre de la evaluacioacuten y con lo establecido en el PAE]

Nombre de la instancia evaluadora [Indicar el nombre de la firma consultoriacutea u organizacioacuten que realizoacute la

evaluacioacuten]

Nombre del(a) coordinador(a)

externo(a) de la evaluacioacuten

[Especificar el nombre del(a) responsable de la coordinacioacuten de la

evaluacioacuten dla instancia evaluadora]

Nombre de los(as) principales

colaboradores(as) del(a)

coordinador(a) de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del(a)

coordinador(a) de la evaluacioacuten]

PAE 2017 53

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Unidad Administrativa responsable de

la Coordinacioacuten de la evaluacioacuten

[De acuerdo con lo sentildealado en el PAE especificar la instancia a la que

corresponde la coordinacioacuten de la evaluacioacuten pej Secretariacutea de

Finanzas y Administracioacuten (SFA) asiacute como la unidad administrativa

mediante la cual se ejerce esta funcioacuten p ej Direccioacuten de Evaluacioacuten

de la SFA (DEV)

Nombre del(a) Titular de la unidad

administrativa responsable de

coordinar la evaluacioacuten (Aacuterea de

Evaluacioacuten)

[Especificar el nombre del(a) Titular de la Unidad responsable de dar

seguimiento a la evaluacioacuten que funge como Aacuterea de Evaluacioacuten]

Nombres de los(as) servidores(as)

puacuteblicos(as) adscritos(as) a la unidad

administrativa responsable de

coordinar la evaluacioacuten que

coadyuvaron con la revisioacuten teacutecnica

de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del

titular de la unidad administrativa responsable de dar seguimiento a la

evaluacioacuten respecto de la revisioacuten teacutecnica de la misma]

Forma de contratacioacuten de la instancia

evaluadora

[Indicar el tipo de contratacioacuten dla instancia evaluadora Especificar el

tipo de procedimiento de contratacioacuten de la instancia evaluadora

consistente con los tipos de adjudicacioacuten establecidos en la Ley de

Adquisiciones Arrendamientos y Servicios del Sector Puacuteblico]

Costo total de la evaluacioacuten con IVA

incluido

[Especificar el costo total de la evaluacioacuten incluyendo el IVA (en caso

de que se haya causado) como sigue $XXX IVA incluido]

Asimismo en este anexo se deberaacute incluir una nota metodoloacutegica con la descripcioacuten de las teacutecnicas

y los modelos utilizados por el evaluador externo acompantildeada del disentildeo por muestreo

especificando los supuestos empleados y las principales caracteriacutesticas del tamantildeo y dispersioacuten de

la muestra utilizada

DIRECTORIO

Rauacutel Saacutenchez Kobashi

Secretario de la Secretariacutea de Finanzas y Administracioacuten

Francisco Fidel Teomitzi Saacutenchez

Subsecretario de Planeacioacuten

Arturo Neponuceno Crisoacutestomo

Director de Evaluacioacuten

Rodolfo de la Rosa Cabrera

Subdireccioacuten de Evaluacioacuten de Programas

Sauacutel Federico Oropeza Orea

Jefe del Departamento de Programas Estatales y Municipales

Ana Luz Guzmaacuten Figueroa

Analista del Departamento de Programas Estatales y Municipales

Marco Antonio Saacutenchez Gonzaacutelez

Analista del Departamento de Programas Estatales y Municipales

Page 39: Términos de Referencia para la Evaluación del Desempeño ...evaluacion.puebla.gob.mx/pdf/metodologias/TdR_Est/2017/TdR... · Perfil de la instancia evaluadora ... acuerdo con las

PAE 2017 38

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 4 ldquoPropuesta de mejora de la Matriz de Indicadores para Resultadosrdquo

Derivado del anaacutelisis y valoracioacuten de la pregunta de investigacioacuten nuacutemero 3 iquestLa estructura de

objetivos planteada por el programa mantiene loacutegica y correspondencia causal con el problema

planteado en el diagnoacutestico se realizaraacute una propuesta de mejora de MIR

Fin

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Propoacutesito

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Componente 1

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

PAE 2017 39

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Componente 2 hellip

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 40

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesos del Pprdquo

Para la identificacioacuten y clasificacioacuten de los procesos del Pp se sugieren los siguientes pasos

1 Listar los procesos identificados

Comparar los procesos identificados del Pp con aquellos correspondientes al Modelo general de

procesos Colocar en el rengloacuten correspondiente el nombre de cada proceso del Pp identificado

como equivalente

2 Colocar al final de la lista aquellos procesos del Pp que no sean equivalentes con el Modelo

general de procesos

Modelo general de

procesos

Nuacutemero

de

secuencia

Procesos o subprocesos del Pp identificados por el

evaluador

(Nombre y breve descripcioacuten)

Planeacioacuten Ejemplo (Ej) Planeacioacuten Estrateacutegica

Ej Programacioacuten

Ej Presupuestacioacuten

Comunicacioacuten interna y

externa

Ej Difusioacuten Federal

Ej Difusioacuten Local

Seleccioacuten de

destinatarios

Ej Recepcioacuten de solicitudes de becas

Ej Seleccioacuten de becarios

Produccioacuten de

entregables

Entrega

Control

Seguimiento Ej Seguimiento fiacutesico y supervisioacuten en campo

Evaluacioacuten externa Ej Publicacioacuten y lectura del PAE

Ej Definicioacuten de TdR

Ej Contratacioacuten

Ej Ejecucioacuten de la evaluacioacuten externa

Monitoreo Ej Registro de avances de indicadores

Ej Revisioacuten de registros

Ej Validacioacuten de registros e integracioacuten de informes

PAE 2017 41

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Procesos identificados por el evaluador que no coinciden con el Modelo general de procesos

PAE 2017 42

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 ldquoFichas de indicadores de atributos de los procesos del Pp (formato libre)rdquo

Para la construccioacuten de este anexo deberaacute realizarse una revisioacuten documental (normativa aplicable

MIR evaluaciones externas sistemas de informacioacuten y registros administrativos entre otros) misma

que deberaacute complementarse con el trabajo de campo con el objetivo de identificar disentildear y calcular

indicadores relacionados con dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de

informacioacuten empleadas

Ademaacutes de considerar la medicioacuten de los atributos de eficacia suficiencia oportunidad y pertinencia

de cada proceso y subproceso o macroproceso

PAE 2017 43

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 7 ldquoDiagramas de flujo de la operacioacuten del Pprdquo

Para la elaboracioacuten de los diagramas de flujo deberaacute utilizarse la notacioacuten empleada en el

documento ldquoGuiacutea para la Optimizacioacuten Estandarizacioacuten y Mejora Continua de Procesosrdquo publicada

por la SFP en la direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Para el Diagrama de Alto Nivel (Diagrama PEPSU)

Ejemplo ilustrativo

PAE 2017 44

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para el Diagrama de Flujo

PAE 2017 45

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

PAE 2017 46

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 8 ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales

del Pprdquo

Tipo de

norma-

tiva

Dice

Problema

generado

(causas y

consecuencias)

Se

recomienda

decir

Efecto esperado de

aplicar la

recomendacioacuten de

cambio

Restricciones praacutecticas

que puedan existir para

su implementacioacuten

PAE 2017 47

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 9 ldquoValoracioacuten global cuantitativa ldquo

Seccioacuten 1 Disentildeo

Disentildeo Valoracioacuten Argumento o justificacioacuten

Porcentaje del

Disentildeo del Pp

(Suma de valoracioacuten alcanzada por pregunta de la seccioacuten 1 Total maacuteximo de la

valoracioacuten de todas las preguntas de la seccioacuten 1 ) x 100

Seccioacuten 2 Procesos

Proceso Eficacia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

eficaces

(Total de procesos eficaces Total de procesos del Pp) x 100

Proceso Oportunidad

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

oportunos

(Total de procesos oportunos Total de procesos del Pp) x 100

Proceso Suficiencia

(SiacuteNo) Argumento o justificacioacuten

PAE 2017 48

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Porcentaje de

procesos

suficientes

(Total de procesos suficientes Total de procesos del Pp) x 100

Proceso Pertinencia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

pertinentes

(Total de procesos pertinentes Total de procesos del Pp) x 100

NOTA Los argumentos y justificaciones del evaluador deberaacuten considerar el anaacutelisis y valoraciones de

los subprocesos de cada proceso de modo que haya consistencia entre estos elementos Asimismo el

evaluador deberaacute expresar los resultados de la valoracioacuten cuantitativa en una graacutefica tipo radial

PAE 2017 49

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 10 ldquoSistema de monitoreo e indicadores de gestioacuten del Pp (formato libre)rdquo

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible

Nombre del Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten De Procesos

Antildeo de la Evaluacioacuten 2017

Fin Justificacioacuten Propoacutesito Justificacioacuten Componente (s) Justificacioacuten

Nombre de

Indicador

Meacutetodo de Caacutelculo

Claro SiacuteNo SiacuteNo SiacuteNo

Relevante SiacuteNo SiacuteNo SiacuteNo

Econoacutemico SiacuteNo SiacuteNo SiacuteNo

Monitoreable SiacuteNo SiacuteNo SiacuteNo

Adecuado SiacuteNo SiacuteNo SiacuteNo

Definicioacuten SiacuteNo SiacuteNo SiacuteNo

Unidad de Medida SiacuteNo SiacuteNo SiacuteNo

Frecuencia de

Medicioacuten

SiacuteNo SiacuteNo SiacuteNo

Liacutenea Base SiacuteNo SiacuteNo SiacuteNo

Metas SiacuteNo SiacuteNo SiacuteNo

Comportamiento

del Indicador

SiacuteNo SiacuteNo SiacuteNo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 50

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de Procesos del Pprdquo

En este Anexo la instancia evaluadora debe valorar si la recomendacioacuten implica una consolidacioacuten o

una reingenieriacutea del proceso

A) Consolidacioacuten

Proceso Recomendaci

oacuten

Breve

anaacutelisis de

viabilidad de

la

implementa-

cioacuten

Principales

responsables

de la

implementaci

oacuten

Situacioacuten

actual

Efectos

potenciales

esperados

Medio de

verifica-

cioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

B) Reingenieriacutea de procesos

Proceso Objetivo

Breve

anaacutelisis de

viabilidad

de la

implemen-

tacioacuten

Principales

responsables

de la

implemen-

tacioacuten

Situa-

cioacuten

actual

Metas y

efectos

potenciale

s

esperados

Elabora-

cioacuten de

flujogram

a del

nuevo

proceso

Medio

de

verifi-

cacioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

NOTA El nivel de priorizacioacuten Alto Medio o Bajo se estimaraacute considerando la mejora en la operacioacuten

del Pp la viabilidad de la implementacioacuten de la recomendacioacuten asiacute como el efecto potencial que esto

pueda tener el alcance del objetivo del Pp

PAE 2017 51

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 12 ldquoPrincipales Fortalezas Retos y Recomendacionesrdquo

Capacidades Internas Factores Externos

Fortalezas

(Cualquier capacidad con la que cuenta la dependencia o

entidad que le permita aprovechar sus recursos para la

obtencioacuten de sus objetivos)

Oportunidades

(Cualquier factor externo fuera del control de la dependencia o

entidad que puede ser aprovechado para la obtencioacuten de sus

objetivos)

Debilidades

(Cualquier limitante Interna de la dependencia o entidad que

puede afectar la obtencioacuten de sus objetivos)

Amenazas

(Cualquier factor externo fuera de control de la dependencia o

entidad que pueda afectar la obtencioacuten de sus objetivos)

PAE 2017 52

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacutenrdquo

El Informe Final de la Evaluacioacuten de Procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten

Superior deberaacuten contener una ficha con los siguientes datos

Ficha Teacutecnica con los datos generales de la evaluacioacuten

Nombre o denominacioacuten de la

evaluacioacuten

[Especificar el nombre de la evaluacioacuten considerando su tipo y ejercicio

evaluado]

Nombre o denominacioacuten del

programa evaluado

[Indicar el nombre del Pp sujeto a evaluacioacuten de acuerdo con lo

establecido en el PEF sentildealando su modalidad y clave]

Unidad Responsable de la operacioacuten

del programa

[Especificar la(s) unidad(es) responsable(s) de la administracioacuten

operacioacuten y ejecucioacuten de los programas subprogramas y proyectos del

Pp evaluado correspondientes a las dependencias y entidades]

Titular de la unidad responsable de la

operacioacuten del programa

[Indicar el nombre del(a) Titular de la Unidad Responsable de la

operacioacuten del Pp]

Antildeo del Programa Anual de

Evaluacioacuten (PAE) en que fue

considerada la evaluacioacuten

[Especificar el ejercicio fiscal al que corresponde el PAE en la que fue

programada la evaluacioacuten]

Antildeo de conclusioacuten y entrega de la

evaluacioacuten

[Indicar el antildeo en que se concluyoacute la evaluacioacuten]

Tipo de evaluacioacuten [Especificar el tipo de evaluacioacuten de acuerdo con los Lineamientos de

evaluacioacuten el nombre de la evaluacioacuten y con lo establecido en el PAE]

Nombre de la instancia evaluadora [Indicar el nombre de la firma consultoriacutea u organizacioacuten que realizoacute la

evaluacioacuten]

Nombre del(a) coordinador(a)

externo(a) de la evaluacioacuten

[Especificar el nombre del(a) responsable de la coordinacioacuten de la

evaluacioacuten dla instancia evaluadora]

Nombre de los(as) principales

colaboradores(as) del(a)

coordinador(a) de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del(a)

coordinador(a) de la evaluacioacuten]

PAE 2017 53

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Unidad Administrativa responsable de

la Coordinacioacuten de la evaluacioacuten

[De acuerdo con lo sentildealado en el PAE especificar la instancia a la que

corresponde la coordinacioacuten de la evaluacioacuten pej Secretariacutea de

Finanzas y Administracioacuten (SFA) asiacute como la unidad administrativa

mediante la cual se ejerce esta funcioacuten p ej Direccioacuten de Evaluacioacuten

de la SFA (DEV)

Nombre del(a) Titular de la unidad

administrativa responsable de

coordinar la evaluacioacuten (Aacuterea de

Evaluacioacuten)

[Especificar el nombre del(a) Titular de la Unidad responsable de dar

seguimiento a la evaluacioacuten que funge como Aacuterea de Evaluacioacuten]

Nombres de los(as) servidores(as)

puacuteblicos(as) adscritos(as) a la unidad

administrativa responsable de

coordinar la evaluacioacuten que

coadyuvaron con la revisioacuten teacutecnica

de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del

titular de la unidad administrativa responsable de dar seguimiento a la

evaluacioacuten respecto de la revisioacuten teacutecnica de la misma]

Forma de contratacioacuten de la instancia

evaluadora

[Indicar el tipo de contratacioacuten dla instancia evaluadora Especificar el

tipo de procedimiento de contratacioacuten de la instancia evaluadora

consistente con los tipos de adjudicacioacuten establecidos en la Ley de

Adquisiciones Arrendamientos y Servicios del Sector Puacuteblico]

Costo total de la evaluacioacuten con IVA

incluido

[Especificar el costo total de la evaluacioacuten incluyendo el IVA (en caso

de que se haya causado) como sigue $XXX IVA incluido]

Asimismo en este anexo se deberaacute incluir una nota metodoloacutegica con la descripcioacuten de las teacutecnicas

y los modelos utilizados por el evaluador externo acompantildeada del disentildeo por muestreo

especificando los supuestos empleados y las principales caracteriacutesticas del tamantildeo y dispersioacuten de

la muestra utilizada

DIRECTORIO

Rauacutel Saacutenchez Kobashi

Secretario de la Secretariacutea de Finanzas y Administracioacuten

Francisco Fidel Teomitzi Saacutenchez

Subsecretario de Planeacioacuten

Arturo Neponuceno Crisoacutestomo

Director de Evaluacioacuten

Rodolfo de la Rosa Cabrera

Subdireccioacuten de Evaluacioacuten de Programas

Sauacutel Federico Oropeza Orea

Jefe del Departamento de Programas Estatales y Municipales

Ana Luz Guzmaacuten Figueroa

Analista del Departamento de Programas Estatales y Municipales

Marco Antonio Saacutenchez Gonzaacutelez

Analista del Departamento de Programas Estatales y Municipales

Page 40: Términos de Referencia para la Evaluación del Desempeño ...evaluacion.puebla.gob.mx/pdf/metodologias/TdR_Est/2017/TdR... · Perfil de la instancia evaluadora ... acuerdo con las

PAE 2017 39

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Componente 2 hellip

Objetivo Indicador Medios de Verificacioacuten Supuesto

Tipo Dimensioacuten Frecuencia Meta Meacutetodo de Caacutelculo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 40

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesos del Pprdquo

Para la identificacioacuten y clasificacioacuten de los procesos del Pp se sugieren los siguientes pasos

1 Listar los procesos identificados

Comparar los procesos identificados del Pp con aquellos correspondientes al Modelo general de

procesos Colocar en el rengloacuten correspondiente el nombre de cada proceso del Pp identificado

como equivalente

2 Colocar al final de la lista aquellos procesos del Pp que no sean equivalentes con el Modelo

general de procesos

Modelo general de

procesos

Nuacutemero

de

secuencia

Procesos o subprocesos del Pp identificados por el

evaluador

(Nombre y breve descripcioacuten)

Planeacioacuten Ejemplo (Ej) Planeacioacuten Estrateacutegica

Ej Programacioacuten

Ej Presupuestacioacuten

Comunicacioacuten interna y

externa

Ej Difusioacuten Federal

Ej Difusioacuten Local

Seleccioacuten de

destinatarios

Ej Recepcioacuten de solicitudes de becas

Ej Seleccioacuten de becarios

Produccioacuten de

entregables

Entrega

Control

Seguimiento Ej Seguimiento fiacutesico y supervisioacuten en campo

Evaluacioacuten externa Ej Publicacioacuten y lectura del PAE

Ej Definicioacuten de TdR

Ej Contratacioacuten

Ej Ejecucioacuten de la evaluacioacuten externa

Monitoreo Ej Registro de avances de indicadores

Ej Revisioacuten de registros

Ej Validacioacuten de registros e integracioacuten de informes

PAE 2017 41

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Procesos identificados por el evaluador que no coinciden con el Modelo general de procesos

PAE 2017 42

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 ldquoFichas de indicadores de atributos de los procesos del Pp (formato libre)rdquo

Para la construccioacuten de este anexo deberaacute realizarse una revisioacuten documental (normativa aplicable

MIR evaluaciones externas sistemas de informacioacuten y registros administrativos entre otros) misma

que deberaacute complementarse con el trabajo de campo con el objetivo de identificar disentildear y calcular

indicadores relacionados con dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de

informacioacuten empleadas

Ademaacutes de considerar la medicioacuten de los atributos de eficacia suficiencia oportunidad y pertinencia

de cada proceso y subproceso o macroproceso

PAE 2017 43

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 7 ldquoDiagramas de flujo de la operacioacuten del Pprdquo

Para la elaboracioacuten de los diagramas de flujo deberaacute utilizarse la notacioacuten empleada en el

documento ldquoGuiacutea para la Optimizacioacuten Estandarizacioacuten y Mejora Continua de Procesosrdquo publicada

por la SFP en la direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Para el Diagrama de Alto Nivel (Diagrama PEPSU)

Ejemplo ilustrativo

PAE 2017 44

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para el Diagrama de Flujo

PAE 2017 45

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

PAE 2017 46

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 8 ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales

del Pprdquo

Tipo de

norma-

tiva

Dice

Problema

generado

(causas y

consecuencias)

Se

recomienda

decir

Efecto esperado de

aplicar la

recomendacioacuten de

cambio

Restricciones praacutecticas

que puedan existir para

su implementacioacuten

PAE 2017 47

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 9 ldquoValoracioacuten global cuantitativa ldquo

Seccioacuten 1 Disentildeo

Disentildeo Valoracioacuten Argumento o justificacioacuten

Porcentaje del

Disentildeo del Pp

(Suma de valoracioacuten alcanzada por pregunta de la seccioacuten 1 Total maacuteximo de la

valoracioacuten de todas las preguntas de la seccioacuten 1 ) x 100

Seccioacuten 2 Procesos

Proceso Eficacia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

eficaces

(Total de procesos eficaces Total de procesos del Pp) x 100

Proceso Oportunidad

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

oportunos

(Total de procesos oportunos Total de procesos del Pp) x 100

Proceso Suficiencia

(SiacuteNo) Argumento o justificacioacuten

PAE 2017 48

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Porcentaje de

procesos

suficientes

(Total de procesos suficientes Total de procesos del Pp) x 100

Proceso Pertinencia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

pertinentes

(Total de procesos pertinentes Total de procesos del Pp) x 100

NOTA Los argumentos y justificaciones del evaluador deberaacuten considerar el anaacutelisis y valoraciones de

los subprocesos de cada proceso de modo que haya consistencia entre estos elementos Asimismo el

evaluador deberaacute expresar los resultados de la valoracioacuten cuantitativa en una graacutefica tipo radial

PAE 2017 49

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 10 ldquoSistema de monitoreo e indicadores de gestioacuten del Pp (formato libre)rdquo

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible

Nombre del Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten De Procesos

Antildeo de la Evaluacioacuten 2017

Fin Justificacioacuten Propoacutesito Justificacioacuten Componente (s) Justificacioacuten

Nombre de

Indicador

Meacutetodo de Caacutelculo

Claro SiacuteNo SiacuteNo SiacuteNo

Relevante SiacuteNo SiacuteNo SiacuteNo

Econoacutemico SiacuteNo SiacuteNo SiacuteNo

Monitoreable SiacuteNo SiacuteNo SiacuteNo

Adecuado SiacuteNo SiacuteNo SiacuteNo

Definicioacuten SiacuteNo SiacuteNo SiacuteNo

Unidad de Medida SiacuteNo SiacuteNo SiacuteNo

Frecuencia de

Medicioacuten

SiacuteNo SiacuteNo SiacuteNo

Liacutenea Base SiacuteNo SiacuteNo SiacuteNo

Metas SiacuteNo SiacuteNo SiacuteNo

Comportamiento

del Indicador

SiacuteNo SiacuteNo SiacuteNo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 50

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de Procesos del Pprdquo

En este Anexo la instancia evaluadora debe valorar si la recomendacioacuten implica una consolidacioacuten o

una reingenieriacutea del proceso

A) Consolidacioacuten

Proceso Recomendaci

oacuten

Breve

anaacutelisis de

viabilidad de

la

implementa-

cioacuten

Principales

responsables

de la

implementaci

oacuten

Situacioacuten

actual

Efectos

potenciales

esperados

Medio de

verifica-

cioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

B) Reingenieriacutea de procesos

Proceso Objetivo

Breve

anaacutelisis de

viabilidad

de la

implemen-

tacioacuten

Principales

responsables

de la

implemen-

tacioacuten

Situa-

cioacuten

actual

Metas y

efectos

potenciale

s

esperados

Elabora-

cioacuten de

flujogram

a del

nuevo

proceso

Medio

de

verifi-

cacioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

NOTA El nivel de priorizacioacuten Alto Medio o Bajo se estimaraacute considerando la mejora en la operacioacuten

del Pp la viabilidad de la implementacioacuten de la recomendacioacuten asiacute como el efecto potencial que esto

pueda tener el alcance del objetivo del Pp

PAE 2017 51

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 12 ldquoPrincipales Fortalezas Retos y Recomendacionesrdquo

Capacidades Internas Factores Externos

Fortalezas

(Cualquier capacidad con la que cuenta la dependencia o

entidad que le permita aprovechar sus recursos para la

obtencioacuten de sus objetivos)

Oportunidades

(Cualquier factor externo fuera del control de la dependencia o

entidad que puede ser aprovechado para la obtencioacuten de sus

objetivos)

Debilidades

(Cualquier limitante Interna de la dependencia o entidad que

puede afectar la obtencioacuten de sus objetivos)

Amenazas

(Cualquier factor externo fuera de control de la dependencia o

entidad que pueda afectar la obtencioacuten de sus objetivos)

PAE 2017 52

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacutenrdquo

El Informe Final de la Evaluacioacuten de Procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten

Superior deberaacuten contener una ficha con los siguientes datos

Ficha Teacutecnica con los datos generales de la evaluacioacuten

Nombre o denominacioacuten de la

evaluacioacuten

[Especificar el nombre de la evaluacioacuten considerando su tipo y ejercicio

evaluado]

Nombre o denominacioacuten del

programa evaluado

[Indicar el nombre del Pp sujeto a evaluacioacuten de acuerdo con lo

establecido en el PEF sentildealando su modalidad y clave]

Unidad Responsable de la operacioacuten

del programa

[Especificar la(s) unidad(es) responsable(s) de la administracioacuten

operacioacuten y ejecucioacuten de los programas subprogramas y proyectos del

Pp evaluado correspondientes a las dependencias y entidades]

Titular de la unidad responsable de la

operacioacuten del programa

[Indicar el nombre del(a) Titular de la Unidad Responsable de la

operacioacuten del Pp]

Antildeo del Programa Anual de

Evaluacioacuten (PAE) en que fue

considerada la evaluacioacuten

[Especificar el ejercicio fiscal al que corresponde el PAE en la que fue

programada la evaluacioacuten]

Antildeo de conclusioacuten y entrega de la

evaluacioacuten

[Indicar el antildeo en que se concluyoacute la evaluacioacuten]

Tipo de evaluacioacuten [Especificar el tipo de evaluacioacuten de acuerdo con los Lineamientos de

evaluacioacuten el nombre de la evaluacioacuten y con lo establecido en el PAE]

Nombre de la instancia evaluadora [Indicar el nombre de la firma consultoriacutea u organizacioacuten que realizoacute la

evaluacioacuten]

Nombre del(a) coordinador(a)

externo(a) de la evaluacioacuten

[Especificar el nombre del(a) responsable de la coordinacioacuten de la

evaluacioacuten dla instancia evaluadora]

Nombre de los(as) principales

colaboradores(as) del(a)

coordinador(a) de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del(a)

coordinador(a) de la evaluacioacuten]

PAE 2017 53

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Unidad Administrativa responsable de

la Coordinacioacuten de la evaluacioacuten

[De acuerdo con lo sentildealado en el PAE especificar la instancia a la que

corresponde la coordinacioacuten de la evaluacioacuten pej Secretariacutea de

Finanzas y Administracioacuten (SFA) asiacute como la unidad administrativa

mediante la cual se ejerce esta funcioacuten p ej Direccioacuten de Evaluacioacuten

de la SFA (DEV)

Nombre del(a) Titular de la unidad

administrativa responsable de

coordinar la evaluacioacuten (Aacuterea de

Evaluacioacuten)

[Especificar el nombre del(a) Titular de la Unidad responsable de dar

seguimiento a la evaluacioacuten que funge como Aacuterea de Evaluacioacuten]

Nombres de los(as) servidores(as)

puacuteblicos(as) adscritos(as) a la unidad

administrativa responsable de

coordinar la evaluacioacuten que

coadyuvaron con la revisioacuten teacutecnica

de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del

titular de la unidad administrativa responsable de dar seguimiento a la

evaluacioacuten respecto de la revisioacuten teacutecnica de la misma]

Forma de contratacioacuten de la instancia

evaluadora

[Indicar el tipo de contratacioacuten dla instancia evaluadora Especificar el

tipo de procedimiento de contratacioacuten de la instancia evaluadora

consistente con los tipos de adjudicacioacuten establecidos en la Ley de

Adquisiciones Arrendamientos y Servicios del Sector Puacuteblico]

Costo total de la evaluacioacuten con IVA

incluido

[Especificar el costo total de la evaluacioacuten incluyendo el IVA (en caso

de que se haya causado) como sigue $XXX IVA incluido]

Asimismo en este anexo se deberaacute incluir una nota metodoloacutegica con la descripcioacuten de las teacutecnicas

y los modelos utilizados por el evaluador externo acompantildeada del disentildeo por muestreo

especificando los supuestos empleados y las principales caracteriacutesticas del tamantildeo y dispersioacuten de

la muestra utilizada

DIRECTORIO

Rauacutel Saacutenchez Kobashi

Secretario de la Secretariacutea de Finanzas y Administracioacuten

Francisco Fidel Teomitzi Saacutenchez

Subsecretario de Planeacioacuten

Arturo Neponuceno Crisoacutestomo

Director de Evaluacioacuten

Rodolfo de la Rosa Cabrera

Subdireccioacuten de Evaluacioacuten de Programas

Sauacutel Federico Oropeza Orea

Jefe del Departamento de Programas Estatales y Municipales

Ana Luz Guzmaacuten Figueroa

Analista del Departamento de Programas Estatales y Municipales

Marco Antonio Saacutenchez Gonzaacutelez

Analista del Departamento de Programas Estatales y Municipales

Page 41: Términos de Referencia para la Evaluación del Desempeño ...evaluacion.puebla.gob.mx/pdf/metodologias/TdR_Est/2017/TdR... · Perfil de la instancia evaluadora ... acuerdo con las

PAE 2017 40

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 5 ldquoFicha de identificacioacuten y equivalencia de procesos del Pprdquo

Para la identificacioacuten y clasificacioacuten de los procesos del Pp se sugieren los siguientes pasos

1 Listar los procesos identificados

Comparar los procesos identificados del Pp con aquellos correspondientes al Modelo general de

procesos Colocar en el rengloacuten correspondiente el nombre de cada proceso del Pp identificado

como equivalente

2 Colocar al final de la lista aquellos procesos del Pp que no sean equivalentes con el Modelo

general de procesos

Modelo general de

procesos

Nuacutemero

de

secuencia

Procesos o subprocesos del Pp identificados por el

evaluador

(Nombre y breve descripcioacuten)

Planeacioacuten Ejemplo (Ej) Planeacioacuten Estrateacutegica

Ej Programacioacuten

Ej Presupuestacioacuten

Comunicacioacuten interna y

externa

Ej Difusioacuten Federal

Ej Difusioacuten Local

Seleccioacuten de

destinatarios

Ej Recepcioacuten de solicitudes de becas

Ej Seleccioacuten de becarios

Produccioacuten de

entregables

Entrega

Control

Seguimiento Ej Seguimiento fiacutesico y supervisioacuten en campo

Evaluacioacuten externa Ej Publicacioacuten y lectura del PAE

Ej Definicioacuten de TdR

Ej Contratacioacuten

Ej Ejecucioacuten de la evaluacioacuten externa

Monitoreo Ej Registro de avances de indicadores

Ej Revisioacuten de registros

Ej Validacioacuten de registros e integracioacuten de informes

PAE 2017 41

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Procesos identificados por el evaluador que no coinciden con el Modelo general de procesos

PAE 2017 42

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 ldquoFichas de indicadores de atributos de los procesos del Pp (formato libre)rdquo

Para la construccioacuten de este anexo deberaacute realizarse una revisioacuten documental (normativa aplicable

MIR evaluaciones externas sistemas de informacioacuten y registros administrativos entre otros) misma

que deberaacute complementarse con el trabajo de campo con el objetivo de identificar disentildear y calcular

indicadores relacionados con dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de

informacioacuten empleadas

Ademaacutes de considerar la medicioacuten de los atributos de eficacia suficiencia oportunidad y pertinencia

de cada proceso y subproceso o macroproceso

PAE 2017 43

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 7 ldquoDiagramas de flujo de la operacioacuten del Pprdquo

Para la elaboracioacuten de los diagramas de flujo deberaacute utilizarse la notacioacuten empleada en el

documento ldquoGuiacutea para la Optimizacioacuten Estandarizacioacuten y Mejora Continua de Procesosrdquo publicada

por la SFP en la direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Para el Diagrama de Alto Nivel (Diagrama PEPSU)

Ejemplo ilustrativo

PAE 2017 44

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para el Diagrama de Flujo

PAE 2017 45

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

PAE 2017 46

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 8 ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales

del Pprdquo

Tipo de

norma-

tiva

Dice

Problema

generado

(causas y

consecuencias)

Se

recomienda

decir

Efecto esperado de

aplicar la

recomendacioacuten de

cambio

Restricciones praacutecticas

que puedan existir para

su implementacioacuten

PAE 2017 47

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 9 ldquoValoracioacuten global cuantitativa ldquo

Seccioacuten 1 Disentildeo

Disentildeo Valoracioacuten Argumento o justificacioacuten

Porcentaje del

Disentildeo del Pp

(Suma de valoracioacuten alcanzada por pregunta de la seccioacuten 1 Total maacuteximo de la

valoracioacuten de todas las preguntas de la seccioacuten 1 ) x 100

Seccioacuten 2 Procesos

Proceso Eficacia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

eficaces

(Total de procesos eficaces Total de procesos del Pp) x 100

Proceso Oportunidad

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

oportunos

(Total de procesos oportunos Total de procesos del Pp) x 100

Proceso Suficiencia

(SiacuteNo) Argumento o justificacioacuten

PAE 2017 48

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Porcentaje de

procesos

suficientes

(Total de procesos suficientes Total de procesos del Pp) x 100

Proceso Pertinencia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

pertinentes

(Total de procesos pertinentes Total de procesos del Pp) x 100

NOTA Los argumentos y justificaciones del evaluador deberaacuten considerar el anaacutelisis y valoraciones de

los subprocesos de cada proceso de modo que haya consistencia entre estos elementos Asimismo el

evaluador deberaacute expresar los resultados de la valoracioacuten cuantitativa en una graacutefica tipo radial

PAE 2017 49

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 10 ldquoSistema de monitoreo e indicadores de gestioacuten del Pp (formato libre)rdquo

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible

Nombre del Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten De Procesos

Antildeo de la Evaluacioacuten 2017

Fin Justificacioacuten Propoacutesito Justificacioacuten Componente (s) Justificacioacuten

Nombre de

Indicador

Meacutetodo de Caacutelculo

Claro SiacuteNo SiacuteNo SiacuteNo

Relevante SiacuteNo SiacuteNo SiacuteNo

Econoacutemico SiacuteNo SiacuteNo SiacuteNo

Monitoreable SiacuteNo SiacuteNo SiacuteNo

Adecuado SiacuteNo SiacuteNo SiacuteNo

Definicioacuten SiacuteNo SiacuteNo SiacuteNo

Unidad de Medida SiacuteNo SiacuteNo SiacuteNo

Frecuencia de

Medicioacuten

SiacuteNo SiacuteNo SiacuteNo

Liacutenea Base SiacuteNo SiacuteNo SiacuteNo

Metas SiacuteNo SiacuteNo SiacuteNo

Comportamiento

del Indicador

SiacuteNo SiacuteNo SiacuteNo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 50

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de Procesos del Pprdquo

En este Anexo la instancia evaluadora debe valorar si la recomendacioacuten implica una consolidacioacuten o

una reingenieriacutea del proceso

A) Consolidacioacuten

Proceso Recomendaci

oacuten

Breve

anaacutelisis de

viabilidad de

la

implementa-

cioacuten

Principales

responsables

de la

implementaci

oacuten

Situacioacuten

actual

Efectos

potenciales

esperados

Medio de

verifica-

cioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

B) Reingenieriacutea de procesos

Proceso Objetivo

Breve

anaacutelisis de

viabilidad

de la

implemen-

tacioacuten

Principales

responsables

de la

implemen-

tacioacuten

Situa-

cioacuten

actual

Metas y

efectos

potenciale

s

esperados

Elabora-

cioacuten de

flujogram

a del

nuevo

proceso

Medio

de

verifi-

cacioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

NOTA El nivel de priorizacioacuten Alto Medio o Bajo se estimaraacute considerando la mejora en la operacioacuten

del Pp la viabilidad de la implementacioacuten de la recomendacioacuten asiacute como el efecto potencial que esto

pueda tener el alcance del objetivo del Pp

PAE 2017 51

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 12 ldquoPrincipales Fortalezas Retos y Recomendacionesrdquo

Capacidades Internas Factores Externos

Fortalezas

(Cualquier capacidad con la que cuenta la dependencia o

entidad que le permita aprovechar sus recursos para la

obtencioacuten de sus objetivos)

Oportunidades

(Cualquier factor externo fuera del control de la dependencia o

entidad que puede ser aprovechado para la obtencioacuten de sus

objetivos)

Debilidades

(Cualquier limitante Interna de la dependencia o entidad que

puede afectar la obtencioacuten de sus objetivos)

Amenazas

(Cualquier factor externo fuera de control de la dependencia o

entidad que pueda afectar la obtencioacuten de sus objetivos)

PAE 2017 52

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacutenrdquo

El Informe Final de la Evaluacioacuten de Procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten

Superior deberaacuten contener una ficha con los siguientes datos

Ficha Teacutecnica con los datos generales de la evaluacioacuten

Nombre o denominacioacuten de la

evaluacioacuten

[Especificar el nombre de la evaluacioacuten considerando su tipo y ejercicio

evaluado]

Nombre o denominacioacuten del

programa evaluado

[Indicar el nombre del Pp sujeto a evaluacioacuten de acuerdo con lo

establecido en el PEF sentildealando su modalidad y clave]

Unidad Responsable de la operacioacuten

del programa

[Especificar la(s) unidad(es) responsable(s) de la administracioacuten

operacioacuten y ejecucioacuten de los programas subprogramas y proyectos del

Pp evaluado correspondientes a las dependencias y entidades]

Titular de la unidad responsable de la

operacioacuten del programa

[Indicar el nombre del(a) Titular de la Unidad Responsable de la

operacioacuten del Pp]

Antildeo del Programa Anual de

Evaluacioacuten (PAE) en que fue

considerada la evaluacioacuten

[Especificar el ejercicio fiscal al que corresponde el PAE en la que fue

programada la evaluacioacuten]

Antildeo de conclusioacuten y entrega de la

evaluacioacuten

[Indicar el antildeo en que se concluyoacute la evaluacioacuten]

Tipo de evaluacioacuten [Especificar el tipo de evaluacioacuten de acuerdo con los Lineamientos de

evaluacioacuten el nombre de la evaluacioacuten y con lo establecido en el PAE]

Nombre de la instancia evaluadora [Indicar el nombre de la firma consultoriacutea u organizacioacuten que realizoacute la

evaluacioacuten]

Nombre del(a) coordinador(a)

externo(a) de la evaluacioacuten

[Especificar el nombre del(a) responsable de la coordinacioacuten de la

evaluacioacuten dla instancia evaluadora]

Nombre de los(as) principales

colaboradores(as) del(a)

coordinador(a) de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del(a)

coordinador(a) de la evaluacioacuten]

PAE 2017 53

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Unidad Administrativa responsable de

la Coordinacioacuten de la evaluacioacuten

[De acuerdo con lo sentildealado en el PAE especificar la instancia a la que

corresponde la coordinacioacuten de la evaluacioacuten pej Secretariacutea de

Finanzas y Administracioacuten (SFA) asiacute como la unidad administrativa

mediante la cual se ejerce esta funcioacuten p ej Direccioacuten de Evaluacioacuten

de la SFA (DEV)

Nombre del(a) Titular de la unidad

administrativa responsable de

coordinar la evaluacioacuten (Aacuterea de

Evaluacioacuten)

[Especificar el nombre del(a) Titular de la Unidad responsable de dar

seguimiento a la evaluacioacuten que funge como Aacuterea de Evaluacioacuten]

Nombres de los(as) servidores(as)

puacuteblicos(as) adscritos(as) a la unidad

administrativa responsable de

coordinar la evaluacioacuten que

coadyuvaron con la revisioacuten teacutecnica

de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del

titular de la unidad administrativa responsable de dar seguimiento a la

evaluacioacuten respecto de la revisioacuten teacutecnica de la misma]

Forma de contratacioacuten de la instancia

evaluadora

[Indicar el tipo de contratacioacuten dla instancia evaluadora Especificar el

tipo de procedimiento de contratacioacuten de la instancia evaluadora

consistente con los tipos de adjudicacioacuten establecidos en la Ley de

Adquisiciones Arrendamientos y Servicios del Sector Puacuteblico]

Costo total de la evaluacioacuten con IVA

incluido

[Especificar el costo total de la evaluacioacuten incluyendo el IVA (en caso

de que se haya causado) como sigue $XXX IVA incluido]

Asimismo en este anexo se deberaacute incluir una nota metodoloacutegica con la descripcioacuten de las teacutecnicas

y los modelos utilizados por el evaluador externo acompantildeada del disentildeo por muestreo

especificando los supuestos empleados y las principales caracteriacutesticas del tamantildeo y dispersioacuten de

la muestra utilizada

DIRECTORIO

Rauacutel Saacutenchez Kobashi

Secretario de la Secretariacutea de Finanzas y Administracioacuten

Francisco Fidel Teomitzi Saacutenchez

Subsecretario de Planeacioacuten

Arturo Neponuceno Crisoacutestomo

Director de Evaluacioacuten

Rodolfo de la Rosa Cabrera

Subdireccioacuten de Evaluacioacuten de Programas

Sauacutel Federico Oropeza Orea

Jefe del Departamento de Programas Estatales y Municipales

Ana Luz Guzmaacuten Figueroa

Analista del Departamento de Programas Estatales y Municipales

Marco Antonio Saacutenchez Gonzaacutelez

Analista del Departamento de Programas Estatales y Municipales

Page 42: Términos de Referencia para la Evaluación del Desempeño ...evaluacion.puebla.gob.mx/pdf/metodologias/TdR_Est/2017/TdR... · Perfil de la instancia evaluadora ... acuerdo con las

PAE 2017 41

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Procesos identificados por el evaluador que no coinciden con el Modelo general de procesos

PAE 2017 42

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 ldquoFichas de indicadores de atributos de los procesos del Pp (formato libre)rdquo

Para la construccioacuten de este anexo deberaacute realizarse una revisioacuten documental (normativa aplicable

MIR evaluaciones externas sistemas de informacioacuten y registros administrativos entre otros) misma

que deberaacute complementarse con el trabajo de campo con el objetivo de identificar disentildear y calcular

indicadores relacionados con dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de

informacioacuten empleadas

Ademaacutes de considerar la medicioacuten de los atributos de eficacia suficiencia oportunidad y pertinencia

de cada proceso y subproceso o macroproceso

PAE 2017 43

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 7 ldquoDiagramas de flujo de la operacioacuten del Pprdquo

Para la elaboracioacuten de los diagramas de flujo deberaacute utilizarse la notacioacuten empleada en el

documento ldquoGuiacutea para la Optimizacioacuten Estandarizacioacuten y Mejora Continua de Procesosrdquo publicada

por la SFP en la direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Para el Diagrama de Alto Nivel (Diagrama PEPSU)

Ejemplo ilustrativo

PAE 2017 44

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para el Diagrama de Flujo

PAE 2017 45

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

PAE 2017 46

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 8 ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales

del Pprdquo

Tipo de

norma-

tiva

Dice

Problema

generado

(causas y

consecuencias)

Se

recomienda

decir

Efecto esperado de

aplicar la

recomendacioacuten de

cambio

Restricciones praacutecticas

que puedan existir para

su implementacioacuten

PAE 2017 47

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 9 ldquoValoracioacuten global cuantitativa ldquo

Seccioacuten 1 Disentildeo

Disentildeo Valoracioacuten Argumento o justificacioacuten

Porcentaje del

Disentildeo del Pp

(Suma de valoracioacuten alcanzada por pregunta de la seccioacuten 1 Total maacuteximo de la

valoracioacuten de todas las preguntas de la seccioacuten 1 ) x 100

Seccioacuten 2 Procesos

Proceso Eficacia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

eficaces

(Total de procesos eficaces Total de procesos del Pp) x 100

Proceso Oportunidad

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

oportunos

(Total de procesos oportunos Total de procesos del Pp) x 100

Proceso Suficiencia

(SiacuteNo) Argumento o justificacioacuten

PAE 2017 48

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Porcentaje de

procesos

suficientes

(Total de procesos suficientes Total de procesos del Pp) x 100

Proceso Pertinencia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

pertinentes

(Total de procesos pertinentes Total de procesos del Pp) x 100

NOTA Los argumentos y justificaciones del evaluador deberaacuten considerar el anaacutelisis y valoraciones de

los subprocesos de cada proceso de modo que haya consistencia entre estos elementos Asimismo el

evaluador deberaacute expresar los resultados de la valoracioacuten cuantitativa en una graacutefica tipo radial

PAE 2017 49

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 10 ldquoSistema de monitoreo e indicadores de gestioacuten del Pp (formato libre)rdquo

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible

Nombre del Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten De Procesos

Antildeo de la Evaluacioacuten 2017

Fin Justificacioacuten Propoacutesito Justificacioacuten Componente (s) Justificacioacuten

Nombre de

Indicador

Meacutetodo de Caacutelculo

Claro SiacuteNo SiacuteNo SiacuteNo

Relevante SiacuteNo SiacuteNo SiacuteNo

Econoacutemico SiacuteNo SiacuteNo SiacuteNo

Monitoreable SiacuteNo SiacuteNo SiacuteNo

Adecuado SiacuteNo SiacuteNo SiacuteNo

Definicioacuten SiacuteNo SiacuteNo SiacuteNo

Unidad de Medida SiacuteNo SiacuteNo SiacuteNo

Frecuencia de

Medicioacuten

SiacuteNo SiacuteNo SiacuteNo

Liacutenea Base SiacuteNo SiacuteNo SiacuteNo

Metas SiacuteNo SiacuteNo SiacuteNo

Comportamiento

del Indicador

SiacuteNo SiacuteNo SiacuteNo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 50

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de Procesos del Pprdquo

En este Anexo la instancia evaluadora debe valorar si la recomendacioacuten implica una consolidacioacuten o

una reingenieriacutea del proceso

A) Consolidacioacuten

Proceso Recomendaci

oacuten

Breve

anaacutelisis de

viabilidad de

la

implementa-

cioacuten

Principales

responsables

de la

implementaci

oacuten

Situacioacuten

actual

Efectos

potenciales

esperados

Medio de

verifica-

cioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

B) Reingenieriacutea de procesos

Proceso Objetivo

Breve

anaacutelisis de

viabilidad

de la

implemen-

tacioacuten

Principales

responsables

de la

implemen-

tacioacuten

Situa-

cioacuten

actual

Metas y

efectos

potenciale

s

esperados

Elabora-

cioacuten de

flujogram

a del

nuevo

proceso

Medio

de

verifi-

cacioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

NOTA El nivel de priorizacioacuten Alto Medio o Bajo se estimaraacute considerando la mejora en la operacioacuten

del Pp la viabilidad de la implementacioacuten de la recomendacioacuten asiacute como el efecto potencial que esto

pueda tener el alcance del objetivo del Pp

PAE 2017 51

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 12 ldquoPrincipales Fortalezas Retos y Recomendacionesrdquo

Capacidades Internas Factores Externos

Fortalezas

(Cualquier capacidad con la que cuenta la dependencia o

entidad que le permita aprovechar sus recursos para la

obtencioacuten de sus objetivos)

Oportunidades

(Cualquier factor externo fuera del control de la dependencia o

entidad que puede ser aprovechado para la obtencioacuten de sus

objetivos)

Debilidades

(Cualquier limitante Interna de la dependencia o entidad que

puede afectar la obtencioacuten de sus objetivos)

Amenazas

(Cualquier factor externo fuera de control de la dependencia o

entidad que pueda afectar la obtencioacuten de sus objetivos)

PAE 2017 52

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacutenrdquo

El Informe Final de la Evaluacioacuten de Procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten

Superior deberaacuten contener una ficha con los siguientes datos

Ficha Teacutecnica con los datos generales de la evaluacioacuten

Nombre o denominacioacuten de la

evaluacioacuten

[Especificar el nombre de la evaluacioacuten considerando su tipo y ejercicio

evaluado]

Nombre o denominacioacuten del

programa evaluado

[Indicar el nombre del Pp sujeto a evaluacioacuten de acuerdo con lo

establecido en el PEF sentildealando su modalidad y clave]

Unidad Responsable de la operacioacuten

del programa

[Especificar la(s) unidad(es) responsable(s) de la administracioacuten

operacioacuten y ejecucioacuten de los programas subprogramas y proyectos del

Pp evaluado correspondientes a las dependencias y entidades]

Titular de la unidad responsable de la

operacioacuten del programa

[Indicar el nombre del(a) Titular de la Unidad Responsable de la

operacioacuten del Pp]

Antildeo del Programa Anual de

Evaluacioacuten (PAE) en que fue

considerada la evaluacioacuten

[Especificar el ejercicio fiscal al que corresponde el PAE en la que fue

programada la evaluacioacuten]

Antildeo de conclusioacuten y entrega de la

evaluacioacuten

[Indicar el antildeo en que se concluyoacute la evaluacioacuten]

Tipo de evaluacioacuten [Especificar el tipo de evaluacioacuten de acuerdo con los Lineamientos de

evaluacioacuten el nombre de la evaluacioacuten y con lo establecido en el PAE]

Nombre de la instancia evaluadora [Indicar el nombre de la firma consultoriacutea u organizacioacuten que realizoacute la

evaluacioacuten]

Nombre del(a) coordinador(a)

externo(a) de la evaluacioacuten

[Especificar el nombre del(a) responsable de la coordinacioacuten de la

evaluacioacuten dla instancia evaluadora]

Nombre de los(as) principales

colaboradores(as) del(a)

coordinador(a) de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del(a)

coordinador(a) de la evaluacioacuten]

PAE 2017 53

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Unidad Administrativa responsable de

la Coordinacioacuten de la evaluacioacuten

[De acuerdo con lo sentildealado en el PAE especificar la instancia a la que

corresponde la coordinacioacuten de la evaluacioacuten pej Secretariacutea de

Finanzas y Administracioacuten (SFA) asiacute como la unidad administrativa

mediante la cual se ejerce esta funcioacuten p ej Direccioacuten de Evaluacioacuten

de la SFA (DEV)

Nombre del(a) Titular de la unidad

administrativa responsable de

coordinar la evaluacioacuten (Aacuterea de

Evaluacioacuten)

[Especificar el nombre del(a) Titular de la Unidad responsable de dar

seguimiento a la evaluacioacuten que funge como Aacuterea de Evaluacioacuten]

Nombres de los(as) servidores(as)

puacuteblicos(as) adscritos(as) a la unidad

administrativa responsable de

coordinar la evaluacioacuten que

coadyuvaron con la revisioacuten teacutecnica

de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del

titular de la unidad administrativa responsable de dar seguimiento a la

evaluacioacuten respecto de la revisioacuten teacutecnica de la misma]

Forma de contratacioacuten de la instancia

evaluadora

[Indicar el tipo de contratacioacuten dla instancia evaluadora Especificar el

tipo de procedimiento de contratacioacuten de la instancia evaluadora

consistente con los tipos de adjudicacioacuten establecidos en la Ley de

Adquisiciones Arrendamientos y Servicios del Sector Puacuteblico]

Costo total de la evaluacioacuten con IVA

incluido

[Especificar el costo total de la evaluacioacuten incluyendo el IVA (en caso

de que se haya causado) como sigue $XXX IVA incluido]

Asimismo en este anexo se deberaacute incluir una nota metodoloacutegica con la descripcioacuten de las teacutecnicas

y los modelos utilizados por el evaluador externo acompantildeada del disentildeo por muestreo

especificando los supuestos empleados y las principales caracteriacutesticas del tamantildeo y dispersioacuten de

la muestra utilizada

DIRECTORIO

Rauacutel Saacutenchez Kobashi

Secretario de la Secretariacutea de Finanzas y Administracioacuten

Francisco Fidel Teomitzi Saacutenchez

Subsecretario de Planeacioacuten

Arturo Neponuceno Crisoacutestomo

Director de Evaluacioacuten

Rodolfo de la Rosa Cabrera

Subdireccioacuten de Evaluacioacuten de Programas

Sauacutel Federico Oropeza Orea

Jefe del Departamento de Programas Estatales y Municipales

Ana Luz Guzmaacuten Figueroa

Analista del Departamento de Programas Estatales y Municipales

Marco Antonio Saacutenchez Gonzaacutelez

Analista del Departamento de Programas Estatales y Municipales

Page 43: Términos de Referencia para la Evaluación del Desempeño ...evaluacion.puebla.gob.mx/pdf/metodologias/TdR_Est/2017/TdR... · Perfil de la instancia evaluadora ... acuerdo con las

PAE 2017 42

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 6 ldquoFichas de indicadores de atributos de los procesos del Pp (formato libre)rdquo

Para la construccioacuten de este anexo deberaacute realizarse una revisioacuten documental (normativa aplicable

MIR evaluaciones externas sistemas de informacioacuten y registros administrativos entre otros) misma

que deberaacute complementarse con el trabajo de campo con el objetivo de identificar disentildear y calcular

indicadores relacionados con dichos atributos especificando su meacutetodo de caacutelculo y las fuentes de

informacioacuten empleadas

Ademaacutes de considerar la medicioacuten de los atributos de eficacia suficiencia oportunidad y pertinencia

de cada proceso y subproceso o macroproceso

PAE 2017 43

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 7 ldquoDiagramas de flujo de la operacioacuten del Pprdquo

Para la elaboracioacuten de los diagramas de flujo deberaacute utilizarse la notacioacuten empleada en el

documento ldquoGuiacutea para la Optimizacioacuten Estandarizacioacuten y Mejora Continua de Procesosrdquo publicada

por la SFP en la direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Para el Diagrama de Alto Nivel (Diagrama PEPSU)

Ejemplo ilustrativo

PAE 2017 44

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para el Diagrama de Flujo

PAE 2017 45

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

PAE 2017 46

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 8 ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales

del Pprdquo

Tipo de

norma-

tiva

Dice

Problema

generado

(causas y

consecuencias)

Se

recomienda

decir

Efecto esperado de

aplicar la

recomendacioacuten de

cambio

Restricciones praacutecticas

que puedan existir para

su implementacioacuten

PAE 2017 47

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 9 ldquoValoracioacuten global cuantitativa ldquo

Seccioacuten 1 Disentildeo

Disentildeo Valoracioacuten Argumento o justificacioacuten

Porcentaje del

Disentildeo del Pp

(Suma de valoracioacuten alcanzada por pregunta de la seccioacuten 1 Total maacuteximo de la

valoracioacuten de todas las preguntas de la seccioacuten 1 ) x 100

Seccioacuten 2 Procesos

Proceso Eficacia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

eficaces

(Total de procesos eficaces Total de procesos del Pp) x 100

Proceso Oportunidad

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

oportunos

(Total de procesos oportunos Total de procesos del Pp) x 100

Proceso Suficiencia

(SiacuteNo) Argumento o justificacioacuten

PAE 2017 48

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Porcentaje de

procesos

suficientes

(Total de procesos suficientes Total de procesos del Pp) x 100

Proceso Pertinencia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

pertinentes

(Total de procesos pertinentes Total de procesos del Pp) x 100

NOTA Los argumentos y justificaciones del evaluador deberaacuten considerar el anaacutelisis y valoraciones de

los subprocesos de cada proceso de modo que haya consistencia entre estos elementos Asimismo el

evaluador deberaacute expresar los resultados de la valoracioacuten cuantitativa en una graacutefica tipo radial

PAE 2017 49

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 10 ldquoSistema de monitoreo e indicadores de gestioacuten del Pp (formato libre)rdquo

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible

Nombre del Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten De Procesos

Antildeo de la Evaluacioacuten 2017

Fin Justificacioacuten Propoacutesito Justificacioacuten Componente (s) Justificacioacuten

Nombre de

Indicador

Meacutetodo de Caacutelculo

Claro SiacuteNo SiacuteNo SiacuteNo

Relevante SiacuteNo SiacuteNo SiacuteNo

Econoacutemico SiacuteNo SiacuteNo SiacuteNo

Monitoreable SiacuteNo SiacuteNo SiacuteNo

Adecuado SiacuteNo SiacuteNo SiacuteNo

Definicioacuten SiacuteNo SiacuteNo SiacuteNo

Unidad de Medida SiacuteNo SiacuteNo SiacuteNo

Frecuencia de

Medicioacuten

SiacuteNo SiacuteNo SiacuteNo

Liacutenea Base SiacuteNo SiacuteNo SiacuteNo

Metas SiacuteNo SiacuteNo SiacuteNo

Comportamiento

del Indicador

SiacuteNo SiacuteNo SiacuteNo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 50

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de Procesos del Pprdquo

En este Anexo la instancia evaluadora debe valorar si la recomendacioacuten implica una consolidacioacuten o

una reingenieriacutea del proceso

A) Consolidacioacuten

Proceso Recomendaci

oacuten

Breve

anaacutelisis de

viabilidad de

la

implementa-

cioacuten

Principales

responsables

de la

implementaci

oacuten

Situacioacuten

actual

Efectos

potenciales

esperados

Medio de

verifica-

cioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

B) Reingenieriacutea de procesos

Proceso Objetivo

Breve

anaacutelisis de

viabilidad

de la

implemen-

tacioacuten

Principales

responsables

de la

implemen-

tacioacuten

Situa-

cioacuten

actual

Metas y

efectos

potenciale

s

esperados

Elabora-

cioacuten de

flujogram

a del

nuevo

proceso

Medio

de

verifi-

cacioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

NOTA El nivel de priorizacioacuten Alto Medio o Bajo se estimaraacute considerando la mejora en la operacioacuten

del Pp la viabilidad de la implementacioacuten de la recomendacioacuten asiacute como el efecto potencial que esto

pueda tener el alcance del objetivo del Pp

PAE 2017 51

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 12 ldquoPrincipales Fortalezas Retos y Recomendacionesrdquo

Capacidades Internas Factores Externos

Fortalezas

(Cualquier capacidad con la que cuenta la dependencia o

entidad que le permita aprovechar sus recursos para la

obtencioacuten de sus objetivos)

Oportunidades

(Cualquier factor externo fuera del control de la dependencia o

entidad que puede ser aprovechado para la obtencioacuten de sus

objetivos)

Debilidades

(Cualquier limitante Interna de la dependencia o entidad que

puede afectar la obtencioacuten de sus objetivos)

Amenazas

(Cualquier factor externo fuera de control de la dependencia o

entidad que pueda afectar la obtencioacuten de sus objetivos)

PAE 2017 52

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacutenrdquo

El Informe Final de la Evaluacioacuten de Procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten

Superior deberaacuten contener una ficha con los siguientes datos

Ficha Teacutecnica con los datos generales de la evaluacioacuten

Nombre o denominacioacuten de la

evaluacioacuten

[Especificar el nombre de la evaluacioacuten considerando su tipo y ejercicio

evaluado]

Nombre o denominacioacuten del

programa evaluado

[Indicar el nombre del Pp sujeto a evaluacioacuten de acuerdo con lo

establecido en el PEF sentildealando su modalidad y clave]

Unidad Responsable de la operacioacuten

del programa

[Especificar la(s) unidad(es) responsable(s) de la administracioacuten

operacioacuten y ejecucioacuten de los programas subprogramas y proyectos del

Pp evaluado correspondientes a las dependencias y entidades]

Titular de la unidad responsable de la

operacioacuten del programa

[Indicar el nombre del(a) Titular de la Unidad Responsable de la

operacioacuten del Pp]

Antildeo del Programa Anual de

Evaluacioacuten (PAE) en que fue

considerada la evaluacioacuten

[Especificar el ejercicio fiscal al que corresponde el PAE en la que fue

programada la evaluacioacuten]

Antildeo de conclusioacuten y entrega de la

evaluacioacuten

[Indicar el antildeo en que se concluyoacute la evaluacioacuten]

Tipo de evaluacioacuten [Especificar el tipo de evaluacioacuten de acuerdo con los Lineamientos de

evaluacioacuten el nombre de la evaluacioacuten y con lo establecido en el PAE]

Nombre de la instancia evaluadora [Indicar el nombre de la firma consultoriacutea u organizacioacuten que realizoacute la

evaluacioacuten]

Nombre del(a) coordinador(a)

externo(a) de la evaluacioacuten

[Especificar el nombre del(a) responsable de la coordinacioacuten de la

evaluacioacuten dla instancia evaluadora]

Nombre de los(as) principales

colaboradores(as) del(a)

coordinador(a) de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del(a)

coordinador(a) de la evaluacioacuten]

PAE 2017 53

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Unidad Administrativa responsable de

la Coordinacioacuten de la evaluacioacuten

[De acuerdo con lo sentildealado en el PAE especificar la instancia a la que

corresponde la coordinacioacuten de la evaluacioacuten pej Secretariacutea de

Finanzas y Administracioacuten (SFA) asiacute como la unidad administrativa

mediante la cual se ejerce esta funcioacuten p ej Direccioacuten de Evaluacioacuten

de la SFA (DEV)

Nombre del(a) Titular de la unidad

administrativa responsable de

coordinar la evaluacioacuten (Aacuterea de

Evaluacioacuten)

[Especificar el nombre del(a) Titular de la Unidad responsable de dar

seguimiento a la evaluacioacuten que funge como Aacuterea de Evaluacioacuten]

Nombres de los(as) servidores(as)

puacuteblicos(as) adscritos(as) a la unidad

administrativa responsable de

coordinar la evaluacioacuten que

coadyuvaron con la revisioacuten teacutecnica

de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del

titular de la unidad administrativa responsable de dar seguimiento a la

evaluacioacuten respecto de la revisioacuten teacutecnica de la misma]

Forma de contratacioacuten de la instancia

evaluadora

[Indicar el tipo de contratacioacuten dla instancia evaluadora Especificar el

tipo de procedimiento de contratacioacuten de la instancia evaluadora

consistente con los tipos de adjudicacioacuten establecidos en la Ley de

Adquisiciones Arrendamientos y Servicios del Sector Puacuteblico]

Costo total de la evaluacioacuten con IVA

incluido

[Especificar el costo total de la evaluacioacuten incluyendo el IVA (en caso

de que se haya causado) como sigue $XXX IVA incluido]

Asimismo en este anexo se deberaacute incluir una nota metodoloacutegica con la descripcioacuten de las teacutecnicas

y los modelos utilizados por el evaluador externo acompantildeada del disentildeo por muestreo

especificando los supuestos empleados y las principales caracteriacutesticas del tamantildeo y dispersioacuten de

la muestra utilizada

DIRECTORIO

Rauacutel Saacutenchez Kobashi

Secretario de la Secretariacutea de Finanzas y Administracioacuten

Francisco Fidel Teomitzi Saacutenchez

Subsecretario de Planeacioacuten

Arturo Neponuceno Crisoacutestomo

Director de Evaluacioacuten

Rodolfo de la Rosa Cabrera

Subdireccioacuten de Evaluacioacuten de Programas

Sauacutel Federico Oropeza Orea

Jefe del Departamento de Programas Estatales y Municipales

Ana Luz Guzmaacuten Figueroa

Analista del Departamento de Programas Estatales y Municipales

Marco Antonio Saacutenchez Gonzaacutelez

Analista del Departamento de Programas Estatales y Municipales

Page 44: Términos de Referencia para la Evaluación del Desempeño ...evaluacion.puebla.gob.mx/pdf/metodologias/TdR_Est/2017/TdR... · Perfil de la instancia evaluadora ... acuerdo con las

PAE 2017 43

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 7 ldquoDiagramas de flujo de la operacioacuten del Pprdquo

Para la elaboracioacuten de los diagramas de flujo deberaacute utilizarse la notacioacuten empleada en el

documento ldquoGuiacutea para la Optimizacioacuten Estandarizacioacuten y Mejora Continua de Procesosrdquo publicada

por la SFP en la direccioacuten electroacutenica

httpwwwgobmxcmsuploadsattachmentfile56904Gu_a_para_la_Optimizaci_n__Estandarizaci

_n_y_Mejora_Continua_de_Procesospdf

Para el Diagrama de Alto Nivel (Diagrama PEPSU)

Ejemplo ilustrativo

PAE 2017 44

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para el Diagrama de Flujo

PAE 2017 45

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

PAE 2017 46

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 8 ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales

del Pprdquo

Tipo de

norma-

tiva

Dice

Problema

generado

(causas y

consecuencias)

Se

recomienda

decir

Efecto esperado de

aplicar la

recomendacioacuten de

cambio

Restricciones praacutecticas

que puedan existir para

su implementacioacuten

PAE 2017 47

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 9 ldquoValoracioacuten global cuantitativa ldquo

Seccioacuten 1 Disentildeo

Disentildeo Valoracioacuten Argumento o justificacioacuten

Porcentaje del

Disentildeo del Pp

(Suma de valoracioacuten alcanzada por pregunta de la seccioacuten 1 Total maacuteximo de la

valoracioacuten de todas las preguntas de la seccioacuten 1 ) x 100

Seccioacuten 2 Procesos

Proceso Eficacia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

eficaces

(Total de procesos eficaces Total de procesos del Pp) x 100

Proceso Oportunidad

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

oportunos

(Total de procesos oportunos Total de procesos del Pp) x 100

Proceso Suficiencia

(SiacuteNo) Argumento o justificacioacuten

PAE 2017 48

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Porcentaje de

procesos

suficientes

(Total de procesos suficientes Total de procesos del Pp) x 100

Proceso Pertinencia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

pertinentes

(Total de procesos pertinentes Total de procesos del Pp) x 100

NOTA Los argumentos y justificaciones del evaluador deberaacuten considerar el anaacutelisis y valoraciones de

los subprocesos de cada proceso de modo que haya consistencia entre estos elementos Asimismo el

evaluador deberaacute expresar los resultados de la valoracioacuten cuantitativa en una graacutefica tipo radial

PAE 2017 49

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 10 ldquoSistema de monitoreo e indicadores de gestioacuten del Pp (formato libre)rdquo

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible

Nombre del Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten De Procesos

Antildeo de la Evaluacioacuten 2017

Fin Justificacioacuten Propoacutesito Justificacioacuten Componente (s) Justificacioacuten

Nombre de

Indicador

Meacutetodo de Caacutelculo

Claro SiacuteNo SiacuteNo SiacuteNo

Relevante SiacuteNo SiacuteNo SiacuteNo

Econoacutemico SiacuteNo SiacuteNo SiacuteNo

Monitoreable SiacuteNo SiacuteNo SiacuteNo

Adecuado SiacuteNo SiacuteNo SiacuteNo

Definicioacuten SiacuteNo SiacuteNo SiacuteNo

Unidad de Medida SiacuteNo SiacuteNo SiacuteNo

Frecuencia de

Medicioacuten

SiacuteNo SiacuteNo SiacuteNo

Liacutenea Base SiacuteNo SiacuteNo SiacuteNo

Metas SiacuteNo SiacuteNo SiacuteNo

Comportamiento

del Indicador

SiacuteNo SiacuteNo SiacuteNo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 50

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de Procesos del Pprdquo

En este Anexo la instancia evaluadora debe valorar si la recomendacioacuten implica una consolidacioacuten o

una reingenieriacutea del proceso

A) Consolidacioacuten

Proceso Recomendaci

oacuten

Breve

anaacutelisis de

viabilidad de

la

implementa-

cioacuten

Principales

responsables

de la

implementaci

oacuten

Situacioacuten

actual

Efectos

potenciales

esperados

Medio de

verifica-

cioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

B) Reingenieriacutea de procesos

Proceso Objetivo

Breve

anaacutelisis de

viabilidad

de la

implemen-

tacioacuten

Principales

responsables

de la

implemen-

tacioacuten

Situa-

cioacuten

actual

Metas y

efectos

potenciale

s

esperados

Elabora-

cioacuten de

flujogram

a del

nuevo

proceso

Medio

de

verifi-

cacioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

NOTA El nivel de priorizacioacuten Alto Medio o Bajo se estimaraacute considerando la mejora en la operacioacuten

del Pp la viabilidad de la implementacioacuten de la recomendacioacuten asiacute como el efecto potencial que esto

pueda tener el alcance del objetivo del Pp

PAE 2017 51

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 12 ldquoPrincipales Fortalezas Retos y Recomendacionesrdquo

Capacidades Internas Factores Externos

Fortalezas

(Cualquier capacidad con la que cuenta la dependencia o

entidad que le permita aprovechar sus recursos para la

obtencioacuten de sus objetivos)

Oportunidades

(Cualquier factor externo fuera del control de la dependencia o

entidad que puede ser aprovechado para la obtencioacuten de sus

objetivos)

Debilidades

(Cualquier limitante Interna de la dependencia o entidad que

puede afectar la obtencioacuten de sus objetivos)

Amenazas

(Cualquier factor externo fuera de control de la dependencia o

entidad que pueda afectar la obtencioacuten de sus objetivos)

PAE 2017 52

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacutenrdquo

El Informe Final de la Evaluacioacuten de Procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten

Superior deberaacuten contener una ficha con los siguientes datos

Ficha Teacutecnica con los datos generales de la evaluacioacuten

Nombre o denominacioacuten de la

evaluacioacuten

[Especificar el nombre de la evaluacioacuten considerando su tipo y ejercicio

evaluado]

Nombre o denominacioacuten del

programa evaluado

[Indicar el nombre del Pp sujeto a evaluacioacuten de acuerdo con lo

establecido en el PEF sentildealando su modalidad y clave]

Unidad Responsable de la operacioacuten

del programa

[Especificar la(s) unidad(es) responsable(s) de la administracioacuten

operacioacuten y ejecucioacuten de los programas subprogramas y proyectos del

Pp evaluado correspondientes a las dependencias y entidades]

Titular de la unidad responsable de la

operacioacuten del programa

[Indicar el nombre del(a) Titular de la Unidad Responsable de la

operacioacuten del Pp]

Antildeo del Programa Anual de

Evaluacioacuten (PAE) en que fue

considerada la evaluacioacuten

[Especificar el ejercicio fiscal al que corresponde el PAE en la que fue

programada la evaluacioacuten]

Antildeo de conclusioacuten y entrega de la

evaluacioacuten

[Indicar el antildeo en que se concluyoacute la evaluacioacuten]

Tipo de evaluacioacuten [Especificar el tipo de evaluacioacuten de acuerdo con los Lineamientos de

evaluacioacuten el nombre de la evaluacioacuten y con lo establecido en el PAE]

Nombre de la instancia evaluadora [Indicar el nombre de la firma consultoriacutea u organizacioacuten que realizoacute la

evaluacioacuten]

Nombre del(a) coordinador(a)

externo(a) de la evaluacioacuten

[Especificar el nombre del(a) responsable de la coordinacioacuten de la

evaluacioacuten dla instancia evaluadora]

Nombre de los(as) principales

colaboradores(as) del(a)

coordinador(a) de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del(a)

coordinador(a) de la evaluacioacuten]

PAE 2017 53

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Unidad Administrativa responsable de

la Coordinacioacuten de la evaluacioacuten

[De acuerdo con lo sentildealado en el PAE especificar la instancia a la que

corresponde la coordinacioacuten de la evaluacioacuten pej Secretariacutea de

Finanzas y Administracioacuten (SFA) asiacute como la unidad administrativa

mediante la cual se ejerce esta funcioacuten p ej Direccioacuten de Evaluacioacuten

de la SFA (DEV)

Nombre del(a) Titular de la unidad

administrativa responsable de

coordinar la evaluacioacuten (Aacuterea de

Evaluacioacuten)

[Especificar el nombre del(a) Titular de la Unidad responsable de dar

seguimiento a la evaluacioacuten que funge como Aacuterea de Evaluacioacuten]

Nombres de los(as) servidores(as)

puacuteblicos(as) adscritos(as) a la unidad

administrativa responsable de

coordinar la evaluacioacuten que

coadyuvaron con la revisioacuten teacutecnica

de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del

titular de la unidad administrativa responsable de dar seguimiento a la

evaluacioacuten respecto de la revisioacuten teacutecnica de la misma]

Forma de contratacioacuten de la instancia

evaluadora

[Indicar el tipo de contratacioacuten dla instancia evaluadora Especificar el

tipo de procedimiento de contratacioacuten de la instancia evaluadora

consistente con los tipos de adjudicacioacuten establecidos en la Ley de

Adquisiciones Arrendamientos y Servicios del Sector Puacuteblico]

Costo total de la evaluacioacuten con IVA

incluido

[Especificar el costo total de la evaluacioacuten incluyendo el IVA (en caso

de que se haya causado) como sigue $XXX IVA incluido]

Asimismo en este anexo se deberaacute incluir una nota metodoloacutegica con la descripcioacuten de las teacutecnicas

y los modelos utilizados por el evaluador externo acompantildeada del disentildeo por muestreo

especificando los supuestos empleados y las principales caracteriacutesticas del tamantildeo y dispersioacuten de

la muestra utilizada

DIRECTORIO

Rauacutel Saacutenchez Kobashi

Secretario de la Secretariacutea de Finanzas y Administracioacuten

Francisco Fidel Teomitzi Saacutenchez

Subsecretario de Planeacioacuten

Arturo Neponuceno Crisoacutestomo

Director de Evaluacioacuten

Rodolfo de la Rosa Cabrera

Subdireccioacuten de Evaluacioacuten de Programas

Sauacutel Federico Oropeza Orea

Jefe del Departamento de Programas Estatales y Municipales

Ana Luz Guzmaacuten Figueroa

Analista del Departamento de Programas Estatales y Municipales

Marco Antonio Saacutenchez Gonzaacutelez

Analista del Departamento de Programas Estatales y Municipales

Page 45: Términos de Referencia para la Evaluación del Desempeño ...evaluacion.puebla.gob.mx/pdf/metodologias/TdR_Est/2017/TdR... · Perfil de la instancia evaluadora ... acuerdo con las

PAE 2017 44

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Para el Diagrama de Flujo

PAE 2017 45

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

PAE 2017 46

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 8 ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales

del Pprdquo

Tipo de

norma-

tiva

Dice

Problema

generado

(causas y

consecuencias)

Se

recomienda

decir

Efecto esperado de

aplicar la

recomendacioacuten de

cambio

Restricciones praacutecticas

que puedan existir para

su implementacioacuten

PAE 2017 47

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 9 ldquoValoracioacuten global cuantitativa ldquo

Seccioacuten 1 Disentildeo

Disentildeo Valoracioacuten Argumento o justificacioacuten

Porcentaje del

Disentildeo del Pp

(Suma de valoracioacuten alcanzada por pregunta de la seccioacuten 1 Total maacuteximo de la

valoracioacuten de todas las preguntas de la seccioacuten 1 ) x 100

Seccioacuten 2 Procesos

Proceso Eficacia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

eficaces

(Total de procesos eficaces Total de procesos del Pp) x 100

Proceso Oportunidad

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

oportunos

(Total de procesos oportunos Total de procesos del Pp) x 100

Proceso Suficiencia

(SiacuteNo) Argumento o justificacioacuten

PAE 2017 48

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Porcentaje de

procesos

suficientes

(Total de procesos suficientes Total de procesos del Pp) x 100

Proceso Pertinencia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

pertinentes

(Total de procesos pertinentes Total de procesos del Pp) x 100

NOTA Los argumentos y justificaciones del evaluador deberaacuten considerar el anaacutelisis y valoraciones de

los subprocesos de cada proceso de modo que haya consistencia entre estos elementos Asimismo el

evaluador deberaacute expresar los resultados de la valoracioacuten cuantitativa en una graacutefica tipo radial

PAE 2017 49

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 10 ldquoSistema de monitoreo e indicadores de gestioacuten del Pp (formato libre)rdquo

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible

Nombre del Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten De Procesos

Antildeo de la Evaluacioacuten 2017

Fin Justificacioacuten Propoacutesito Justificacioacuten Componente (s) Justificacioacuten

Nombre de

Indicador

Meacutetodo de Caacutelculo

Claro SiacuteNo SiacuteNo SiacuteNo

Relevante SiacuteNo SiacuteNo SiacuteNo

Econoacutemico SiacuteNo SiacuteNo SiacuteNo

Monitoreable SiacuteNo SiacuteNo SiacuteNo

Adecuado SiacuteNo SiacuteNo SiacuteNo

Definicioacuten SiacuteNo SiacuteNo SiacuteNo

Unidad de Medida SiacuteNo SiacuteNo SiacuteNo

Frecuencia de

Medicioacuten

SiacuteNo SiacuteNo SiacuteNo

Liacutenea Base SiacuteNo SiacuteNo SiacuteNo

Metas SiacuteNo SiacuteNo SiacuteNo

Comportamiento

del Indicador

SiacuteNo SiacuteNo SiacuteNo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 50

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de Procesos del Pprdquo

En este Anexo la instancia evaluadora debe valorar si la recomendacioacuten implica una consolidacioacuten o

una reingenieriacutea del proceso

A) Consolidacioacuten

Proceso Recomendaci

oacuten

Breve

anaacutelisis de

viabilidad de

la

implementa-

cioacuten

Principales

responsables

de la

implementaci

oacuten

Situacioacuten

actual

Efectos

potenciales

esperados

Medio de

verifica-

cioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

B) Reingenieriacutea de procesos

Proceso Objetivo

Breve

anaacutelisis de

viabilidad

de la

implemen-

tacioacuten

Principales

responsables

de la

implemen-

tacioacuten

Situa-

cioacuten

actual

Metas y

efectos

potenciale

s

esperados

Elabora-

cioacuten de

flujogram

a del

nuevo

proceso

Medio

de

verifi-

cacioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

NOTA El nivel de priorizacioacuten Alto Medio o Bajo se estimaraacute considerando la mejora en la operacioacuten

del Pp la viabilidad de la implementacioacuten de la recomendacioacuten asiacute como el efecto potencial que esto

pueda tener el alcance del objetivo del Pp

PAE 2017 51

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 12 ldquoPrincipales Fortalezas Retos y Recomendacionesrdquo

Capacidades Internas Factores Externos

Fortalezas

(Cualquier capacidad con la que cuenta la dependencia o

entidad que le permita aprovechar sus recursos para la

obtencioacuten de sus objetivos)

Oportunidades

(Cualquier factor externo fuera del control de la dependencia o

entidad que puede ser aprovechado para la obtencioacuten de sus

objetivos)

Debilidades

(Cualquier limitante Interna de la dependencia o entidad que

puede afectar la obtencioacuten de sus objetivos)

Amenazas

(Cualquier factor externo fuera de control de la dependencia o

entidad que pueda afectar la obtencioacuten de sus objetivos)

PAE 2017 52

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacutenrdquo

El Informe Final de la Evaluacioacuten de Procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten

Superior deberaacuten contener una ficha con los siguientes datos

Ficha Teacutecnica con los datos generales de la evaluacioacuten

Nombre o denominacioacuten de la

evaluacioacuten

[Especificar el nombre de la evaluacioacuten considerando su tipo y ejercicio

evaluado]

Nombre o denominacioacuten del

programa evaluado

[Indicar el nombre del Pp sujeto a evaluacioacuten de acuerdo con lo

establecido en el PEF sentildealando su modalidad y clave]

Unidad Responsable de la operacioacuten

del programa

[Especificar la(s) unidad(es) responsable(s) de la administracioacuten

operacioacuten y ejecucioacuten de los programas subprogramas y proyectos del

Pp evaluado correspondientes a las dependencias y entidades]

Titular de la unidad responsable de la

operacioacuten del programa

[Indicar el nombre del(a) Titular de la Unidad Responsable de la

operacioacuten del Pp]

Antildeo del Programa Anual de

Evaluacioacuten (PAE) en que fue

considerada la evaluacioacuten

[Especificar el ejercicio fiscal al que corresponde el PAE en la que fue

programada la evaluacioacuten]

Antildeo de conclusioacuten y entrega de la

evaluacioacuten

[Indicar el antildeo en que se concluyoacute la evaluacioacuten]

Tipo de evaluacioacuten [Especificar el tipo de evaluacioacuten de acuerdo con los Lineamientos de

evaluacioacuten el nombre de la evaluacioacuten y con lo establecido en el PAE]

Nombre de la instancia evaluadora [Indicar el nombre de la firma consultoriacutea u organizacioacuten que realizoacute la

evaluacioacuten]

Nombre del(a) coordinador(a)

externo(a) de la evaluacioacuten

[Especificar el nombre del(a) responsable de la coordinacioacuten de la

evaluacioacuten dla instancia evaluadora]

Nombre de los(as) principales

colaboradores(as) del(a)

coordinador(a) de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del(a)

coordinador(a) de la evaluacioacuten]

PAE 2017 53

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Unidad Administrativa responsable de

la Coordinacioacuten de la evaluacioacuten

[De acuerdo con lo sentildealado en el PAE especificar la instancia a la que

corresponde la coordinacioacuten de la evaluacioacuten pej Secretariacutea de

Finanzas y Administracioacuten (SFA) asiacute como la unidad administrativa

mediante la cual se ejerce esta funcioacuten p ej Direccioacuten de Evaluacioacuten

de la SFA (DEV)

Nombre del(a) Titular de la unidad

administrativa responsable de

coordinar la evaluacioacuten (Aacuterea de

Evaluacioacuten)

[Especificar el nombre del(a) Titular de la Unidad responsable de dar

seguimiento a la evaluacioacuten que funge como Aacuterea de Evaluacioacuten]

Nombres de los(as) servidores(as)

puacuteblicos(as) adscritos(as) a la unidad

administrativa responsable de

coordinar la evaluacioacuten que

coadyuvaron con la revisioacuten teacutecnica

de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del

titular de la unidad administrativa responsable de dar seguimiento a la

evaluacioacuten respecto de la revisioacuten teacutecnica de la misma]

Forma de contratacioacuten de la instancia

evaluadora

[Indicar el tipo de contratacioacuten dla instancia evaluadora Especificar el

tipo de procedimiento de contratacioacuten de la instancia evaluadora

consistente con los tipos de adjudicacioacuten establecidos en la Ley de

Adquisiciones Arrendamientos y Servicios del Sector Puacuteblico]

Costo total de la evaluacioacuten con IVA

incluido

[Especificar el costo total de la evaluacioacuten incluyendo el IVA (en caso

de que se haya causado) como sigue $XXX IVA incluido]

Asimismo en este anexo se deberaacute incluir una nota metodoloacutegica con la descripcioacuten de las teacutecnicas

y los modelos utilizados por el evaluador externo acompantildeada del disentildeo por muestreo

especificando los supuestos empleados y las principales caracteriacutesticas del tamantildeo y dispersioacuten de

la muestra utilizada

DIRECTORIO

Rauacutel Saacutenchez Kobashi

Secretario de la Secretariacutea de Finanzas y Administracioacuten

Francisco Fidel Teomitzi Saacutenchez

Subsecretario de Planeacioacuten

Arturo Neponuceno Crisoacutestomo

Director de Evaluacioacuten

Rodolfo de la Rosa Cabrera

Subdireccioacuten de Evaluacioacuten de Programas

Sauacutel Federico Oropeza Orea

Jefe del Departamento de Programas Estatales y Municipales

Ana Luz Guzmaacuten Figueroa

Analista del Departamento de Programas Estatales y Municipales

Marco Antonio Saacutenchez Gonzaacutelez

Analista del Departamento de Programas Estatales y Municipales

Page 46: Términos de Referencia para la Evaluación del Desempeño ...evaluacion.puebla.gob.mx/pdf/metodologias/TdR_Est/2017/TdR... · Perfil de la instancia evaluadora ... acuerdo con las

PAE 2017 45

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

PAE 2017 46

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 8 ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales

del Pprdquo

Tipo de

norma-

tiva

Dice

Problema

generado

(causas y

consecuencias)

Se

recomienda

decir

Efecto esperado de

aplicar la

recomendacioacuten de

cambio

Restricciones praacutecticas

que puedan existir para

su implementacioacuten

PAE 2017 47

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 9 ldquoValoracioacuten global cuantitativa ldquo

Seccioacuten 1 Disentildeo

Disentildeo Valoracioacuten Argumento o justificacioacuten

Porcentaje del

Disentildeo del Pp

(Suma de valoracioacuten alcanzada por pregunta de la seccioacuten 1 Total maacuteximo de la

valoracioacuten de todas las preguntas de la seccioacuten 1 ) x 100

Seccioacuten 2 Procesos

Proceso Eficacia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

eficaces

(Total de procesos eficaces Total de procesos del Pp) x 100

Proceso Oportunidad

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

oportunos

(Total de procesos oportunos Total de procesos del Pp) x 100

Proceso Suficiencia

(SiacuteNo) Argumento o justificacioacuten

PAE 2017 48

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Porcentaje de

procesos

suficientes

(Total de procesos suficientes Total de procesos del Pp) x 100

Proceso Pertinencia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

pertinentes

(Total de procesos pertinentes Total de procesos del Pp) x 100

NOTA Los argumentos y justificaciones del evaluador deberaacuten considerar el anaacutelisis y valoraciones de

los subprocesos de cada proceso de modo que haya consistencia entre estos elementos Asimismo el

evaluador deberaacute expresar los resultados de la valoracioacuten cuantitativa en una graacutefica tipo radial

PAE 2017 49

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 10 ldquoSistema de monitoreo e indicadores de gestioacuten del Pp (formato libre)rdquo

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible

Nombre del Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten De Procesos

Antildeo de la Evaluacioacuten 2017

Fin Justificacioacuten Propoacutesito Justificacioacuten Componente (s) Justificacioacuten

Nombre de

Indicador

Meacutetodo de Caacutelculo

Claro SiacuteNo SiacuteNo SiacuteNo

Relevante SiacuteNo SiacuteNo SiacuteNo

Econoacutemico SiacuteNo SiacuteNo SiacuteNo

Monitoreable SiacuteNo SiacuteNo SiacuteNo

Adecuado SiacuteNo SiacuteNo SiacuteNo

Definicioacuten SiacuteNo SiacuteNo SiacuteNo

Unidad de Medida SiacuteNo SiacuteNo SiacuteNo

Frecuencia de

Medicioacuten

SiacuteNo SiacuteNo SiacuteNo

Liacutenea Base SiacuteNo SiacuteNo SiacuteNo

Metas SiacuteNo SiacuteNo SiacuteNo

Comportamiento

del Indicador

SiacuteNo SiacuteNo SiacuteNo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 50

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de Procesos del Pprdquo

En este Anexo la instancia evaluadora debe valorar si la recomendacioacuten implica una consolidacioacuten o

una reingenieriacutea del proceso

A) Consolidacioacuten

Proceso Recomendaci

oacuten

Breve

anaacutelisis de

viabilidad de

la

implementa-

cioacuten

Principales

responsables

de la

implementaci

oacuten

Situacioacuten

actual

Efectos

potenciales

esperados

Medio de

verifica-

cioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

B) Reingenieriacutea de procesos

Proceso Objetivo

Breve

anaacutelisis de

viabilidad

de la

implemen-

tacioacuten

Principales

responsables

de la

implemen-

tacioacuten

Situa-

cioacuten

actual

Metas y

efectos

potenciale

s

esperados

Elabora-

cioacuten de

flujogram

a del

nuevo

proceso

Medio

de

verifi-

cacioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

NOTA El nivel de priorizacioacuten Alto Medio o Bajo se estimaraacute considerando la mejora en la operacioacuten

del Pp la viabilidad de la implementacioacuten de la recomendacioacuten asiacute como el efecto potencial que esto

pueda tener el alcance del objetivo del Pp

PAE 2017 51

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 12 ldquoPrincipales Fortalezas Retos y Recomendacionesrdquo

Capacidades Internas Factores Externos

Fortalezas

(Cualquier capacidad con la que cuenta la dependencia o

entidad que le permita aprovechar sus recursos para la

obtencioacuten de sus objetivos)

Oportunidades

(Cualquier factor externo fuera del control de la dependencia o

entidad que puede ser aprovechado para la obtencioacuten de sus

objetivos)

Debilidades

(Cualquier limitante Interna de la dependencia o entidad que

puede afectar la obtencioacuten de sus objetivos)

Amenazas

(Cualquier factor externo fuera de control de la dependencia o

entidad que pueda afectar la obtencioacuten de sus objetivos)

PAE 2017 52

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacutenrdquo

El Informe Final de la Evaluacioacuten de Procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten

Superior deberaacuten contener una ficha con los siguientes datos

Ficha Teacutecnica con los datos generales de la evaluacioacuten

Nombre o denominacioacuten de la

evaluacioacuten

[Especificar el nombre de la evaluacioacuten considerando su tipo y ejercicio

evaluado]

Nombre o denominacioacuten del

programa evaluado

[Indicar el nombre del Pp sujeto a evaluacioacuten de acuerdo con lo

establecido en el PEF sentildealando su modalidad y clave]

Unidad Responsable de la operacioacuten

del programa

[Especificar la(s) unidad(es) responsable(s) de la administracioacuten

operacioacuten y ejecucioacuten de los programas subprogramas y proyectos del

Pp evaluado correspondientes a las dependencias y entidades]

Titular de la unidad responsable de la

operacioacuten del programa

[Indicar el nombre del(a) Titular de la Unidad Responsable de la

operacioacuten del Pp]

Antildeo del Programa Anual de

Evaluacioacuten (PAE) en que fue

considerada la evaluacioacuten

[Especificar el ejercicio fiscal al que corresponde el PAE en la que fue

programada la evaluacioacuten]

Antildeo de conclusioacuten y entrega de la

evaluacioacuten

[Indicar el antildeo en que se concluyoacute la evaluacioacuten]

Tipo de evaluacioacuten [Especificar el tipo de evaluacioacuten de acuerdo con los Lineamientos de

evaluacioacuten el nombre de la evaluacioacuten y con lo establecido en el PAE]

Nombre de la instancia evaluadora [Indicar el nombre de la firma consultoriacutea u organizacioacuten que realizoacute la

evaluacioacuten]

Nombre del(a) coordinador(a)

externo(a) de la evaluacioacuten

[Especificar el nombre del(a) responsable de la coordinacioacuten de la

evaluacioacuten dla instancia evaluadora]

Nombre de los(as) principales

colaboradores(as) del(a)

coordinador(a) de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del(a)

coordinador(a) de la evaluacioacuten]

PAE 2017 53

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Unidad Administrativa responsable de

la Coordinacioacuten de la evaluacioacuten

[De acuerdo con lo sentildealado en el PAE especificar la instancia a la que

corresponde la coordinacioacuten de la evaluacioacuten pej Secretariacutea de

Finanzas y Administracioacuten (SFA) asiacute como la unidad administrativa

mediante la cual se ejerce esta funcioacuten p ej Direccioacuten de Evaluacioacuten

de la SFA (DEV)

Nombre del(a) Titular de la unidad

administrativa responsable de

coordinar la evaluacioacuten (Aacuterea de

Evaluacioacuten)

[Especificar el nombre del(a) Titular de la Unidad responsable de dar

seguimiento a la evaluacioacuten que funge como Aacuterea de Evaluacioacuten]

Nombres de los(as) servidores(as)

puacuteblicos(as) adscritos(as) a la unidad

administrativa responsable de

coordinar la evaluacioacuten que

coadyuvaron con la revisioacuten teacutecnica

de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del

titular de la unidad administrativa responsable de dar seguimiento a la

evaluacioacuten respecto de la revisioacuten teacutecnica de la misma]

Forma de contratacioacuten de la instancia

evaluadora

[Indicar el tipo de contratacioacuten dla instancia evaluadora Especificar el

tipo de procedimiento de contratacioacuten de la instancia evaluadora

consistente con los tipos de adjudicacioacuten establecidos en la Ley de

Adquisiciones Arrendamientos y Servicios del Sector Puacuteblico]

Costo total de la evaluacioacuten con IVA

incluido

[Especificar el costo total de la evaluacioacuten incluyendo el IVA (en caso

de que se haya causado) como sigue $XXX IVA incluido]

Asimismo en este anexo se deberaacute incluir una nota metodoloacutegica con la descripcioacuten de las teacutecnicas

y los modelos utilizados por el evaluador externo acompantildeada del disentildeo por muestreo

especificando los supuestos empleados y las principales caracteriacutesticas del tamantildeo y dispersioacuten de

la muestra utilizada

DIRECTORIO

Rauacutel Saacutenchez Kobashi

Secretario de la Secretariacutea de Finanzas y Administracioacuten

Francisco Fidel Teomitzi Saacutenchez

Subsecretario de Planeacioacuten

Arturo Neponuceno Crisoacutestomo

Director de Evaluacioacuten

Rodolfo de la Rosa Cabrera

Subdireccioacuten de Evaluacioacuten de Programas

Sauacutel Federico Oropeza Orea

Jefe del Departamento de Programas Estatales y Municipales

Ana Luz Guzmaacuten Figueroa

Analista del Departamento de Programas Estatales y Municipales

Marco Antonio Saacutenchez Gonzaacutelez

Analista del Departamento de Programas Estatales y Municipales

Page 47: Términos de Referencia para la Evaluación del Desempeño ...evaluacion.puebla.gob.mx/pdf/metodologias/TdR_Est/2017/TdR... · Perfil de la instancia evaluadora ... acuerdo con las

PAE 2017 46

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 8 ldquoPropuesta de modificacioacuten a los documentos normativos o institucionales

del Pprdquo

Tipo de

norma-

tiva

Dice

Problema

generado

(causas y

consecuencias)

Se

recomienda

decir

Efecto esperado de

aplicar la

recomendacioacuten de

cambio

Restricciones praacutecticas

que puedan existir para

su implementacioacuten

PAE 2017 47

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 9 ldquoValoracioacuten global cuantitativa ldquo

Seccioacuten 1 Disentildeo

Disentildeo Valoracioacuten Argumento o justificacioacuten

Porcentaje del

Disentildeo del Pp

(Suma de valoracioacuten alcanzada por pregunta de la seccioacuten 1 Total maacuteximo de la

valoracioacuten de todas las preguntas de la seccioacuten 1 ) x 100

Seccioacuten 2 Procesos

Proceso Eficacia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

eficaces

(Total de procesos eficaces Total de procesos del Pp) x 100

Proceso Oportunidad

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

oportunos

(Total de procesos oportunos Total de procesos del Pp) x 100

Proceso Suficiencia

(SiacuteNo) Argumento o justificacioacuten

PAE 2017 48

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Porcentaje de

procesos

suficientes

(Total de procesos suficientes Total de procesos del Pp) x 100

Proceso Pertinencia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

pertinentes

(Total de procesos pertinentes Total de procesos del Pp) x 100

NOTA Los argumentos y justificaciones del evaluador deberaacuten considerar el anaacutelisis y valoraciones de

los subprocesos de cada proceso de modo que haya consistencia entre estos elementos Asimismo el

evaluador deberaacute expresar los resultados de la valoracioacuten cuantitativa en una graacutefica tipo radial

PAE 2017 49

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 10 ldquoSistema de monitoreo e indicadores de gestioacuten del Pp (formato libre)rdquo

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible

Nombre del Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten De Procesos

Antildeo de la Evaluacioacuten 2017

Fin Justificacioacuten Propoacutesito Justificacioacuten Componente (s) Justificacioacuten

Nombre de

Indicador

Meacutetodo de Caacutelculo

Claro SiacuteNo SiacuteNo SiacuteNo

Relevante SiacuteNo SiacuteNo SiacuteNo

Econoacutemico SiacuteNo SiacuteNo SiacuteNo

Monitoreable SiacuteNo SiacuteNo SiacuteNo

Adecuado SiacuteNo SiacuteNo SiacuteNo

Definicioacuten SiacuteNo SiacuteNo SiacuteNo

Unidad de Medida SiacuteNo SiacuteNo SiacuteNo

Frecuencia de

Medicioacuten

SiacuteNo SiacuteNo SiacuteNo

Liacutenea Base SiacuteNo SiacuteNo SiacuteNo

Metas SiacuteNo SiacuteNo SiacuteNo

Comportamiento

del Indicador

SiacuteNo SiacuteNo SiacuteNo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 50

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de Procesos del Pprdquo

En este Anexo la instancia evaluadora debe valorar si la recomendacioacuten implica una consolidacioacuten o

una reingenieriacutea del proceso

A) Consolidacioacuten

Proceso Recomendaci

oacuten

Breve

anaacutelisis de

viabilidad de

la

implementa-

cioacuten

Principales

responsables

de la

implementaci

oacuten

Situacioacuten

actual

Efectos

potenciales

esperados

Medio de

verifica-

cioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

B) Reingenieriacutea de procesos

Proceso Objetivo

Breve

anaacutelisis de

viabilidad

de la

implemen-

tacioacuten

Principales

responsables

de la

implemen-

tacioacuten

Situa-

cioacuten

actual

Metas y

efectos

potenciale

s

esperados

Elabora-

cioacuten de

flujogram

a del

nuevo

proceso

Medio

de

verifi-

cacioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

NOTA El nivel de priorizacioacuten Alto Medio o Bajo se estimaraacute considerando la mejora en la operacioacuten

del Pp la viabilidad de la implementacioacuten de la recomendacioacuten asiacute como el efecto potencial que esto

pueda tener el alcance del objetivo del Pp

PAE 2017 51

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 12 ldquoPrincipales Fortalezas Retos y Recomendacionesrdquo

Capacidades Internas Factores Externos

Fortalezas

(Cualquier capacidad con la que cuenta la dependencia o

entidad que le permita aprovechar sus recursos para la

obtencioacuten de sus objetivos)

Oportunidades

(Cualquier factor externo fuera del control de la dependencia o

entidad que puede ser aprovechado para la obtencioacuten de sus

objetivos)

Debilidades

(Cualquier limitante Interna de la dependencia o entidad que

puede afectar la obtencioacuten de sus objetivos)

Amenazas

(Cualquier factor externo fuera de control de la dependencia o

entidad que pueda afectar la obtencioacuten de sus objetivos)

PAE 2017 52

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacutenrdquo

El Informe Final de la Evaluacioacuten de Procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten

Superior deberaacuten contener una ficha con los siguientes datos

Ficha Teacutecnica con los datos generales de la evaluacioacuten

Nombre o denominacioacuten de la

evaluacioacuten

[Especificar el nombre de la evaluacioacuten considerando su tipo y ejercicio

evaluado]

Nombre o denominacioacuten del

programa evaluado

[Indicar el nombre del Pp sujeto a evaluacioacuten de acuerdo con lo

establecido en el PEF sentildealando su modalidad y clave]

Unidad Responsable de la operacioacuten

del programa

[Especificar la(s) unidad(es) responsable(s) de la administracioacuten

operacioacuten y ejecucioacuten de los programas subprogramas y proyectos del

Pp evaluado correspondientes a las dependencias y entidades]

Titular de la unidad responsable de la

operacioacuten del programa

[Indicar el nombre del(a) Titular de la Unidad Responsable de la

operacioacuten del Pp]

Antildeo del Programa Anual de

Evaluacioacuten (PAE) en que fue

considerada la evaluacioacuten

[Especificar el ejercicio fiscal al que corresponde el PAE en la que fue

programada la evaluacioacuten]

Antildeo de conclusioacuten y entrega de la

evaluacioacuten

[Indicar el antildeo en que se concluyoacute la evaluacioacuten]

Tipo de evaluacioacuten [Especificar el tipo de evaluacioacuten de acuerdo con los Lineamientos de

evaluacioacuten el nombre de la evaluacioacuten y con lo establecido en el PAE]

Nombre de la instancia evaluadora [Indicar el nombre de la firma consultoriacutea u organizacioacuten que realizoacute la

evaluacioacuten]

Nombre del(a) coordinador(a)

externo(a) de la evaluacioacuten

[Especificar el nombre del(a) responsable de la coordinacioacuten de la

evaluacioacuten dla instancia evaluadora]

Nombre de los(as) principales

colaboradores(as) del(a)

coordinador(a) de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del(a)

coordinador(a) de la evaluacioacuten]

PAE 2017 53

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Unidad Administrativa responsable de

la Coordinacioacuten de la evaluacioacuten

[De acuerdo con lo sentildealado en el PAE especificar la instancia a la que

corresponde la coordinacioacuten de la evaluacioacuten pej Secretariacutea de

Finanzas y Administracioacuten (SFA) asiacute como la unidad administrativa

mediante la cual se ejerce esta funcioacuten p ej Direccioacuten de Evaluacioacuten

de la SFA (DEV)

Nombre del(a) Titular de la unidad

administrativa responsable de

coordinar la evaluacioacuten (Aacuterea de

Evaluacioacuten)

[Especificar el nombre del(a) Titular de la Unidad responsable de dar

seguimiento a la evaluacioacuten que funge como Aacuterea de Evaluacioacuten]

Nombres de los(as) servidores(as)

puacuteblicos(as) adscritos(as) a la unidad

administrativa responsable de

coordinar la evaluacioacuten que

coadyuvaron con la revisioacuten teacutecnica

de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del

titular de la unidad administrativa responsable de dar seguimiento a la

evaluacioacuten respecto de la revisioacuten teacutecnica de la misma]

Forma de contratacioacuten de la instancia

evaluadora

[Indicar el tipo de contratacioacuten dla instancia evaluadora Especificar el

tipo de procedimiento de contratacioacuten de la instancia evaluadora

consistente con los tipos de adjudicacioacuten establecidos en la Ley de

Adquisiciones Arrendamientos y Servicios del Sector Puacuteblico]

Costo total de la evaluacioacuten con IVA

incluido

[Especificar el costo total de la evaluacioacuten incluyendo el IVA (en caso

de que se haya causado) como sigue $XXX IVA incluido]

Asimismo en este anexo se deberaacute incluir una nota metodoloacutegica con la descripcioacuten de las teacutecnicas

y los modelos utilizados por el evaluador externo acompantildeada del disentildeo por muestreo

especificando los supuestos empleados y las principales caracteriacutesticas del tamantildeo y dispersioacuten de

la muestra utilizada

DIRECTORIO

Rauacutel Saacutenchez Kobashi

Secretario de la Secretariacutea de Finanzas y Administracioacuten

Francisco Fidel Teomitzi Saacutenchez

Subsecretario de Planeacioacuten

Arturo Neponuceno Crisoacutestomo

Director de Evaluacioacuten

Rodolfo de la Rosa Cabrera

Subdireccioacuten de Evaluacioacuten de Programas

Sauacutel Federico Oropeza Orea

Jefe del Departamento de Programas Estatales y Municipales

Ana Luz Guzmaacuten Figueroa

Analista del Departamento de Programas Estatales y Municipales

Marco Antonio Saacutenchez Gonzaacutelez

Analista del Departamento de Programas Estatales y Municipales

Page 48: Términos de Referencia para la Evaluación del Desempeño ...evaluacion.puebla.gob.mx/pdf/metodologias/TdR_Est/2017/TdR... · Perfil de la instancia evaluadora ... acuerdo con las

PAE 2017 47

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 9 ldquoValoracioacuten global cuantitativa ldquo

Seccioacuten 1 Disentildeo

Disentildeo Valoracioacuten Argumento o justificacioacuten

Porcentaje del

Disentildeo del Pp

(Suma de valoracioacuten alcanzada por pregunta de la seccioacuten 1 Total maacuteximo de la

valoracioacuten de todas las preguntas de la seccioacuten 1 ) x 100

Seccioacuten 2 Procesos

Proceso Eficacia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

eficaces

(Total de procesos eficaces Total de procesos del Pp) x 100

Proceso Oportunidad

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

oportunos

(Total de procesos oportunos Total de procesos del Pp) x 100

Proceso Suficiencia

(SiacuteNo) Argumento o justificacioacuten

PAE 2017 48

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Porcentaje de

procesos

suficientes

(Total de procesos suficientes Total de procesos del Pp) x 100

Proceso Pertinencia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

pertinentes

(Total de procesos pertinentes Total de procesos del Pp) x 100

NOTA Los argumentos y justificaciones del evaluador deberaacuten considerar el anaacutelisis y valoraciones de

los subprocesos de cada proceso de modo que haya consistencia entre estos elementos Asimismo el

evaluador deberaacute expresar los resultados de la valoracioacuten cuantitativa en una graacutefica tipo radial

PAE 2017 49

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 10 ldquoSistema de monitoreo e indicadores de gestioacuten del Pp (formato libre)rdquo

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible

Nombre del Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten De Procesos

Antildeo de la Evaluacioacuten 2017

Fin Justificacioacuten Propoacutesito Justificacioacuten Componente (s) Justificacioacuten

Nombre de

Indicador

Meacutetodo de Caacutelculo

Claro SiacuteNo SiacuteNo SiacuteNo

Relevante SiacuteNo SiacuteNo SiacuteNo

Econoacutemico SiacuteNo SiacuteNo SiacuteNo

Monitoreable SiacuteNo SiacuteNo SiacuteNo

Adecuado SiacuteNo SiacuteNo SiacuteNo

Definicioacuten SiacuteNo SiacuteNo SiacuteNo

Unidad de Medida SiacuteNo SiacuteNo SiacuteNo

Frecuencia de

Medicioacuten

SiacuteNo SiacuteNo SiacuteNo

Liacutenea Base SiacuteNo SiacuteNo SiacuteNo

Metas SiacuteNo SiacuteNo SiacuteNo

Comportamiento

del Indicador

SiacuteNo SiacuteNo SiacuteNo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 50

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de Procesos del Pprdquo

En este Anexo la instancia evaluadora debe valorar si la recomendacioacuten implica una consolidacioacuten o

una reingenieriacutea del proceso

A) Consolidacioacuten

Proceso Recomendaci

oacuten

Breve

anaacutelisis de

viabilidad de

la

implementa-

cioacuten

Principales

responsables

de la

implementaci

oacuten

Situacioacuten

actual

Efectos

potenciales

esperados

Medio de

verifica-

cioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

B) Reingenieriacutea de procesos

Proceso Objetivo

Breve

anaacutelisis de

viabilidad

de la

implemen-

tacioacuten

Principales

responsables

de la

implemen-

tacioacuten

Situa-

cioacuten

actual

Metas y

efectos

potenciale

s

esperados

Elabora-

cioacuten de

flujogram

a del

nuevo

proceso

Medio

de

verifi-

cacioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

NOTA El nivel de priorizacioacuten Alto Medio o Bajo se estimaraacute considerando la mejora en la operacioacuten

del Pp la viabilidad de la implementacioacuten de la recomendacioacuten asiacute como el efecto potencial que esto

pueda tener el alcance del objetivo del Pp

PAE 2017 51

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 12 ldquoPrincipales Fortalezas Retos y Recomendacionesrdquo

Capacidades Internas Factores Externos

Fortalezas

(Cualquier capacidad con la que cuenta la dependencia o

entidad que le permita aprovechar sus recursos para la

obtencioacuten de sus objetivos)

Oportunidades

(Cualquier factor externo fuera del control de la dependencia o

entidad que puede ser aprovechado para la obtencioacuten de sus

objetivos)

Debilidades

(Cualquier limitante Interna de la dependencia o entidad que

puede afectar la obtencioacuten de sus objetivos)

Amenazas

(Cualquier factor externo fuera de control de la dependencia o

entidad que pueda afectar la obtencioacuten de sus objetivos)

PAE 2017 52

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacutenrdquo

El Informe Final de la Evaluacioacuten de Procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten

Superior deberaacuten contener una ficha con los siguientes datos

Ficha Teacutecnica con los datos generales de la evaluacioacuten

Nombre o denominacioacuten de la

evaluacioacuten

[Especificar el nombre de la evaluacioacuten considerando su tipo y ejercicio

evaluado]

Nombre o denominacioacuten del

programa evaluado

[Indicar el nombre del Pp sujeto a evaluacioacuten de acuerdo con lo

establecido en el PEF sentildealando su modalidad y clave]

Unidad Responsable de la operacioacuten

del programa

[Especificar la(s) unidad(es) responsable(s) de la administracioacuten

operacioacuten y ejecucioacuten de los programas subprogramas y proyectos del

Pp evaluado correspondientes a las dependencias y entidades]

Titular de la unidad responsable de la

operacioacuten del programa

[Indicar el nombre del(a) Titular de la Unidad Responsable de la

operacioacuten del Pp]

Antildeo del Programa Anual de

Evaluacioacuten (PAE) en que fue

considerada la evaluacioacuten

[Especificar el ejercicio fiscal al que corresponde el PAE en la que fue

programada la evaluacioacuten]

Antildeo de conclusioacuten y entrega de la

evaluacioacuten

[Indicar el antildeo en que se concluyoacute la evaluacioacuten]

Tipo de evaluacioacuten [Especificar el tipo de evaluacioacuten de acuerdo con los Lineamientos de

evaluacioacuten el nombre de la evaluacioacuten y con lo establecido en el PAE]

Nombre de la instancia evaluadora [Indicar el nombre de la firma consultoriacutea u organizacioacuten que realizoacute la

evaluacioacuten]

Nombre del(a) coordinador(a)

externo(a) de la evaluacioacuten

[Especificar el nombre del(a) responsable de la coordinacioacuten de la

evaluacioacuten dla instancia evaluadora]

Nombre de los(as) principales

colaboradores(as) del(a)

coordinador(a) de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del(a)

coordinador(a) de la evaluacioacuten]

PAE 2017 53

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Unidad Administrativa responsable de

la Coordinacioacuten de la evaluacioacuten

[De acuerdo con lo sentildealado en el PAE especificar la instancia a la que

corresponde la coordinacioacuten de la evaluacioacuten pej Secretariacutea de

Finanzas y Administracioacuten (SFA) asiacute como la unidad administrativa

mediante la cual se ejerce esta funcioacuten p ej Direccioacuten de Evaluacioacuten

de la SFA (DEV)

Nombre del(a) Titular de la unidad

administrativa responsable de

coordinar la evaluacioacuten (Aacuterea de

Evaluacioacuten)

[Especificar el nombre del(a) Titular de la Unidad responsable de dar

seguimiento a la evaluacioacuten que funge como Aacuterea de Evaluacioacuten]

Nombres de los(as) servidores(as)

puacuteblicos(as) adscritos(as) a la unidad

administrativa responsable de

coordinar la evaluacioacuten que

coadyuvaron con la revisioacuten teacutecnica

de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del

titular de la unidad administrativa responsable de dar seguimiento a la

evaluacioacuten respecto de la revisioacuten teacutecnica de la misma]

Forma de contratacioacuten de la instancia

evaluadora

[Indicar el tipo de contratacioacuten dla instancia evaluadora Especificar el

tipo de procedimiento de contratacioacuten de la instancia evaluadora

consistente con los tipos de adjudicacioacuten establecidos en la Ley de

Adquisiciones Arrendamientos y Servicios del Sector Puacuteblico]

Costo total de la evaluacioacuten con IVA

incluido

[Especificar el costo total de la evaluacioacuten incluyendo el IVA (en caso

de que se haya causado) como sigue $XXX IVA incluido]

Asimismo en este anexo se deberaacute incluir una nota metodoloacutegica con la descripcioacuten de las teacutecnicas

y los modelos utilizados por el evaluador externo acompantildeada del disentildeo por muestreo

especificando los supuestos empleados y las principales caracteriacutesticas del tamantildeo y dispersioacuten de

la muestra utilizada

DIRECTORIO

Rauacutel Saacutenchez Kobashi

Secretario de la Secretariacutea de Finanzas y Administracioacuten

Francisco Fidel Teomitzi Saacutenchez

Subsecretario de Planeacioacuten

Arturo Neponuceno Crisoacutestomo

Director de Evaluacioacuten

Rodolfo de la Rosa Cabrera

Subdireccioacuten de Evaluacioacuten de Programas

Sauacutel Federico Oropeza Orea

Jefe del Departamento de Programas Estatales y Municipales

Ana Luz Guzmaacuten Figueroa

Analista del Departamento de Programas Estatales y Municipales

Marco Antonio Saacutenchez Gonzaacutelez

Analista del Departamento de Programas Estatales y Municipales

Page 49: Términos de Referencia para la Evaluación del Desempeño ...evaluacion.puebla.gob.mx/pdf/metodologias/TdR_Est/2017/TdR... · Perfil de la instancia evaluadora ... acuerdo con las

PAE 2017 48

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Porcentaje de

procesos

suficientes

(Total de procesos suficientes Total de procesos del Pp) x 100

Proceso Pertinencia

(SiacuteNo) Argumento o justificacioacuten

Porcentaje de

procesos

pertinentes

(Total de procesos pertinentes Total de procesos del Pp) x 100

NOTA Los argumentos y justificaciones del evaluador deberaacuten considerar el anaacutelisis y valoraciones de

los subprocesos de cada proceso de modo que haya consistencia entre estos elementos Asimismo el

evaluador deberaacute expresar los resultados de la valoracioacuten cuantitativa en una graacutefica tipo radial

PAE 2017 49

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 10 ldquoSistema de monitoreo e indicadores de gestioacuten del Pp (formato libre)rdquo

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible

Nombre del Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten De Procesos

Antildeo de la Evaluacioacuten 2017

Fin Justificacioacuten Propoacutesito Justificacioacuten Componente (s) Justificacioacuten

Nombre de

Indicador

Meacutetodo de Caacutelculo

Claro SiacuteNo SiacuteNo SiacuteNo

Relevante SiacuteNo SiacuteNo SiacuteNo

Econoacutemico SiacuteNo SiacuteNo SiacuteNo

Monitoreable SiacuteNo SiacuteNo SiacuteNo

Adecuado SiacuteNo SiacuteNo SiacuteNo

Definicioacuten SiacuteNo SiacuteNo SiacuteNo

Unidad de Medida SiacuteNo SiacuteNo SiacuteNo

Frecuencia de

Medicioacuten

SiacuteNo SiacuteNo SiacuteNo

Liacutenea Base SiacuteNo SiacuteNo SiacuteNo

Metas SiacuteNo SiacuteNo SiacuteNo

Comportamiento

del Indicador

SiacuteNo SiacuteNo SiacuteNo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 50

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de Procesos del Pprdquo

En este Anexo la instancia evaluadora debe valorar si la recomendacioacuten implica una consolidacioacuten o

una reingenieriacutea del proceso

A) Consolidacioacuten

Proceso Recomendaci

oacuten

Breve

anaacutelisis de

viabilidad de

la

implementa-

cioacuten

Principales

responsables

de la

implementaci

oacuten

Situacioacuten

actual

Efectos

potenciales

esperados

Medio de

verifica-

cioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

B) Reingenieriacutea de procesos

Proceso Objetivo

Breve

anaacutelisis de

viabilidad

de la

implemen-

tacioacuten

Principales

responsables

de la

implemen-

tacioacuten

Situa-

cioacuten

actual

Metas y

efectos

potenciale

s

esperados

Elabora-

cioacuten de

flujogram

a del

nuevo

proceso

Medio

de

verifi-

cacioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

NOTA El nivel de priorizacioacuten Alto Medio o Bajo se estimaraacute considerando la mejora en la operacioacuten

del Pp la viabilidad de la implementacioacuten de la recomendacioacuten asiacute como el efecto potencial que esto

pueda tener el alcance del objetivo del Pp

PAE 2017 51

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 12 ldquoPrincipales Fortalezas Retos y Recomendacionesrdquo

Capacidades Internas Factores Externos

Fortalezas

(Cualquier capacidad con la que cuenta la dependencia o

entidad que le permita aprovechar sus recursos para la

obtencioacuten de sus objetivos)

Oportunidades

(Cualquier factor externo fuera del control de la dependencia o

entidad que puede ser aprovechado para la obtencioacuten de sus

objetivos)

Debilidades

(Cualquier limitante Interna de la dependencia o entidad que

puede afectar la obtencioacuten de sus objetivos)

Amenazas

(Cualquier factor externo fuera de control de la dependencia o

entidad que pueda afectar la obtencioacuten de sus objetivos)

PAE 2017 52

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacutenrdquo

El Informe Final de la Evaluacioacuten de Procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten

Superior deberaacuten contener una ficha con los siguientes datos

Ficha Teacutecnica con los datos generales de la evaluacioacuten

Nombre o denominacioacuten de la

evaluacioacuten

[Especificar el nombre de la evaluacioacuten considerando su tipo y ejercicio

evaluado]

Nombre o denominacioacuten del

programa evaluado

[Indicar el nombre del Pp sujeto a evaluacioacuten de acuerdo con lo

establecido en el PEF sentildealando su modalidad y clave]

Unidad Responsable de la operacioacuten

del programa

[Especificar la(s) unidad(es) responsable(s) de la administracioacuten

operacioacuten y ejecucioacuten de los programas subprogramas y proyectos del

Pp evaluado correspondientes a las dependencias y entidades]

Titular de la unidad responsable de la

operacioacuten del programa

[Indicar el nombre del(a) Titular de la Unidad Responsable de la

operacioacuten del Pp]

Antildeo del Programa Anual de

Evaluacioacuten (PAE) en que fue

considerada la evaluacioacuten

[Especificar el ejercicio fiscal al que corresponde el PAE en la que fue

programada la evaluacioacuten]

Antildeo de conclusioacuten y entrega de la

evaluacioacuten

[Indicar el antildeo en que se concluyoacute la evaluacioacuten]

Tipo de evaluacioacuten [Especificar el tipo de evaluacioacuten de acuerdo con los Lineamientos de

evaluacioacuten el nombre de la evaluacioacuten y con lo establecido en el PAE]

Nombre de la instancia evaluadora [Indicar el nombre de la firma consultoriacutea u organizacioacuten que realizoacute la

evaluacioacuten]

Nombre del(a) coordinador(a)

externo(a) de la evaluacioacuten

[Especificar el nombre del(a) responsable de la coordinacioacuten de la

evaluacioacuten dla instancia evaluadora]

Nombre de los(as) principales

colaboradores(as) del(a)

coordinador(a) de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del(a)

coordinador(a) de la evaluacioacuten]

PAE 2017 53

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Unidad Administrativa responsable de

la Coordinacioacuten de la evaluacioacuten

[De acuerdo con lo sentildealado en el PAE especificar la instancia a la que

corresponde la coordinacioacuten de la evaluacioacuten pej Secretariacutea de

Finanzas y Administracioacuten (SFA) asiacute como la unidad administrativa

mediante la cual se ejerce esta funcioacuten p ej Direccioacuten de Evaluacioacuten

de la SFA (DEV)

Nombre del(a) Titular de la unidad

administrativa responsable de

coordinar la evaluacioacuten (Aacuterea de

Evaluacioacuten)

[Especificar el nombre del(a) Titular de la Unidad responsable de dar

seguimiento a la evaluacioacuten que funge como Aacuterea de Evaluacioacuten]

Nombres de los(as) servidores(as)

puacuteblicos(as) adscritos(as) a la unidad

administrativa responsable de

coordinar la evaluacioacuten que

coadyuvaron con la revisioacuten teacutecnica

de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del

titular de la unidad administrativa responsable de dar seguimiento a la

evaluacioacuten respecto de la revisioacuten teacutecnica de la misma]

Forma de contratacioacuten de la instancia

evaluadora

[Indicar el tipo de contratacioacuten dla instancia evaluadora Especificar el

tipo de procedimiento de contratacioacuten de la instancia evaluadora

consistente con los tipos de adjudicacioacuten establecidos en la Ley de

Adquisiciones Arrendamientos y Servicios del Sector Puacuteblico]

Costo total de la evaluacioacuten con IVA

incluido

[Especificar el costo total de la evaluacioacuten incluyendo el IVA (en caso

de que se haya causado) como sigue $XXX IVA incluido]

Asimismo en este anexo se deberaacute incluir una nota metodoloacutegica con la descripcioacuten de las teacutecnicas

y los modelos utilizados por el evaluador externo acompantildeada del disentildeo por muestreo

especificando los supuestos empleados y las principales caracteriacutesticas del tamantildeo y dispersioacuten de

la muestra utilizada

DIRECTORIO

Rauacutel Saacutenchez Kobashi

Secretario de la Secretariacutea de Finanzas y Administracioacuten

Francisco Fidel Teomitzi Saacutenchez

Subsecretario de Planeacioacuten

Arturo Neponuceno Crisoacutestomo

Director de Evaluacioacuten

Rodolfo de la Rosa Cabrera

Subdireccioacuten de Evaluacioacuten de Programas

Sauacutel Federico Oropeza Orea

Jefe del Departamento de Programas Estatales y Municipales

Ana Luz Guzmaacuten Figueroa

Analista del Departamento de Programas Estatales y Municipales

Marco Antonio Saacutenchez Gonzaacutelez

Analista del Departamento de Programas Estatales y Municipales

Page 50: Términos de Referencia para la Evaluación del Desempeño ...evaluacion.puebla.gob.mx/pdf/metodologias/TdR_Est/2017/TdR... · Perfil de la instancia evaluadora ... acuerdo con las

PAE 2017 49

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 10 ldquoSistema de monitoreo e indicadores de gestioacuten del Pp (formato libre)rdquo

Los indicadores que se propongan por la instancia evaluadora deberaacuten cumplir con las siguientes

caracteriacutesticas Claros Relevantes Econoacutemicos Monitoreables y Adecuados Asimismo la instancia

evaluadora deberaacute presentar el ejercicio de un primer caacutelculo de estos indicadores con insumos

reales de ser posible

Nombre del Programa

Modalidad

DependenciaEntidad

Unidad Responsable

Tipo de Evaluacioacuten De Procesos

Antildeo de la Evaluacioacuten 2017

Fin Justificacioacuten Propoacutesito Justificacioacuten Componente (s) Justificacioacuten

Nombre de

Indicador

Meacutetodo de Caacutelculo

Claro SiacuteNo SiacuteNo SiacuteNo

Relevante SiacuteNo SiacuteNo SiacuteNo

Econoacutemico SiacuteNo SiacuteNo SiacuteNo

Monitoreable SiacuteNo SiacuteNo SiacuteNo

Adecuado SiacuteNo SiacuteNo SiacuteNo

Definicioacuten SiacuteNo SiacuteNo SiacuteNo

Unidad de Medida SiacuteNo SiacuteNo SiacuteNo

Frecuencia de

Medicioacuten

SiacuteNo SiacuteNo SiacuteNo

Liacutenea Base SiacuteNo SiacuteNo SiacuteNo

Metas SiacuteNo SiacuteNo SiacuteNo

Comportamiento

del Indicador

SiacuteNo SiacuteNo SiacuteNo

Nota Incluir los componentes necesarios para el programa evaluado

PAE 2017 50

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de Procesos del Pprdquo

En este Anexo la instancia evaluadora debe valorar si la recomendacioacuten implica una consolidacioacuten o

una reingenieriacutea del proceso

A) Consolidacioacuten

Proceso Recomendaci

oacuten

Breve

anaacutelisis de

viabilidad de

la

implementa-

cioacuten

Principales

responsables

de la

implementaci

oacuten

Situacioacuten

actual

Efectos

potenciales

esperados

Medio de

verifica-

cioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

B) Reingenieriacutea de procesos

Proceso Objetivo

Breve

anaacutelisis de

viabilidad

de la

implemen-

tacioacuten

Principales

responsables

de la

implemen-

tacioacuten

Situa-

cioacuten

actual

Metas y

efectos

potenciale

s

esperados

Elabora-

cioacuten de

flujogram

a del

nuevo

proceso

Medio

de

verifi-

cacioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

NOTA El nivel de priorizacioacuten Alto Medio o Bajo se estimaraacute considerando la mejora en la operacioacuten

del Pp la viabilidad de la implementacioacuten de la recomendacioacuten asiacute como el efecto potencial que esto

pueda tener el alcance del objetivo del Pp

PAE 2017 51

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 12 ldquoPrincipales Fortalezas Retos y Recomendacionesrdquo

Capacidades Internas Factores Externos

Fortalezas

(Cualquier capacidad con la que cuenta la dependencia o

entidad que le permita aprovechar sus recursos para la

obtencioacuten de sus objetivos)

Oportunidades

(Cualquier factor externo fuera del control de la dependencia o

entidad que puede ser aprovechado para la obtencioacuten de sus

objetivos)

Debilidades

(Cualquier limitante Interna de la dependencia o entidad que

puede afectar la obtencioacuten de sus objetivos)

Amenazas

(Cualquier factor externo fuera de control de la dependencia o

entidad que pueda afectar la obtencioacuten de sus objetivos)

PAE 2017 52

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacutenrdquo

El Informe Final de la Evaluacioacuten de Procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten

Superior deberaacuten contener una ficha con los siguientes datos

Ficha Teacutecnica con los datos generales de la evaluacioacuten

Nombre o denominacioacuten de la

evaluacioacuten

[Especificar el nombre de la evaluacioacuten considerando su tipo y ejercicio

evaluado]

Nombre o denominacioacuten del

programa evaluado

[Indicar el nombre del Pp sujeto a evaluacioacuten de acuerdo con lo

establecido en el PEF sentildealando su modalidad y clave]

Unidad Responsable de la operacioacuten

del programa

[Especificar la(s) unidad(es) responsable(s) de la administracioacuten

operacioacuten y ejecucioacuten de los programas subprogramas y proyectos del

Pp evaluado correspondientes a las dependencias y entidades]

Titular de la unidad responsable de la

operacioacuten del programa

[Indicar el nombre del(a) Titular de la Unidad Responsable de la

operacioacuten del Pp]

Antildeo del Programa Anual de

Evaluacioacuten (PAE) en que fue

considerada la evaluacioacuten

[Especificar el ejercicio fiscal al que corresponde el PAE en la que fue

programada la evaluacioacuten]

Antildeo de conclusioacuten y entrega de la

evaluacioacuten

[Indicar el antildeo en que se concluyoacute la evaluacioacuten]

Tipo de evaluacioacuten [Especificar el tipo de evaluacioacuten de acuerdo con los Lineamientos de

evaluacioacuten el nombre de la evaluacioacuten y con lo establecido en el PAE]

Nombre de la instancia evaluadora [Indicar el nombre de la firma consultoriacutea u organizacioacuten que realizoacute la

evaluacioacuten]

Nombre del(a) coordinador(a)

externo(a) de la evaluacioacuten

[Especificar el nombre del(a) responsable de la coordinacioacuten de la

evaluacioacuten dla instancia evaluadora]

Nombre de los(as) principales

colaboradores(as) del(a)

coordinador(a) de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del(a)

coordinador(a) de la evaluacioacuten]

PAE 2017 53

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Unidad Administrativa responsable de

la Coordinacioacuten de la evaluacioacuten

[De acuerdo con lo sentildealado en el PAE especificar la instancia a la que

corresponde la coordinacioacuten de la evaluacioacuten pej Secretariacutea de

Finanzas y Administracioacuten (SFA) asiacute como la unidad administrativa

mediante la cual se ejerce esta funcioacuten p ej Direccioacuten de Evaluacioacuten

de la SFA (DEV)

Nombre del(a) Titular de la unidad

administrativa responsable de

coordinar la evaluacioacuten (Aacuterea de

Evaluacioacuten)

[Especificar el nombre del(a) Titular de la Unidad responsable de dar

seguimiento a la evaluacioacuten que funge como Aacuterea de Evaluacioacuten]

Nombres de los(as) servidores(as)

puacuteblicos(as) adscritos(as) a la unidad

administrativa responsable de

coordinar la evaluacioacuten que

coadyuvaron con la revisioacuten teacutecnica

de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del

titular de la unidad administrativa responsable de dar seguimiento a la

evaluacioacuten respecto de la revisioacuten teacutecnica de la misma]

Forma de contratacioacuten de la instancia

evaluadora

[Indicar el tipo de contratacioacuten dla instancia evaluadora Especificar el

tipo de procedimiento de contratacioacuten de la instancia evaluadora

consistente con los tipos de adjudicacioacuten establecidos en la Ley de

Adquisiciones Arrendamientos y Servicios del Sector Puacuteblico]

Costo total de la evaluacioacuten con IVA

incluido

[Especificar el costo total de la evaluacioacuten incluyendo el IVA (en caso

de que se haya causado) como sigue $XXX IVA incluido]

Asimismo en este anexo se deberaacute incluir una nota metodoloacutegica con la descripcioacuten de las teacutecnicas

y los modelos utilizados por el evaluador externo acompantildeada del disentildeo por muestreo

especificando los supuestos empleados y las principales caracteriacutesticas del tamantildeo y dispersioacuten de

la muestra utilizada

DIRECTORIO

Rauacutel Saacutenchez Kobashi

Secretario de la Secretariacutea de Finanzas y Administracioacuten

Francisco Fidel Teomitzi Saacutenchez

Subsecretario de Planeacioacuten

Arturo Neponuceno Crisoacutestomo

Director de Evaluacioacuten

Rodolfo de la Rosa Cabrera

Subdireccioacuten de Evaluacioacuten de Programas

Sauacutel Federico Oropeza Orea

Jefe del Departamento de Programas Estatales y Municipales

Ana Luz Guzmaacuten Figueroa

Analista del Departamento de Programas Estatales y Municipales

Marco Antonio Saacutenchez Gonzaacutelez

Analista del Departamento de Programas Estatales y Municipales

Page 51: Términos de Referencia para la Evaluación del Desempeño ...evaluacion.puebla.gob.mx/pdf/metodologias/TdR_Est/2017/TdR... · Perfil de la instancia evaluadora ... acuerdo con las

PAE 2017 50

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 11 ldquoRecomendaciones de la Evaluacioacuten de Procesos del Pprdquo

En este Anexo la instancia evaluadora debe valorar si la recomendacioacuten implica una consolidacioacuten o

una reingenieriacutea del proceso

A) Consolidacioacuten

Proceso Recomendaci

oacuten

Breve

anaacutelisis de

viabilidad de

la

implementa-

cioacuten

Principales

responsables

de la

implementaci

oacuten

Situacioacuten

actual

Efectos

potenciales

esperados

Medio de

verifica-

cioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

B) Reingenieriacutea de procesos

Proceso Objetivo

Breve

anaacutelisis de

viabilidad

de la

implemen-

tacioacuten

Principales

responsables

de la

implemen-

tacioacuten

Situa-

cioacuten

actual

Metas y

efectos

potenciale

s

esperados

Elabora-

cioacuten de

flujogram

a del

nuevo

proceso

Medio

de

verifi-

cacioacuten

Nivel de

priorizacioacuten

(Alto

Medio o

Bajo)

NOTA El nivel de priorizacioacuten Alto Medio o Bajo se estimaraacute considerando la mejora en la operacioacuten

del Pp la viabilidad de la implementacioacuten de la recomendacioacuten asiacute como el efecto potencial que esto

pueda tener el alcance del objetivo del Pp

PAE 2017 51

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 12 ldquoPrincipales Fortalezas Retos y Recomendacionesrdquo

Capacidades Internas Factores Externos

Fortalezas

(Cualquier capacidad con la que cuenta la dependencia o

entidad que le permita aprovechar sus recursos para la

obtencioacuten de sus objetivos)

Oportunidades

(Cualquier factor externo fuera del control de la dependencia o

entidad que puede ser aprovechado para la obtencioacuten de sus

objetivos)

Debilidades

(Cualquier limitante Interna de la dependencia o entidad que

puede afectar la obtencioacuten de sus objetivos)

Amenazas

(Cualquier factor externo fuera de control de la dependencia o

entidad que pueda afectar la obtencioacuten de sus objetivos)

PAE 2017 52

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacutenrdquo

El Informe Final de la Evaluacioacuten de Procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten

Superior deberaacuten contener una ficha con los siguientes datos

Ficha Teacutecnica con los datos generales de la evaluacioacuten

Nombre o denominacioacuten de la

evaluacioacuten

[Especificar el nombre de la evaluacioacuten considerando su tipo y ejercicio

evaluado]

Nombre o denominacioacuten del

programa evaluado

[Indicar el nombre del Pp sujeto a evaluacioacuten de acuerdo con lo

establecido en el PEF sentildealando su modalidad y clave]

Unidad Responsable de la operacioacuten

del programa

[Especificar la(s) unidad(es) responsable(s) de la administracioacuten

operacioacuten y ejecucioacuten de los programas subprogramas y proyectos del

Pp evaluado correspondientes a las dependencias y entidades]

Titular de la unidad responsable de la

operacioacuten del programa

[Indicar el nombre del(a) Titular de la Unidad Responsable de la

operacioacuten del Pp]

Antildeo del Programa Anual de

Evaluacioacuten (PAE) en que fue

considerada la evaluacioacuten

[Especificar el ejercicio fiscal al que corresponde el PAE en la que fue

programada la evaluacioacuten]

Antildeo de conclusioacuten y entrega de la

evaluacioacuten

[Indicar el antildeo en que se concluyoacute la evaluacioacuten]

Tipo de evaluacioacuten [Especificar el tipo de evaluacioacuten de acuerdo con los Lineamientos de

evaluacioacuten el nombre de la evaluacioacuten y con lo establecido en el PAE]

Nombre de la instancia evaluadora [Indicar el nombre de la firma consultoriacutea u organizacioacuten que realizoacute la

evaluacioacuten]

Nombre del(a) coordinador(a)

externo(a) de la evaluacioacuten

[Especificar el nombre del(a) responsable de la coordinacioacuten de la

evaluacioacuten dla instancia evaluadora]

Nombre de los(as) principales

colaboradores(as) del(a)

coordinador(a) de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del(a)

coordinador(a) de la evaluacioacuten]

PAE 2017 53

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Unidad Administrativa responsable de

la Coordinacioacuten de la evaluacioacuten

[De acuerdo con lo sentildealado en el PAE especificar la instancia a la que

corresponde la coordinacioacuten de la evaluacioacuten pej Secretariacutea de

Finanzas y Administracioacuten (SFA) asiacute como la unidad administrativa

mediante la cual se ejerce esta funcioacuten p ej Direccioacuten de Evaluacioacuten

de la SFA (DEV)

Nombre del(a) Titular de la unidad

administrativa responsable de

coordinar la evaluacioacuten (Aacuterea de

Evaluacioacuten)

[Especificar el nombre del(a) Titular de la Unidad responsable de dar

seguimiento a la evaluacioacuten que funge como Aacuterea de Evaluacioacuten]

Nombres de los(as) servidores(as)

puacuteblicos(as) adscritos(as) a la unidad

administrativa responsable de

coordinar la evaluacioacuten que

coadyuvaron con la revisioacuten teacutecnica

de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del

titular de la unidad administrativa responsable de dar seguimiento a la

evaluacioacuten respecto de la revisioacuten teacutecnica de la misma]

Forma de contratacioacuten de la instancia

evaluadora

[Indicar el tipo de contratacioacuten dla instancia evaluadora Especificar el

tipo de procedimiento de contratacioacuten de la instancia evaluadora

consistente con los tipos de adjudicacioacuten establecidos en la Ley de

Adquisiciones Arrendamientos y Servicios del Sector Puacuteblico]

Costo total de la evaluacioacuten con IVA

incluido

[Especificar el costo total de la evaluacioacuten incluyendo el IVA (en caso

de que se haya causado) como sigue $XXX IVA incluido]

Asimismo en este anexo se deberaacute incluir una nota metodoloacutegica con la descripcioacuten de las teacutecnicas

y los modelos utilizados por el evaluador externo acompantildeada del disentildeo por muestreo

especificando los supuestos empleados y las principales caracteriacutesticas del tamantildeo y dispersioacuten de

la muestra utilizada

DIRECTORIO

Rauacutel Saacutenchez Kobashi

Secretario de la Secretariacutea de Finanzas y Administracioacuten

Francisco Fidel Teomitzi Saacutenchez

Subsecretario de Planeacioacuten

Arturo Neponuceno Crisoacutestomo

Director de Evaluacioacuten

Rodolfo de la Rosa Cabrera

Subdireccioacuten de Evaluacioacuten de Programas

Sauacutel Federico Oropeza Orea

Jefe del Departamento de Programas Estatales y Municipales

Ana Luz Guzmaacuten Figueroa

Analista del Departamento de Programas Estatales y Municipales

Marco Antonio Saacutenchez Gonzaacutelez

Analista del Departamento de Programas Estatales y Municipales

Page 52: Términos de Referencia para la Evaluación del Desempeño ...evaluacion.puebla.gob.mx/pdf/metodologias/TdR_Est/2017/TdR... · Perfil de la instancia evaluadora ... acuerdo con las

PAE 2017 51

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 12 ldquoPrincipales Fortalezas Retos y Recomendacionesrdquo

Capacidades Internas Factores Externos

Fortalezas

(Cualquier capacidad con la que cuenta la dependencia o

entidad que le permita aprovechar sus recursos para la

obtencioacuten de sus objetivos)

Oportunidades

(Cualquier factor externo fuera del control de la dependencia o

entidad que puede ser aprovechado para la obtencioacuten de sus

objetivos)

Debilidades

(Cualquier limitante Interna de la dependencia o entidad que

puede afectar la obtencioacuten de sus objetivos)

Amenazas

(Cualquier factor externo fuera de control de la dependencia o

entidad que pueda afectar la obtencioacuten de sus objetivos)

PAE 2017 52

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacutenrdquo

El Informe Final de la Evaluacioacuten de Procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten

Superior deberaacuten contener una ficha con los siguientes datos

Ficha Teacutecnica con los datos generales de la evaluacioacuten

Nombre o denominacioacuten de la

evaluacioacuten

[Especificar el nombre de la evaluacioacuten considerando su tipo y ejercicio

evaluado]

Nombre o denominacioacuten del

programa evaluado

[Indicar el nombre del Pp sujeto a evaluacioacuten de acuerdo con lo

establecido en el PEF sentildealando su modalidad y clave]

Unidad Responsable de la operacioacuten

del programa

[Especificar la(s) unidad(es) responsable(s) de la administracioacuten

operacioacuten y ejecucioacuten de los programas subprogramas y proyectos del

Pp evaluado correspondientes a las dependencias y entidades]

Titular de la unidad responsable de la

operacioacuten del programa

[Indicar el nombre del(a) Titular de la Unidad Responsable de la

operacioacuten del Pp]

Antildeo del Programa Anual de

Evaluacioacuten (PAE) en que fue

considerada la evaluacioacuten

[Especificar el ejercicio fiscal al que corresponde el PAE en la que fue

programada la evaluacioacuten]

Antildeo de conclusioacuten y entrega de la

evaluacioacuten

[Indicar el antildeo en que se concluyoacute la evaluacioacuten]

Tipo de evaluacioacuten [Especificar el tipo de evaluacioacuten de acuerdo con los Lineamientos de

evaluacioacuten el nombre de la evaluacioacuten y con lo establecido en el PAE]

Nombre de la instancia evaluadora [Indicar el nombre de la firma consultoriacutea u organizacioacuten que realizoacute la

evaluacioacuten]

Nombre del(a) coordinador(a)

externo(a) de la evaluacioacuten

[Especificar el nombre del(a) responsable de la coordinacioacuten de la

evaluacioacuten dla instancia evaluadora]

Nombre de los(as) principales

colaboradores(as) del(a)

coordinador(a) de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del(a)

coordinador(a) de la evaluacioacuten]

PAE 2017 53

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Unidad Administrativa responsable de

la Coordinacioacuten de la evaluacioacuten

[De acuerdo con lo sentildealado en el PAE especificar la instancia a la que

corresponde la coordinacioacuten de la evaluacioacuten pej Secretariacutea de

Finanzas y Administracioacuten (SFA) asiacute como la unidad administrativa

mediante la cual se ejerce esta funcioacuten p ej Direccioacuten de Evaluacioacuten

de la SFA (DEV)

Nombre del(a) Titular de la unidad

administrativa responsable de

coordinar la evaluacioacuten (Aacuterea de

Evaluacioacuten)

[Especificar el nombre del(a) Titular de la Unidad responsable de dar

seguimiento a la evaluacioacuten que funge como Aacuterea de Evaluacioacuten]

Nombres de los(as) servidores(as)

puacuteblicos(as) adscritos(as) a la unidad

administrativa responsable de

coordinar la evaluacioacuten que

coadyuvaron con la revisioacuten teacutecnica

de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del

titular de la unidad administrativa responsable de dar seguimiento a la

evaluacioacuten respecto de la revisioacuten teacutecnica de la misma]

Forma de contratacioacuten de la instancia

evaluadora

[Indicar el tipo de contratacioacuten dla instancia evaluadora Especificar el

tipo de procedimiento de contratacioacuten de la instancia evaluadora

consistente con los tipos de adjudicacioacuten establecidos en la Ley de

Adquisiciones Arrendamientos y Servicios del Sector Puacuteblico]

Costo total de la evaluacioacuten con IVA

incluido

[Especificar el costo total de la evaluacioacuten incluyendo el IVA (en caso

de que se haya causado) como sigue $XXX IVA incluido]

Asimismo en este anexo se deberaacute incluir una nota metodoloacutegica con la descripcioacuten de las teacutecnicas

y los modelos utilizados por el evaluador externo acompantildeada del disentildeo por muestreo

especificando los supuestos empleados y las principales caracteriacutesticas del tamantildeo y dispersioacuten de

la muestra utilizada

DIRECTORIO

Rauacutel Saacutenchez Kobashi

Secretario de la Secretariacutea de Finanzas y Administracioacuten

Francisco Fidel Teomitzi Saacutenchez

Subsecretario de Planeacioacuten

Arturo Neponuceno Crisoacutestomo

Director de Evaluacioacuten

Rodolfo de la Rosa Cabrera

Subdireccioacuten de Evaluacioacuten de Programas

Sauacutel Federico Oropeza Orea

Jefe del Departamento de Programas Estatales y Municipales

Ana Luz Guzmaacuten Figueroa

Analista del Departamento de Programas Estatales y Municipales

Marco Antonio Saacutenchez Gonzaacutelez

Analista del Departamento de Programas Estatales y Municipales

Page 53: Términos de Referencia para la Evaluación del Desempeño ...evaluacion.puebla.gob.mx/pdf/metodologias/TdR_Est/2017/TdR... · Perfil de la instancia evaluadora ... acuerdo con las

PAE 2017 52

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Anexo 13 ldquoFicha teacutecnica con los datos generales de la instancia evaluadora y el costo

de la evaluacioacutenrdquo

El Informe Final de la Evaluacioacuten de Procesos de los Pp E004 Educacioacuten baacutesica y E006 Educacioacuten

Superior deberaacuten contener una ficha con los siguientes datos

Ficha Teacutecnica con los datos generales de la evaluacioacuten

Nombre o denominacioacuten de la

evaluacioacuten

[Especificar el nombre de la evaluacioacuten considerando su tipo y ejercicio

evaluado]

Nombre o denominacioacuten del

programa evaluado

[Indicar el nombre del Pp sujeto a evaluacioacuten de acuerdo con lo

establecido en el PEF sentildealando su modalidad y clave]

Unidad Responsable de la operacioacuten

del programa

[Especificar la(s) unidad(es) responsable(s) de la administracioacuten

operacioacuten y ejecucioacuten de los programas subprogramas y proyectos del

Pp evaluado correspondientes a las dependencias y entidades]

Titular de la unidad responsable de la

operacioacuten del programa

[Indicar el nombre del(a) Titular de la Unidad Responsable de la

operacioacuten del Pp]

Antildeo del Programa Anual de

Evaluacioacuten (PAE) en que fue

considerada la evaluacioacuten

[Especificar el ejercicio fiscal al que corresponde el PAE en la que fue

programada la evaluacioacuten]

Antildeo de conclusioacuten y entrega de la

evaluacioacuten

[Indicar el antildeo en que se concluyoacute la evaluacioacuten]

Tipo de evaluacioacuten [Especificar el tipo de evaluacioacuten de acuerdo con los Lineamientos de

evaluacioacuten el nombre de la evaluacioacuten y con lo establecido en el PAE]

Nombre de la instancia evaluadora [Indicar el nombre de la firma consultoriacutea u organizacioacuten que realizoacute la

evaluacioacuten]

Nombre del(a) coordinador(a)

externo(a) de la evaluacioacuten

[Especificar el nombre del(a) responsable de la coordinacioacuten de la

evaluacioacuten dla instancia evaluadora]

Nombre de los(as) principales

colaboradores(as) del(a)

coordinador(a) de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del(a)

coordinador(a) de la evaluacioacuten]

PAE 2017 53

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Unidad Administrativa responsable de

la Coordinacioacuten de la evaluacioacuten

[De acuerdo con lo sentildealado en el PAE especificar la instancia a la que

corresponde la coordinacioacuten de la evaluacioacuten pej Secretariacutea de

Finanzas y Administracioacuten (SFA) asiacute como la unidad administrativa

mediante la cual se ejerce esta funcioacuten p ej Direccioacuten de Evaluacioacuten

de la SFA (DEV)

Nombre del(a) Titular de la unidad

administrativa responsable de

coordinar la evaluacioacuten (Aacuterea de

Evaluacioacuten)

[Especificar el nombre del(a) Titular de la Unidad responsable de dar

seguimiento a la evaluacioacuten que funge como Aacuterea de Evaluacioacuten]

Nombres de los(as) servidores(as)

puacuteblicos(as) adscritos(as) a la unidad

administrativa responsable de

coordinar la evaluacioacuten que

coadyuvaron con la revisioacuten teacutecnica

de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del

titular de la unidad administrativa responsable de dar seguimiento a la

evaluacioacuten respecto de la revisioacuten teacutecnica de la misma]

Forma de contratacioacuten de la instancia

evaluadora

[Indicar el tipo de contratacioacuten dla instancia evaluadora Especificar el

tipo de procedimiento de contratacioacuten de la instancia evaluadora

consistente con los tipos de adjudicacioacuten establecidos en la Ley de

Adquisiciones Arrendamientos y Servicios del Sector Puacuteblico]

Costo total de la evaluacioacuten con IVA

incluido

[Especificar el costo total de la evaluacioacuten incluyendo el IVA (en caso

de que se haya causado) como sigue $XXX IVA incluido]

Asimismo en este anexo se deberaacute incluir una nota metodoloacutegica con la descripcioacuten de las teacutecnicas

y los modelos utilizados por el evaluador externo acompantildeada del disentildeo por muestreo

especificando los supuestos empleados y las principales caracteriacutesticas del tamantildeo y dispersioacuten de

la muestra utilizada

DIRECTORIO

Rauacutel Saacutenchez Kobashi

Secretario de la Secretariacutea de Finanzas y Administracioacuten

Francisco Fidel Teomitzi Saacutenchez

Subsecretario de Planeacioacuten

Arturo Neponuceno Crisoacutestomo

Director de Evaluacioacuten

Rodolfo de la Rosa Cabrera

Subdireccioacuten de Evaluacioacuten de Programas

Sauacutel Federico Oropeza Orea

Jefe del Departamento de Programas Estatales y Municipales

Ana Luz Guzmaacuten Figueroa

Analista del Departamento de Programas Estatales y Municipales

Marco Antonio Saacutenchez Gonzaacutelez

Analista del Departamento de Programas Estatales y Municipales

Page 54: Términos de Referencia para la Evaluación del Desempeño ...evaluacion.puebla.gob.mx/pdf/metodologias/TdR_Est/2017/TdR... · Perfil de la instancia evaluadora ... acuerdo con las

PAE 2017 53

TdR para la Evaluacioacuten de Procesos de Programas Presupuestarios

Unidad Administrativa responsable de

la Coordinacioacuten de la evaluacioacuten

[De acuerdo con lo sentildealado en el PAE especificar la instancia a la que

corresponde la coordinacioacuten de la evaluacioacuten pej Secretariacutea de

Finanzas y Administracioacuten (SFA) asiacute como la unidad administrativa

mediante la cual se ejerce esta funcioacuten p ej Direccioacuten de Evaluacioacuten

de la SFA (DEV)

Nombre del(a) Titular de la unidad

administrativa responsable de

coordinar la evaluacioacuten (Aacuterea de

Evaluacioacuten)

[Especificar el nombre del(a) Titular de la Unidad responsable de dar

seguimiento a la evaluacioacuten que funge como Aacuterea de Evaluacioacuten]

Nombres de los(as) servidores(as)

puacuteblicos(as) adscritos(as) a la unidad

administrativa responsable de

coordinar la evaluacioacuten que

coadyuvaron con la revisioacuten teacutecnica

de la evaluacioacuten

[Especificar los nombres de los(as) colaboradores(as) principales del

titular de la unidad administrativa responsable de dar seguimiento a la

evaluacioacuten respecto de la revisioacuten teacutecnica de la misma]

Forma de contratacioacuten de la instancia

evaluadora

[Indicar el tipo de contratacioacuten dla instancia evaluadora Especificar el

tipo de procedimiento de contratacioacuten de la instancia evaluadora

consistente con los tipos de adjudicacioacuten establecidos en la Ley de

Adquisiciones Arrendamientos y Servicios del Sector Puacuteblico]

Costo total de la evaluacioacuten con IVA

incluido

[Especificar el costo total de la evaluacioacuten incluyendo el IVA (en caso

de que se haya causado) como sigue $XXX IVA incluido]

Asimismo en este anexo se deberaacute incluir una nota metodoloacutegica con la descripcioacuten de las teacutecnicas

y los modelos utilizados por el evaluador externo acompantildeada del disentildeo por muestreo

especificando los supuestos empleados y las principales caracteriacutesticas del tamantildeo y dispersioacuten de

la muestra utilizada

DIRECTORIO

Rauacutel Saacutenchez Kobashi

Secretario de la Secretariacutea de Finanzas y Administracioacuten

Francisco Fidel Teomitzi Saacutenchez

Subsecretario de Planeacioacuten

Arturo Neponuceno Crisoacutestomo

Director de Evaluacioacuten

Rodolfo de la Rosa Cabrera

Subdireccioacuten de Evaluacioacuten de Programas

Sauacutel Federico Oropeza Orea

Jefe del Departamento de Programas Estatales y Municipales

Ana Luz Guzmaacuten Figueroa

Analista del Departamento de Programas Estatales y Municipales

Marco Antonio Saacutenchez Gonzaacutelez

Analista del Departamento de Programas Estatales y Municipales

Page 55: Términos de Referencia para la Evaluación del Desempeño ...evaluacion.puebla.gob.mx/pdf/metodologias/TdR_Est/2017/TdR... · Perfil de la instancia evaluadora ... acuerdo con las

DIRECTORIO

Rauacutel Saacutenchez Kobashi

Secretario de la Secretariacutea de Finanzas y Administracioacuten

Francisco Fidel Teomitzi Saacutenchez

Subsecretario de Planeacioacuten

Arturo Neponuceno Crisoacutestomo

Director de Evaluacioacuten

Rodolfo de la Rosa Cabrera

Subdireccioacuten de Evaluacioacuten de Programas

Sauacutel Federico Oropeza Orea

Jefe del Departamento de Programas Estatales y Municipales

Ana Luz Guzmaacuten Figueroa

Analista del Departamento de Programas Estatales y Municipales

Marco Antonio Saacutenchez Gonzaacutelez

Analista del Departamento de Programas Estatales y Municipales