09 hernández, maldonado y pérez.pdf

Panorama de los Sistemas Nacionales de Monitoreo y Evaluacin en Amrica Latina 2014 Captulo Mxico

1

Captulo Mxico

Domingo F. Hernndez, Claudia Maldonado Trujillo, Gabriela

Prez Yarahun


2

Siglas y acrnimos

ASF: Auditora Superior de la Federacin ASM: Aspectos Susceptibles de Mejora CEPAL: Comisin Econmica para Amrica Latina y el Caribe CONEVAL: Consejo Nacional de Evaluacin de la Poltica de Desarrollo Social CONAPO: Consejo Nacional de Poblacin DGPOP: Direcciones Generales de Programacin, Organizacin y Presupuesto DCNPDHO: Decreto por el que se crea la Coordinacin Nacional del Programa de

Educacin, Salud y Alimentacin, como rgano desconcentrado de la Secretara de Desarrollo Social

IFAI: Instituto Federal de Acceso a la Informacin y Proteccin de Datos INEGI - Instituto Nacional de Estadstica y Geografa LFRCF: Ley de Fiscalizacin y Rendicin de Cuentas de la Federacin LFPRH: Ley Federal de Presupuesto y Responsabilidad Hacendaria LGDS: Ley General de Desarrollo Social LGEPF-APF: Lineamientos generales para la evaluacin de los programas

federales de la Administracin Pblica Federal LGEDPA: Lineamientos generales para la elaboracin de diagnsticos de cuyos

resultados se obtienen propuestas de atencin de Programas de Desarrollo Social

LRRA-MIR: Lineamientos para el registro, revisin, actualizacin, calendarizacin y seguimiento de la Matriz de Indicadores para Resultados de los Programas Presupuestarios 2014.

MIR: Matriz de Indicadores para Resultados con base en la Metodologa de Marco Lgico OCDE: Organizacin para la Cooperacin y el Desarrollo Econmicos Oportunidades: Programa de Desarrollo Humano Oportunidades (antes PROGRESA) PEF: Presupuesto de Egresos de la Federacin PIB: Producto Interno Bruto PBR: Presupuesto Basado en Resultados PND: Plan Nacional de Desarrollo RLGDS: Reglamento de la Ley General de Desarrollo Social ROP: Reglas de Operacin de los programas sociales SECODAM: Secretara de la Contralora y Desarrollo Administrativo SED: Sistema de Evaluacin del Desempeo. SEDESOL: Secretara de Desarrollo Social SFP: Secretara de la Funcin Pblica SHCP: Secretara de Hacienda y Crdito Pblico SE&S: Sistema de Evaluacin y Seguimiento PND: Plan Nacional de Desarrollo UPRI: Unidad de Planeacin y Relaciones Internacionales de la SEDESOL UR: Unidad responsable de la administracin y/o ejecucin de los programas, subprogramas y proyectos de las dependencias y entidades


3

I. INTRODUCCIN

Mxico ha captado atencin internacional por su trayectoria institucional en

materia de evaluacin y seguimiento, particularmente, se le reconoce un avance

notable en la institucionalizacin de la evaluacin de la poltica social durante la

ltima dcada. Este posicionamiento es atribuible a una serie de reformas legales

y organizativas que resultaron en un fortalecimiento de la funcin de evaluacin en

Mxico. Estas reformas, y el conjunto de decisiones polticas subyacentes, slo

pueden comprenderse en el marco de procesos ms amplios de transformacin

poltica y social del pas. El objetivo del presente texto es realizar una descripcin

analtica de las principales caractersticas del Sistema de Evaluacin y

Seguimiento (SE&S) de los programas gubernamentales, su origen y desarrollo

reciente en Mxico.

Los sistemas de evaluacin y seguimiento son, casi por definicin, estructuras

anidadas: dependen directamente del aparato gubernamental y el proceso de

polticas pblicas que los encuadra. Por esta razn, la estructura del Estado y el

rgimen poltico influyen de manera determinante en la configuracin --los

alcances y lmites-- de las instituciones a cargo de la evaluacin y el seguimiento

de programas. En la primera seccin de este texto se presentan los antecedentes

clave de la evolucin poltica, social y econmica del pas con el fin de

dimensionar y contextualizar los factores centrales detrs del mpetu actual de la

evaluacin de los programas pblicos. La segunda parte describe los elementos

fundamentales del entorno institucional del sistema de evaluacin y seguimiento,

es decir su marco normativo e institucional, los actores involucrados y las etapas e

interacciones en el proceso. La tercera se aboca a la descripcin de las

particularidades e innovaciones del sistema de evaluacin y seguimiento

mexicano, tales como: los tipos de evaluacin, la planeacin de la evaluacin, los

instrumentos para la generacin de indicadores y seguimiento y los mecanismos

para fomentar el uso de las evaluaciones para la mejora de los programas

pblicos. La ltima seccin ofrece una reflexin en torno a retos que enfrenta el


4

sistema de evaluacin y seguimiento de los programas pblicos federales en

Mxico.

II. ANTECEDENTES

En Mxico, el diseo y la implementacin de programas pblicos recaen

fundamentalmente en el Poder Ejecutivo de los tres niveles de gobierno (federal,

estatal y municipal). El Congreso, adems de sus funciones legislativas, tiene

facultades de supervisin, revisin y aprobacin del ejercicio de los recursos

pblicos. Sin embargo, durante el periodo autoritario (1929-1994), las

caractersticas de facto del sistema poltico mexicano desactivaron durante

dcadas los mecanismos constitucionales de la divisin de poderes y del arreglo

federal. Estas particularidades influyeron en que durante esta poca fuera el

Ejecutivo Federal, de manera unilateral, el promotor directo de los esfuerzos por

evaluar el quehacer gubernamental; la falta de apertura, competencia y pluralidad

poltica caus que dichos esfuerzos fueran limitados, efmeros y autorreferentes,

por ausencia de un clima poltico propicio. En no pocas ocasiones, las estructuras

orientadas a modernizar a la administracin pblica estuvieron concentradas en la

reduccin del aparato pblico, la venta de empresas pblicas y los recortes de

personal, que caracteriz a las dcadas de los ochenta y noventa. Por mucho

tiempo, la evaluacin y el seguimiento, como actividades sustantivas del gobierno,

quedaron relegadas.

El desarrollo y la institucionalizacin recientes del SE&S en Mxico

guardan estrecha relacin con los importantes cambios polticos y sociales que el

pas experiment en las ltimas dos dcadas. Dentro de estos es necesario

mencionar tres transformaciones interrelacionadas: Primero, el trnsito gradual de

un rgimen autoritario de partido hegemnico a un sistema poltico con mayor

apertura y pluralidad democrtica. Segundo, el desmantelamiento de un sistema

basado en la concentracin en la toma de decisiones en el Ejecutivo federal a un

sistema descentralizado en recursos y funciones administrativas a estados y

municipios. Tercero, la recomposicin del modelo econmico para eliminar altos

niveles dficit pblico y recurrentes desbalances macroeconmicos. Estas


5

transformaciones implicaron el aumento de la competencia poltica y econmica, el

incremento de la participacin ciudadana y la activacin de los pesos y

contrapesos en el sistema poltico. El fortalecimiento y la continuidad de la funcin

evaluativa en Mxico cobran sentido en este contexto particular, que explica su

surgimiento y consolidacin en un periodo relativamente corto. A continuacin se

describen algunos de los antecedentes de mayor relevancia de las grandes

transformaciones, estrechamente vinculadas entre s, que explican la naturaleza y

caractersticas esenciales del SE&S en Mxico.

En la primera mitad de la dcada de los aos 90 no hubo una estructuracin

clara de la funcin de evaluacin. Si bien el Programa General de Simplificacin

de la Administracin Pblica (1989) reconoca la importancia de dar forma a una

nueva cultura administrativa, caracterizada por la eficiencia y productividad de la

gestin gubernamental, no se encuentran en este periodo esfuerzos significativos

para la realizacin de evaluaciones de la actividad gubernamental. En 1994 se

crea la Secretara de la Contralora y Desarrollo Administrativo (SECODAM),

dependencia del Ejecutivo Federal, con el objetivo central de promover la

modernizacin de la administracin pblica Asimismo, en ese periodo la

Presidencia emite el Programa para la Modernizacin de la Administracin Pblica

Federal (1995-2000). En palabras del entonces Presidente Ernesto Zedillo durante

la presentacin del Programa, [era] preciso cambiar la orientacin de la

evaluacin del sector pblico, para medir no slo la utilizacin de insumos y el

cumplimiento de normas, sino el logro real de objetivos. Aunque en el discurso se

reconoci la necesidad de evaluar en funcin de resultados, en la prctica imper

la lgica tradicional del control interno, orientado al principio de legalidad. En los

hechos, la agenda de evaluacin se supedit reiteradamente a la agenda de

control del Poder Ejecutivo, entendida ya sea como de combate a la corrupcin,

racionalizacin del gasto pblico o fortalecimiento del control y el seguimiento

vertical de la administracin pblica.

Adems de las referencias normativas a la funcin de evaluacin y las

experiencias incipientes en la materia, se fueron gestando modificaciones en la

estructura presupuestaria que seran determinantes en la etapa de


6

institucionalizacin de la evaluacin. Entre las medidas adoptadas para modificar

la forma en que se asignaba el presupuesto, destaca la denominada Nueva

Estructura Programtica (NEP)1. Dicho paso facilitara la conformacin de un

sistema de evaluacin basado en programas presupuestales.

En lo econmico, las recurrentes crisis del siglo pasado, que en 1995

significaron una cada del PIB de 6.8% (INEGI, 2014a), asociadas a excesivos

dficits presupuestarios y a una deficiente programacin de las polticas pblicas,

fortalecieron la exigencia de amplios sectores de la sociedad mexicana para

establecer mecanismos institucionales que promovieran un gasto pblico ms

eficaz, eficiente y equitativo. La necesidad de planear de manera eficiente el

presupuesto, de evaluar el desempeo gubernamental y, sobre todo, de verificar

los resultados alcanzados se convirti en un comn y legtimo reclamo.

En lo poltico, las fracturas de la lite gobernante, el crecimiento de la

popularidad de la oposicin y la presin creciente por la democratizacin del

sistema llevaron a la composicin del primer congreso federal plural en la historia

moderna de Mxico, como resultado de las elecciones de medio trmino en 1997.

Esta nueva pluralidad propici la creacin de la primera normatividad para el

seguimiento efectivo del gasto pblico y los resultados de las polticas pblicas

(May et al, 2006). La nueva pluralidad poltica condujo al fin de 70 aos de

hegemona del PRI, con la victoria del Partido Accin Nacional (PAN) en las

elecciones presidenciales de 2000. Este cambio fue percibido por diversos actores

nacionales e internacionales como el principio del fin de una poca caracterizada

por la opacidad, el clientelismo y la discrecionalidad en el manejo de los recursos

1 La NEP fue el conjunto de categoras y de elementos programticos que sirvieron para dar orden

al gasto pblico en su clasificacin funcional y definir el mbito de aplicacin del mismo . Las categoras del gasto se definieron por medio de funciones, subfunciones, programas sectoriales, programas especiales, actividades institucionales, proyectos institucionales y proyectos de inversin. La intencin de la NEP fue establecer claramente los recursos para la realizacin de las polticas, las estrategias y las acciones, y poder identificar las implicaciones de costo vinculado con los resultados.; vincular de forma directa los propsitos de las polticas pblicas, la misin de las dependencias y entidades y el quehacer cotidiano de las unidades responsables, ejecutores directas de los recursos pblicos (Programa Nacional de Financiamiento del Desarrollo 1995-2000).


7

pblicos, as como la posibilidad de que mayor transparencia y rendicin de

cuentas conllevara resultados ms efectivos en las polticas pblicas.

Cuando la pluralidad poltica activ los pesos y contrapesos del rgimen

constitucional surgi tambin una nueva generacin de instituciones que buscaba

promover la rendicin de cuentas horizontal, reducir la asimetra de informacin

entre gobierno y oposicin y bajar las barreras de acceso para la ciudadana. As

se cre la Auditora Superior de la Federacin (ASF), rgano del Congreso que

tiene por misin fiscalizar el ejercicio de los recursos pblicos. En 2002 se expide

la Ley Federal de Transparencia y Acceso a la Informacin Pblica (LFTAIP), y un

ao despus se expide el decreto por el cual la SECODAM se transforma en la

Secretara de la Funcin Pblica (SFP), incorporando en sus funciones, adems

del control de la gestin gubernamental, la coordinacin y normatividad

concerniente al servicio profesional de carrera.

En el marco general de la activacin del pluralismo y sus consecuencias

para la evaluacin del quehacer gubernamental, destaca el hecho de que el sector

social los programas sociales federales, concretamentesurgiera como punta de

lanza del sistema de evaluacin y seguimiento. Esta trayectoria, que ha sido

caracterizada como un salto de lo sectorial a lo nacional en la literatura comparada

(Castro y Fernndez-Ordoez, 2009), est asociada a diversos factores de

economa poltica de Mxico. Por un lado, la preocupacin y la desconfianza en

torno al uso clientelar del gasto social para fines electorales que imper en la

dcada de la transicin (1990s); y por el otro, a la coyuntura econmica (1995) en

la que era preciso aumentar el gasto social para compensar la debacle econmica

y focalizarlo en forma indita para contrarrestar la naturaleza altamente regresiva

del gasto pblico en Mxico. El deterioro de la calidad de vida de amplios sectores

de la poblacin (por ejemplo, el incremento de la pobreza patrimonial por ingresos

de 52.4% a 69% entre 1994 y 1996 CONEVAL, 2013f) min la legitimidad del

rgimen poltico y fortaleci las demandas de los partidos polticos de oposicin y

organizaciones civiles de mayor participacin en las decisiones de poltica pblica


8

y transparencia en el ejercicio del presupuesto (Feinstein y Hernndez, 2008).2 La

crisis econmica abri una ventana de oportunidad para la transformacin de la

poltica social en Mxico, con implicaciones profundas para el desarrollo de la

evaluacin. En medio de una crisis de desconfianza y fuertes presiones

distributivas por la eliminacin de los subsidios generales, se dise un innovador

programa focalizado de transferencias condicionadas -PROGRESA. Gracias a un

cuidadoso proceso de evaluacin, con el objetivo estratgico de aportar evidencia

slida y creble para respaldar los cambios en los instrumentos de poltica social,

el programa logr aportar evidencia de su efectividad (reduccin de desercin

escolar, mejora del estado nutricio, etc.) y legitimar un controvertido modelo de

focalizacin como un instrumento a prueba de la manipulacin clientelar

("Progresa no toma partido"). PROGRESA naci con un diseo apto para la

evaluacin externa y el escrutinio pblico, convirtindose desde su inici en un

modelo de poltica pblica basada en evidencia y detonante crucial para la

institucionalizacin de la evaluacin peridica, obligatoria y externa en el sector

pblico

La experiencia exitosa de la evaluacin de PROGRESA, as como la

creciente preocupacin y evidencia del uso poltico o clientelar de programas

sociales (Prez 2014), deriv en el establecimiento de la obligatoriedad de los

programas de subsidios o transferencias de expedir reglas de operacin,

documento pblico que debe contener por lo menos el objetivo del programa, la

definicin de su poblacin objetivo y criterios trasparentes para la seleccin de

beneficiario. Esta disposicin fue establecida en el Presupuesto Federal para

1998. Este conjunto de programas, con reglas de operacin, sera el primer foco

de la evaluacin obligatoria.

Las primeras disposiciones jurdicas para la aplicacin de evaluaciones

externas anuales a todos los programas sociales se dieron en el Presupuesto

Federal del ao 2001. As en el decreto del presupuesto, por primera vez se tuvo

2 De acuerdo a la ms reciente estimacin, 52.3% de la poblacin viva en pobreza por ingresos en

2012, prcticamente el mismo porcentaje registrado en 1992 (CONEVAL 2013).


9

un mandato legal para que los programas pblicos federales sujetos a reglas de

operacin fueron evaluados ese ao por organismos externos a las dependencias

de gobierno ejecutoras de las programas. Sin embargo, estas disposiciones

carecan de especificidad con relacin tanto a la continuidad de la evaluacin

como al contenido de la misma y la naturaleza de los evaluadores. As, en 2002 se

expide el Acuerdo de Requisitos Mnimos que tuvo como objetivo cubrir algunos

de los vacos existentes en materia de evaluacin. El Acuerdo defina los

procedimientos de contratacin, las caractersticas mnimas con las que deberan

contar los evaluadores (reconocimiento legal, experiencia en evaluacin de

programas gubernamentales, especificacin de una metodologa acorde con el

programa y conocimiento del programa a evaluar) y los elementos que deberan

contener los informes derivados de la evaluacin (DOF, 2002).

En el 2004 se publica la Ley General de Desarrollo Social, antecedente de

gran relevancia para el sistema de evaluacin y seguimiento de programas

sociales federales. Entre otras cosas, y como se ver ms adelante, esta ley le da

continuidad a la obligacin de evaluacin externa anual de los programas sociales

y crea un organismo que coordina dicha actividad en la administracin pblica

federal (denominado Consejo Nacional de Evaluacin de la Poltica de Desarrollo

Social). En 2006 se promulga la Ley Federal de Presupuesto y Responsabilidad

Hacendaria que institucionaliza el Sistema de Evaluacin del Desempeo (SED),

con ello se incorporan el resto de los programas gubernamentales a la agenda de

evaluacin. En 2007 se expiden por parte de la SHCP, SFP y CONEVAL los

Lineamientos Generales para la Evaluacin de los Programas de la Administracin

Pblica Federal y en 2008 se realiza una reforma constitucional en materia de

gasto pblico y fiscalizacin que sienta las bases para un ejercicio ms

transparente con una orientacin hacia el logro de resultados verificables. As, se

plasma el concepto de Presupuesto basado en Resultados (PbR) de manera ms

clara en el marco jurdico en el ms alto nivel. En 2009 se promulga la Ley de

Fiscalizacin y Rendicin de Cuentas de la Federacin la cual establece que la

fiscalizacin deber incluir la prctica de auditoras al desempeo --a cargo de la

ASF para verificar el cumplimiento de los objetivos y las metas de los programas


10

federales-- conforme a los principios de posterioridad, anualidad, legalidad,

imparcialidad y confiabilidad.

Finalmente, en 20143 se realiza una reforma en la que se otorga autonoma

constitucional al Consejo Nacional de Evaluacin de la Poltica de Desarrollo

Social (CONEVAL), previamente constituido como un organismo descentralizado

de la Administracin Pblica Federal. Las implicaciones particulares de esta

reforma para el sistema de evaluacin nacional podrn ser analizadas una vez que

finalice el proceso de expedicin de las leyes que regularn esta nueva condicin

del CONEVAL en 2015.

Las reformas descritas, en conjunto, aunque no siempre de manera

armnica e internamente congruente, constituyen los cimientos del sistema

mexicano de evaluacin y seguimiento, que se describe ms detalladamente en

las siguientes secciones. En el anexo se incorpora un cuadro con la cronologa de

los principales hitos en el mbito legal/institucional.

III. MARCO LEGAL E INSTITUCIONAL

Un sistema puede analizarse como el conjunto de partes o elementos organizados

y relacionados que interactan entre s para lograr un propsito. En este sentido

los elementos que integran el conjunto mnimo de un sistema de evaluacin y

seguimiento incluyen: 1) las leyes o normas que regulan el sistema; 2) los agentes

que cumplen con diversas funciones, i.e., organizaciones gubernamentales,

privadas o sociales; 3) las interacciones que se generan entre estos agentes a

partir de los mandatos legales, sus necesidades y aportaciones. Esta seccin est

organizada en funcin de estos tres elementos que conforman las reglas y

productos del sistema.

3 Decreto por el que se reforman, adicionan y derogan diversas disposiciones de la Constitucin

Poltica de los Estados Unidos Mexicanos en materia poltica-electoral. Diario Oficial de la Federacin. 10 de febrero de 2014.


11

1. NORMATIVIDAD

El SE&S de Mxico se basa en un conjunto diverso de leyes en materia

administrativa, de desarrollo social, presupuesto, acceso a la informacin pblica y

fiscalizacin. Los pilares del sistema de evaluacin actual en Mxico se

encuentran en la Ley General de Desarrollo Social (LGDS), la Ley de Presupuesto

y Responsabilidad Hacendaria (LPRH), la Ley de Fiscalizacin y Rendicin de

Cuentas y los Lineamientos Generales para la Evaluacin de los Programas

Federales de la Administracin Pblica Federal (LGEPF-APF). La siguiente

ilustracin facilita la visualizacin del conjunto de normas que regulan la

evaluacin y su jerarqua normativa en el mbito jurdico4.

.

4 Es importante destacar que esta ilustracin no incluye la reforma constitucional de 2014, que otorga

autonoma a CONEVAL.


12

Ilustracin 1 Marco Jurdico y Normativo para la Evaluacin Externa

Fuente: Portal de Transparencia Presupuestaria, Observatorio del Gasto de SHCP (disponible en

www.shcp.gob.mx)

La LGDS tiene por objeto garantizar el pleno ejercicio de los derechos sociales

consagrados en la Constitucin Poltica de los Estados Unidos Mexicanos,

asegurando el acceso de toda la poblacin al desarrollo social y, entre otras

cosas, establecer los mecanismos de evaluacin y seguimiento de los programas

y acciones de la poltica de desarrollo social. El Consejo Nacional de Evaluacin

de la Poltica de Desarrollo Social (CONEVAL) es creado por esta disposicin

jurdica como un organismo descentralizado con personalidad jurdica, patrimonio

propio y autonoma tcnica y de gestin. Las funciones esenciales que se

establecen en la LGDS para el CONEVAL son coordinar la evaluacin externa

anual y realizar la medicin peridica de la pobreza. La Ley establece que la


13

evaluacin de los programas sociales podr realizarla el Consejo por s mismo o

a travs de uno o varios organismos independientes del ejecutor del programa, y

que la evaluacin tiene por objeto revisar peridicamente el cumplimiento del

objetivo social de los programas, metas y acciones de la Poltica de Desarrollo

Social, para corregirlos, modificarlos, adicionarlos, reorientarlos o suspenderlos

total o parcialmente. Asimismo, el ordenamiento seala el tipo de organismos

evaluadores que podrn participar en la realizacin de evaluaciones externas y

obliga al Ejecutivo federal, estatal o municipal a proporcionar la informacin y

facilidades necesarias para la realizacin de la evaluacin. Bajo este

ordenamiento, la evaluacin deber realizarse por entes externos a la

administracin pblica, de manera anual; los resultados debern ser pblicos y

debern emitirse sugerencias y recomendaciones.

El Consejo est integrado por el titular de la Secretara de Desarrollo Social

o la persona que ste designe para representarle, seis investigadores acadmicos

y un secretario ejecutivo nombrado por el Ejecutivo Federal. Los investigadores

son elegidos por voto de los miembros de la Comisin Nacional de Desarrollo

Social5 por un perodo de cuatro aos, con la posibilidad de reeleccin para la

mitad de ellos.

La LGDS regula slo lo relativo a los programas y la poltica de desarrollo

social, no obstante, la mayora de las herramientas de evaluacin y seguimiento

desarrolladas en la aplicacin de esta Ley fueron adoptadas eventualmente por el

gobierno federal para la evaluacin de programas presupuestarios de otros

mbitos de la Administracin Pblica Federal (Castro et al, 2009).

La Ley Federal de Presupuesto y Responsabilidad Hacendaria (LFPRH)

promulgada en 2006, incorpora elementos de control, rendicin de cuentas y

5 La Comisin Nacional de Desarrollo Social est presidida por el (la) titular de la Secretara de

Desarrollo Social e integrada por: los titulares de las Secretaras de Educacin Pblica; Salud; Trabajo y Previsin Social; Agricultura, Ganadera, Desarrollo Rural, Pesca y Alimentacin; as como Medio Ambiente y Recursos Naturales; el titular de la dependencia responsable del desarrollo social en cada gobierno de las entidades federativas; un representante de cada una de las asociaciones nacionales de autoridades municipales, legalmente reconocidas; los presidentes de las comisiones de Desarrollo Social de las Cmaras de Diputados y de Senadores.


14

evaluacin al ejercicio de gasto, siendo uno de los ms relevantes el Sistema de

Evaluacin del Desempeo (SED). En la LFPRH, el SED se define como el

conjunto de elementos metodolgicos que permiten realizar una valoracin

objetiva del desempeo de los programas de acuerdo a los principios de

verificacin del grado de cumplimiento de metas y objetivos, y con base en

indicadores estratgicos y de gestin, permiten conocer el efecto social y

econmico de los programas y los proyectos.

De acuerdo con la LFPRH, el CONEVAL es el coordinador de las

evaluaciones en materia de desarrollo social, en concordancia con lo establecido

en la LGDS. Esta ley refuerza lo relativo al carcter pblico de las evaluaciones;

tambin especifica el tipo de informacin que deben contener los reportes de

evaluacin, as como los requisitos mnimos que deben cumplir los evaluadores.

Sin embargo, no existe la especificidad de la responsabilidad de las evaluaciones

para programas no incluidos en la poltica de desarrollo social.

Los Lineamientos Generales para la Evaluacin de los Programas

Federales de la Administracin Pblica Federal (LGEPF-APF) expedidos en

marzo de 2007 de manera conjunta por la SCHP, SFP y CONEVAL, especifican

diversos elementos del sistema, entre stos: los tipos de evaluacin; la

planeacin de la evaluacin, ; los requisitos de elegibilidad de los evaluadores

externos; la obligatoriedad de un procedimiento para el seguimiento y difusin de

los resultados y recomendaciones de las evaluaciones; y las caractersticas

generales para la elaboracin de los indicadores mediante una matriz con la

metodologa de marco lgico (CEPAL, 2004), denominada Matriz de Indicadores

para Resultados (MIR).

Como parte del contexto institucional normativo es importante mencionar la

Ley de Fiscalizacin y Rendicin de Cuentas de la Federacin (LFRCF)

promulgada en 2009. Esta ley no es una disposicin especfica en la temtica de

evaluacin y seguimiento; su objeto es reglamentar funciones de revisin y

fiscalizacin. Sin embargo esta ley establece que la fiscalizacin incluye la prctica

de auditoras al desempeo para verificar el cumplimiento de los objetivos y las


15

metas de los programas federales. La facultad de fiscalizacin est a cargo de la

Auditora Superior de la Federacin (ASF) y se lleva a cabo de manera posterior al

trmino de cada ejercicio fiscal con carcter externo. Estas dos prcticas

evaluativas, la de evaluaciones externas y las auditoras del desempeo, carecen

hasta ahora de vinculacin y/o coordinacin y obedecen a lgicas, metodologas y

resortes institucionales distintos.6

2. AGENTES DEL SISTEMA DE EVALUACIN Y SEGUIMIENTO

Los actores que intervienen en las actividades de seguimiento y evaluacin de

programas gubernamentales en Mxico pueden ser agrupados de acuerdo con su

procedencia o mbito de accin. De manera particular se revisan en este texto los

actores en la Administracin Pblica Federal, en el Poder Legislativo y en el

mbito de la sociedad civil. En la Administracin Pblica Federal, la SHCP, el

CONEVAL, la SFP, otras secretaras Ministerios-- y agencias gubernamentales

que instrumentan programas pblicos intervienen de manera directa en el proceso

de seguimiento y evaluacin. Formalmente la SHCP interviene en la formulacin y

aprobacin de indicadores de desempeo de los programas (estratgicos o de

gestin), en la planeacin de la evaluacin, en la difusin de los resultados y en la

utilizacin de la evaluacin para el proceso presupuestario. El CONEVAL, por su

parte, tiene funciones en la aprobacin de indicadores de desempeo, en la

planeacin de la evaluacin, en la elaboracin, difusin y seguimiento de

metodologas para el seguimiento y la evaluacin, en la conduccin y seguimiento

de evaluaciones externas, en la seleccin de evaluadores externos, en la difusin

de los resultados y en la coordinacin y seguimiento de los resultados de las

evaluaciones (sugerencias y recomendaciones) para los organismos operadores

de los programas. La Secretara de la Funcin Pblica interviene en la aprobacin

de indicadores de gestin, la planeacin de la evaluacin, el seguimiento a los

resultados y la difusin de los resultados.

6 En el extremo, podra afirmarse que estas figuras tienen objetivos potencialmente contradictorios: control vs.

aprendizaje para la mejora.


16

Los organismos del Ejecutivo Federal, operadores directos de los

programas gubernamentales, tienen como funciones la elaboracin de indicadores

de desempeo, la provisin de las condiciones necesarias para el desarrollo de las

evaluaciones externas, seleccin de evaluadores externos, la difusin y

seguimiento de los resultados.

Dentro del Poder Legislativo, diversas Comisiones Legislativas, tanto de la

Cmara de Diputados como de la de Senadores, tienen como funcin recibir y

analizar los resultados de las evaluaciones externas para la toma de decisiones

correspondientes. La Auditora Superior de la Federacin, por su parte, emite

recomendaciones a los indicadores de desempeo y realiza auditoras de

desempeo del gasto gubernamental, que incluye a los programas

gubernamentales que son evaluados.

Los actores de la sociedad civil que tienen relacin con las actividades de

evaluacin y seguimiento son: los evaluadores externos, organizaciones de la

sociedad civil, los beneficiarios y los medios de comunicacin y difusin. Los

evaluadores pueden ser personas fsicas o instituciones como universidades,

centros de investigacin o agrupaciones no lucrativas de la sociedad civil con

experiencia y capacidad en seguimiento y evaluacin. Adems de los evaluadores,

diversas organizaciones de la sociedad civil se han encargado del anlisis y la

difusin de los resultados de las evaluaciones, lo cual ha servido para proveer

elementos de discusin ante la opinin pblica.

Finalmente, si bien en diversas disposiciones, como la LGDS, se menciona la

promocin de la participacin social en las actividades de evaluacin y

seguimiento, no queda claro si esta participacin incluye a los beneficiarios de los

programas sociales. Los beneficiarios de programas tienen la obligacin legal de

proporcionar la informacin que sirva para la realizacin de la evaluacin, pero

ms all de esta obligacin no se especifica de qu manera pueden participar en

la conduccin, el diseo y los procesos de seguimiento de las recomendaciones

de las evaluaciones.


17

3. ETAPAS E INTERACCIONES

El proceso de evaluacin y seguimiento de los programas gubernamentales puede

ser visto como una secuencia de etapas que va desde la planeacin y diseo de la

evaluacin hasta la utilizacin de sus resultados. La Figura 1, presentada a

continuacin, esquematiza estas cuatro etapas del proceso de evaluacin y

seguimiento, i.e., planeacin, ejecucin, difusin y utilizacin. Para cada una de

las etapas se describen los principales actores del SE&S. Esta secuencia no es

necesariamente lineal o coincide con el ciclo de planeacin/presupuestacin

anual; de hecho, las etapas pueden no ser continuas y pueden tener diferente

duracin de un ao a otro, dependiendo del tema de evaluacin y los principales

actores involucrados. Las fases que se ilustran en la Figura 1 corresponden

esencialmente al sistema de evaluacin y seguimiento de la poltica social. Sin

embargo, salvo la participacin del CONEVAL, tambin describen apropiadamente

lo que sucede en otros sectores de las polticas pblicas. Esto se debe, en la

prctica, al liderazgo conjunto de la SHCP, la SFP y el CONEVAL en la

generacin de rutinas, procesos y ciclos de gestin de la evaluacin de programas

en el mbito federal, y en forma indirecta, en algunas entidades federativas.

En la primera etapa se identifican y se impulsan temas de evaluacin y

seguimiento para ser incluidos en la agenda de evaluacin; en esta definicin

intervienen formal y conjuntamente el CONEVAL, la SHCP y la SFP, que son las

instancias encargadas de la formulacin del Plan Anual de Evaluacin, documento

donde se incluye la lista completa de programas y polticas a evaluar. Para incluir

los programas o polticas a ser evaluados se considera, primero, lo establecido en

diversos ordenamientos legales, por ejemplo, la obligatoriedad de evaluacin

externa anual de todos los programas sujetos a reglas de operacin. Adems cada

una de estas instancias puede proponer evaluaciones de diversos programas o

polticas de acuerdo a las necesidades percibidas por estos actores, as como por

los organismos ejecutores de los programas. Tambin pueden ser tomados en

consideracin otros elementos, como los resultados de evaluaciones previas o la

necesidad de otros tipos de evaluacin, por ejemplo una evaluacin de impacto


18

para un programa que ha tenido previamente evaluaciones de diseo o procesos.

En esta etapa tambin se puede incluir el diseo y difusin de metodologas de

evaluacin.

En principio, la LGDS seala la obligacin de evaluar a los programas

anualmente. Esto impuso la creacin de un modelo de ciclo de vida, y sus

respectivas tipologas, para la evaluacin de los programas de desarrollo social. El

primer tipo de evaluacin, implementada para ms de 106 programas en 2007, fue

la Evaluacin de Consistencia y Resultados, que se realiza con informacin de

gabinete y permite valorar la orientacin a resultados de los programas. A partir de

2008 se ha instrumentado anualmente la Evaluacin Especfica de Desempeo

para un gran nmero de programas. Esta evaluacin, algo muy parecido a una

ficha de monitoreo, est diseada para ofrecer informacin puntual y sinttica

sobre la evolucin de los indicadores clave -de gestin y estratgicos- del

programa y de los recursos presupuestarios asignados al mismos en el periodo de

referencia. El CONEVAL es el encargado de desarrollar y dar seguimiento a las

diferentes metodologas instrumentadas para la evaluacin. En la siguiente

seccin se har una descripcin de algunas de las ms relevantes.

Un paso muy importante para la sistematizacin y evaluacin de los

programas ha sido la existencia de la Matriz de Indicadores para Resultados (MIR)

de los programas, en la cual se plasman de manera clara y sinttica los objetivos

del programa y sus indicadores de seguimiento. Por ello, en los ltimos aos se ha

hecho un esfuerzo creciente para que todos los programas presupuestales o

acciones federales generen o consoliden su respectiva MIR. La Matriz proporciona

la conceptualizacin de los objetivos e indicadores del programa necesarios para

su evaluacin. METER INFO HACIENDA: % AVANCE MIR Y % PRESUPUESTO

Figura 1. Actores y etapas del S&ES de la poltica desarrollo social


19

Fuente: elaboracin propia

La segunda etapa se refiere a la ejecucin de la evaluacin. En esta etapa

hay interacciones entre los agentes que deben encargarse de la contratacin de

evaluadores, los que deben ayudar en la ejecucin de la evaluacin y aquellos que

proporcionan los servicios de evaluacin. Es necesario realizar el diseo de

trminos de referencia y la puesta en marcha de los mecanismos de seleccin de

los evaluadores externos. Para algunas evaluaciones (v.g., evaluacin de

consistencia y resultados, de impacto, de procesos) es frecuente que sean los

organismos operadores de los programas quienes contraten a los evaluadores

bajo criterios uniformes y trminos de referencia previamente diseados y

validados por SHCP, SFP y CONEVAL. Para otras evaluaciones (v.g.,

estratgicas, evaluacin especfica de desempeo) el CONEVAL es el agente que

contrata de manera directa a los evaluadores externos.

Con respecto a los evaluadores, es necesario decir que gracias a una oferta

creciente de cursos y entrenamiento en la materia evaluativa de diversas

universidades y centros de investigacin especializados, las capacidades de

SHCP

CONEVAL

SFP

Organismos ejecutores de programas

Organizaciones de la Sociedad CIvil

CONEVAL SHCP SFP Congreso Organismos operadores

CONEVAL

Evaluadores Externos


SHCP

CONEVAL

SFP


Congreso Planeacin Ejecucin

Difusin Utilizacin


20

evaluacin se han incrementado sustancialmente en Mxico en la ltima dcada;

se cuenta hoy con un mayor nmero de especialistas y profesionales capacitados

en diversas metodologas de evaluacin que hace 10 o 15 aos. Sin embargo,

pareciera ser que el mercado de evaluacin todava tiene potencial para

desarrollarse para satisfacer la creciente demanda en trminos de cantidad y

calidad en las evaluaciones.

Las dependencias operadoras de los programas intervienen tambin en la

ejecucin de la evaluacin porque proporcionan la informacin y condiciones

necesarias para llevarla a cabo. La cultura de la evaluacin entre los responsables

de programas gubernamentales es ms robusta hoy que hace una dcada; el

proceso de evaluacin es ms conocido y aceptado por los funcionarios pblicos.

No obstante, existe evidencia que apunta a que la evaluacin todava sigue siendo

considerada, por una gran proporcin de empleados pblicos, ms como un

requisito burocrtico que como mecanismo real para la rendicin de cuentas o la

mejora de los programas (Cejudo y Maldonado eds. 201; Prez Yarahun 2015).

La tercera etapa de la evaluacin est relacionada con la difusin y

comunicacin de los resultados de las evaluaciones. Por mucho tiempo, quiz

hasta 2007, las evaluaciones externas realizadas a los programas

gubernamentales no eran difundidas adecuadamente. A pesar de la normatividad

al respecto, muchas veces las evaluaciones no se encontraban accesibles al

pblico, y era altamente probable que muchas de ellas fueran ignoradas para

cualquier toma de decisiones, ya fuera para la mejora de los programas o el

proceso presupuestario. A partir de 2007, se ha puesto nfasis en la

operacionalizacin de la publicidad de las evaluaciones externas. Hoy, los

instrumentos de seguimiento y las evaluaciones de los programas federales y

polticas pblicas del gobierno mexicano pueden encontrarse con facilidad en las

pginas de internet de las dependencias federales, en la pgina web de

CONEVAL y en el portal de Transparencia Presupuestaria de la SHCP. Adems,

cada vez se realizan ms esfuerzos sistemticos por generar formas de

comunicacin ms adecuada. Evidencia de esto son los diversos documentos de

sntesis de la informacin de las evaluaciones accesibles en las pginas web de


21

SHCP y CONEVAL, as como la creciente atencin que reciben estos temas en la

prensa nacional. Sin embargo, es necesario sealar que la difusin y

comunicacin de la evaluacin es un reto permanente, que requiere de un trabajo

continuo y reflexivo para traducir los datos y la informacin particular y tcnica de

las evaluaciones en instrumentos tiles para los diferentes actores que intervienen

en la hechura de las polticas.

La ltima etapa en el proceso de evaluacin es la utilizacin. El objetivo de

la evaluacin es que tenga utilidad para la poltica pblica y el ejercicio de

gobierno. La utilizacin ha sido uno de los temas de mayor inters en la literatura

la evaluacin; se han propuesto diversos tipos de utilizacin: el uso instrumental,

conceptual o simblico (Levinton & Hughes, 1981). Hasta 2007, las evaluaciones

externas de los programas gubernamentales no parecan tener un uso

instrumental para la mejora de los programas y tampoco para establecer vnculos

con la formulacin presupuestal. En este sentido, aunque existieron esfuerzos de

la SFP por dar seguimiento a las recomendaciones de las evaluaciones, stos no

prosperaron en hacerlos generalizados o verdaderamente tiles. Para dar solucin

a esta situacin, en 2008 se desarroll un mecanismo por el cual los organismos

operadores y responsables de programas deben responder a la evaluacin con

documentos pblicos en los cuales se debe argumentar a favor o en contra de los

resultados de la evaluacin y sobre la procedencia y pertinencia de las

recomendaciones o sugerencias de la evaluacin. Este mecanismo ser descrito

con mayor detalle en la siguiente seccin. Asimismo, la SHCP desarrolla de

manera peridica una sntesis de la informacin de seguimiento y evaluacin cuya

pretensin es informar las asignaciones de presupuesto. Esta sntesis es pblica y

est disponible en la pgina de internet de la SHCP a travs del Portal de

Transparencia Presupuestaria.

En trminos generales, la apropiacin de la evaluacin como un

instrumento de rendicin de cuentes y de gestin por resultados requiere procesos

interrrelacionados de generacin de capacidades individuales y organizativas

concretas, la consolidacin de modelos y rutinas de gestin y la generacin de

espacios institucionales y organizacionales para procesar los hallazgos derivados


22

de los mltiples ejercicios de evaluacin a los que se someten los programas

sociales de manera peridica, obligatoria y externa. Ahora bien, si bien es cierto

que el componente normativo es una condicin necesaria para alcanzarlo,

existen factores adicionales, de igual importancia, que han influido en el potencial

de divulgacin, utilizacin e influencia de la informacin generada por las

evaluaciones.

Por ltimo, es necesario sealar que la descripcin que se ha hecho del

marco normativo, los actores y las interacciones del sistema de seguimiento y

evaluacin ha sido en el mbito federal. El desarrollo en los gobiernos locales, a

diferencia del registrado en el nivel federal, es reciente y an con importantes

retos para su consolidacin. Algunos de los avances documentados en los ltimos

aos se refieren a que en todas las entidades federativas existe una ley de

desarrollo social o equivalente que permite institucionalizar diversos elementos de

seguimiento y evaluacin en los programas de desarrollo social. Sin embargo, en

2012 slo seis entidades llevaron a cabo una planeacin de la evaluacin 7. De

igual forma, si bien es cierto que 25 entidades establecan en su normatividad la

publicacin de los resultados de las evaluaciones, slo siete efectuaron

evaluaciones a sus programas de desarrollo social entre 2011 y 2013 (CONEVAL,

2013a).

IV. CARACTERSTICAS DEL SISTEMA DE EVALUACIN y SEGUIMIENTO

Como se ha visto en este texto, el SE&S en Mxico es coordinado por la

Secretara de Hacienda y Crdito Pblico (SHCP), la Secretara de la Funcin

Pblica (SFP)8 y el (CONEVAL). En esta seccin se describirn con mayor

detalle sus elementos bsicos, esto son: la Matriz de Indicadores para Resultados

7 Distrito Federal, Nayarit, Oaxaca, Puebla, Quertaro y San Luis Potos.

8 Actualmente existe una propuesta de Ley para fusionar las atribuciones de la SFP y la SHCP.


23

(MIR), las metodologas de evaluacin, el Programa Anual de Evaluacin (PAE) y

el Mecanismo de Aspectos Susceptible de Mejora (ASM).

1. MATRIZ DE INDICADORES PARA RESULTADOS

El principal instrumento para el seguimiento de los programas sociales es la Matriz

de Indicadores para Resultados (MIR) elaborada con base en la metodologa de

Marco Lgico (LGEPAPF, 2007).

La validacin y aprobacin de las MIR (en su lgica vertical y horizontal) est a

cargo de la SHCP, SFP y el CONEVAL. La revisin y actualizacin de este

instrumento se realiza cada ao y sus objetivos deben ser congruentes con los

objetivos, estrategias y prioridades del Plan Nacional de Desarrollo (LGEPAPF,

2007). Es obligacin para los organismos operadores de los programas que

publiquen las MIR en sus pginas web.

En el Cuadro 3 se presenta el calendario habitual para un ciclo presupuestal

especfico, en este caso 2014. A principios de ao, entre febrero y marzo, los

organismos y dependencias ejecutores de los programas registran en el portal

electrnico9 de la SHCP una propuesta de MIR. En el mes de marzo, reas

especializadas revisan y emiten comentarios. Posteriormente, en el mes de abril,

la SHCP y la SFP emiten comentarios y en su caso validan las MIR. Una vez

aprobadas, las dependencias emiten informes trimestrales sobre los indicadores.

En marzo del siguiente ao, este caso de 2015, se integra la informacin trimestral

y anual en el informe de la Cuenta de la Hacienda Pblica Federal.

Cuadro 3. Calendario para la MIR y metas e indicadores de desempeo 2014

Fecha

Etapa

Febrero Marzo

Registro de la MIR, metas e indicadores de desempeo en el portal electrnico de la SHCP por parte de las unidades responsables de los

9 Portal Aplicativo de la SHCP


24

programas (UR)

Marzo Revisin de las Direcciones Generales de Programacin, Organizacin y Presupuesto (DGPOP) o equivalentes de las dependencias y entidades de gobierno que operan programas presupuestarios

Abril Validacin de la MIR, metas e indicadores por parte de la SHCP y la SFP

Abril Primer informe Trimestral de MIR e indicadores de desempeo

Julio Segundo informe Trimestral de MIR e indicadores de desempeo

Octubre Tercer informe Trimestral de MIR e indicadores de desempeo

Enero 2015 Cuarto informe Trimestral de MIR e indicadores de desempeo

Marzo 2015 Integracin de la Cuenta de la Hacienda Pblica Federal 2014 Fuente: elaboracin propia con base en los Lineamientos para el registro, revisin, actualizacin, calendarizacin y seguimiento de la Matriz de Indicadores para Resultados de los Programas Presupuestarios 2014 (SHCP, 2014).

2. METODOLOGAS DE EVALUACIN

Las principales metodologas de evaluacin que se aplican para los

programas federales en Mxico se muestran en la siguiente tabla.

Principales evaluaciones utilizadas en el Programa Anual de Evaluacin

Tipo de evaluacin

Definicin

Diagnsticos Identificacin del problema central o necesidad, su evolucin, causas y efectos y una propuesta de diseo de una intervencin pblica para su atencin.

Evaluacin de Diseo

Evaluar mediante trabajo de gabinete y apoyado en informacin proporcionada por el programa, la dependencia o entidad, el diseo del Programa. Lo anterior, con el fin de que las recomendaciones de este anlisis puedan retroalimentar el diseo y la gestin del programa.

Evaluacin de Consistencia y Resultados

Analiza sistemticamente el diseo y desempeo global de los programas federales a fin de mejorar su gestin y medir el logro de sus resultados con base en la matriz de indicadores.

Evaluacin de Indicadores

Analiza mediante trabajo de campo la pertinencia y alcance de los indicadores de un programa federal para el logro de resultados.

Evaluacin de procesos

Analiza mediante trabajo de campo si el programa lleva a cabo sus procesos operativos de manera eficaz y eficiente y si contribuye al mejoramiento de la gestin.

Evaluacin de impacto

Identifica con metodologas rigurosas el cambio en los indicadores a nivel de resultados atribuible a la ejecucin del programa federal.

Evaluaciones especficas

Aquellas evaluaciones no comprendidas en los LGEPF y que se realizarn mediante trabajo de gabinete y/o de campo.

Evaluaciones estratgicas

Se aplican a un programa o conjunto de programas en torno a las estrategias, polticas e instituciones.

Evaluacin Costo-beneficio*

Comparacin de los costos y beneficios de una intervencin pblica en trminos monetarios en tiempo presente.

Fuente: Ley General de Desarrollo Social, Lineamientos generales para la evaluacin de los programas federales de la Administracin Pblica Federal (DOF, 2007). Programa Anual de Evaluacin 2014. Lineamientos Generales para la Elaboracin de Diagnsticos de cuyos Resultados se obtienen Propuestas de Atencin de Programas de Desarrollo Social (2009) * La mayora de las evaluaciones contenidas en el PAE se encuentran descritas en los LGEPF-APF, aunque algunas otras, como la evaluacin de diseo o costo-beneficio, slo se mencionan en el PAE.


25

Se han elaborado criterios especficos para la elaboracin de diagnsticos

(RLGDS, Artculo 7) y Lineamientos Generales para la Elaboracin de

Diagnsticos de cuyos Resultados se obtienen Propuestas de Atencin de

Programas de Desarrollo Social (LGEDPA, 2009).

La realizacin de una evaluacin de diseo es obligatoria, de acuerdo a los

los LGEPF-APF, para el primer ao de operacin de los programas nuevos. Los

Trminos de Referencia emitidos por CONEVAL indican que la evaluacin se

divide en seis temas: (1) caractersticas del programa, (2) contribucin a los

objetivos estratgicos, (3) matriz de indicadores, (4) poblacin potencial y objetivo,

(5) vinculacin con las ROP, y (6) coincidencias, complementariedades y

duplicidades.

La Evaluacin de Consistencia y Resultados (ECR) es una evaluacin

ejecutiva cuyo objetivo es analizar sistemticamente el diseo y desempeo global

de los programas, identificando la lgica y congruencia en el diseo del programa,

su vinculacin con la planeacin sectorial y nacional y la consistencia de su diseo

con la normatividad aplicable. La ECR se realiza mediante un cuestionario dividido

en seis temas y 51 preguntas, a saber: diseo (13 preguntas), planeacin y

orientacin a resultados (9), cobertura y focalizacin (3), operacin (17),

percepcin de la poblacin atendida (1) y medicin de resultados (8). La

evaluacin se realiza mediante un anlisis de gabinete con base en informacin

proporcionada por la dependencia o entidad responsable del programa, as como

informacin adicional que la instancia evaluadora considere necesaria para

justificar su anlisis.10 Esta evaluacin permite identificar el grado de orientacin a

resultados de los programas y sirve, en su caso, como insumo para la

construccin de la evaluabilidad de las intervenciones.

Tanto en el diseo de las metodologas como en la elaboracin de trminos

de referencia para la realizacin de evaluaciones, el CONEVAL tiene una funcin

10

Modelo de Trminos de Referencia de la Evaluacin de Consistencia y Resultados (CONEVAL, 2011)


26

rectora centralizada. El CONEVAL emite trminos de referencia modelo o

dictamina aquellos propuestos por diferentes organismos para todas las

evaluaciones externas. Todo ello est disponible en su pgina web. Existe un

particular inters de CONEVAL por incrementar el nmero y la calidad de las

evaluaciones de impacto realizadas, y aunque se tienen ejemplos muy importantes

como las evaluaciones de impacto del programa Prospera anteriormente

Oportunidades-- y cada vez ms evaluaciones rigurosas, la mayora de los

programas sociales carecen an de levantamientos basales o de sistemas de

informacin robustos para ello.

Las evaluaciones externas deben ser realizadas anualmente en el periodo

comprendido del primero de mayo al treinta de abril del siguiente ao (LGEPF-

APF, 2007). Las evaluaciones tambin pueden ser realizadas para varios

ejercicios fiscales mediante esquemas de contratacin plurianuales. En la LGDS

(2004) se seala que los organismos independientes que podrn participar en la

evaluacin son instituciones de educacin superior, de investigacin cientfica y

organizaciones no lucrativas. Los procedimientos para la contratacin de los

evaluadores externos se sujetarn a las disposiciones establecidas en la Ley de

Adquisiciones, Arrendamientos y Servicios del Sector Pblico y los pagos

conforme al esquema presupuestario que determine la SHCP. En general, este

marco normativo ha privilegiado la participacin de instituciones acadmicas

pblicas en el mercado de evaluacin.

3. PROGRAMA ANUAL DE EVALUACIN

El Programa Anual de Evaluacin (PAE) tiene como propsito determinar los tipos

de evaluacin que se aplicarn, establecer el calendario de su ejecucin, y

vincular las evaluaciones con las actividades anuales de programacin y

presupuesto. El PAE se establece de manera conjunta por la SHCP, SFP y

CONEVAL a principios del ao fiscal y su contenido debe estar disponible en los

portales electrnicos de las tres agencias de gobierno.


27

El nmero de evaluaciones federales realizadas por tipo, de 2007 a 2013,

se muestra en el siguiente cuadro.

Nmero de evaluaciones por tipo coordinadas por CONEVAL 2007-2013

Tipo de evaluacin 2007 2008 2009 2010 2011 2012 2013

Complementaria 2 16 18 9 17 21 6

Consistencia y resultados 106 0 0 1 148 8 5

Diseo 13 23 32 20 46 14 24

Especfica de desempeo 0 374 379 390 0 540 3

Especfica 6 2 9 2 0 122 320

Estratgica 3 1 3 0 0 2 1

Impacto 3 6 3 2 1 3 0

Integral 0 0 19 21 10 22 0

Procesos 0 0 5 6 4 6 3

Diagnstico - - - - - 1 1

Total de evaluaciones 133 422 468 451 226 739 363

Fuente: CONEVAL http://www.coneval.gob.mx/Evaluacion/Paginas/InformeResultados.aspx. Liga consultada en enero de 2015. Nota: la informacin para 2013 puede estar aun en proceso de actualizacin.

El PAE 2014 abarca un mayor nmero de programas y un calendario y

disposiciones mucho ms especficas que las contenidas en la publicacin del

primer PAE en 2007. En el PAE 2014, la SCHP coordina la evaluacin de 17

programas (14 de Consistencia y Resultados y 3 de Costo-Efectividad) y la

elaboracin de 25 diagnsticos, principalmente enfocados al desarrollo de

infraestructura; la SFP coordina las evaluaciones de 12 programas (4 de

Procesos, 5 de Consistencia y Resultados y 3 Especficas de Desempeo) y 26

diagnsticos. El CONEVAL coordina el diagnstico de 36 programas y la

evaluacin anual especfica de desempeo11 para 197 programas.

Las dependencias y entidades debern dar a conocer en su pgina de

internet o portal electrnico, en lugar visible y de fcil acceso, los documentos y

resultados de todas las evaluaciones externas dentro de los 10 das hbiles

11

De acuerdo al PAE 2014, las evaluaciones especficas anuales a las que se refiere el Artculo 78 de la LGDS sern las fichas de monitoreo y evaluacin sealadas en el PAE.


28

siguientes de haber sido entregados. Los datos de las evaluaciones externas que

debern publicarse en las pginas de internet son, al menos: datos generales del

evaluador externo, datos generales de la unidad administrativa responsable del

seguimiento de la evaluacin, forma de contratacin, bases de datos generadas,

instrumentos de recoleccin de informacin, nota metodolgica, resumen ejecutivo

y costo de la evaluacin.

4. ASPECTOS SUSCEPTIBLES DE MEJORA (ASM)

La utilidad y utilizacin de los resultados ha sido una de las principales

preocupaciones en los esfuerzos por poner en prctica sistemas nacionales de

evaluacin y seguimiento. En el caso mexicano, la evaluacin externa, en los

primeros aos de su implementacin, tuvo un uso simblico, ms que conceptual

o instrumental. Esto se debe, entre otros factores, al proceso de maduracin de la

prctica evaluativa, pero tambin al origen poltico de la preocupacin por la

evaluacin: el control y vigilancia de los programas sociales para evitar su

manipulacin electoral. Esto implica que en la prioridades y lgica de arranque de

la evaluacin en Mxico, la mejora continua y la orientacin al usuario de la

evaluacin al interior de las agencias gubernamentales no fue prioritario. La

prctica de la evaluacin estuvo principalmente vinculado con lo simblico ms

que con lo conceptual e instrumental. En un contexto de transicin poltica y

fuertes problemas sociales de pobreza, marginacin y desigualdad, la evaluacin

de programas sirvi ms en la parte emblemtica de la construccin de un sistema

de rendicin de cuentas, --con la conformacin de un sistema de informacin

incipiente, pero estructurado y confiableque con la dimensin instrumental para

la mejora de los programas. La preocupacin por una utilizacin ms sustantiva

para la mejora de la accin gubernamental motiv a la formulacin de un

mecanismo de seguimiento de la evaluacin que estuviera ms enfocado al uso

de los resultados que a la fiscalizacin y auditora de los resultados de la

evaluacin. As, en el contexto mexicano, el denominado Mecanismo para el


29

Seguimiento de Aspectos Susceptibles de Mejora (ASM), se refiere al

tratamiento del conjunto de hallazgos de la evaluacin externa que debern ser

considerados y atendidos para la mejora de los programas con base en las

recomendaciones y sugerencias sealadas por el evaluador externo12.As, una vez

realizada la evaluacin, se procede a la seleccin de aspectos relevantes por

parte de los responsables programticos con criterios de: claridad, relevancia y

factibilidad.

Estos aspectos tambin se clasifican por el nivel de responsabilidad para su

atencin, con las siguientes categoras: especficos (atendibles por la unidad

responsable de la ejecucin del programa); institucionales (atendibles por la

dependencia o entidad a la que pertenece la unidad responsable de la ejecucin

del programa); interinstitucionales (atendibles por diversas dependencias y

entidades que de alguna manera influyen en la ejecucin del programa) e

intergubernamentales (atendibles por ms de un orden o nivel de gobierno). Las

fechas y procedimientos especficos para la clasificacin, accin y seguimiento de

los ASM estn establecidos en la normatividad emitida conjuntamente por SHCP,

CONEVAL y SFP, y puede ser consultado en la pgina web del CONEVAL.

La puesta en marcha de este mecanismo busca, por una parte, involucrar a

los responsables de los programas en el anlisis de los reportes de evaluacin

para una adecuada apropiacin de los involucrados de este proceso. Esto implica

el anlisis explcito y la oportunidad de rplica de aquellos responsables de los

programas evaluados. Por otra, busca incorporar de manera ms efectiva los

hallazgos al clasificar los aspectos de mejora por su relevancia, importancia e

identificacin de responsables.

La efectividad del mecanismo deber ser comprobada en el tiempo con una

investigacin sobre los cambios efectivamente emprendidos y sus consecuencias

en los resultados y desempeo de los programas. Sin embargo, este esquema

12

Mecanismo para el seguimiento a los aspectos susceptibles de mejora derivados de informes y evaluaciones externas a programas federales (SHCP, SFP, CONEVAL, 2014) y LGEPF-APF.


30

reconoce de manera implcita la importancia de considerar la compleja interaccin

de involucrados en el proceso de evaluacin y seguimiento.

Comentarios Finales

En un periodo relativamente corto, Mxico logr construir un modelo de evaluacin

y seguimiento de programas pblicos que cuenta con un andamiaje institucional

slido, una serie de procesos, actores y lineamientos ampliamente compartidos en

la administracin pblica federal y principios de gestin que los hace crebles. Este

sistema ha permitido la generacin de informacin y conocimiento sobre el

desempeo de los programas pblicos, la adopcin de un lenguaje comn para el

anlisis, la evaluacin y la gestin de programas presupuestarios, y el

fortalecimiento inicial de las capacidades de y para la evaluacin en el sector

pblico federal.

El anlisis de la trayectoria reciente de Mxico sugiere que el SE&S es un

producto directo de la activacin de los pesos y contrapesos del rgimen

democrtico en Mxico y que, al mismo tiempo, se ve limitada por las propias

caractersticas de esa transicin: su naturaleza federal (no necesariamente

nacional), fragmentada, diacrnica. A pesar del notable salto institucional en torno

a la evaluacin y el seguimiento de programas pblicos y las importantes reformas

orientadas a la presupuestacin por resultados, persisten enormes desafos para

hablar de la institucionalizacin de la evaluacin y el seguimiento como

instrumentos para la mejora, el aprendizaje y la rendicin de cuentas por

resultados.

Un primer desafo tiene que ver con el hecho de que el sistema no es

fruto de un plan maestro o una decisin poltica de alto nivel plasmada en una ley

marco, sino de una serie de reformas legales y acuerdos de coordinacin de facto

que convergieron, en la prctica, en la normalizacin y continuidad de la funcin

evaluativa en Mxico. En el marco de la activacin de pesos y contrapesos de la

pluralidad poltica, se alinearon incentivos y capacidades para la evaluacin de los

programas sociales primero, y de los dems programas presupuestarios, despus.


31

Este proceso, que tuvo como anclas la Ley General de Desarrollo Social y la Ley

Federal de Presupuesto y Responsabilidad Hacendaria, y se materializ gracias a

la coordinacin transversal de diversas organizaciones (SHCP, CONEVAL, SFP)

que comparten algunas atribuciones fragmentadas en materia de evaluacin, sin

que necesariamente compartan la misma visin del papel de la evaluacin en el

proceso de polticas. Igualmente, la coyuntura crtica de 1997 (gobierno dividido

con contraccin econmica) que deton la experiencia pionera de PROGRESA --

despus Oportunidades y hoy Prospera-- influy de manera determinante en

los principios de obligatoriedad y externalidad que rigen el SE&S de Mxico. Esta

coyuntura influye en diversas caractersticas de origen del sistema: la

preocupacin por los programas sociales; la evaluacin como un instrumento

horizontal de control poltico y como instrumento vertical de control presupuestario.

Hasta la fecha, a pesar de la generacin de mecanismos de seguimiento a los

hallazgos de las evaluaciones, es necesario verificar que se est conformando una

dimensin interna de aprendizaje y orientacin a la mejora de los programas y de

las propias evaluaciones.

En segundo lugar, es posible que la institucionalidad para la evaluacin y el

monitoreo ha apostado, quiz demasiado, al potencial transformador de la

generacin de informacin pblica per se. .13 La informacin, si bien es

indispensable para la rendicin de cuentas y la toma de decisiones, no se

transmite, comunica ni traduce automticamente en procesos de mejora, control

ciudadano y/o aprendizaje de poltica pblica. Hay factores atribuibles a la

trayectoria del proceso de evaluacin en la administracin pblica y otros

vinculados a caractersticas del sistema poltico. Entre los primeros, factores se

encuentran aquellos asociados a la curva de aprendizaje de cualquier reforma

gerencial y otros ms estrechamente relacionados con el diseo institucional y las

13

En este sentido, el sistema de evaluacin y seguimiento de Mxico depende en gran medida de la

reglamentacin sobre trasnparencia y el uso y acceso a la informacin pblica. Cualquier reforma que afecte

el principio de mxima publicidad plasmado en la Constitucin afectar directamente los alcances mnimos

del ejercicio de evaluacin.


32

decisiones tomadas a partir de un conjunto de normas fragmentadas, relacionadas

con la evaluacin y la gestin del desempeo.

Tercero, la incertidumbre sobre la calidad y la heterogeneidad de las

evaluaciones, as como la confusin inicial sobre su significado e implicaciones

entre los operadores de los programas forma parte de un costo normal de inicio de

una prctica administrativa que rompe con la lgica, el lenguaje y los procesos de

la administracin pblica tradicional -orientada al control del proceso administrativo

y el manejo financiero. Estos factores afectaron naturalmente la capacidad de

apropiacin del proceso y de los resultados de la evaluacin. Con frecuencia,

estos no se socializaban ampliamente al interior de las organizaciones pblicas y

se convertan, en los hechos, entrmites adicionales conocidos por un grupo

pequeo involucrados.

Cuarto, entre los atributos de diseo del proceso de evaluacin y

seguimiento en Mxico destaca la normalizacin centralizada de metodologas,

trminos de referencia y ciclo de evaluacin en funcin del ciclo de vida de los

programas. Esta decisin, que permiti la gestin de cientos de evaluaciones cada

ao y la estandarizacin de la informacin del desempeo de los programas

tambin sacrific la orientacin del modelo a un usuario modal. Es decir, definir

con mayor claridad cul es el usuario primario de la evaluacin y qu tan idneo

es el flujo, la temporalidad y la sustancia de la informacin generada por el

proceso de evaluacin en funcin de este perfil. Quiz por esta razn no deba

sorprender que la respuesta ante la baja utilizacin de las evaluaciones haya sido,

nuevamente, un proceso normado de manera centralizada y no una reflexin ms

profunda sobre la calidad y pertinencia de las evaluaciones y/o los incentivos

sistmicos para su utilizacin por parte de las agencias evaluadas.

Es importante enfatizar que los alcances y lmites del proceso de evaluacin

y seguimiento estn claramente acotados por el sistema poltico de una

democracia de baja intensidad como la mexicana. Los mismos pesos y

contrapesos que explican el origen de la preocupacin por la evaluacin de los

programas sociales federales explican el desapego frente a la evaluacin como

insumo para la toma de decisiones y como mecanismo para el aprendizaje


33

orientado a la mejora de los programas. Los incentivos electorales, la baja

profesionalizacin del sector pblico y la dbil participacin del Legislativo en el

control horizontal del Ejecutivo explican la baja apropiacin de algunos actores

polticos relevantes, como el Congreso, de toda la informacin pblica generada

por el proceso de evaluacin y seguimiento. Por tratarse de un sistema de

produccin de informacin diseado para actores polticos (como mecanismos de

control partidario), la dbil apropiacin por parte de stos restringe enormemente

el potencial transformador de la evaluacin en los procesos internos de la

administracin pblica. A este problema abona la naturaleza fragmentada de la

informacin generada: el principio de anualidad y el foco en programas

presupuestarios impiden que la informacin sea fcilmente agregada y procesada

para ofrecer diagnsticos y balances ms generales para la toma de decisiones de

poltica.

Otro gran desafo de para la consolidacin del sistema de evaluacin y

seguimiento como instrumento de mejora y rendicin de cuentas es el reto del

federalismo en Mxico. La consolidacin de estos mecanismos de control y

transparencia sobre el ejercicio del gasto pblico y el desempeo de los

programas coincidi en el tiempo con un proceso indito de descentralizacin

fiscal y administrativa. Los gobiernos de los estados y municipios en Mxico

ejercen un monto creciente del presupuesto pblico y asumieron

responsabilidades cruciales para el desarrollo social sin que este proceso

estuviera acompaado de los controles incipientes del pluralismo democrtico,

como ocurri en el gobierno federal. En este escenario, la consolidacin de los

sistemas de evaluacin y seguimiento en el mbito local depender, muy

probablemente, del liderazgo del gobierno federal y su capacidad poltica y fiscal

para empujar la agenda de orientacin a resultados plasmada en la Constitucin

Poltica de los Estados Unidos Mexicanos.


34

ANEXOS

Normatividad del Sistema de S&E en Mxico

Antecedente Relevancia Ao

Ley Orgnica de la Administracin Pblica Federal

Mencin a unidades administrativas para llevar a cabo actividades de

evaluacin de las polticas del Gobierno Federal.

Establece el seguimiento permanente de las polticas pblicas y su

evaluacin peridica como atribucin de la Secretara de Hacienda y

Crdito Pblico (SHCP) para coordinar la evaluacin que permita

conocer los resultados de la aplicacin de los recursos pblicos

federales.

1976

2004

Nueva Estructura Programtica

Se identifican con mayor claridad en el presupuesto los recursos para

la realizacin de las polticas, las estrategias y las acciones, y para as

poder identificar las implicaciones de costo vinculadas con los

resultados.

1995

Programa de Educacin, Salud y Alimentacin (PROGRESA - despues Oportunidades y actualmente Prospera)

Estableci una lgica causal explcita y se dise exante su evaluacin

de impacto de tipo experimental.

La evaluacin contemplada era externa y realizada por instituciones

acadmicas nacionales e internacionales.

Primer programa social federal en contemplar de manera pblica y

expltica una evaluacin externa.

1997

Reglas de Operacin (ROPs)

Se estableci la obligacin de que los programas federales con

subsidios directos formularan reglas de operacin (ROP) pblicas en

las que se indicara su objetivo general, poblacin objetivo y requisitos

para recibir los apoyos.

1998

Creacin de la Auditora Superior de la Federacin (ASF)

La ASF permiti contar con un organismo especializado en brindar

asistencia al Poder Legislativo en el control del Poder Ejecutivo

Federal.

2000

Evaluacin externa anual obligatoria

El decreto del Presupuesto de Egresos de la Federacin para 2001

(PEF 2001) estableci por vez primera la obligatoriedad de todo

programa con ROP de presentar ante el Congreso y el Ejecutivo una

evaluacin externa anual.

2001

Acuerdo de Requisitos Mnimos

Procedimientos de contratacin de los evaluadores y elementos

mnimos del contenido de las evaluaciones externas. 2002

Transparencia y Acceso a la Informacin Pblica

La expedicin de la Ley Federal de Transparencia y Acceso a la

Informacin Pblica signific la creacin de un mecanismo institucional

para que los ciudadanos, a ttulo personal o de manera colectiva,

accedieran a informacin pblica usualmente reservada o sin difusin.

Refuerza el concepto de publicidad de la informacin.

2002

Secretara de la Funcin Pblica,

Antecedente SECODAM. Organismo dependiente del Ejecutivo Federal

encargado de la fiscalizacin y control interno de la gestin

gubernamental. Se incorporan funciones de evaluacin y de

coordinacin y seguimiento del servicio profesional de carrera.

2003

Permanencia de la prctica de evaluacin de los Programas Sociales (LGDS)

La Ley General de Desarrollo Social (LGDS) institucionaliza y da

permanencia legal a lo establecido por el PEF anual y explicita actores

y mecanismos para la evaluacin y seguimiento de los programas y 2004


35

acciones del desarrollo social.

Crea la figura del Consejo Nacional de Evaluacin de la Poltica de

Desarrollo Social (CONEVAL), organismo desconcentrado de la APF,

como coordinador de la evaluacin de la poltica de desarrollo social.

Sistema de Evaluacin del Desempeo(LFPRH)

En el PEF 2001 ya se mencionaba al Sistema de Evaluacin y

Desempeo (SED) pero con la promulgacin de la Ley Federal de

Presupuesto y Responsabilidad Hacendaria se fortaleci y ampli su

aplicacin.

Faculta al CONEVAL para coordinar las evaluaciones de desempeo

en materia de desarrollo social y seguimiento a las recomendaciones

que se desprendan de ellas.

2006

Lineamientos generales para la evaluacin de los programas federales de la Administracin Pblica Federal.

Regula la evaluacin de los programas federales, la elaboracin de la

matriz de indicadores y los sistemas de monitoreo, as como la

elaboracin de los objetivos estratgicos de las dependencias y

entidades de la Administracin Pblica Federal

Establece el Programa Anual de Evaluacin para los programas de la

Administracin Pblica Federal

2007

Mecanismo de Seguimiento a los Aspectos Susceptibles de Mejora (ASM)

Se establece un mecanismo institucional para clasificar, priorizar y dar

seguimiento a las recomendaciones y resultados de los informes y

evaluaciones externas. 2008

Reforma constitucional en materia de gasto pblico y fiscalizacin

Gestin por Resultados/PBR

Adecuacin y reorientacin del marco presupuestario y el ejercicio del

gasto pblico. Es este principio en el que se establecen las bases para

un ejercicio mucho ms transparente del gasto con una orientacin

hacia el logro de resultados verificables y tangibles.

2008

Ley de Fiscalizacin y Rendicin de Cuentas de la Federacin.

Defini y estableci los procedimientos para fiscalizacin y rendicin de

cuentas haciendo uso de auditoras de desempeo para determinar el

cumplimiento de dichas metas y objetivos

2009


Principales actores, funciones e instrumentos jurdicos del SE&S

mbito Actores Funciones principales

Administracin Pblica

Secretara de Hacienda Y Crdito Pblico

(SHCP)

Revisa y dictamina indicadores de desempeo;

Establece la planeacin de la evaluacin,

Difunde los resultados de las evaluaciones,

Utiliza la evaluacin como insumo para el proceso presupuestario,

Establece el mecanismo de seguimiento a las recomendaciones de las evaluaciones

Secretara de la Funcin Pblica (SFP)

Revisa y dictamina indicadores de desempeo,


Difunde los resultados,

Establece el mecanismo de seguimiento a las recomendaciones.

Consejo Nacional de Evaluacin de la Poltica

de Desarrollo Social (CONEVAL)

Revisa, dictamina y aprueba indicadores de desempeo,


Formula y da seguimiento a metodologas para el seguimiento y la evaluacin,

Conduce evaluaciones,

Da seguimiento de la realizacin de evaluaciones externas,

Selecciona evaluadores externos,


36

Difunde los resultados del seguimiento y evaluacin,

Establece y coordina el mecanismo de seguimiento a recomendaciones.

Organizaciones gubernamentales

ejecutoras de programas pblicos

Elabora indicadores de desempeo

Provee las condiciones necesarias para el desarrollo de las evaluaciones externas,

Selecciona evaluadores externos,

Difunde los resultados del seguimiento y la evaluacin,

Da cauce a los resultados de las evaluaciones (sugerencias y recomendaciones) en los aspectos susceptibles de mejora para los programas.

Legislativo Comisiones de la

Cmara de Diputados o Senadores

Recibe y analiza resultados de evaluaciones.

Auditora Superior de la Federacin

Emite recomendaciones a Indicadores de desempeo,

Realiza auditoras de desempeo.

Sociedad Civl

Evaluadores independientes

Realizan evaluaciones bajo las metodologas y criterios establecidos.

Organizaciones

Analizan y difunden resultados de las evaluaciones.

Beneficiaros

Proporciona informacin para la realizacin de evaluaciones


REFERENCIAS

Acuerdo por el que se Establecen las Disposiciones Generales del Sistema de Evaluacin del Desempeo. Diario Oficial de la Federacin. 31 de marzo de 2008.

Arizti, Pedro y Castro, Manuel Fernando eds.(2010). Mejorando la calidad del Gasto Pblico a travs del uso de informacin de desempeo en Mxico. Banco Mundial-SHCP. Washington. D.C. 64 pp.

Bovens, Mark (2006). Analysing and Assessing Public Accountability. A Conceptual Framework, EuropeanGovernancePapers No. C-06-01(2006): 20-21.


37

Banco Mundial (2010). La formulacin de polticas en la OCDE: Ideas para Amrica Latina. Banco Mundial, Washington. 88 pp. Informe No. 59207-LAC.

Castro, Manuel, Gladys Lopez-Acevedo, Gita Beker y Ximena FernandezOrdonez (2009). El Sistema de M&E de Mxico: Un salto del nivel sectorial al nacional. Documento de trabajo.

CEFP - Centro de Estudios de las Finanzas Pblicas (2014). Indicadores y Estadsticas. http://www.cefp.gob.mx/Pub_Gasto_Estadisticas.htm

Chelimsky, E. (2006). The Purposes of Evaluation in a Democratic Society. EnThe Sage handbook of Evaluation. London: Sage.

CEPAL (2004).Metodologa de Marco Lgico.BoletnNm. 15, Santiago de Chile CEPAL-OCDE (2012).Perspectivas Econmicas de Amrica Latina 2012.

Transformacin del Estado para el Desarrollo. Cohen, Ernesto y Rolando Franco (1992). Evaluacin de proyectos sociales, Siglo

XXI, Mxico. Cunill-Grau, N. y S.M. Ospina (2012), Performance measurement and evaluation

Systems: Institutionalizing accountability for governmental results in Latin America, en S. Kushner y E. Rotondo (eds.),

CONEVAL (2013a). Diagnstico del avance en monitoreo y evaluacin en las entidades federativas 2013.

------ (2013b). Evaluacin Especfica de Desempeo 2010-2011 y 2009-2010.

------ (2013c). Evolucin de la poblacin potencial, objetivo y atendida de los Programas Federales de Desarrollo Social.

------ (2013d) Gua para la Elaboracin de la Matriz de Indicadores para Resultados. Mxico.

------ (2013e). Inventario CONEVAL de programas y acciones federales de desarrollo social. Presentacin y Anlisis 2012-2013.

------ (2013f). Medicin de la Pobreza 2012. Anexo estadstico 2012. ------ (2012). Informe de Evaluacin de la Poltica de Desarrollo Social en Mxico,

Mxico, CONEVAL ------ (2011).Modelo de Trminos de Referencia para la Evaluacin de

Consistencia y Resultados. ------ Evaluacin de la Poltica Social. Informes y Resultados de Evaluacin.

http://www.coneval.gob.mx/Evaluacion/Paginas/InformeResultados.aspx Constitucin Poltica de los Estados Unidos Mexicanos. Decreto por el que se crea la Coordinacin Nacional del Programa de Educacin,

Salud y Alimentacin, como rgano desconcentrado de la Secretara de Desarrollo Social. Diario Oficial de la Federacin. 8 de agosto de 1997.

Decreto por el que se establece el Sistema Nacional para la Cruzada contra el Hambre. Diario Oficial de la Federacin. 22 de enero de 2013.

Decreto por el que se reforman, adicionan y derogan diversas disposiciones de la Constitucin Poltica de los Estados Unidos Mexicanos, en materia poltica-electoral. Diario Oficial de la Federacin. 10 de febrero de 2014.

Feisntein Osvaldo y Hernndez, Gonzalo (2008). El papel de la evaluacin en Mxico en Mejorando la calidad del Gasto Pblico a travs del uso de


38

informacin de desempeo en Mxico. Banco Mundial-SHCP. Washington. D.C. pp 18-22.

INEGI - Instituto Nacional de Estadstica y Geografa (2014a). Banco de Informacin Econmica.

------ (2014b). Encuesta Nacional de Ocupacin y Empleo, ENOE. Indicadores estratgicos.

------ (2013). Encuesta Nacional de Ingreso y Gastos de los Hogares (ENIGH). Tabulados bsicos. Varios aos.

Ley Federal de Responsabilidades de los Servidores Pblico. Diario Oficial de la Federacin. 31 diciembre de 1982.

Ley Federal de Transparencia y Acceso a la Informacin Pblica. Diario Oficial de la Federacin. 11 de junio de 2002.

Ley General de Contabilidad Gubernamental. Diario Oficial de la Federacin. 21 de diciembre de 2008.

Ley General de Desarrollo Social. Diario Oficial de la Federacin. 20 de enero de 2004.

Ley de Fiscalizacin y Rendicin de Cuentas de la Federacin. Diario Oficial de la Federacin. 29 mayo de 2009.

Ley de Presupuesto y Responsabilidad Hacendaria. Diario Oficial de la Federacin. 30 de marzo de 2006.

Ley Orgnica de la Administracin Pblica Federal. Diario Oficial de la Federacin el 29 de diciembre de 1976

Lineamientos generales para la elaboracin de diagnstico

09 hernández, maldonado y pérez.pdf

Documents

desarrollo social lgepf

desarrollo social rop

desarrollo social ifai

desarrollo social sfp

desarrollo upri

desarrollo rlgds

sistema de evaluacin

funcin de evaluacin