las evaluaciones de desempeño de los programas federales ... · las entidades federativas y los...
TRANSCRIPT
Las evaluaciones de desempeño de los programas federales de agua
potable y saneamiento: los retos por superar Enero 2016
www.coneval.gob.mx
¿Para qué evaluar?
Tipos de evaluaciones y de información obtenida
Diseño
Consistencia y lógica interna de
los programas
Consistencia y Resultados
Diagnóstico de la capacidad
institucional para alcanzar resultados
Procesos
Análisis de los procesos
operativos y su contribución a la
mejora de la gestión operativa
Estratégicas
Valoración de las políticas y
estrategias de desarrollo social
Indicadores
Pertinencia y alcance de los
indicadores de un programa
Complementarias
Profundizar sobre aspectos
relevantes del desempeño
Específicas
Evaluación Específica de Desempeño
(avance en el logro de objetivos y
metas) Ficha de Monitoreo
y Evaluación
Impacto
Medir los efectos netos del programa
Diagnóstico de Programas Nuevos*
Definir el problema y justificar que es
un problema público
* El Diagnóstico también está dirigido a programas existentes con ampliaciones o modificaciones sustantivas
Previamente desarrollar un análisis de factibilidad
No están especificadas en los Lineamientos de evaluación
Diseño
Consistencia y lógica interna de
los programas
Consistencia y Resultados
Diagnóstico de la capacidad
institucional para alcanzar resultados
Procesos
Análisis de los procesos
operativos y su contribución a la
mejora de la gestión operativa
Indicadores
Pertinencia y alcance de los
indicadores de un programa
Complementarias
Profundizar sobre aspectos
relevantes del desempeño
Específicas
Evaluación Específica de Desempeño
(avance en el logro de objetivos y
metas) Ficha de Monitoreo
y Evaluación
Impacto
Medir los efectos netos del programa
Diagnóstico de Programas Nuevos*
Definir el problema y justificar que es
un problema público
Previamente desarrollar un análisis de factibilidad
No están especificadas en los Lineamientos de evaluación
Estratégicas
Valoración de las políticas y
estrategias de desarrollo social
Valoración de las
Programas
Estrategias, políticas o
conjunto de programas
Se documentan buenas prácticas y cuellos de botella
Política de protección social, microcréditos, desarrollo
social
Evaluación de programas en materia hídrica
11 programas con Evaluación Específica de Desempeño 2014-2015 asociados a los recursos hídricos
Derecho Humano al Agua
En el artículo cuarto de la Constitución Política de los Estados Unidos Mexicanos, se menciona que toda persona tiene derecho al acceso, disposición y saneamiento de agua para consumo personal y doméstico en forma suficiente, salubre, aceptable y asequible. El Estado garantizará este derecho y la ley definirá las bases, apoyos y modalidades para el acceso y uso equitativo y sustentable de los recursos hídricos, estableciendo la participación de la Federación, las entidades federativas y los municipios, así como la participación de la ciudadanía para la consecución de dichos fines.
Además, en el artículo 6 de la Ley General de Desarrollo Social se menciona que uno de los derechos para el desarrollo social el disfrute de un medio ambiente sano.
!! El derecho humano al agua está vinculado con otros derechos, igualmente para garantizar su ejercicio, por ejemplo:
Derecho Humano al Agua – Vinculación con otros derechos
El derecho a la alimentación nutritiva, suficiente y de calidad
(artículo 4to Const. y 6to LGDS).
El derecho a un medio ambiente sano (artículo 4to
Const. y 6to LGDS).
El derecho a la salud (artículo 4to Const. y 6to LGDS)
El derecho a la vivienda, Indicador de servicios básicos de la vivienda (artículo 4to.
Const.y 6to LGDS)
Consideraciones generales
•! Evaluar los programas en materia ambiental es complejo por su propio diseño y objetivo, ya que se orientan a la protección del medio ambiente en sus diversos elementos, como son biodiversidad, bosques, suelo, agua, calidad del aire, etcétera; lo que dificulta, principalmente, la definición y cuantificación de sus poblaciones, y ello a su vez genera que no se pueda dar un seguimiento de los resultados de la intervención. Por ello, el reto es trabajar en la definición de sus poblaciones y en los mecanismos idóneos para monitorear el avance de las intervenciones en la materia.
•! Los programas y políticas en materia ambiental deben transitar hacia un enfoque de derechos, a partir del cual las acciones implementadas por la SEMARNAT estén encaminadas a procurar el pleno ejercicio de los derechos al medio ambiente sano y al acceso, disposición y saneamiento de agua para consumo personal y doméstico en forma suficiente, salubre, aceptable y asequible establecidos en la Constitución Política Mexicana.
•! El Instituto Nacional de Ecología y Cambio Climático (INECC) debe continuar avanzado en la definición de criterios e indicadores confiables que permitan medir el ejercicio del derecho al medio ambiente así como propiciar un análisis más profundo en relación a la importancia del tema medio ambiental en la reducción de la pobreza (por ejemplo, su relación con los indicadores de salud). Estas definiciones podrán contribuir a que los programas mejores sus indicadores y la medición de sus resultados.
Consideraciones generales
•! De igual manera se debe trabajar en la definición del derecho humano al agua y, con base en ello, establecer indicadores para su medición. Con ello, los procesos de evaluación podrían centrarse en identificar el cumplimiento del derecho a través de las intervenciones públicas.
•! La SEMARNAT tiene el reto de articular las acciones implementadas por otras Secretarías para no condicionar la calidad del medio ambiente a costa de otro tipo de intervenciones y así lograr un desarrollo sustentable.
•! En relación con los programas en materia hídrica (es decir los que se refieren a la infraestructura y apoyo para mejorar la calidad del agua) el reto de disminuir el rezago en infraestructura básica de la vivienda, supondrá no sólo ampliar y mantener la cobertura en agua potable y saneamiento sino también garantizar que ésta sea suficiente, salubre, aceptable y asequible para el consumo personal y doméstico.
•! Es importante definir estrategias integrales de atención a los derechos, más allá de políticas aisladas o de programas que atienden sólo una parte del problema, así como reforzar la articulación de los programas.
Resultados de la Evaluaciones Específicas de Desempeño 2014-2015 hechas a programas en materia hídrica
Evaluación de programas en materia hídrica
Evaluación Específica de Desempeño 2014-2015 Se muestran los resultados de los progamas en materia hídrica
Programa a cargo de la Comisión Nacional del Agua S074 Programa de Agua Potable, Alcantarillado y Saneamiento*
*De acuerdo con el documento de la Estructura Programática 2016, se fusionan los programas S047 Programa de Agua Limpia, S074 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas, S075 Programa para la Construcción y Rehabilitación de Sistemas de Agua Potable y Saneamiento en Zonas Rurales, y U037 Infraestructura Hídrica, el cual realizó con una evaluación de diseño en 2015, para formar el nuevo programa S074 Programa de Agua Potable, Alcantarillado y Saneamiento.
Programa Hallazgos Recomendaciones S047 Programa de Agua Limpia
La evaluación sobre las Interrelaciones Agua y Salud Pública en México identificó que las enfermedades infecciosas intestinales son la primera causa de muerte de niños entre 1 y 5 años, la cuarta en niños menores de cinco años y la causa número 20 de muerte en la población en México. Señala también que la disminución de la mortalidad asociada a esas enfermedades se ha dado gracias a la sinergia entre políticas públicas y programas como Agua Limpia por lo que este informe recomienda ampl iamente que estos programas deban sostenerse.
Para la cuant i f icación de la c o b e r t u r a d e l P r o g r a m a , s e recomienda utilizar como unidad de medida a las localidades en lugar de los municipios y así identificar aquellas que no cuentan con un sistema formal de distribución de agua potable y dirigir las acciones del Programa hacia éstas con la finalidad de generar un mejor enfoque de resu l tados . Ser ía pertinente que el cambio en la unidad de medida y la definición de las poblaciones potencial y objetivo, se establezcan en las Reglas de Operación.
Programa a cargo de la Comisión Nacional del Agua S074 Programa de Agua Potable, Alcantarillado y Saneamiento
Programa Hallazgos Recomendaciones S074 Programa de A g u a P o t a b l e , Alcantaril lado y Saneamiento en Z o n a s U r b a n a s (APAZU)
La supervisión y monitoreo de las obras tanto por parte de los organismos operadores o de los ejecutores locales como de CONAGUA tiene deficiencias. El componente de mejoramiento de eficiencia del Programa juega un importante papel en la mejora de las condiciones de vida de los habitantes de las zonas urbanas. Se debería poner más en relieve las acciones emprendidas en este sentido, cuando menos creando indicadores que miden estas acciones o dando mayor visibilidad a la repartición de recursos según los conceptos o componentes del Programa.
Son necesarias acciones de monitoreo o de control de las obras. Se recomienda evaluar la per t inenc ia de des t inar recursos a la adquisición de equipo para el control y para la capacitación técnica del p e r s o n a l l o c a l ( l o q u e supondría modificar las ROP que no prevén el apoyo para la operación ni el monitoreo).
S075 P rograma p a r a l a Const rucción y Rehabilitación de Sistemas de Agua P o t a b l e , Alcantaril lado y Saneamiento en Zonas Rurales
La fuerza y la sostenibilidad del Programa radican en la inversión para apoyar las figuras organizativas y participativas en las localidades elegibles, que son las encargadas de cuidar la correcta ejecución del Programa y de monitorear las obras. Sin embargo, surge la necesidad de un mayor seguimiento, capacitando el personal técnicamente y administrativamente. El presupuesto previsto para el fortalecimiento institucional de los ejecutores y la atención social y participación comunitaria ha decrecido en beneficio de un mayor número de obras físicas. Esto puede ser un resultado positivo, pero puede al mismo tiempo significar un menor desempeño del Programa si las obras se dejan sin vigilancia, mantenimiento y monitoreo.
No se dispone de indicadores que permitan evaluar el desempeño del Programa en este sent ido. Se sugiere considerar esta dimensión al momento de crear la nueva MIR después de la fusión con e l P r o g r a m a d e A g u a Potable, Alcantari l lado y S a n e a m i e n t o e n Z o n a s Urbanas (APAZU).
Programa a cargo de la Comisión Nacional del Agua S217 Programa de Apoyo a la Infraestructura Hidroagrícola*
* De acuerdo con el documento de la Estructura Programática 2016, se fusionan los programas S079 Programa de Rehabilitación, Modernización, Tecnificación y Equipamiento de Distritos de Riego y Temporal Tecnificado, S217 Programa de Rehabilitación, Modernización, Tecnificación y Equipamiento de Unidades de Riego, U019 Mejora de Eficiencia Hídrica en Áreas Agrícolas, U028 Programa de Adecuación de Derechos de Usos del Agua, y U030 Apoyos Especiales en Distrito de Riego y Unidades de Riego.
Programa Hallazgos Recomendaciones S217 Programa de Rehab i l i tac ión , Modern ización, Tecnif icación y Equipamiento de U n i d a d e s d e Riego
El programa no cuenta con un documento de d i a g n ó s t i c o d o n d e s e d e s c r i b a l a problemática. Esta ausencia se mantiene todavía en 2015; ante el escenario de la posible fusión de programas de infraestructura agrícola se recomienda realizar un diagnóstico integral de la problemática del sector en la que se defina con claridad cuál es el problema público y cuáles son sus causas. Esto podría motivar una posible reorientación de acciones en el programa y una focalización más precisa con base a resultados.
Se recomienda realizar un diagnóstico que inc luya las problemát icas relacionadas a todos los programas de infraestructura hidro-agrícola para así poder contemplar acciones integrales. El diagnóstico deberá definir con claridad cuál es el problema que se quiere atender, identificar las causas del problema y definir cuáles son los indicadores de resultados relevantes.
U 0 3 0 A p o y o s E s p e c i a l e s e n Distrito de Riego y U n i d a d e s d e Riego
El programa es extremadamente flexible, lo cual puede tener enormes ventajas para ser usado como un programa transversal dentro del sector y poder subsanar la carencia de recursos en actividades, procesos u obras que generen economías de escala o sinergias diversas entre otros programas con el mismo fin. Sin embargo parece solo atender demandas part iculares que al parecer no t ienen planeación alguna en un horizonte de mediano plazo.
Real izar un diagnóst ico de los p r o g r a m a s d e i n f r a e s t r u c t u r a agrícola, mediante el cual se defina cuál es el problema público a resolver y se asocien actividades específicas para el programa. El diagnóstico deberá servir para definir el problema público a atender y acordar la foca l i zac ión y p r io r i zac ión de acciones. Además, éste deberá ser la base de una planeación que permita vincular sus acciones con otros programas dentro y fuera del sector.
Programa a cargo de la Comisión Nacional del Agua S217 Programa de Apoyo a la Infraestructura Hidroagrícola
Programa Hallazgos Recomendaciones U019 Mejora de Eficiencia Hídrica en Áreas Agrícolas
La ficha de Monitoreo 2013 señala como debilidad que el Programa no cuenta con lineamientos actualizados para su operación. Los lineamientos publicados en febrero de 2012 siguen siendo vigentes todavía en 2015. Es conveniente realizar una encuesta con potenciales beneficiarios del programa para conocer si existen restricciones en requisitos o alguna otra limitante normativa que esté generando la baja de demanda del programa. Es también recomendable explorar si los recursos del Fondo de Garantías para el Uso Eficiente del Agua (FONAGUA) pueden utilizarse para la contraparte de otros programas de la CONAGUA que no sean para infraestructura hidro-agrícola. Si fuera el caso tendría que modificarse los lineamientos actuales.
Definir con precisión cuál es la p o b l a c i ó n p o t e n c i a l y objetivo del programa. En especial, debe definirse la población objetivo con base en un análisis presupuestal y de orientación de política pública. Revisar los lineamientos del programa para ampliar la cobertura e incluir a otros programas del sector no r e l a c i o n a d o s c o n infraestructura hidro-agrícola.
U028 Programa de Adecuación de Derechos de Uso del Agua
El instrumento que utiliza el programa (la renuncia a los derechos de agua en la superficie concesionada) puede no ser el más adecuado debido a que hay renuencia de los usuarios a dejar este derecho se puede atraer a beneficiarios que de cualquier forma no iban a tener un consumo de agua, por tanto, no deberían estar dentro de la poblaciones objetivo y atendida. Con base en esta hipótesis se proponen otros instrumentos tales como implementar sistemas de medición y monitoreo más eficientes así como hacer un ajuste en las tarifas del agua.
Revisar los precios que se o f recen po r un idad de volumen de agua, dado que pueden estar impidiendo que se incorporen más áreas. Dados los problemas que la revisión a la alza pueden o r i g i n a r s e re c o m i e n d a a s o c i a r o t r o s a p o y o s (compensación indirecta) con el precio que se ofrece.
Programa a cargo de la Comisión Nacional del Agua S217 Programa de Apoyo a la Infraestructura Hidroagrícola
Programa Hallazgos Recomendaciones U 0 3 0 A p o y o s E s p e c i a l e s e n Distrito de Riego y U n i d a d e s d e Riego
El programa es extremadamente flexible, lo cual puede tener enormes ventajas para ser usado como un programa transversal dentro del sector y poder subsanar la carencia de recursos en actividades, procesos u obras que generen economías de escala o sinergias diversas entre otros programas con el mismo fin. Sin embargo parece solo atender demandas particulares que al parecer no tienen planeación alguna en un horizonte de mediano plazo.
Realizar un diagnóstico de los programas de infraestructura agrícola, mediante el cual se defina cuál es el problema públ ico a reso lver y se a s o c i e n a c t i v i d a d e s específicas para el programa. El diagnóstico deberá servir para definir el problema público a atender y acordar la focalización y priorización de acciones. Además, éste deberá ser la base de una planeación que permita vincular sus acciones con otros programas dentro y fuera del sector.
Programa a cargo de la Comisión Nacional del Agua S218 Tratamiento de Aguas Residuales*
* De acuerdo con el documento de la Estructura Programática 2016, se fusionan los programas S218 Programa de Tratamiento de Aguas Residuales y U031 Incentivos para la Operación de Plantas de Tratamiento de Aguas Residuales, el cual realizó una evaluación de diseño en 2015.
Programa Hallazgos Recomendaciones S218 Programa de Tratamiento de Aguas Residuales
Este programa es el más importante a nivel federal para el tratamiento de aguas residuales. Con sus acciones no solo ayuda a los Organismos Operadores para que cumplan con los parámetros de calidad de agua para las descargas, sino que con ello contribuye al saneamiento y asimismo a la disminución del deterioro ambiental de los cuerpos de aguas. El programa participa en hacer posible el desarrollo sustentable a partir de la construcción de las plantas de tratamiento, y atiende y da apoyo a organismos operadores con deficiencias en su prestación. La contribución del programa a esos propósitos está demostrada en el comportamiento de los indicadores de Fin y Propósitos.
Se recomienda establecer f o r m a s d e m e d i r e l d e s e m p e ñ o e n l o q u e concierne al componente de infraestructura con respecto al componente de operación y mantenimiento pues ello informará sobre la manera c ó m o e v o l u c i o n a r á l a cobertura en el tratamiento d e a g u a s r e s i d u a l e s municipales; es decir, que en algún momento dado, las necesidades de apoyo para mantenimiento y operación deberán ser más importantes q u e a q u e l l a s p a r a infraestructura.
Programa a cargo de la Comisión Nacional del Agua E005 Capacitación Ambiental y Desarrollo Sustentable
* De acuerdo con el documento Estructura Programática 2016, se fusionan los programas E005 Capacitación Ambiental y Desarrollo Sustentable, el cual realizó una evaluación de diseño en 2015, y U010 Programa de Cultura del Agua.
Programa Hallazgos Recomendaciones U010 Programa de Cultura del Agua
El programa carece de diagnóstico lo que afecta el diseño, la planeación y orientación a resultados, la cobertura y focalización, la percepción de la población atendida y la medición de resultados del programa. Lo anterior genera problemas en la caracterización de la población; ello influye en la definición del problema que se pretende atacar y por lo tanto en el propósito; también afecta la determinación de la consistencia de la justificación del programa y en la definición más precisa de las poblaciones potencial y objetivo.
Rediseñar los convenios de colaboración (concertación) con entidades para obligarla a participar más activamente e n l a f o c a l i z a c i ó n , seguimiento y verificación de las acciones implementadas p o r l o s o p e r a d o re s d e l programa. Se recomienda elaborar un esquema de criterios para la a s i g n a c i ó n d e re c u r s o s donde de preferencia a e s t a d o s q u e p r e s e n t e n resultados, los cuales puedan ser verificados (cómo son las personas atendidas dentro de los ECA's).
Programa a cargo de la Comisión Nacional del Agua
Programa Hallazgos Recomendaciones U015 Programa para incentivar el d e s a r r o l l o organizacional de los Consejos de Cuenca
El programa requiere un revisión sobre la plataforma de participación que se debe fortalecer a nivel cuenca; ello implicará la integración de más actores (academia, ONG’s, otras instancias de la APF y gobiernos locales) y l a d e f i n i c i ó n d e l a g o b e r n a n z a r e q u e r i d a (transparencia, representatividad, etc.), la definición clara de objetivos de generación de capacidades y fortalecimiento institucional, así como una adecuación de la estrategia de operación.
Mejorar la operación no solo e n l o a d m i n i s t r a t i v o (dispersión de los recursos) sino en el seguimiento de los logros alcanzados con el uso de los recursos dispersados (mejora de indicadores, unidades de cobertura y lineamientos de operación) considerando la continuidad d e p l a t a f o r m a s d e participación y gestión como son los consejos de cuenca.