Seminario Internacional “Evaluar las políticas públicas para un desarrollo inclusivo”

Buenos Aires, 10 de Septiembre de 2013

La apropiación política y operativa de la evaluación en políticas públicas

Luciano Andrenacci - UNSAM-FLACSO

1

La apropiación política y operativa de la evaluación en políticas públicas

Comunicación para el Seminario Internacional “Evaluar las políticas públicas para un desarrollo inclusivo”, organizado por el Programa de Evaluación de Políticas Públicas de la Jefatura de Gabinete de Ministros de la Nación.

Buenos Aires, 10 de Septiembre de 2013

Luciano Andrenacci UNSAM-FLACSO lucianoandrenacci@yahoo.com.ar

Introducción

La atención a la importancia de la evaluación en políticas públicas ha cobrado nuevo vigor en los últimos años, probablemente como consecuencia de la búsqueda de potenciar los resultados y refinar el impacto del importante esfuerzo de aumento del gasto público que caracteriza a los Estados latinoamericanos en casi todos los rubros vinculados con el desarrollo económico y las condiciones de vida.

Evaluar es, básicamente, conocer los resultados de las iniciativas que se tomaron, reconstruyendo críticamente los procesos que los produjeron. En este sentido es, sin lugar a dudas, hacer más inteligente al Estado, en la medida en que el mayor conocimiento disponible puede ser usado para evitar obstáculos, neutralizar problemas, optimizar los procesos y, en consecuencia, mejorar los resultados.

Existen, sin embargo, dos tipos de problemas que muy frecuentemente (aunque no invariablemente) limitan (y eventualmente pueden esterilizar) la utilidad de la evaluación en políticas públicas: el carácter formal o ritual de la iniciativa, sin consecuencias sustantivas en los procesos decisionales posteriores; y la naturaleza superficial de la evaluación como producto, basada en síntesis normativas demasiado apriorísticas y/o percepciones limitadas de los procesos evaluados. Esto no debería ser una sorpresa, puesto que, como se ha insistido a menudo, evaluación es un asunto que involucra conocimiento y poder (Acuña, Martínez Nogueira y Rubio, 2013).

La pregunta que se abre se puede plantear en términos pesimistas u optimistas. Visto el problema negativamente, nos solemos preguntas porqué las evaluaciones tienen tan poco impacto en la calidad de la gestión pública. Visto constructivamente, deberíamos preguntarnos qué se puede hacer para facilitar la apropiación política y operativa de las evaluaciones en la gestión pública.

El propósito de esta comunicación es contribuir al intento de responder estas preguntas con un conjunto de breves reflexiones basadas en la observación de prácticas de hacer y usar evaluaciones en el sector público argentino, fundamentalmente en los niveles nacional y provinciales. Las posibilidades y obstáculos de lo que llamaremos "apropiación de la evaluación" en la gestión pública se ponen aquí en relación con un somero análisis de la evolución

2

contemporánea de las técnicas de evaluación, de los formatos que utilizan y de las tensiones o vacíos que suelen generar sus productos en la gestión de políticas públicas. Agradeciendo la invitación a esta instancia de discusión, y celebrando la iniciativa de la Jefatura de Gabinete de Ministros de la República Argentina en la creación del Programa de Evaluación de Políticas Públicas, espero que estas reflexiones sean de utilidad en el perfeccionamiento de sus orientaciones estratégicas y sus formas organizacionales. La generalización de la evaluación como instrumento de gestión Las técnicas de evaluación conocieron un nuevo auge, en América Latina, cuando los gobiernos democráticos de la región las incorporaron a las diferencias agencias estatales como iniciativas integradas por ley y/o la práctica operativa corriente. Probablemente se trata del tercer momento en la historia de la región en que la evaluación adquiere centralidad relativa, luego de las etapas de incorporación de la planificación clásica desarrollista y de la evaluación orientada a reformar el Estado en los años '90, inspirada por las perspectivas políticas neoconservadoras y económicas necolásicas. La evaluación penetra activamente en el menú de estrategias de planificación de los Estados latinoamericanos durante las décadas de políticas de desarrollo económico y social que la literatura denomina "desarrollistas". Coherente con la centralidad del Estado en el proceso de desarrollo, la planificación es una herramienta que se presentaba como capaz de introducir orden con arreglo a fines en la transformación económica y social de la región, adaptando las diferentes experiencias de planificación de los años '30 norteamericanos, la posguerra europea, e incluso el centralismo estatal socialista. Entre la segunda mitad de la década de 1980 y fines de la década de 1990, durante la etapa de auge de las aproximaciones políticas neoconservadoras y los enfoques económicos neoclásicos que habitualmente denominamos "neoliberalismo", la evaluación tuvo un lugar prominente en las estrategias de reforma del Estado, en particular las llamadas de "segunda generación". Sin embargo, como ha sido a menudo señalado, la agresividad de estas reformas condenaron a las estrategias de evaluación a una recepción hostil por la burocracia estatal y a una existencia paralela en mecanismos externos (como los organismos multilaterales o las agencias de cooperación internacional) de baja penetración en la cotidianeidad estatal (Martínez Nogueira, 2002). En la etapa actual, con los Estados de la región inmersos en la búsqueda heterodoxa de mecanismos de potenciamiento de la capacidad estatal, la evaluación vuelve a mostrar (o los decisores y técnicos redescubren) su valor, a menudo señalado por las teorías de gestión de la información (Alavi y Leidner, 1999), de instrumento para la mejora de calidad de los procesos de gestión y para el aumento crítico de los insumos decisionales para la ponderación de alternativas de políticas. El nuevo auge se enfrenta, sin embargo, con problemas clásicos acerca del rol que juega la creación, la circulación y el uso del conocimiento en un ejercicio inteligente del poder político. Estos problemas, "naturales" de la política pública en regímenes democráticos, si no son tenidos en cuenta, pueden restringir hasta esterilizar el esfuerzo de inteligencia estatal. En estas líneas

3

sugiero que un modo útil de abordar este problema, entre otros que no serán abordados aquí, es presentándolo como un asunto de apropiación del conocimiento en la gestión. Los nuevos caminos técnicos y normativos de la evaluación Las evaluaciones han ampliado enormemente su campo de trabajo y la ambición de sus resultados. Por una parte, han ido complementando la tarea clásica del análisis retrospectivo con la dimensión, relativamente más novedosa, del análisis prospectivo. Asimismo, han ido sustituyendo (o complementando) la función más tradicional de verificación de la consecución de metas, o resultados inmediatos, con la perspectiva más completa de la captación de impactos, o resultados de mediano y largo plazo. En este sentido, es perceptible también una heterodoxia orientada a resultados que implica cierta superación de antinomias epistemológicas, como la que oponía la insistencia en las variables cuantificables respecto de las miradas que se querían "procesuales" u "holísticas". La evaluación se hace también más inteligente en la comprensión de la dinámica del proceso de políticas públicas cuando incorpora la preocupación por comprender el proceso administrativo del Estado, apartándose de una visión lineal meta-resultado. Las regulaciones legales, los protocolos de la administración, o las relaciones intra e interorganizacionales (en particular en gobiernos "agencificados" o "multiniveles") se convierten en factores capaces de explicar una buena parte del resultado de las políticas evaluadas. La evaluación se ha convertido, también, en un canal de ingreso a la política pública de consideraciones normativas acerca del buen gobierno. El camino -demasiado discutido y sinuoso- de encontrar criterios objetivos de "valor público" para hacer afirmaciones normativas sobre el buen o mal desempeño de las políticas públicas, fue gradualmente desplazado por la aparición de criterios transversales de evaluación normativa ampliamente compartidos, como los de igualdad de género, derechos humanos, equidad social o sustentatibilidad ambiental. Estos criterios se agregan o superponen a los criterios clásicos de eficacia (logro de metas), eficiencia (asignación óptima de recursos) y sostenibilidad (continuidad de los resultados), consolidando un menú estable de abordajes críticos para los procesos de políticas públicas. El menú se consolida aún más cuando las estrategias de aumento de la transparencia y la rendición de cuentas estatales se plasman en instrumentos de circulación pública de la información que hacen más inteligible al Estado. Confluye aquí la evaluación, como proceso de investigación de la ciencia política, con el control, como proceso de auditoría gubernamental. Esta coincidencia, cuando es feliz, permite hacer más precisa la primera y más comprehensiva la segunda. Frecuentemente, sin embargo, las evaluaciones de políticas públicas revelan una notable superficialidad. Sus productos no superan la enumeración de resultados, y la ausencia de estudios de impacto -o incluso de hipótesis al respecto- no viene acompañada de ninguna justificación explícita. En muchos casos, es posible también percibir, en los productos, las autolimitaciones de los autores, sea por la cautela metodológica de no contar con información suficiente para hacer afirmaciones sustantivas que superen la enumeración de resultados, sea por la cautela política de no irritar a los lectores, frecuentemente empleadores o potenciales reempleadores.

4

Una de las fuentes de este problema es, probablemente, la linealidad esquemática de una parte importante de las técnicas de evaluación corrientes. Se asume con demasiada facilidad el carácter integrado y consecutivo de las fases de la política pública, "sesgo" derivado de los instrumentos epistemológicos más habituales en el análisis de políticas públicas (Bouzas Lorenzo, 2005) o de los instrumentos de planificación corrientes (Gasper, 2000). Una de las consecuencias, para la evaluación, es la presuposición de unidad de los momentos del diagnóstico/metas y la ejecución/implementación, en base a las cuales se despliegan las técnicas habituales de pre-evaluación o evaluación ex ante; evaluación "durante" o monitoreo; y evaluación final o ex post. En estos casos la evaluación construye a la política pública como tal, allí donde no había unidades de intervención orientadas a resultados coherentes o complementarios entre sí. Otro problema común a las evaluaciones es su formato, que hace que los productos tengan características de utilidad limitada para una lectura en clave de políticas públicas. Muchas veces las evaluaciones se presentan como estudios causales con protocolos científicos clásicos, basados en la "hipótesis de impacto de la variable independiente (la política) en la variable dependiente (el problema)" (Bouzas Lorenzo, 2005: 75), y alimentando esa hipótesis con ejercicios de cuantificación de variables derivados de la econometría, con cierta avidez por los métodos experimentales o cuasi-experimentales. Este método, valioso en la investigación, necesariamente se aleja de las premisas clásicas de utilidad del conocimiento aplicado al gobierno: consideraciones apartidarias pero concientes de la presencia de la política, útiles al decisor en tiempo y forma, evitando la tematización de lo imposible y proveyendo recomendaciones concretas (Lindblom, 1986: 345). Finalmente, y sugeriremos aquí que se trata de uno de los problema más centrales, está la presencia, con enorme fuerza, del a priori apolítico en las evaluaciones. Se trata de la suposición de que, cuanto mayor es la distancia epistemológica del evaluador de los intereses políticos que activaron una política pública, mejor es la posibilidad de conseguir objetividad en la perspectiva y los resultados de un estudio de evaluación. Desafortunadamente, las miradas apolíticas de la política, independientemente de las posiciones éticas o de las creencias ideológicas de quienes las sustenten, pierden de vista una cantidad crítica de variables que, en regímenes democráticos, son ineludibles. En la siguiente sección sugeriremos modos posibles de abordar este asunto. Los caminos políticos de la evaluación La evaluación, sugeríamos, adquiere un carácter formal o ritual cuando cumple con demandas explícitas en los protocolos de políticas públicas, pero no llega a transformarse en insumo de nuevas decisiones de gestión. ¿Es posible poner en práctica sistemática el objetivo de que la evaluación sea parte de un proceso de un "aprendizaje organizacional" en el que alimente relaciones virtuosas entre actores y agencias públicas (Cronbach y otros, 1980; Subirats, 1995), integrándose con efectos sustantivos y del modo lo menos conflictivo posible en la maquinaria organizacional del Estado (Chelimsky, 2009)? La literatura y la experiencia sugieren que es posible dar pasos en esa dirección, aunque subsistan tensiones inherentes a la naturaleza y el uso del conocimiento en los procesos de políticas públicas de regímenes democráticos que no es verosímil hacer desaparecer. De acuerdo a lo antedicho, la línea de ataque es seguramente la adecuación de los protocolos, instrumentos y productos de evaluación a las necesidades de un Estado democrático,

5

que asuma tanto la necesidad de conocer los efectos de sus iniciativas como la naturaleza política de la política pública. En términos de protocolos, un resguardo contra la generalización apresurada de la evaluación como mecanismo estandarizable y aplicable en todo tiempo y forma son los "análisis de evaluabilidad" (Trevisan y Yi, 2003), que ayudan a distinguir procesos cuyas particularidades los excluyen de las evaluaciones clásicas, como las decisiones cruzadas por criterios políticos, o las intervenciones públicas en tramas multicausales donde sólo es posible formular hipótesis de impacto. En cuanto a instrumentos, se trata de integrar la evaluación a las prácticas corrientes, quitándole el carácter de "ojo externo" que a menudo la define. Un modo de integrar la evaluación a un proceso de establecimiento de metas consciente de obstáculos y riesgos son los "contratos de gestión" o "contratos de resultados" (performance contracts). Los contratos de gestión o de resultados sirven para asegurar que la delegación de la línea ministerial clásica en agencias autónomas (o "desconcentración") no afecte la unidad y coherencia de las políticas públicas, y que dichas agencias funcionen con criterios de gestión por resultados sin perder lazos de dependencia con el Estado central. El reputado método danés de crear cláusulas evaluabes para dichos contratos probó ser un medio de preservar el carácter público de la gestión, introduciendo incentivos y criterios de éxito como cumplimiento de metas (Binderkrantz y Grønnegaard, 2009). Otro mecanismo que ha mostrado importantes éxitos relativos en integrar la evaluación a los insumos decisionales de los poderes públicos en regímenes democráticos es la creación de un organismo de inteligencia pública, con relativa independencia operativa, cuyo objeto sea recuperar y procesar la información de resultados e impacto de manera centralizada, y reprocesarlos con una perspectiva sistémica o global. Para convertirse en un aporte sustantivo capaz de escapar la formalidad y la ritualidad estéril, este organismo necesita lograr avances en las tres condiciones de éxito que sugiere Chelimsky (2009) para evitar la hostilidad "natural" del gobierno a la evaluación: sustraerse a los conflictos inter-agencias gubernamentales; producir información que sea relevante como insumo decisional; y trabajar con una "ética de la información" que no admita el sesgo de resultados como estrategia. Estas tecnologías y/o estrategias organizacionales necesitan estar acompañadas de una relación menos tormentosa entre la evaluación, como instrumento técnico, y los insumos que los gobiernos utilizan en sus procesos de toma de decisión. Por supuesto que, desde un punto de vista, esto tiene que ver con la calidad de la visión estratégica del propio decisor, y su capacidad personal de apropiarse de insumos útiles para la toma de decisión. No hay mecanismos simples para facilitar esto, excepto las estrategias de capacitación y, naturalmente, el propio proceso de selección de la democracia. Pero, desde el punto de vista de las técnicas de evaluación, esto introduce la consideración de las motivaciones políticas de los decisores democráticos en la "epistemología" de la evaluación. Recupera el hecho de que las decisiones políticas están detrás y delante de los propios procesos de evaluación, aunque éstos no las reflejen (Weiss, 1993); y las entiende como motivaciones válidas y susceptibles de "traducción" o formalización crítica en el propio proceso de evaluación (Chelimsky, 1987).

6

Se abren aquí por lo menos dos caminos: el perfeccionamiento de los instrumentos de planificación, para captar más adecuadamente estos asuntos; y la valoración de las evaluaciones que se producen cotidianamente en la relación directa entre los decisores y sus asesores, fuera de los protocolos y formalidades de "la" evaluación. Sobre los primeros hay aún un largo camino de perfeccionamiento por recorrer. Si bien la estandarización de métodos alrededor de la tradición del Marco Lógico tiene externalidades positivas en términos de inteligibilidad y comunicación, la misma estandarización conspira a menudo contra el uso de las herramientas de planificación para captar y describir el conflicto político, así como los imperativos de la gestión pública que son más difíciles de objetivar en indicadores cualitativos clásicos. La solución suele ser "desprender" la planificación y la evaluación reales de los protocolos públicos de justificación o propaganda, lo cual suele redundar en contra del tratamiento empírico realista de los procesos y sus resultados. Lo segundo es una función de la evolución del ambiente institucional y político en el cual se toman decisiones y se ejercen los juegos de presiones y competencias típicos de una democracia moderna. Aquí es deseable aspirar a un equilibrio político-institucional entre gobernantes, opositores y ciudadanos, en el que la generación, circulación y uso de la información adquiera una dimensión menos disputada. Este proceso, sin embargo, no está al alcance inmediato de decisiones tecnológicas o de liderazgos partidarios: es el fruto de la interacción dinámica entre los actores políticos de cada país. Es importante considerar que la existencia y el uso sistemático de la evaluación producen en la "política de la gestión" un equilibrio inestable entre poder y calidad de la gestión. Cuanto más técnicamente informada está la decisión, su discrecionalidad (su dependencia de la intuición y del acomodamiento de corto plazo) son menores. Finalmente, la búsqueda por esos caminos no excluye la existencia de sistemas de evaluación que utilicen, como los mecanismos de control / auditoría, la distancia y la exogeneidad como instrumentos estratégicos. La experiencia, sin embargo, también muestra que la utilidad de dichos esquemas es, también, el resultado final de complejos institucionales que, a lo largo de procesos históricos lentos, han aceptado la evaluación como un instrumento necesario e ineludible (aunque muchas veces no resulte deseable) del proceso de política pública, inseparable de su carácter democrático. Mientras la consolidación de nuestras prácticas democráticas nos aproxima a ese escenario, e iniciativas como la del Programa Nacional de Evaluación comienzan a hacerlo posible, las reflexiones de esta comunicación pueden servir para pensar estrategias de corto o mediano plazo. Bibliografía Acuña, Carlos; Martínez Nogueira, Roberto y Rubio, Jimena (2013): "Fortaleciendo las capacidades de evaluación de políticas en la Jefatura de Gabinete de Ministros"; Buenos Aires, JGM. Alavi, Maryam y Leidner, Dorothy (1999): "Knowledge Management and Knowledge Management Systems: Conceptual Foundations and Research Issues"; INSEAD Working Papers N°99/34/MKT, Fointainebleau.

7

Bouzas Lorenzo, Ramón (2005): "Los caminos de la evaluación de políticas públicas: una revisión del enfoque"; en Revista de Investigaciones Políticas y Sociológicas, Vol. 4, N° 2. Binderkrantz, Anne y Grønnegaard, Jørgen (2009): "Delegation without Agency Loss? The Use of Performance Contracts in Danish Central Government"; en Governance, Vol. 22, Issue N° 1. Chelimsky, Eleanor (1987): "The Politics of Program Evaluation"; en Society, Vol. 25, N° 1. Chelimsky, Eleanor (2009): "Integrating Evaluation Units Into the Political Environment of Government: The Role of Evaluation Policy"; en New Directions for Evaluation, N° 123. Cronbach, Lee y otros (1980): Toward a Reform of Program Evaluation; San Francisco, Jossey-Bass. Gasper, Des (2000): "Evaluating the 'Logical Framework Approach'. Towards Learnin-Oriented Development Evaluation"; in Public Administration and Development, Vol. 20, N° 17-28. Lindblom, Charles (1986): "Who Needs What Social Research for Policymaking?"; en Knowledge: Creation, Diffusion, Utilization; Vol. 7, N° 4. Martínez Nogueira, Roberto (2002): "Las administraciones públicas paralelas y la construcción de capacidades institucionales: la gestión por proyectos y las unidades ejecutoras"; en Reforma y Democracia N° 24.

Matus, Carlos (1987): Política, planificación y gobierno; Washington, OPS-ILPES.

Subirats, Joan (1995): "Los instrumentos de las políticas, el debate público y el proceso de evaluación"; en Gestión y Política Pública, Vol. 4, N° 1. Trevisan, Michael y Yi, Min Huang (2003): "Evaluability assessment: a primer"; en Practical Assessment, Research & Evaluation, Vol 8, N° 20 (disponible el 18/8/13 en http://PAREonline.net/getvn.asp?v=8&n=20) . Vedung, Evert (2009): Public Policy and Program Evaluation [1997]; New Brunswick, Transaction Books. Weiss, Carol (1993): "Where Politics and Evaluation Meet" [1973]; en Evaluation Practice, Vol. 14, N° 1.