los métodos experimentales y cuasi experimentales en el
TRANSCRIPT
Los métodos experimentales y cuasi experimentales en el
Departamento Nacional de Planeación, 2000 – 2019.
Juan Sebastián Bonilla Sánchez1 [email protected]
Universidad de los Andes
Mayo 2020
Resumen
Este artículo explora la importancia que han tenido los métodos experimentales y cuasi
experimentales en el diseño y evaluación de políticas públicas en el Departamento Nacional de
Planeación (DNP) durante el periodo 2000-2019. A partir de la revisión y caracterización de los
documentos de trabajo y de las evaluaciones de políticas públicas se muestra que desde el 2002
hay una participación de los métodos experimentales y cuasi experimentales en las publicaciones
de la entidad; que los documentos que utilizan estos métodos se concentran en temas de salud y
protección social, presidencia, educación y agricultura y desarrollo rural; y que los métodos
experimentales han sido usados casi exclusivamente en las evaluaciones de política y no en los
documentos de trabajo del DNP.
Códigos JEL: B30, B41, C9.
Palabras claves: Métodos experimentales y cuasi experimentales, economía experimental,
Departamento Nacional de Planeación.
1 Un especial agradecimiento a mi asesor Juan Acosta por su constante guía, asertivo apoyo y acompañamiento. La
disposición de las personas que hicieron posible la realización del documento entre ellos Olga Romero actual directora
de la Dirección de Seguimiento y Evaluación de Políticas Públicas del DNP y en general a mis jefes, profesores,
pareja, familiares y amigos que hicieron posible que culminara mis estudios de economía.
Pág. 2 de 22
Tabla de Contenido
1. Introducción ............................................................................................................................ 3
2. Revisión literatura y Marco conceptual .................................................................................. 4
3. Metodología ............................................................................................................................ 7
4. Datos ....................................................................................................................................... 9
5. Clasificación de los documentos ........................................................................................... 12
6. Resultados ............................................................................................................................. 13
7. Análisis de Resultados .......................................................................................................... 16
8. Conclusión y Recomendaciones ........................................................................................... 20
Bibliografía ................................................................................................................................... 21
Tabla de Gráficas
Gráfica 1. Panorama de las publicaciones revisadas clasificadas de interés y por año de
publicación. ................................................................................................................................... 13
Gráfica 2. Panorama de las publicaciones revisadas clasificadas de interés y por la dirección del
DNP............................................................................................................................................... 14
Gráfica 3. Publicaciones de interés por conjunto de documentos y metodología de interés ........ 15
Gráfica 4. Distribución de la participación a nivel sectorial de las evaluaciones de política
identificadas de interés. ................................................................................................................. 16
Pág. 3 de 22
1. Introducción
El siguiente documento aborda cuál ha sido el papel que han tenido los métodos experimentales y
cuasi experimentales en el Departamento de Planeación Nacional (DNP) en el periodo 2000 a
2019, en particular el estudio se centra en el DNP por ser la entidad de gobierno de carácter
eminentemente técnica que impulsa la implantación de una visión estratégica del país en los
campos social, económico y ambiental, a través del diseño, la orientación y evaluación de las
políticas públicas colombianas, el manejo y asignación de la inversión pública y la concreción de
las mismas en planes, programas y proyectos del Gobierno2. Para determinar el papel que estos
métodos han tenido se analizaron un conjunto de los principales documentos publicados por dos
direcciones de la entidad: los documentos de economía publicados desde la Dirección de Estudios
Económicos (DEE) y las evaluaciones de política pública publicadas por la Dirección de
Seguimiento y Evaluación de Políticas Públicas (DSEPP).
Puntualmente para identificar la participación que los métodos experimentales y cuasi
experimentales en las publicaciones del DNP se realizó una exégesis de 633 documentos (367
documentos de economía y 266 documentos de evaluación) publicados entre el 2000 y el 2019,
permitió organizar un consolidado para determinar en general cual ha sido la participación de estos
métodos en las publicaciones. Una vez realizada la exégesis de los documentos y la caracterización
de estos por medio de una matriz, se llevaron a cabo una serie de entrevistas con profesores de la
Universidad de los Andes que en su momento fueron directores de la DSEPP así como con la
actual directora de la dirección, con el fin de confrontar y entender cualitativamente el detrás del
proceso de cómo se llevan a cabo las evaluaciones de política en el DNP, haciendo un énfasis para
comprender como se elige o selecciona el componente metodológico a utilizar en las evaluaciones.
A partir de los resultados fue posible determinar que hay una participación del 16% en los
documentos revisados que involucran en su metodología un componente experimental o cuasi
experimental, del cual sólo el 25% corresponden a métodos con diseños netamente experimentales
casi que exclusivamente para los documentos de evaluaciones de la DSEPP. La evidencia data
desde las publicaciones del 2002, a partir de este año ha habido una participación en las
2 Definición oficial acerca de la entidad publicada y consultada en: https://www2.dnp.gov.co/DNP/Paginas/acerca-de-la-entidad.aspx
Pág. 4 de 22
publicaciones en donde se evidencia que se tiene una tendencia que demuestre un aumento o
decrecimiento progresivo sino una tendencia con mayor volatilidad con picos de participación para
los años 2008, 2010 y 2011. Los documentos que utilizan estos métodos se concentran en temas
de salud y protección social, presidencia, educación, y agricultura y desarrollo rural; y que los
métodos experimentales han sido usados casi exclusivamente en las evaluaciones de política y no
en los documentos de trabajo del DNP. Por medio de las entrevistas se obtuvo información que
concluía apuntar a que una de las mayores limitaciones que tienen los métodos experimentales en
particular puede deberse a que para su implementación, se requiere de una logística y
estructuración sujeta a una disponibilidad de recursos no sólo económicos sino de tiempo
principalmente para llevar a cabo un levantamiento de la línea base para una evaluación de impacto
de una política pública. Además, por lo general las políticas que son sujetas a evaluarse dentro del
periodo de convocatoria que realiza la DSEPP, ya son programas que han sido implementados o
llevan un periodo de avance lo cual limita el levantamiento de información de una línea base para
la comparación de un grupo de control en un diseño experimental.
Los resultados y análisis presentados en el documento hacen que la investigación gane relevancia
porque son resultados novedosos que complementan el trabajo iniciado por Castilla (2019) en
donde se debuta un análisis de estos métodos para uno de los centros de investigación más
relevantes a nivel nacional en cuanto a producción de literatura económica el CEDE3. Este
documento se considera un complemento que permite que se planteen preguntas interesantes para
los historiadores del pensamiento económico en Colombia.
2. Revisión de la literatura y marco conceptual
Los métodos experimentales y cuasi experimentales son considerados hoy en día como los
métodos ideales para llevar a cabo evaluaciones de impacto (Werner & Riedl, 2018). Utilizar estos
métodos tiene como objetivo evaluar el efecto puntual que un tratamiento (por ejemplo, un
programa de política pública) tiene o tendría sobre una población o comunidad del país para la
cual se diseña. Una población o comunidad puede entenderse como el grupo de personas objetivo
que espera beneficiarse con el tratamiento, en este caso las políticas pueden diseñarse como
3 El Centro de Estudios sobre Desarrollo Económico de la Universidad de los Andes.
Pág. 5 de 22
ejemplo para familias en estado de pobreza extrema, escuelas municipales, campesinos azotados
por una ola invernal, entre otros (Bernal & Peña, 2019)4. La implementación de un diseño
experimental empieza por obtener una muestra representativa de individuos de la comunidad para
ser parte del experimento, y de la cual se seleccionará aleatoriamente un grupo de individuos que
conformará el grupo de tratamiento—los individuos restantes de la muestra serán los integrantes
del grupo de control. A los individuos en el grupo de tratamiento se les aplicará el programa, y de
acuerdo con el diseño particular del experimento, después de un determinado tiempo y seguimiento
se hará una comparación con los individuos del grupo de control. El objetivo es determinar si el
aumento o disminución de cierta variable (por ejemplo, el peso, nivel de IQ, número de embarazos
adolescentes, etc.) se puede explicar por la ejecución y aplicación puntual del tratamiento y que en
ausencia de este se mantendría la variable sin afectarse. Los métodos cuasi experimentales
responden a las dificultades para implementar diseños aleatorios que pueden presentarse en
diversas circunstancias en la sociedad, principalmente por objeciones éticas (por ejemplo, medir
la diferencia de coeficiente intelectual de jóvenes con madres que durante un embarazo utilicen
drogas). En estos casos el investigador deberá encontrar un evento natural o fortuito que aportará
la selección y separación de individuos con el tratamiento a evaluar de una comunidad.
La utilización de estos métodos surgió en el campo de la medicina, donde James Lind es
considerado como el primer médico en realizar un ensayo clínico controlado de la era moderna,
alrededor de 1700 (Bhatt, 2010, págs. 6-10). En el último medio siglo, y de manera progresiva,
este tipo de metodologías ganaron importancia en la investigación en ciencias sociales y en
economía en particular. En esta última, sin embargo, la adopción de los métodos experimentales y
cuasi experimentales se ha sido bastante criticada por parte de economistas “tradicionales”
(Banerjee, 2019). Las principales críticas se pueden resumir de manera general en que: este tipo
de metodologías responden a una pregunta específica y no una idea generalizable; la economía
está para las grandes ideas y verdades que contribuyan con soluciones a problemáticas grandes e
importantes, y no para responder ante situaciones particulares y específicas; la economía construye
acumulativamente una teoría mientras que los diseños experimentales construyen por piezas
4 En inglés, el libro de referencia en la enseñanza de estos métodos es Mostly harmless econometrics. En español se
recomiendo ver también Guía práctica para la evaluación de impacto de Bernal y Peña. Esta breve presentación de
estos métodos sigue la descripción más detallada en Bernal y Peña (2019, p. 39).”
Pág. 6 de 22
separadas (Banerjee, 2019)5. A pesar de las críticas, desde 1980 la utilización de estos métodos ha
ganado una participación creciente en la literatura publicada en las principales revistas de
economía, particularmente en las áreas de economía laboral, de la salud y educación (Panhans y
Singleton, 2016, p. 132). El uso de estos métodos, además, ha sido considerado una revolución
que ha mejorado la calidad y credibilidad del trabajo empírico en economía—la “credibility
revolution” (Angrist y Pischke, 2010). Sin embargo, la mayor muestra del reconocimiento y el
prestigio que han adquirido estos métodos es sin duda el premio Nobel de economía del 2019,
otorgado a Esther Duflo, Abijit Banerjee y Michael Kremer por su trabajo basado en una
adaptación de metodologías experimentales, y que el comité del premio Nobel considera ha
mejorado considerablemente la habilidad para combatir la pobreza global y transformar economías
en desarrollo (The Nobel Foundation, 2020).
Frente a este panorama internacional favorable, cabe preguntarse por la utilización de los métodos
experimentales y cuasi experimentales en Colombia. Castilla (2019), el único estudio disponible
sobre la adopción de estos métodos en Colombia, estudió la producción científica del Centro de
Estudios sobre Desarrollo Económico (CEDE) de la Universidad de los Andes y encontró
evidencia de una transición hacia el predominio de los métodos experimentales y cuasi
experimentales durante los años 2000 y 2018. Este artículo sigue la línea de investigación abierta
por Castilla (2019) y explora la adopción de los métodos experimentales y cuasi experimentales
en el Departamento Nacional de Planeación (DNP), el centro de pensamiento del Gobierno
Nacional que coordina articula y apoya la planificación de corto, mediano y largo plazo del país,
y que orienta el ciclo de las políticas públicas y la priorización de los recursos de inversión6. El
DNP es una entidad técnica que impulsa la implantación de una visión estratégica del país en los
campos social, económico y ambiental, a través del diseño, la orientación y evaluación de las
políticas públicas colombianas.
5 Es importante señalar que estos economistas “tradicionales” críticos de los métodos experimentales no son
necesariamente heterodoxos, y algunos son figuras centrales de la disciplina como Angus Deaton (Deaton y
Cartwright, 2018). Para una síntesis de un punto de vista heterodoxo ver Harvold (2020). 6Misión de la entidad publicada y consultada en: https://www2.dnp.gov.co/DNPN/la-entidad/misión-visión-origen
Pág. 7 de 22
En línea con los resultados de Castilla (2019), este artículo se concentra en el periodo 2000-2019.
Para evaluar la adopción de los métodos experimentales y cuasi experimentales en el DNP durante
este periodo se revisaron dos grupos de publicaciones: 1) los “archivos de economía”, documentos
de trabajo publicados por la Dirección de Estudio Económicos, y 2) las evaluaciones de políticas
públicas, bajo la responsabilidad de la Dirección de Seguimiento y Evaluación de Políticas
Públicas. En este conjunto de documentos se identificaron aquellos que dentro de sus herramientas
metodológicas utilizaban, ya fuera de manera parcial o total, un método experimental o cuasi
experimental.
3. Metodología
Teniendo en cuenta el periodo de tiempo (5 meses) que comprendió realizar esta investigación se
plantearon dos componentes metodológicos dentro del proceso, una fase inicial con una
aproximación cuantitativa y una segunda fase para comprender cualitativamente los resultados
numéricos obtenidos en la primera fase. De acuerdo con lo anterior, la primera fase tomó un tiempo
aproximado de los primeros cuatro meses en donde se hizo una exhaustiva exégesis del total de
publicaciones a revisar (descritos en detalle en la sección de Datos), el objetivo de esta etapa era
identificar cuantos documentos del total a partir de evidencia bibliográfica involucraban dentro de
sus metodologías un método experimental o cuasi experimental y teniendo variables que aportaran
al análisis de los resultados como los principales sectores, los años de publicación, si los métodos
experimentales o cuasi experimentales eran el principal método utilizado o se utilizaban de manera
parcial, entre otros. Se determinó que hacer una consolidación y organizarla por medio de una
matriz para caracterizar los documentos revisados era una alternativa viable mientras de manera
paralela y gradual se hacía la lectura y revisión uno a uno de los documentos manualmente.
Se consideraron dentro de las alternativas para esta fase herramientas como analizadores de texto
para reducir el tiempo de revisión, sin embargo, debido a la diferencia en formatos tanto de
estructura como de redacción particularmente en las evaluaciones, utilizar este tipo de
herramientas podría aumentar la probabilidad de error de clasificación ya que por ejemplo si el
analizador contaba si se enunciaba “método experimental” para identificar y clasificar el
documento en el grupo de interés, podría contarlo pero no querría decir que esa fue la metodología
Pág. 8 de 22
seleccionada puesto que muchas veces en los marcos teóricos de las evaluaciones se enunciaban
las metodologías en general disponibles para realizar una evaluación y más adelante en el
documento se describe cual era la metodología que finalmente quedaba seleccionada y mejor se
adecuaba al estudio.
Una segunda fase dentro de la metodología consistió en comprender el por qué de los resultados
obtenidos a partir de la primera fase, en sí comprender la dinámica al interior del DNP, en
particular en la manera cómo se articulan los procesos para llevar a cabo una evaluación de política
desde el direccionamiento de la DSEPP en el DNP. De acuerdo con lo anterior, se llevaron a cabo
una serie de entrevistas a tres economistas7 seleccionados por su experticia y experiencia como
directores de la DSEPP: Adriana Camacho fue directora durante septiembre 2014 a julio 2015
actualmente es profesora de la facultad de economía de la Universidad de Los Andes; Olga Lucía
Romero actual directora desde enero del 2020. Las entrevistas tomaron alrededor de 20-30 minutos
vía teleconferencia, dada la actual coyuntura de la crisis sanitaria que se desató a finales del marzo
limitó la posibilidad de hacerlas de manera presencial, a continuación, se presenta el cuestionario
para la entrevista con la directora Olga Romero, como un ejemplo del acercamiento utilizado para
esta fase cualitativa.
i. De acuerdo con su experiencia como director(a), podría describir el proceso y las etapas
que se tienen en cuenta desde la dirección para llevar a cabo una evaluación de política.
ii. Teniendo en cuenta que hay diferentes tipos de evaluación, hay diferencia en el proceso
general, si la hay podría explicar de manera concisa en ¿qué se diferencia del proceso
descrito en la pregunta anterior?
iii. ¿De qué depende cuántas evaluaciones lideran y se llevan a cabo desde la DSEPP y
cada cuánto (anualmente, cada dos años, por periodo de gobierno) hay algún promedio
o número fijo a realizar cada año?
iv. Cómo se define particularmente en el proceso ¿cuál sería el componente metodológico
ha utilizar para llevar a cabo la evaluación? Desde un principio si el método ya es
elegido debe utilizarse obligatoriamente o puede estar sujeto a contrapropuestas por
Un director se mantiene anónimo teniendo en cuenta que no fue posible obtener comunicación luego de la entrevista
para dejar por escrito su aval para publicar su nombre.
Pág. 9 de 22
parte de los investigadores o firmas que participen en la licitación para obtener el
contrato.
v. Desde la DSEPP considera ¿qué se tiene interés en la utilización particularmente de
métodos experimentales? si lo hay consideraría que hay limitaciones que impiden que
se utilicen con mayor frecuencia, ¿Cuáles serían las principales?
vi. ¿Encuentra la participación descrita por los resultados de la investigación alta, baja o
es lo que consideraría esperar, por qué?
vii. Cómo se involucran a nivel sectorial las diferentes entidades durante el proceso de
selección de los programas de política sujetos a evaluar por parte del DNP.
viii. ¿Considera que los resultados y en general la investigación es interesante y puede
aportar un mejor entendimiento del papel que desde los últimos 20 años han tenido los
métodos experimentales en las evaluaciones que desde la dirección se lideran para
evaluaciones de política?, alguna recomendación?
Adicionalmente al cuestionario base, al ser una entrevista que pretendía ser más una conversación
podían surgir preguntas adicionales para indagar las respuestas que los entrevistados aportaron.
4. Datos
Antes de adentrarse con la descripción de los datos se presenta un breve recuento histórico acerca
del DNP y su importancia en relación con el monitoreo de políticas publicas y el seguimiento a los
planes de desarrollo que se han diseñado. Los antecedentes del DNP se pueden situar en 1936,
cuando el Estado adquirió la facultad para racionalizar la producción, distribución y consumo de
riquezas. Ante una necesidad creciente de tener una mejor planificación en el país se produjeron
una serie de cambios estructurales e institucionales que permitieron fundar los Consejos nacionales
de economía y política social. En 1958 se crean el Consejo Nacional de política Económica y
Planeación y el Departamento Administrativo de Planeación y Servicios Técnicos, y en 1968 se
transforman un poco las estructuras de las dos entidades mencionadas anteriormente para
consolidar lo que hoy se conoce como Consejo Nacional de Política Económica y Social
(CONPES) y en el Departamento Nacional de Planeación (DNP). Fue entonces a finales de los
sesenta que la entidad adquirió la capacidad decisoria y la elaboración de planes de desarrollo que
Pág. 10 de 22
encaminaran el país hacia un crecimiento económico, a hoy alrededor de 13 planes y 36 directores
(DNP, 2020).
A continuación, se presenta una breve descripción de los dos grupos de publicaciones del DNP
que se utilizaron para evaluar la adopción de métodos experimentales y cuasi experimentales en el
DNP (Tabla 1). El primer grupo de documentos consultados son los “archivos de economía,” que
son documentos de trabajo divulgados por la Dirección de Estudios Económicos (DEE) del DNP.8
Esta dirección tiene como objetivo orientar y dirigir las acciones requeridas para el cumplimiento
de las funciones del DNP en el ámbito macroeconómico, financiero, monetario, cambiario y fiscal
(DNP, 2020). Los archivos de economía están orientados a divulgar investigaciones económicas
en diferentes áreas, como la macroeconomía, microeconomía aplicada, econometría, economía
financiera, entre otros; tienen una aproximación más bien teórica, aunque también tienen un
componente de economía aplicada; y son escritos por diversos autores, como consultoras externas,
profesores universitarios e investigadores de otras entidades. En el levantamiento de información
para este artículo se revisaron 367 documentos de trabajo, publicados entre el 2000 y el 2019.
Estos documentos tienen en promedio 50 páginas, y la mayoría comparten un mismo formato,
utilizan un lenguaje técnico, las palabras claves se enuncian, tienen definida una metodología de
análisis, revisión de antecedentes y resultados consistentes de acuerdo con el planteamiento de la
tesis. La colección completa de archivos de economía está disponible en el sitio web del DNP.9
El segundo grupo de publicaciones son las evaluaciones de política pública, que hacen parte del
seguimiento de la Dirección de Seguimiento y Evaluación de Políticas Publicas (DSEPP) del DNP.
Son documentos que se publican con el objetivo de desarrollar una mayor compresión de las
intervenciones, obteniendo así evidencia para su mejoramiento y perfeccionamiento por parte de
los tomadores de decisiones en el país. Estos documentos describen las metodologías usadas y,
tomando en cuenta múltiples enfoques disciplinarios, proveen recomendaciones basadas en los
resultados y conclusiones que apuntan al mejoramiento de los programas evaluados. Estos
documentos se encuentran disponibles en el repositorio del Sistema Nacional de Evaluación de
8 Hasta 2001 estos documentos eran llamados “archivos de macroeconomía.”
9 https://www.dnp.gov.co/estudios-y-publicaciones/estudios-economicos/Paginas/archivos-de-economia.aspx
Pág. 11 de 22
Gestión y Resultados (SINERGIA), que facilita el acceso a la evidencia generada por el DNP y
por entidades del Gobierno como resultado de sus procesos de evaluación.
A través del repositorio de evaluaciones, se realiza la difusión de los documentos de las
evaluaciones de política pública llevadas a cabo por dichas entidades y los tipos de evaluaciones
disponibles para consultar pueden ser institucionales, operaciones, resultados, e impacto. Las
evaluaciones operacionales son aquellas que analizan manera sistemática la forma en que opera
una intervención pública y cómo sus procesos conducen al logro de sus objetivos. Las evaluaciones
institucionales permiten analizar y valorar un programa tomando como marco de referencia el
arreglo institucional en el que opera. Las evaluaciones de resultados determinan los efectos
intencionales o no de la intervención pública, una vez se han consumido los productos. Estos
efectos deben estar relacionados con la intervención pública. Finalmente, las evaluaciones de
impacto permiten identificar los efectos exclusivamente atribuibles a la intervención pública. La
medición de impactos permite cuantificar y verificar la relación de casualidad entre la intervención
pública y el resultado (DNP, 2020). En el levantamiento de información para este artículo se
revisaron 266 documentos de evaluación de los cuatro tipos descritos, publicados entre el 2001 y
el 2019. Estos documentos presentan una mayor diversificación en cuanto a sus formatos por
ejemplo pueden ser informes de gestión de entidades gubernamentales en donde se evalúan
programas implementados durante el año vencido, estudios de programas de política pública
llevados a cabo por consultoras externas, estudios y análisis desde centros de educación superior
como universidades, entre otros. Cada una de las evaluaciones tiene en promedio 300 páginas y,
contrario a los archivos de economía, además de la evaluación de política presentan un contexto
más amplio de antecedentes, historia de la entidad o institución que implementó el programa, la
historia de la región y la importancia y relevancia que estos programas tienen para enfrentar los
problemas identificados, pueden implementar un conjunto de metodologías, entre otros.
Tabla 1. Resumen de las publicaciones revisados por grupo.
Grupo No. documentos Dirección DNP Páginas en promedio
Documentos de economía 367 DEE 50
Evaluaciones 266 DSEPP 350
Pág. 12 de 22
5. Clasificación de los documentos
Con el objetivo de poder hacer una caracterización adecuada de los documentos, que fuera además
consistente en el tiempo—la revisión de los artículos tardó más de cuatro meses—cada uno de los
633 documentos se clasificó usando la matriz de clasificación presentada en la tabla 2.
Tabla 2. Descripción de las variables de la matriz de clasificación
Variable Descripción
Orden Identifica el orden de revisión de los documentos.
Título Título oficial del documento.
Año Año de publicación del documento.
Sectores Sector económico relacionado con la evaluación o investigación
descrita en el documento.
Autores 1 Autor principal del documento.
Autores 2 Autores adicionales.
Autores 3 Autores adicionales.
Autores 4 Autores adicionales.
Fecha publicación Fecha de la publicación.
Códigos JEL En caso de mencionarse en el documento son los códigos JEL.
Palabras claves Palabras claves que describen el documento.
Metodología utilizada Es la metodología descrita para llevar a cabo la evaluación o
investigación en el documento.
Método interés Si la metodología descrita es principalmente o utiliza componentes
metodológicos experimentales o cuasi experimentales.
Si, ¿cuál? Si es la metodología de interés cuál es específicamente.
Comentarios adicionales Espacio para comentarios que durante la revisión parecen pertinentes
documentar sobre el documento revisado.
Fase Si el documento revisado pertenece al conjunto de los documentos de
economía de la DEE o del conjunto de evaluaciones de la DSEPP.
La revisión de cada documento consistió en hacer una lectura selectiva de las diferentes secciones
de cada documento, concentrándose en aquellas en donde se describía el tipo de metodología
utilizada, buscando menciones que permitieran concluir si había una utilización total o parcial de
métodos experimentales o cuasi experimentales. Como ejemplo se presenta un apartado de dos de
las publicaciones revisadas (un documento de economía y una evaluación), en donde se identificó
el uso de métodos experimentales o cuasi experimentales:
Pág. 13 de 22
Conjunto 1: Documentos de Economía -DEE
“El análisis ha utilizado dos tipos de instrumentos, un diseño cuasi experimental para el
cual ha definido un grupo de control, que permite identificar el impacto del programa y
un conjunto de herramientas analíticas para relacionar la diferencia en resultados con las
características de cada tipo de administración.” (Sarmiento, Alonso, Duncan, & Garzón,
2005, pág. 40)
Conjunto 2: documentos de evaluaciones de política pública -DSEPP
“La evaluación de impacto se basó en un diseno de tipo experimental. Para ello el DNP
seleccionó, mediante muestreo aleatorio simple, 120 municipios en donde se deberían
establecer cohortes asignadas también de manera aleatoria, por parte de Acción Social.”
(Econometría Consultores SA, 2012, pág. 46)
6. Resultados
Una vez se finalizó la revisión y caracterización de las publicaciones fue posible obtener los
siguientes resultados. De los 633 archivos revisados se encontró evidencia de la utilización de
métodos experimentales o cuasi experimentales en 99 (16% de los archivos revisados): 17 son
documentos de trabajo y 82 son evaluaciones de políticas públicas. Como se observa en la gráfica
1, estos documentos fueron publicados entre 2002 y 2019, y los años con la mayor participación
son el 2011, 2010, y 2008. Además, a nivel agregado no se observa una tendencia clara de aumento
o disminución en la cantidad de artículos con métodos experimentales o cuasi experimentales.
Gráfica 1. Panorama de las publicaciones revisadas clasificadas de interés y por año de publicación.
0
5
10
15
20
25
30
35
40
45
2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018 2019
No
. d
e d
ocu
men
tos
revis
ad
os
Año publicación documentos revisados
Documentos clasificados con metodología de interés por año de publicación
2000-2019
No Sí
Pág. 14 de 22
La grafica 2 presenta los resultados desagregados en los dos grupos de documentos. Como se
mencionó antes, se encontraron documentos que usaban métodos experimentales o cuasi
experimentales en ambos grupos, pero la gráfica 2 muestra claramente que la gran mayoría de
estos se encuentran en el grupo de las evaluaciones de política. En el primer grupo la participación
por año de documentos con métodos experimentales o cuasi experimentales no supera el 20% del
total de documentos, lo cual es bastante menor comparado con la participación de las evaluaciones
de políticas públicas. En este grupo años como 2008, 2010, 2011 muestran que la participación de
los documentos con métodos experimentales o cuasi experimentales alcanza hasta el 56%.
También es interesante ver que los primeros documentos clasificados con interés datan para ambos
conjuntos de archivos desde el 2002. En ninguno de los grupos se observa una tendencia clara en
el tiempo, pero en el segundo grupo se observa un periodo, entre 2007 y 2011, con una proporción
particularmente alta de documentos con métodos experimentales o cuasi experimentales—y son
por lo tanto documentos en este grupo que están detrás de los picos de los datos agregados de la
gráfica 1.
Gráfica 2. Panorama de las publicaciones revisadas clasificadas de interés y por la dirección del DNP.
Si los documentos de cada grupo se desagregan según el tipo de método utilizado—experimental
o cuasi experimental—aparece también un resultado interesante. Como se observa en la gráfica 3,
los documentos con metodologías experimentales se identificaron exclusivamente en las
0
5
10
15
20
25
30
35
40
45
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013
2014
2015
2016
2017
2018
2019
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013
2014
2015
2016
2017
2018
2019
Documentos Economía Evaluaciones DESEP
No
. d
e d
ocu
men
tos
rev
isa
do
s
Año publicación documentos revisados
Documentos clasificados con metodología de interés
por conjunto de archivos y año de publicación
2000-2019
No Sí
Pág. 15 de 22
evaluaciones de política pública. Los métodos cuasi experimentales, sin embargo, son de lejos los
métodos predominantes, con 75% de la participación total en el grupo de las evaluaciones de
política y el 100% de los documentos de trabajo.
Gráfica 3. Pulicaciones de interés por conjunto de documentos y metodología de interés
Por último, en los resultados encontrados a partir de la clasificación también es importante resaltar
la participación de los documentos con métodos experimentales o cuasi experimentales a nivel
sectorial. El análisis a nivel sectorial en particular fue para el conjunto de documentos de las
evaluaciones de política pública de acuerdo con la clasificación sectorial que originalmente se
obtienen del DNP. De acuerdo con la gráfica 4 es posible ver que los 3 principales sectores en los
que se concentra una mayor participación son los documentos de evaluaciones de política pública
en el sector de salud y protección social, presidencia, educación y agricultura y desarrollo rural.
Adicionalmente un resultado interesante son aquellos sectores en los que se da la menor
concentración que son trabajo, minas, cultura, defensa y transporte. Para la mayoría de los sectores
y en especial aquellos anteriormente descritos con mayor participación predominan los métodos
cuasi experimentales versus los diseños experimentales. Cabe resaltar que estos sectores responden
a una agrupación de acuerdo con las entidades sectoriales a cargo o responsables de los programas
de política, los sectores comparten temas en común al pertenecer a un mismo sector, el sector de
salud agrupa temas de salud pública, el sector de presidencia son temas mayoritariamente
administrativos sin embargo en la revisión se encuentra que también este sector agrupa temas con
relación a cultivos ilícitos, familias en acción, paz, desplazamiento y orden social.
0
2
4
6
8
10
12
2002 2003 2005 2006 2011 2013 2015 2016 2018 2019 2002 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018
Documentos Economía Evaluaciones DESEP
No
. d
e d
ocu
men
tos r
evis
ad
os
Metodología identificada de interés por conjunto de archivos revisados
2000-2019
Cuasi experimental Diseño experimentales
Pág. 16 de 22
Gráfica 4. Distribución de la participación a nivel sectorial de las evaluaciones de política identificadas de interés.
7. Análisis de resultados
En general de acuerdo con los resultados encontrados hay evidencia de la utilización de los
métodos experimentales y cuasi experimentales en la literatura publicada durante el periodo 2002
- 2019 por el departamento de planeación, tanto en la DEE como en la DSEPP. La participación,
que es solo del 16% (99 de 633) en el total de documentos revisados, en principio puede parecer
baja, pero es una participación importante teniendo en cuenta que la mayoría de estos documentos
pertenecen al conjunto de documentos de las evaluaciones de política pública. Esto indica que la
entidad encargada de revisar los programas de política pública ha involucrado un componente de
economía experimental, y que la evaluación de políticas públicas en el país está al menos
parcialmente en línea con el uso de los métodos que muchos consideran son los adecuados para el
análisis de las economías en desarrollo (Banerjee, 2019). Sin embargo, aunque se puede ver que
el DNP no ha sido ajeno a los desarrollos en los métodos de evaluación de políticas públicas, al
Salud y protección social, 21%
Presidencia, 15%
Agricultura y desarrollo rural, 9% Educación, 9%
Inclusión social y reconciliación, 7%
Comercio, industria y turismo, 6%
Vivienda, ciudad y territorio, 6%
Ciencia, tecnología e innovación, 6% Multisectorial, 5%
Planeación nacional, 4%
Tecnologías de la información y las
comunicaciones, 3%
Trabajo, 3%
Minas y energía, 2%
Cultura, 1%
Defensa, 1%
Transporte, 1%
PARTICIPACIÓN POR SECTORES -ARCHIVOS CLASIFICADOS CON INTERÉS
Pág. 17 de 22
comparar estos resultados con los obtenidos por Castilla (2019) también se puede concluir que la
adopción ha sido menos fuerte que en el CEDE. Los documentos analizados no muestran una
tendencia clara hacia un aumento en el número de documentos con métodos experimentales o cuasi
experimentales, y no se puede concluir entonces que el DNP esté cerrando la brecha de la misma
manera en que lo hizo el CEDE.
También fue posible identificar las diferencias entre los dos conjuntos de documentos revisados
en cuanto al tipo de metodología de interés identificada durante la revisión. En los documentos de
economía de la DEE solo se identificaron métodos cuasi experimentales, mientras que en las
evaluaciones de política pública de la DSEPP se identificaron documentos con ambos tipos de
métodos. Los documentos de trabajo suelen tener una aproximación más teórica, lo cual se ve en
parte en la poca utilización de métodos incluso cuasi experimentales y que podría sugerir también
que los investigadores quizás no están interesados en la metodología. Sin embargo, también es
necesario tener en cuenta que la implementación de diseños experimentales necesitaría de recursos
que quizás no estén disponibles para los autores de estos documentos. Por otro lado, en las
evaluaciones de política pública fue claro que lo ideal a la hora de evaluar una política pública
sería tener un método experimental, pero también que estos métodos tienen varias limitaciones
para su implementación, desde el cumplimiento de sus supuestos como también la necesidad de
contar con recursos económicos y logísticos. Un ejemplo es en la evaluación de impacto del
instrumento "Locomotora de la Innovación" en el marco del programa de gestión de la innovación
empresarial, en donde se menciona que con respecto al análisis econométrico, dado que llevar a
cabo un ensayo o experimento aleatorio controlado (RCT por sus siglas en inglés), en el que el
elemento esencial es la asignación aleatoria de los beneficiarios del programa, es dificultoso en el
ámbito público, se propone en primer lugar un protocolo a seguir de acuerdo a una evaluación de
impacto cuasi-experimental (Innovos Group, 2015). En la medida en que los métodos cuasi
experimentales relajan algunos de los supuestos de los métodos experimentales, su aplicación tiene
menos limitaciones y puede ser la más conveniente para evaluar algunos tipos de política.
A nivel sectorial se observó que aquellos sectores con mayor participación en los documentos de
las evaluaciones de política pública son los sectores de salud y protección social, presidencia,
educación, y agricultura y desarrollo rural. Esto coincide en buena medida con los hallazgos de
Pág. 18 de 22
Panhans y Singleton (2016, p. 133-6), quienes encontraron que los métodos experimentales eran
particularmente comunes en las principales revistas económicas de las áreas de salud, educación y
trabajo. La gran diferencia fue el sector trabajo, que el análisis de las publicaciones del DNP fue
uno de los sectores con menor participación de documentos que involucran componentes
metodológicos experimentales. También es interesante resaltar que no todos los sectores tienen el
mismo comportamiento en cuanto al tipo de diseño experimental involucrado; en algunos
predominan los métodos experimentales y en otros los métodos cuasi experimentales. Los sectores
de ciencia, tecnología e innovación y los sectores de inclusión social y reconciliación son los
sectores en donde predominan la utilización de métodos experimentales versus cuasi
experimentales. En la revisión de los documentos estos métodos predominaban debido a que eran
evaluaciones de programas de política pública que buscaban revisar un piloto dentro de una
comunidad para evaluar el impacto y así replicarlo a comunidades más cercanas que compartieran
características similares entre sí, por ejemplo, en la evaluación del programa de Computadores
para la educación, a través de un diseño experimental a colegios de ciertas regiones del país fue
posible determinar por medio de un piloto que el programa no tendría efecto si no se incorpora
dentro del currículo de los colegios el uso de estas herramientas (Barrera-Osorio & Linden, 2009).
De acuerdo con la información recolectada por medio de las entrevistas es posible analizar que
desde el 2010 cambió la manera en que se venía liderando el proceso general para la evaluación
de las políticas, el cambio fue más de estructura para tener un proceso estándar y de mayor
participación de sectores teniendo en cuenta el carácter riguroso y técnico de la dirección. Esto
puede ser un factor importante para considerar puesto que el rumbo que la dirección tenía antes
del 2010 dependía en parte de la experticia del director del periodo, determinando así que
programas evaluar y teniendo diferentes criterios de priorización. Mientras que a partir del 2010,
de acuerdo con la actual directora de la dirección, se tiene un proceso más estandarizado en donde
desde el DNP se convocan cuáles programas evaluar desde diferentes sectores teniendo en cuenta
criterios como que tengan una línea base, que hagan parte del Plan Nacional de Desarrollo, cuenten
con un mapa de evidencia, entre otros y se pasan por ejemplo de recibir 200 solicitudes depurando
a 20 posibles evaluaciones que se someten a un proceso de aprobación interna dentro de diferentes
áreas de la entidad. Por otra parte, no todas las evaluaciones son sujetas a ser ejecutadas por
externos, hay algunas que pueden ser evaluadas de manera interna eso depende principalmente de
Pág. 19 de 22
la disponibilidad de datos de carácter administrativo. Aquellas evaluaciones sujetas a realizarse
por externos, se estructura un diseño de la evaluación que comprende una cadena de valor, la
hipótesis, el alcance, el lineamiento metodológico, cronograma, entre otros, que se pone en
concurso por medio de una licitación, los concursantes pueden devolver la propuesta con adiciones
y complementos lo cual sugiere que para algunas evaluaciones no siempre se define desde el DNP
de manera estricta que metodología utilizar sino que puede existir desde el consultor externo
también una autonomía para sugerir y proponer la metodología más apropiada para ser aplicada
en la evaluación.
Desde la DSEPP es una prioridad usar métodos experimentales para la evaluación de impacto de
políticas públicas sin embargo en la práctica es difícil en el sector público, teniendo en cuenta
limitaciones como que los programas a evaluar ya presentan por lo general un avance y esto impide
obtener datos de una línea base. Por otra parte, puede haber un desconocimiento por parte del
implementador de la política de este tipo de métodos para evaluar el programa, lo cual implica que
no se tiene en consideración cómo se pretende evaluar en un futuro la política por lo cual desde la
DSEPP se viene fomentando un apoyo técnico para que el implementador tenga en consideración
durante las fases de formulación e implementación de la política aspectos favorables que en un
futuro permitan considerar una evaluación de impacto del programa con un componente
metodológico experimental. Otra limitación de acuerdo con la experticia de la profesora Adriana
Camacho se debe a la correcta alineación de tiempos y recursos, puesto que, por lo general, las
evaluaciones que consideran este tipo de métodos (experimentales) requieren mucho tiempo que
permita comparar los resultados en el tiempo con una línea base y un primer seguimiento. Esto
puede no coincidir con requerimientos en tiempo de la política pública y el uso de recursos dentro
de los años fiscales establecidos. Adicionalmente por medio de una entrevista un exdirector de la
dirección menciona que un factor adicional limitante para la utilización de métodos experimentales
es que no todas las evaluaciones son de impacto y las que se contemplan de este tipo tienen muchas
veces como alcance evidenciar resultados de un programa para efectos de una rendición de cuentas,
o sesiones de control que se tengan, entre otros. Lo cual puede enfocar las evaluaciones más a una
revisión de resultados y no profundizar en un enfoque metodológico que permita tomar de decisión
con respecto a la estructuración per se de un programa ya en ejecución, que tenga en cuenta cual
es la magnitud puntual del impacto y como potenciarla.
Pág. 20 de 22
Finalmente hay que tener en cuenta que, aunque desde la DSEPP del DNP es un buen punto de
partida por ser la dirección que lidera y centraliza los esfuerzos en el seguimiento de las
evaluaciones de política pública en el sector público, no es la única que realiza exclusivamente
evaluaciones a los programas de política, desde las diferentes entidades a nivel sectorial es posible
que se lleven a cabo también evaluaciones a sus programas. Por lo cual el muestreo que este estudio
realizó a partir del DNP podría complementarse con la revisión de las publicaciones que las
principales cabezas ministeriales llevan también a cabo para tener un panorama más completo.
8. Conclusión y recomendaciones
Los resultados de la sección anterior sugieren que las circunstancias particulares en las que se
producen estos documentos, y quizás las características de los autores y funcionarios del DNP,
podrían ayudar a entender mejor la adopción de los métodos experimentales y cuasi experimentales
en la institución. De acuerdo con el análisis de los resultados y la experiencia de funcionarios
directamente relacionados con la entidad, las principales limitaciones que los métodos
experimentales tienen para su adopción y mayor participación en la entidad: la disponibilidad de
recursos no sólo económicos sino de tiempo con la que se cuenta para llevar a cabo la evaluación,
la mayoría de programas que se evalúan desde un principio no cuentan con una estructura
metodológica que se adapte eventualmente a una evaluación de tipo experimental y finalmente el
interés con el que se define el alcance de la evaluación (por ejemplo se necesita para presentar
resultados de una rendición de cuentas o resultados de un programa de interés para el periodo de
gobierno).
Un análisis cuidadoso, por ejemplo, del proceso de adjudicación de los contratos para las
consultorías, podría arrojar información útil para entender mejor porque en estos documentos se
encontró un mayor uso de métodos experimentales y por qué estos no son más usados. También
puede extenderse esta línea de investigación a las publicaciones de otras entidades del sector
público que conduzcan de manera autónoma evaluaciones de programas para así comprender un
universo más completo de publicaciones de literatura económica en el país. Aún así, el análisis de
Pág. 21 de 22
los documentos de trabajo de las evaluaciones de políticas arrojó resultados novedosos que
complementan el trabajo iniciado por Castilla (2019) y que plantean preguntas interesantes para
los historiadores del pensamiento económico en Colombia.
Bibliografía
Angrist, J. D., & Pischke, J.-S. (2010). The Credibility Revolution in Empirical Economics: How
Better Research Design Is Taking the Con out of Econometrics. American Economic
Association, 3-30.
Barrera-Osorio, F., & Linden, L. L. (2009). The Use and Misuse of Computers in Education:
Evidence from a Randomized Controlled Trial of a Language Arts Program1. World Bank.
Banerjee, A. (8 de Diciembre de 2019). Nobel Lecture: Abhijit Banerjee, Prize in Economic
Sciences 2019. Estocolmo, Suecia.
Bernal, R., & Peña, X. (2019). Experimentos sociales controlados y experimentos naturales. En R.
Bernal , & X. Peña, Guía práctica para la evaluación de impacto (págs. 37-96). Bogotá:
Ediciones Uniandes.
Bhatt, D. (2010). Evolution of Clinical Research: A History Before and Beyond James Lind.
Perspectives in clinical research, 6–10.
Castilla, J. P. (2019). To Kill a Black Swan: The Credibility Revolution at CEDE, 2000-2018.
Bogotá: Master's Thesis, Facultad de Economía, Univerisdad de los Andes.
Deaton, Angus, and Nancy Cartwright. 2018. “Understanding and Misunderstanding Randomized
Controlled Trials.” Social Science & Medicine, Randomized Controlled Trials and Evidence-
based Policy: A Multidisciplinary Dialogue, 210 (August): 2–21.
https://doi.org/10.1016/j.socscimed.2017.12.005.
DNP. (2020). Repositorio de evaluaciones. Obtenido de Departamento Nacional de Planeación:
https://sinergiapp.dnp.gov.co/#Evaluaciones/EvalFin
DNP. (2020). Dirección de Estudios Económicos. Obtenido de Departamento Nacional de
Planeación: https://www2.dnp.gov.co/estudios-y-publicaciones/Paginas/estudios-
economicos.aspx
DNP. (2000). Misión, Visión y Origen. Obtenido de Departamento Nacional de Planeación:
https://www2.dnp.gov.co/DNPN/la-entidad/misión-visión-origen
Pág. 22 de 22
Econometría Consultores SA. (2012). Evaluación de Impacto de Juntos(hoy Unidos) . Red de
Protección Social para la Superación de la Pobreza Extrema Informe de Evaluación –
Diciembre de 2011. Bogotá : Departamento Nacional de Planeación.
Kvangraven, Ingrid Harvold. 2020. “Impoverished Economics? A Critical Assessment of the New
Gold Standard.” World Development 127 (March): 104813.
https://doi.org/10.1016/j.worlddev.2019.104813.
Innovos Group. (2015). EVALUACIÓN DE IMPACTO DEL INSTRUMENTO "LOCOMOTORA
DE LA INNOVACIÓN" EN EL MARCO DEL PROGRAMA DE GESTIÓN DE LA
INNOVACIÓN EMPRESARIAL. Bogotá: Colciencias.
Panhans, M., & Singleton, J. D. (2016). The Empirical Economist’s Toolkit: From Models to
Methods. Center for the History of Political Economy (CHOPE) Working Paper, 2015(03)
Sarmiento, A., Alonso, C. E., Duncan, G., & Garzón, C. A. (2005). Evaluación de la gestión de
los colegios en concesión en Bogotá 2000-2003. Bogotá: Departamento Nacional de
Planeación -Dirección de Estudios Económicos.
The Nobel Foundation. (26 de Abril de 2020). The Sveriges Riksbank Prize in Economic Sciences
in Memory of Alfred Nobel 2019. Obtenido de The Nobel Foundation:
https://www.nobelprize.org/prizes/economic-sciences/2019/summary/