INVESTIGACIÓN APRECIATIVA Y EVALUACIÓN RESPONSIVA: EL CASO DEL PROGRAMA ESCUELAS DE CALIDAD

INVESTIGACIÓN APRECIATIVA Y EVALUACIÓN RESPONSIVA: EL CASO DEL PROGRAMA ESCUELAS DE CALIDAD

Derechos reservados© 2011 Edith J. Cisneros Cohernour© 2011 Eugenia Montalván | Proyectos Culturales S.C.P.

unas letras industria editorialCalle 64, núm. 560 x 71 y 73Centro Histórico 97000, Mérida, Yucatánt. 01 (999) 2 85 03 97www.unasletras.com

Diseño de la portada: unas letras industria editorialFoto de portada: Luis G. Barrueta G.

ISBN: 978-607-9054-16-8

Primera edición: septiembre de 2011

Queda prohibida la reproducción total o parcial del contenido de la presente obra en cualquier forma, conocida o por conocerse, sin el consentimiento previo y por escrito de la autora.

Impreso en México

INVESTIGACIÓN APRECIATIVA Y EVALUACIÓN RESPONSIVA: EL CASO DEL PROGRAMA ESCUELAS DE CALIDAD

9_

11_

25_

47_

81_

PREFACIO

Capítulo 1LA EVALUACIÓN DE PROGRAMAS SOCIALES

Capítulo 2 PROGRAMA ESCUELAS DE CALIDAD

Capítulo 3 EVALUACIÓN DEL PROGRAMA ESCUELAS DE CALIDAD

Capítulo 4 CONCLUSIONES

CONTENIDO

9

PREFACIO

La evaluación es un campo creciente tanto en investigación como en el terreno profesional. Los expertos en evaluación –en edu-cación, servicio social, servicios de salud, desarrollo comunitario, desarrollo de recursos humanos y otras áreas– se encuentran en centros y universidades de todo el mundo, y proveen importante información y perspectivas acerca de políticas públicas y privadas, programas e innovaciones en todos los niveles de gobierno y de la vida comunitaria.

Este libro está dirigido a personas interesadas en la evaluación de programas sociales, así como a estudiantes y profesores de eva-lua ción educativa. Al contrario de la mayor parte de textos cen-trados en modelos teóricos o aspectos metodológicos (técnicas de recolecta y análisis de datos, redacción de informes, etc.), esta obra presenta la aplicación práctica de dos modelos teóricos en la evaluación de un programa en el contexto mexicano.

Para su mayor comprensión, el libro está dividido en cuatro apartados. El primer capítulo distingue las particularidades de la evaluación en función de otros términos a!nes, presenta un panorama de la evolución de los estudios de evaluación y de los modelos positivistas, interpretativos y críticos en evaluación de programas. El segundo capítulo se centra en el Programa Escuelas de Calidad ("#$) y las evaluaciones e investigaciones basadas en este programa en México y otros países. El tercer capítulo se enfoca en la evaluación del "#$ utilizando los modelos teóricos de Evaluación apreciativa y Responsiva, y describe tanto la metodología del estudio como los resultados obtenidos con estos dos modelos.

Finalmente, en las conclusiones se analizan los resultados del estudio en relación con investigaciones previas, se examinan las fortalezas y debilidades de los modelos de Evaluación apreciativa y Responsiva y se proponen aspectos que pueden ser considerados en futuras evaluaciones del "#$.

#%&'( ). $&*+#,-*-$-(#,+-.,

11

Capítulo 1LA EVALUACIÓN DE PROGRAMAS SOCIALES

IntroducciónEvaluar es emitir un juicio acerca del valor de un objeto. Como a!rma Stake (1999), evaluar es, por sobre todas las cosas, una búsqueda de las bondades y problemas de un objeto, de su mé-rito y limitaciones; en otras palabras, de su calidad. Y aunque este concepto lo adoptan la mayoría de teóricos y evaluadores reconocidos, un gran número de personas confunde la evalua-ción con sus propósitos, sus usos y/o elementos, o la asocia con uno de sus enfoques o modelos en particular (Avilés, 2008).

Es usual, por ejemplo, confundir evaluación y los términos medición, estimación del aprendizaje (assessment) e investigación. La medición es la descripción cuantitativa de una conducta, objeto o procedimiento. Es un proceso que involucra colectar datos sobre los cuales se harán generalizaciones (investigación) o se emiti rán juicios evaluativos (evaluación). En otras palabras, la medición es una herramienta útil en la evaluación y la investigación, pero la eva-luación es un concepto más amplio, ya que implica la emisión de juicios de valor que van más allá de la sola medición.

El término assessment se re!ere, tradicionalmente, a la estimación del aprendizaje en la literatura especializada en inglés, principal-mente en pruebas estandarizadas como el #/0+& &&&, #1#2, "&*0, '&3** etc. Assessment tiene un signi!cado más limitado en la literatura especializada en inglés que el término evaluation, ya que aquel se re!ere a un tipo particular de evaluación.

Aunque para un gran número de autores, la evaluación es un tipo particular de investigación aplicada, para otros son dos conceptos diferentes. Los primeros opinan que ambas compar-ten aspectos en co mún, como por ejemplo que producen co-nocimientos y que en su diseño y desarrollo pueden utilizarse diferentes metodologías o enfoques, mientras que los otos au-tores opinan que la investigación tradicional y la evaluación di!eren en:

12 13

a) Conceptuación. La evaluación implica necesariamente una valoración, mientras que la investigación se enfoca en la com-prensión y la explicación de los fenómenos y, en algunos casos, en su predicción y control. Como puede apreciarse, el juicio de valor que es esencial en un estudio de evaluación, no nece sariamente está presente en los estudios tradicionales de investigación.

b) El papel de la generalización. Mientras que la investigación tradicional se orienta a lo nomotético (creación de leyes o prin-cipios), la evaluación se orienta a lo ideográ!co (descripción de lo particular).

c) El papel de la explicación. La investigación tradicional o cuantitativa se enfoca más en causas, mientras que los estudios de evaluación se centran más en cuán bueno es el programa, personal o producto, o en cómo éste produce sus efectos.

d) La motivación de quien conduce el estudio. En una inves-tigación, la curiosidad o interés del investigador por el avance del conocimiento es lo que lo motiva, mientras que en el caso de la evaluación, el evaluador tiene interés en la emisión de un juicio de valor para la toma de decisiones, usualmente realizada por actores externos.

e) El objetivo del estudio. La investigación busca conclu-siones, mientras que la evaluación se orienta a la toma de decisiones.

f ) La autonomía del investigador. La ciencia es una actividad independiente y autónoma. Los evaluadores tienen menor grado de autonomía porque en las evaluaciones usualmente hay actores interesados en que ésta se realice, y el evaluador no puede ignorar sus intereses o necesidades de información.

Evolución de los estudios de evaluaciónEl estudio de la evaluación como disciplina se ha practicado principalmente en los países desarrollados. Como indica Vidal (2009), los estudios formales de la evaluación en el mundo se inician desde mil ochocientos, y originalmente se centraron en la estimación del aprendizaje (assessment).

La evaluación de programas sociales comienza a tener lugar más formalmente en Norteamérica en los años sesenta del siglo //. De acuerdo con Shadish, Cook y Leviton (1991), en estos años se inicia la evaluación formal de programas sociales. Esta etapa es conocida como Bringing Truth to Social Problem Solving (Brindando la verdad a la solución de problemas sociales), y representa el inicio del uso de la evaluación como respuesta a las demandas de rendición de cuentas de aquellos programas que recibieron fuerte apoyo !nanciero del gobierno para resolver problemáticas sociales (p.69).

La evaluación de los años sesenta tenía la !nalidad de iden-ti!car problemas, generar alternativas de solución, implementar la mejor alternativa, adoptarla para reducir los problemas y de-terminar si la solución reducía o resolvía el fenómeno social para el cual fue creado el programa. La evaluación se centraba en as pectos administrativos (necesidades de información) o cuestiones inte-lectuales (problemas en relación con los programas). Los modelos de evaluación de esta década tomaron principios de otras disciplinas y la vincularon con la experimentación y los diseños experimen-tales. Esto es, involucraban tratamientos y grupos de comparaciones acerca de los resultados con base en las variables estudiadas. A !-nales de los años sesenta, ante la creciente demanda de evaluación de programas, comenzó a observarse un mayor número de personas trabajando en evaluación.

En los años setenta, la evaluación comienza a hacerse por mandato. En esta época se advierte un gran interés por ella de-bido a crecientes presiones por la rendición de cuentas y recursos limitados. Y a !nales de esa década, precisamente, se empieza a hablar de la necesidad de profesionalizar a los evaluadores (Madaus, Stu4ebeam y Scriven 1983; Shadish, Cook y Leviton, 1991). Los modelos de evaluación aplicados entonces se centran en el estudio de la efectividad: costos de los programas sociales, así como su viabilidad política.

Desde !nes de los años setenta y principios de los ochenta, comienza la profesionalización de los evaluadores. Surgen los programas doctorales para formarlos, así como centros de

14 15

evaluación, tales como la General Accounting O5ce of the .*. Los modelos de evaluación se centran en los participantes, a quienes se les identi!ca como valiosos informantes del proceso. Existe una combinación de evaluación interna y externa. El énfasis se pone en que los participantes vean la evaluación como suya y que tenga credibilidad.

A partir de los noventa surgen los enfoques que examinan aspectos de liberación y poder. La evaluación se centra en el empo-deramiento y la autodeterminación. Los enfoques de este periodo permiten que los participantes mantengan el control del proceso de evaluación; los evaluadores externos trabajan tratando de cons-truir la capacidad de evaluación de los participantes ayudándolos a usar los resultados para la defensa de sus intereses.

El análisis de la literatura nos permite advertir cambios en los modelos teóricos en evaluación de programas entre los años se-senta y !nales de los noventa. El primero se re!ere al control, ya que entre 1960 y 1980 en los modelos de evaluación el control lo tiene el evaluador externo, pero en los modelos de los años noventa el evaluador se convierte en un facilitador. El segundo cambio consiste en que las evaluaciones toman más en cuenta la diversidad de los participantes y la in6uencia del contexto. Asimismo, se advierte un cambio en cuanto a la metodología; de estudios típicamente cuantitativos a estudios cualitativos.

Actualmente, el campo de la evaluación de programas en el mundo está pasando por una etapa de revisión de las teorías y enfoques existentes, metaevaluaciones y el uso de múltiples mé-todos y técnicas.

Los estudios de evaluación en MéxicoEn nuestro país, la evaluación ha evolucionado más lentamente. Como a!rma Vidal (2009), en México el interés por la evaluación formal comienza en los años ochenta. Durante este periodo se crea el Sistema Nacional de Investigadores (1984), la Comisión para Evaluar Instituciones de Educación Superior ($-+0#70, 1989), así como un instrumento para evaluar a los estudiantes al término de su primaria (&%0+&*, 1989).

En los años noventa se crean los Comités Interinstitucionales de Evaluación de la Educación Superior, comités de pares que evalúan programas de licenciatura (1991), y en 1994 se diseña una prueba estandarizada a nivel nacional para determinar el acceso a la educación superior (#/0+&) y otra prueba que pro-porciona información sobre los egresados de 34 carreras (#1#2). Un año después, México participa en el Tercer Estudio Internacional de Matemáticas y Ciencias ('&3**, por sus siglas en inglés). Posteriormente, en 1998, se establecen estándares nacionales para evaluar la educación básica nacional, y a !nes de ese mismo año se administra a estudiantes mexicanos la prueba internacional "&*0 para evaluar las competencias básicas para la vida y el trabajo de los jóvenes de 15 años. Los estudiantes mexicanos de secun-daria obtienen los puntajes más bajos en la prueba en relación con sus pares de otros países.

En el año 2000, el interés por la evaluación en México pro-picia la creación de la $-"0#*, Comisión para acreditar a los órganos certi!cadores de programas académicos. En 2003 se crea #/$02#, instrumento desarrollado por el Instituto Nacional de Evaluación Educativa (&+##) para evaluar al sistema educativo nacional, y en 2006 se crea #+20$#, instrumento que proporcio-na información a docentes y padres de familia acerca del nivel de cada alumno de educación básica.

El interés por la evaluación de programas sociales comienza con mayor fuerza en los últimos diez años a medida que se reducen los recursos de apoyo para estos programas y se incrementan las necesidades de información para rendición de cuentas. El análisis de estos estudios indica que la mayor parte de las evaluaciones no está basada en modelos teóricos de evaluación.

Modelos teóricos de evaluación de programasLos diferentes modelos de evaluación pueden dividirse en tres principales grupos: positivistas, críticos e interpretativos. Todos ellos determinan el mérito o valor de un programa, pero utilizan diferentes perspectivas que van más allá de los métodos o técnicas de recolección de datos.

16 17

Modelos positivistas. Se centran principalmente en el estu-dio del impacto y la efectividad de determinados programas sociales. Los modelos positivistas tuvieron un gran predominio en los diseños de evaluación de los años sesenta y setenta. Se caracterizan por su énfasis en evaluar la efectividad del programa y el uso de métodos experimentales, los cuales son considerados ideales para la medición del impacto, aunque en años recientes han aceptado el uso de técnicas y metodologías cualitativas como complemento de los datos cuantitativos.

Otra característica de este tipo de modelos es que el conoci-miento que el evaluador adquiere de la realidad puede resumirse en generalizaciones libres del tiempo y contexto, muchas de las cuales toman la forma de causa-efecto.

Los modelos positivistas aplican la evaluación con propósitos sumativos más que con propósitos de mejora. Se advierte tam-bién un interés en determinar relaciones de costo-bene!cio, así como de la factibilidad política de los programas evaluados (Shadish, Cook y Leviton, 1991). Entre los modelos más cono-cidos y utilizados se encuentran los de Michael Scriven, Donald Campbell, Carol Weiss, y Joseph Wholey.

Michael Scriven es considerado uno de los fundadores de la disciplina de Evaluación. La considera una ciencia de valoración necesaria porque permite a la sociedad estar informada de la calidad de productos, programas o personal, y saber si satisfacen las necesidades sociales (Scriven, 1991, 1994, 2003). La preocu-pación de este teórico es conocer la verdad. El papel del evaluador es traer a la luz la verdad acerca de la calidad del programa. Entre sus principales contribuciones está la evaluación libre de metas y la evaluación centrada en los consumidores. Si el programa es bueno será conocido por sus resultados e impacto en la medida en que se desempeñe en relación con determinados criterios y es-tándares. En los últimos años, Scriven ha enfatizado la necesidad de clari!car el proceso de síntesis que se lleva a cabo en la eva-laución de programas sociales (Scriven, 1994).

Campbell (1974 y 1986) sentó las bases de los diseños ex-perimentales en investigación cientí!ca y evaluación. Se centró

en la construcción del conocimiento y enfatizó la importancia de la validez interna y externa de los procesos de evaluación. Él argumentaba que la sociedad podría enfrentar mejor los retos y mejorar las reformas sociales si utilizaban métodos ex-perimentales como metodología cientí!ca para evitar el sesgo. Shadish, Cook y Leviton (1991) lo consideran uno de los más grandes teóricos.

Carol Weiss (1972, 1973 y 1988), quien se inició con una fuerte in6uencia de Campbell, desarrolló su propio modelo: Enfatizar la importancia de los aspectos políticos en la evaluación de pro-gramas sociales. Con sus teorías examina la relación entre la evaluación y el establecimiento de políticas. Se preocupa funda-mentalmente por el contexto político, utilizar los resultados para responder a las necesidades de los decisores y para que puedan implementar políticas para el mejoramiento de los programas y la resolución de los problemas sociales. Por lo tanto, su interés no está solamente en las metas o procesos de un programa, sino en los resultados a largo plazo y sus consecuencias.

Wholey (1979, 1983 y 1987) diseñó una teoría basada en el enfoque de sistemas, pero con alto énfasis en resultados de des-empeño. Al igual que Weiss, comparte la preocupación por el uso de los resultados de la evaluación para ayudar a los decisores en el mejoramiento de los programas, pero a diferencia de ésta, su preocupación también se centra en proporcionar información para los gestores o directivos de programas. Su teoría enfatiza el uso de la evaluación para mejorar el desempeño de los progra-mas, así como la cuidadosa supervisión y evaluación de sus re-sultados. Para poder monitorear los resultados de desempeño de los programas, Wholey y sus seguidores recomiendan el uso de mo-delos lógicos de evaluación y consideran que pueden contribuir al mejoramiento de los programas sociales, así como al mejora-miento del gobierno.

Modelos críticos. A principios de los años noventa surge un fuerte interés en enfoques que promueven la participación y el empoderamiento de las personas involucradas o que son afectadas por los programas sociales. Estos enfoques reconocen la variedad

18 19

de valores y perspectivas de los participantes y quienes tienen un interés o se ven afectados por el programa. El evaluador tiene, además, un papel de defensor del bienestar e intereses de aquellos que se encuentran en una posición de vulnerabilidad y tienen menos poder (Greene, 2000).

Los teóricos que han desarrollado modelos de evaluación críticos son conocidos también como enfoques democráticos (MacDonald, 1976; MacDonald y Kushner, 2005; MacDonald y Walker, 1975; Greene, 1997 y 2000). Democráticos delibera-tivos (House y Howe, 2000, 2003), o de Empoderamiento (Fetterman, 1994, Hetterman y Wansderman, 2005).

Entre estos pensadores destaca Jennifer Greene (1997, 2000 y 2001), cuyo modelo de evaluación ha contribuido con el uso de métodos cualitativos, participativos y mixtos para implementar y desarrollar la evaluación de programas sociales. Considera que la evaluación debe realizarse por medio de un proceso en el que tenga lugar el diálogo deliberativo y democrático sobre cuestiones críticas sociales y educativas. Para ella es muy importante que la evaluación resalte los valores que existen y la forma en que se interrelacionan, y que incluya las múltiples percepciones, puntos de vista, intereses y valores de los diferentes actores. Para Green, el evaluador es un defensor (Greene, 1997, p. 25).

Por su parte, Ernest House, quien junto con Kenneth Howe, desarrolló el modelo de Evaluación democrática deliberativa, enfatiza la importancia de promover la democracia dentro del contexto y desarrollo de la evaluación. Su modelo se divide en tres etapas: (a) inclusión, (b) diálogo y (c) deliberación (House y Howe, 2000, 2003).

Por inclusión entendemos no solamente la inclusión de di-ferentes actores relacionados con el programa, sino también de diferentes perspectivas por medio de la participación y el invo-lucramiento en la resolución de cuestiones críticas, así como a través de la deliberación en las discusiones acerca del entendi-miento profundo de los aspectos fundamentales. House y Howe (2003) apoyan la evaluación democrática deliberativa porque contribuye a la discusión, el análisis profundo e implementación

de procesos democráticos durante la recolección de datos que se consideran esenciales por su precisión para incluir las ideas de las personas y sus perspectivas.

Además, el proceso de decisión cooperativa entre todos los par-ticipantes promueve el diálogo y la re6exión sobre cuestiones críticas diversas. Como indica Ryan (2004), estos enfoques de eva-luación se distinguen de otros que están relacionados con estructuras sociopolíticas y morales, y se intenta que estas conexiones sean democráticas (p. 449).

La promoción de la democracia, la justicia, el poder y la deli-beración son vistos por House y Howe como inherentes a la eva-luación de programas. Consideran que su modelo contribuye a la deliberación cuando la evaluación provee conocimiento a la gente sobre cuestiones críticas relevantes que pueden ser discutidas y analizadas con profundidad, y que implementan procedimientos democráticos como parte del estudio de evaluación para la reco-lección y análisis de datos. Los tres principios de inclusión, diálogo y deliberación son fundamentales; si alguno faltara se afectaría la validez de las conclusiones de la evaluación, la representación de los intereses sería inadecuada y sesgada (House y Howe, 2003).

Fetterman propone el modelo de Evaluación para el empo-deramiento (Empowerment Evaluation). Según este enfoque, se obtienen mejores resultados en los programas sociales cuando los participantes contribuyen con sus conocimientos en los pro-cesos de planeación, implementación y evaluación (Fetterman y Wandersman, 2005; Wandersman y colaboradores, 2005). Según los autores, la evaluación para el empoderamiento es “un enfoque cuya meta es incrementar la probabilidad de lograr el éxito del programa porque provee herramientas para evaluar la planeación, implementación y autoevaluación de su programa, y porque es inclusiva tanto en la planeación como el manejo de la organización del programa” (p. 28).

La evaluación para el empoderamiento, según Fetterman, se basa en diez principios considerados como un grupo central de creencias que dirigen las actividades de evaluación: Mejoramiento, adop-ción por parte de la comunidad, participación democrática,

20 21

justicia social, conocimiento comunitario, estrategias basadas en evidencias, construir capacidad (en la organización), aprendizaje organizacional y rendición de cuentas.

Modelos interpretativos. Atribuyen gran importancia al contexto de la evaluación y al estudio de los signi!cados en el contexto. Asimismo, enfatizan la conexión de la acción con la práctica y construyen entendimiento que nos permite a!anzar y apoyar argumentos y textos experimentales que den voz a múl-tiples actores (Denzin y Lincoln, 8999; Shadish, Cook y Leviton, 1991). Dos modelos interpretativos son los de Robert E. Stake y Hallie Preskill.

Robert E. Stake es conocido como el padre del estudio de caso en evaluación y el creador del modelo de evaluación res-ponsiva. Stake ve la evaluación de forma holística y particularista. Para él, los programas deben ser entendidos de forma integral, e indica que una evaluación debe incluir dos importantes aspectos: (a) la representación del programa, es decir, su descripción pro-funda y contextualizada, y (b) la determinación de su mérito o valor. El modelo de evaluación responsiva de Stake (1972, 1975 y 1999) intenta comprender el programa y sus actividades en su profundidad, complejidad y contexto utilizando métodos múltiples de recolección de datos y múltiples fuentes de información. En lugar de centrarse en la medición del logro de metas predeter-minadas, identi!ca cuestiones críticas de evaluación que emergen del contexto e involucra múltiples perspectivas del programa.

Hallie Preskill, expresidenta de la Asociación Americana de Evaluación, basándose en David L. Cooperrider (1990 y 2007) para lograr el desarrollo y la renovación organizacional, adaptó el modelo para realizar evaluaciones de programas sociales. El mo-delo denominado Investigación apreciativa está basado en el su-puesto de que las organizaciones cambian en la medida en que investigan. También considera que una organización que se en-foca en problemas o situaciones reales encontrará más problemas, pero una organización que trata de apreciar lo mejor de sí misma descubrirá más de lo que es bueno (Preskill y Catsambas, 2006).

El modelo se enfoca en analizar los problemas actuales y contri-buir a sus soluciones abordándolos de forma positiva. Asimismo, el enfoque permite que las personas aprendan de y acerca de la evaluación (Preskill, 2008, p. 127).

En esta obra se utilizan precisamente los modelos de Preskill y Stake para evaluar el programa Escuelas de Calidad en Centros de Atención Múltiple en Yucatán, México. En el siguiente capí-tulo se describe el programa y, posteriormente, se de!nirá la metodología y los resultados del estudio.

Referencias

Avilés, G. (2008). Conceptos, tipos y usos de la evaluación para los directivos de la .0%:. Tesis, .0%:, Facultad de Educación.

Campbell, D 1972, ‘Reforms as Experiments’, en: C Weiss (ed.), Evaluating Action Programs: Readings in Social Action and

Education. Allyn and Bacon, Boston, .*0, pp. 187-223.Cooperrider, D. (1990). Positive Image, Positive Action: !e

A"rmative basis for organizing. *'&"#*, disponible en línea: http://www.stipes.com/aichap8.htm

Cooperrider, D. Whitney, D. y Stravos, K. (2007). !e Appreciative Inquiry Handbook, 2nd Edition. San Francisco, $0: Barrett-Koehler.

Denzin, N & Lincoln, Y 2000, ‘Introduction: the discipline and practice of qualitative research’, en N Denzin & Y Lincoln (eds), Handbook of qualitative research. Second edition, Sage Publications, Inc., ;ousand Oaks, California, .*0, pp. 1-28.

Fetterman, D. y Wandersman, A. (2005). Empowerment evaluation principles in practice. Assesing levels of commitment, en David

Fetterman y A Wandersman (Eds.), Empowerment evaluation principles in practice, ;e Guilford Press, New York, +:, pp. 42-72.

22 23

Greene, J (1997) Evaluation as advocacy, Evaluation Practice, vol. 18, no. 1, pp. 25-35, retrieved 18 June 2010.

Greene, J. (2000). Challenges in practicing deliberative democratic evaluation, New Directions for Evaluation, vol. 85, retrie-ved 15 June 2008.

Greene, J. (2001). A Conversation with Jennifer C. Greene. American Journal of Evaluation, vol. 22, no. 1, pp. 85-96, retrieved 4 October 2008.

House, E & Howe, K. (2000). Deliberative democratic evaluation, en Katherine Ryan & Lizanne DeStefano (Eds.), Evaluation as a democratic process: promoting inclusion, dialogue, and deliberation, New Directions for Evaluation, Jossey-Bass Inc., San Francisco, California, .*0, vol. 85, pp. 3-12.

House, E & Howe, K. (2003). Deliberative democratic evalua-tion, en T. Kellaghan, D. Stu4ebeam & L. Wintage (Eds.). International Handbook of Educational Evaluation, Kluwer Academic Publishers, Norwell, Massachusetts, .*0, vol. 9, pp. 79-100.

Madaus, G, Stu4ebeam, D y Scriven, M (1983). Program eva-luation: a historical overview, en: G Madaus, D Stufflebeam y M Scriven (eds), Evaluation models. Viewpoints on educational and human services evaluation, Kluwer Academic Publishers, Hingham, Massachusetts, .*0, pp. 3-22.

MacDonald, B (1976). Evaluation and the control of evaluation, en D Tawney (ed.), Curriculum evaluation today: trends and implications. Schools Council Research Studies, Macmillan, London, .<.

MacDonald, B & Kushner, S. (2005). Democratic Evaluation, Sage Publications Inc., ;ousand Oaks, California, .*0.

MacDonald, B & Walker, R. (1976). Changing the curriculum. Open Books Publishing, London, .<.

Preskill, H. (2008). Evaluation’s Second Act: A Spotlight on Learning, American Journal of Evaluation, vol. 29, no. 2, pp. 127-38, retrieved 6 June 2008.

Preskill, H & Catsambas, T. (2006). Reframing Evaluation through Appreciative Inquiry. Sage Publications, Inc., ;ousands Oaks, California, .*0.

Ryan, K. (2004). Serving Public Interests in Educational Accountability: Alternative Approaches to Democratic Evaluation, en: American Journal of Evaluation, vol. 25, no. 4, pp. 443-60.

Shadish, W., Cook, T. y Leviton, L. (1991). Foundations of Program Evaluation. !eories of Practice, *01#, Newburry Park, California, .*0

Scriven, M. (1991). Evaluation !esaurus. *01# Publications. ;ousand Oaks: $0.

Scriven, M. (1994). ;e Final Synthesis, en: American Journal of Evaluation, vol. 15, pp. 367-82, retrieved 7 September 2007.

Scriven, M. (2003). Evaluation ;eory and Meta ;eory, en T Kellaghan, D Stufflebeam & L Wintage (eds), International Handbook of Educational Evaluation, Kluwer Academic Publishers, Norwell, Massachusetts, .*0, vol. 1, pp. 15-30.

Stake, R. (1999). ;e Representation of Quality in Evaluation. Ponencia presentada en el Congreso Anual de la American Educational Research Association, April 1997, Montreal, Canadá.

Stake, R. (1972). ‘;e countenance of educational evaluation’, in C. Weiss (ed.), Evaluating Action Programs: Readings in Social Action and Education, Allyn and Bacon, Boston, .*0, pp. 31-51.

Stake, R. (1975) To evaluate an arts program, en R Stake (Ed.), Evaluating the arts in education. A responsive approach, Charles E. Merrill Publishing Company, Columbus, Ohio, .*0, pp. 13-31.

Vidal, R. (2009). La evaluación educativa en el mundo y en México. Conferencia magistral. Reunión conmemorativa del 25 aniversario de la Facultad de Educación de la .0%:, octubre.

24 25

Wandersman, A. Snell-Johns, J. y otros (2005). ;e principles of empowerment evaluation, in D Fetterman & A. Wandersman (eds), Empowerment Evaluation Principles in Practice, ;e Guilford Press, New York, +:, .*0, pp. 27-42.

Weiss, C. H. (1972). Evaluation research: Methods for assessing pro-gram e#ectiveness. Englewood Cli=s, NJ: Prentice-Hall.

Weiss, C. H. (1973). Where Politics and Evaluation Research Meet, en: Evaluation, 1, 37-45.

Weiss, C. H. (1988). Evaluation for Decisions: Is Anybody ;ere? Does Anybody Care?, en: Evaluation Practice, 9, 5-20.

Wholey, J. (1979). Evaluation: Promise and Performance. Washington, DC: Urban Institute.Wholey, J. (1983). Evaluation and E#ective Public Management.

Boston: Little, Brown.Wholey, J. S. (1987). Evaluability Assessment: Developing Program

theory, en: L. Bickman (Ed.), Using Program theory in Evaluation. New Directions for Program Evaluation No. 33. San Francisco: Jossey-Bass.

Capítulo 2PROGRAMA ESCUELAS DE CALIDAD !PEC"

El programa Escuelas de Calidad ("#$) constituye una de las intervenciones estratégicas que inició la administración federal mexicana con la intención de mejorar la educación básica en México. El "#$ es en realidad la adaptación al español del pro-grama School-Based Management (*>3) que fue desarrollado en Estados Unidos y que promueve la descentralización de la ad-ministración a nivel del centro escolar, la participación y la toma de decisiones compartida.

El interés por esta reforma se gesta en los años ochenta del siglo //, cuando surge el interés por mejorar la educación en Estados Unidos, principalmente por motivos económicos. Ese interés se incrementó a raíz de la creciente preocupación de que las escuelas no pudieran proveer a los estudiantes con los están-dares de educación que de ellos se requería.

School-Based Management (*>3) surge como una de las estrategias más populares del movimiento de reforma. Es un modelo de gestión de abajo para arriba que debe sustituir al modelo de gestión tradicional piramidal. Bajo este enfoque, las decisiones se toman de forma colaborativa en el centro escolar. *>3 fue vista como un intento de descentralizar el control y las oportunidades en la toma de decisiones en las escuelas, e invo-lucrar a sus principales actores: directores, maestros, padres, gente de negocios, líderes comunitarios, e incluso a los estudiantes (Odden y Wohlstetter, 1995).

La adopción de *>3 debe promover el involucramiento de la comunidad en la gestión del centro escolar: Los dife-rentes actores deben estar implicados en el manejo de la es-cuela, lo que debe incrementar su sentido de posesión y de rendición de cuentas, mejorar la capacidad de aprender y proveer la oportunidad para mejorar la toma de decisiones, de tal manera que se satisfagan las necesidades de toda la comunidad escolar.

26 27

como mentores, desarrollo curricular, y convertirse en colabo-radores clave en la escuela y en la supervisión y evaluación del personal. El *>3 debe promover el profesionalismo de los do-centes, mejorar su moral, aumentar su prestigio y reconocimiento y proveer oportunidades de desarrollo profesional. El grado de colaboración entre los maestros es uno de los principales aspectos que promueve la implementación de *>3.

Investigaciones sobre School-Based Management (SBM)La literatura de investigación acerca de School-Based Management ha encontrado resultados positivos en esta estrategia de reforma en Estados Unidos. De acuerdo con Cohen (1989), un buen número de investigaciones reportan que el *>3 ha sido una es-trategia promisoria en escuelas privadas en ese país porque in-volucra en la mejora educativa a quienes están más cerca de los procesos de cambio, es decir, a los administradores, maestros, estudiantes, padres y la comunidad.

En un estudio realizado por Ross (2001), en Memphis, que abarcó visitas a centros escolares, observaciones y entrevistas a docentes, se encontró que la enseñanza y el aprendizaje en las escuelas que participaron en el *>3 se volvieron más activas. Sin embargo, el papel del Superintendente de distrito fue funda-mental en estos cambios ya que al retirarse, el compromiso de las escuelas para con la reforma disminuyó. También se encontró que el programa debe adaptarse y que no puede generalizarse al 100% en todas las escuelas, ya que cada una tiene que adoptar la reforma de manera que responda mejor a su contexto.

Newkirk y Klotz (2002) se preguntaron si existían diferencias en cuanto a la autoe!cacia de los maestros en escuelas que par-ticipan del *>3 y escuelas que no participaban en el programa en determinados aspectos. El estudio produjo resultados mixtos. Se encontraron diferencias signi!cativas en cuanto al grado de auto-e!cacia de los docentes en las escuelas participantes en *>3 en relación con su antigüedad en la escuela, nivel educativo al que estaban asignados, y máximo grado de estudios de los maes-tros, así como al manejo de la disciplina de los maestros en

Las revisiones de la literatura de Odden y Wohlstetter (1995), David (1996), Henry y Dickey (1993) sugieren que la mayor parte de las escuelas que han participado en el *>3 han incre-mentado el nivel de aprovechamiento de sus estudiantes, como un estándar de éxito. La organización escolar bajo este programa ha proporcionado poder a todos los actores que son parte del proceso de la toma de decisiones, lo cual se re6eja en la creación de un consejo escolar y varios subcomités o grupos de trabajo que rinden cuentas al consejo escolar. Éste, a su vez, se enfoca en diferentes cuestiones críticas de la comunidad escolar, tales como el currículo, la enseñanza, las relaciones públicas, tecno-logía e infraestructura (Bloomington, 1993).

Es importante notar que el *>3 es considerado un proceso más que un !n que redunda en la reestructuración de la gestión. Con su implementación se espera que la reestructuración de la gestión lleve a cambios en el currículo y la enseñanza, así como en la forma en la que la escuela se organiza y administra, y que esto favorezca la creación de un ambiente de apoyo para docentes y mejores colaboraciones y redes, lo cual debe incrementar la par-ticipación de los padres y la comunidad. La fundamentación para adoptar un enfoque de administración basada en el centro escolar (*>3) es mejorar la efectividad de la organización escolar y el aprendizaje de los estudiantes, como consecuencia del in-cremento del compromiso del personal, que se re6eja en una mayor participación en la toma de decisiones de todos los acto-res. La efectividad de la escuela depende de una toma de deci-siones colaborativa, y no centrada en los administradores en lo alto de la pirámide de poder. Al haber varios involucrados en las decisiones se espera que las personas compartan responsabilidad, autoridad y rindan cuentas por el logro de los resultados (Nerwick y Klotz, 2002). Se espera también que en las escuelas que parti-cipan del *>3 se incremente la inclusión y el desempeño de los docentes para lograr la meta última: incremento en el aprendizaje de los estudiantes. Como resultado de la implementación del *>3 o Escuelas de calidad, los maestros deben asumir un papel de liderazgo en las áreas de desarrollo del personal, en actividades

28 29

escuelas que participaron en el programa. No se encontraron diferencias signi!cativas en relación con las prácticas instruccio-nales, así como en relación con las variables edad, género, y años de experiencia de los docentes. El estudio se aplicó a cien pro-fesores de dos secundarias administradas bajo el *>3 y a otros cien maestros de secundarias que no participaban en el programa. Los resultados del estudio indicaron que existió mayor auto-e!cacia entre los docentes que trabajaban en escuelas que participaron en *>3 que en aquellas que no. También se encontró que la auto-e!cacia de los docentes en las escuelas participantes en *>3 fue signi!cativamente más alta en relación con variables relacionadas con el currículo, los recursos escolares y los procedimientos dis-ciplinares. La única variable que no fue signi!cativa entre las escuelas que participaron en el *>3 y aquellas que no lo hicieron, fue la relacionada con la instrucción.

Se ha encontrado también que existen estudios que han sido menos positivos en cuanto a las percepciones del éxito del School Based-Management. Por ejemplo, en un estudio en Texas, Rodríguez y Slate (2001) estudiaron las percepciones directores y maestros de primaria acerca de la implementación de *>3 en sus centros escolares. La encuesta fue administrada a 2,128 partici-pantes acerca de la implementación y el apoyo recibido por medio del programa. Los resultados del estudio indican que existen di-ferencias signi!cativas entre las percepciones de los maestros y los directores acerca del programa. Fueron más los directores que indicaron que la implementación del *>3 se desarrolló en un ma-yor grado que los docentes. Resultados similares fueron encontrados en relación con el apoyo proporcionado para la implementación de *>3. En general, los maestros percibieron un menor grado de avance en la implementación de *>3 y menor apoyo por parte de la administración para su implementación. De hecho, la mayor parte de los docentes opinaron que el programa existía solo en papel, pero no se re6ejaba con la realidad de su centro escolar. Además de lo anterior, los maestros opinaron que, en contra de uno de los principios fundamentales de *>3, el director se negaba a empo-derar a los principales actores en la toma de decisiones.

Estos resultados fueron consistentes con varios estudios donde se ha encontrado que los docentes tienden a diferir de los direc-tores en cuanto a su percepción sobre el grado de descentralización de la toma de decisiones en el centro escolar, como por ejemplo en cuanto a la capacidad dada al consejo escolar para seleccionar o despedir personal, incluyendo al director. Otro aspecto impor-tante se relaciona con la disposición del director de igualar la autoridad entre la dirección y los docentes, tal como se esperaría cuando se implementa el *>3.

Estos resultados son consistentes con el trabajo de Brown (1990), quien encontró poca disposición de los directores a mo-verse de un control centralizado del centro escolar a un liderazgo comunitario en el que todos los actores son empoderados. En concordancia con estos resultados, Blasé y Blasé (1994) y Rodríguez y Slate opinan que todo lo anterior puede in6uir negativamente en el involucramiento de los docentes a participar en comités y actividades del consejo escolar, y consiguientemente en el éxito de *>3.

Asimismo, se ha encontrado que para que School-Based Management funcione exitosamente es necesario capacitar a los involucrados. Por ejemplo, Miles y Stonehill (1993) y Rodríguez y Slate también encontraron que existe la necesidad de propor-cionar desarrollo profesional tanto a los docentes como a los directores en las primeras etapas de implementación del progra-ma. Por su parte, Liontos (1994), encontró que entre los aspectos en los que se encontró poco interés de los maestros por participar en los procesos de toma de decisiones colaborativa tiene que ver con su falta de capacitación, así como con cuestiones relaciona-das con el presupuesto y organización de la escuela.

Además, se ha encontrado que como resultado de implementar una estrategia de cambio como el *>3, pueden surgir problemas que deben tomarse en cuenta en la planeación del centro escolar. Por ejemplo, en una investigación sobre el incremento de las responsabilidades de los docentes ante la implementación de *>3, Naylor (2001) encontró que la participación en el programa puede llevar a los maestros a un exceso de estrés por el aumento

30 31

de responsabilidades. De acuerdo con los resultados del estudio, los docentes que participaron en el *>3 en British Columbia reportaron altos niveles de estrés relacionados con el incremento de reportes y otras prácticas asociadas con la implementación del enfoque.

Antecedentes de SBM en MéxicoEl School-Based-Management comenzó a ser implementado en México en el año 2001 con el nombre de Programa Escuelas de Calidad ("#$). Adoptar el programa fue recomendación de agen-cias externas, como el Banco Mundial, con la intención de me-jorar la calidad de la educación en el país. Como indica Bracho (2003), el Programa Escuelas de Calidad se fundamenta en los documentos producidos por el Banco Mundial en relación con los proyectos de School-Based Management, como parte del proyecto Global Education Reform.

El Programa Nacional de Educación ("+#, 2000-2006)) forma parte de una política nacional de reforma de la gestión educativa que busca superar diversos obstáculos para lograr mejores resultados educativos. Entre los obstáculos están la poca participación de la comunidad escolar en la toma de decisiones en las escuelas, el desarrollo insu!ciente de una cultura de planeación y evaluación en la escuela, la escasa comunicación entre los actores escolares, el uso poco e!caz de los recursos disponibles en la escuela, la baja participación social y las de!cientes condiciones de infraestructura y equipamiento (Secretaría de Educación Pública, 2001).

Al igual que en Estados Unidos, el programa se fundamenta en la necesidad de hacer efectiva la igualdad de oportunidades educativas independientemente de las capacidades de los edu-candos, y buscar la equidad a través del mejoramiento de la calidad en la educación que se ofrece en las escuelas públicas. Es por todo lo anterior que el programa constituye uno de los ele-mentos clave de la política nacional orientada a la reforma de la gestión educativa.

De acuerdo con la Secretaría de Educación Pública, el obje-tivo general del programa es “Instituir en las escuelas públicas

de educación básica incorporadas al Programa, un modelo de autogestión enfocado a la mejora de los aprendizajes de los es-tudiantes y de la práctica docente mediante una gestión escolar estratégica que atienda con equidad a la diversidad, a partir de un esquema de !nanciamiento, participación social y rendición de cuentas” (Diario o!cial de la Federación, 2007).

De acuerdo con Bracho (2003), el programa articula los tres grandes ejes de la política educativa del "+#: equidad, calidad y mejora de la gestión (p. 4). La Secretaría de Educación Pública (*#") establece que se trata de un programa para atender la calidad, que busca hacerlo sin descuidar la problemática de la equidad en el acceso a una educación relevante, y de una propuesta pro-gramática que impacta sobre la gestión educativa, tanto en el nivel de la política central, como en los estados y, fundamental-mente, en los procesos de gestión escolar.

El Programa Escuelas de Calidad ("#$) inició en el ciclo escolar 2001-2002, únicamente con la participación de escuelas de educación básica de nivel de primaria. Fue hasta el siguiente ciclo escolar que se convocó a las escuelas de la modalidad de tele-secundarias y a los centros de atención múltiple que volun-tariamente aceptaron participar.

En Yucatán, el "#$ inició con el apoyo e impulso de los go-biernos federal, estatal y municipal en el ciclo escolar 2001-2002 en escuelas primarias; fue hasta el siguiente ciclo escolar que se convocó a las escuelas de la modalidad telesecundarias y a los centros de atención múltiple que voluntariamente aceptaron participar en el programa, tal como lo establecen sus reglas de operación. El número de escuelas que participaron del programa en los diferentes niveles y modalidades hasta el 2005 fue de 409, como puede observarse a continuación:

32 33

Con la !nalidad de mejorar la calidad de la educación que pro-porcionan las escuelas de educación especial en el nivel básico en Yucatán, la Secretaría de Educación Pública fomentó la imple-mentación del Programa Escuelas de Calidad ("#$) desde el ciclo escolar 2002-2003 en estos centros escolares. A la fecha, el 100% de los centros de atención múltiple y un alto porcentaje de las unidades (.-", y .*0#,) están a!liados a este programa.

De acuerdo con la Secretaría de Educación en Yucatán, el objetivo general de Escuelas de Calidad para estos centros escolares es transformar la organización y funcionamiento de las escuelas de educación especial incorporadas al programa, institucionali-zando la cultura y el ejercicio de la planeación y la evaluación a través de la re6exión colectiva para favorecer el logro de aprendi-zajes de los educandos mediante la participación responsable de todos los integrantes de la comunidad escolar, a !n de constituirse en una escuela de calidad, entendiéndose como escuela de calidad, la que asume de manera colectiva la responsabilidad por los resul-tados de aprendizaje de todos los alumnos y se compromete con el mejoramiento continuo del aprovechamiento escolar.

De acuerdo con datos de la Secretaría de Educación en el Estado de Yucatán (2011), en el ciclo escolar 2009-2010 participaron 718 escuelas: 37 de educación especial; 6 de educación inicial, 1 de educación inicial indígena, 1 de educación preescolar $0"#" 186 de educación preescolar regulares, 10 preescolares indígenas, 354 primarias regulares, 7 escuelas de educación primaria indígenas, 59 telesecundarias, 29 secundarias generales, 21 secundarias técni-cas y 7 centros comunitarios $-+0?#.

Evaluaciones acerca del Programa Escuelas de Calidad en MéxicoEn 2001, Bracho estudió la pertinencia del programa, el funda-mento, tanto nacional como internacional de la política educativa que sustenta el modelo, su diseño institucional y la primera fase de su implementación. Los resultados de esa investigación indi-can que es factible tanto la viabilidad del programa como la adecuación de sus objetivos y estrategias, y que es pertinente para la población escolar. Asimismo, se hicieron recomendaciones para su funcionamiento, tales como mejorar los sistemas de in-formación al interior de la *#", revisar la normatividad de las funciones de directores y supervisores, de los docentes, así como la capacitación de los diferentes actores. También se recomendó contar con mecanismos de evaluación autónomos para identi!-car resultados y establecer un sistema de rendición de cuentas, para lo cual los evaluadores sugirieron mejorar la comunicación y capacitación conforme a las demandas de la gestión escolar.

En 2002, Bracho evaluó el programa por segunda ocasión. Se enfocó en el análisis de la estructura y su organización, principal-mente en cuanto a la coordinación nacional y la estructura de sus coordinaciones en las entidades federativas. Los evaluadores indi-caron que los logros parecían signi!cativos, pero era necesario to-mar en consideración ciertas recomendaciones para mejorar su desempeño, tales como: especi!car los objetivos, incrementar la cobertura a una población de por lo menos 10,000 escuelas durante el ciclo escolar 2002-2003 (incluyendo telesecundarias y primarias, y entre éstas, las primarias indígenas y centros de educación espe-cial). Otras recomendaciones se re!eren al !nanciamiento y

2001-2002

2002-2003

2003-2004

2004-2005

Ciclo escolarNivel educativo

Preescolar indígena 4Preescolar 22 37Primaria indígena 1Primarias regulares 33 119 189 239Centros de Atención Múltiple 9 19 37Telesecundarias 37 59 63Secundarias Técnicas 18Secundarias generales 5 10Total de escuelas 33 166 166 409

Tabla 1. Número de escuelas participantes en el Programa Escuelas de Calidad en el estado de Yucatán. (N = 409).

34 35

distribución de los recursos, lo que implica cambiar la propor ción de aportaciones de la Secretaría de Educación y de las Secretarías Estales en una correspondencia de tres a uno (Bracho, 2002). Se re-comendó que tuvieran una duración de cinco años y que se mejorase la comunicación entre la coordinación nacional y las estatales, así como con las dependencias responsables de la eva-luación. En cuanto a los indicadores, se propuso realizar un esfuerzo por vincularlos con los objetivos del programa e incluir más criterios dentro de los indicadores de equidad.

Además, se recomendó recon!gurar la coordinación nacional para consolidar la comunicación e implementación del programa y capacitar a los integrantes de las coordinaciones estatales y otros organismos vinculados con éste. En general, se propuso mejorar aspectos especí!cos, particularmente los relativos a objetivos, información, el trabajo de instancias administrativas, difusión y !nanciamiento (Bracho y colaboradores, 2002).

En 2003, Bracho, Mendieta y Reyes presentaron los resulta-dos de una tercera evaluación con carácter intermedio para iden-ti!car aspectos problemáticos durante el proceso de diseño e implementación del programa que pudieran obstaculizar el cum-plimiento de sus objetivos a mediano y largo plazo. De acuerdo con los resultados de este estudio, el "#$ presenta logros desde el ámbito político porque promueve la participación democrá-tica, dado que los centros escolares se convierten en espacios que favorecen valores cívicos y políticos para el desarrollo de la de-mocracia y la participación, aparte de que promueven la e!ciencia administrativa porque las escuelas están en mejor posición de asignar sus recursos, de tal manera que se atiendan las necesidades reales de los estudiantes. Al involucrar a padres de familia y agentes locales en la toma de decisiones, se contribuye a incre-mentar los recursos del centro escolar y aumentar la calidad educativa. Esto favorece la innovación en el uso de recursos humanos y monetarios (Arcia y Belli, 2001: 19). Los resultados de la tercera evaluación externa también indican que los estados han comenzado a desarrollar una mejor capacidad de adaptación del programa de acuerdo con sus respectivas condiciones.

La cuarta evaluación realizada por Bracho, Mendieta y Camacho (2004) indica que el programa presenta una estructura general más clara, organizada y sistemática. Aunque los objetivos del programa no cambiaron, se encontró que incluyó no solo escuelas públicas con mayor matrícula sino a todas las escuelas de educación básica, incluyendo escuelas dirigidas a comunidades indígenas, escuelas para estudiantes con necesidades especiales, multigrado, campamentos de inmigrantes y centros comunita-rios $-+0?#, y los evaluadores recomendaron dar mayor tipo de apoyos para estas escuelas.

Se advierte que el presupuesto federal destinado a apoyar a las escuelas se incrementó en un 1% pero con una reducción del 6% a 5% del monto destinado para los gastos de operación, equipa-miento, capacitación, evaluación, difusión, asesoría e investigacio-nes para apoyar el Programa (Bracho y colaboradores, 2004, p. 174).

Con relación al cumplimiento de metas, los resultados del estudio indican que se alcanzaron en un 112% en 2001, 98% en 2002 y 124.45% en 2003. De acuerdo con la evaluación, el "#$ ha apoyado escuelas en todos los municipios del país y cumplió con la meta de trasferencia de recursos federales en un 100%, 97% y un 109% durante 2001, 2002 y 2003 respectivamente (Bracho y colaboradores, 2004).

La quinta evaluación, realizada también por Bracho y cola-boradores (2006), indica que se han presentado cambios subs-tanciales en las reglas de operación del programa, ya que ahora existe un sistema de selección de bene!ciarios más preciso, una mejor distribución de recursos para escuelas que han permane-cido mayor tiempo en el programa, así como de indicadores cualitativos de las escuelas. Bracho y colaboradores consideran que los cambios en las reglas de operación se orientan a la mejora de los aprendizajes de los estudiantes y reconocen las condiciones poco favorables de las comunidades escolares. Sin embargo, a!r-man que todavía no puede determinarse el impacto del programa en las escuelas participantes.

Otros cambios identi!cados por los evaluadores se relacio-nan con el monto de los recursos que deben aportar las escuelas

36 37

que han permanecido más tiempo en el programa. Estas escue-las deben aportar al menos el 50% de sus recursos a actividades rela cionadas con la enseñanza y el aprendizaje. Se espera que una vez cubiertas las necesidades de infraestructura durante los primeros años, las escuelas inviertan más en capacitación de docentes y directivos. Otros cambios se reportan en cuanto al uso de recursos.

Los resultados de la evaluación de Bracho y colaboradores indican que el programa ha alcanzado sus metas de atención a las escuelas en los cuatro primeros años de su funcionamiento (112% en 2001, 98% en 2002, 127% en 2003 y 102% en 2004). El periodo de cobertura entre 2001-2005 fue de 123% de acuerdo con los evaluadores. En relación con el tipo de escuelas atendidas, los autores indican que la mayoría pertenecen a zonas urbanas (69%), y el 31% restante fueron escuelas rurales con rezago edu-cativo, por eso se espera que en las siguientes eta pas se incremente el porcentaje de participación de escuelas rurales. En relación con el nivel de marginación, Bracho y colaboradores agregan que el 45% de las escuelas atendidas están ubicadas en municipios con niveles muy alto y medio de marginación, y que el 55% fueron escuelas con un nivel de marginación bajo.

En general, los evaluadores concluyeron que los padres de familia, ayuntamientos y el sector privado han colaborado con la Secretaría de Educación con aportaciones adicionales para el programa y que éste empieza a rendir los frutos esperados que establecen la posibilidad de mejorar la gestión en los centros escolares participantes.

Como resultado de esta evaluación, Bracho et al. hicieron recomendaciones para mejorar la atención y hacer un seguimien-to a las escuelas que tienen una alta población indígena, con necesidades especiales, migrantes, escuelas multigrado y centros del $-+0?#. Se recomendó precisar las acciones de acompaña-miento y seguimiento de las escuelas, así como la instalación de un sistema de rendición de cuentas que permita obtener infor-mación sobre el uso de los recursos y la operación del programa en estos centros.

En general, los evaluadores recomendaron que el programa sea sometido a un análisis crítico de sus componentes y expe-riencias, que se desarrollen propuestas de reforma y se favorezca el compromiso de los diferentes actores involucrados.

Otra evaluación del "#$ la hizo Heurística Educativa en 2005 (Loera, 2005). El énfasis fue determinar en qué medida el programa promueve la participación social, principalmente de las familias, apoyando el aprendizaje de los estudiantes en la escuela y el hogar, en el consejo escolar o en las asociaciones de padres de familia.

El estudio, denominado cualitativo, fue en realidad descrip-tivo tipo encuesta y se hizo por medio de cuestionarios y entre-vistas con directores, supervisores, maestros, alumnos, personal de apoyo técnico, padres de familia, miembros del consejo es-colar o de la asociación de padres de familia y de la comunidad en general. La muestra incluyó a 88,302 sujetos que estuvieron involucrados en el programa en los ciclos del 2002-2006.

Se encontró que los siguientes indicadores fueron signi!ca-tivamente altos en las escuelas que participaron en el "#$: (1) el funcionamiento periódico del Consejo Escolar de Participación Social; (2) los padres de familia están informados sobre el pro-greso y los avances de sus hijos. Por otro lado, fueron signi!ca-tivamente bajos longitudinamente los siguientes indicadores: (a) la Asociación de Padres de Familia coordina acciones para resol-ver las necesidades de la escuela; (b) las familias de los estudiantes participan en las actividades de la escuela.

No se encontró relación entre la ubicación de las escuelas y el grado de participación social. Sin embargo, en la segunda fase del programa si se encontró que las escuelas rurales que partici-paron tuvieron mayor participación social, pero este resultado no fue estadísticamente signi!cativo.

En general, los resultados de la evaluación indican que los mayores bene!cios del programa se ubican precisamente donde son más urgentes las acciones orientadas hacia la mejora escolar (Bracho, et al. 2006).

En el ciclo escolar 2003-2004, la Secretaría de Educación del Estado de Yucatán inició otro proceso de evaluación externa

38 39

“cualitativa” del programa en las escuelas participantes utilizando el diseño de Heurística Educativa. De acuerdo con el informe de evaluación, el modelo seleccionado fue el de Contexto-Insumo-Proceso-Producto de Stu6ebeam (1983), aunque en realidad se trató de un estudio descriptivo tipo encuesta realizado con una pequeña muestra de escuelas participantes en el "#$. Como indica Ceballos (2007), el estudio analizó en doce escuelas los aspectos de práctica pedagógica, gestión escolar y participación social en las escuelas y en el programa. De acuerdo con los resultados, los maestros encuestados expresaron distintas opiniones acerca de las formas de conducir a los grupos, dependiendo de sus edades, así como en relación con el apoyo del director y las necesidades de los docentes en su práctica pedagógica. También se encontró que los docentes entrevistados perciben que como resultado de su par-ticipación en el programa se do un ambiente más agradable entre los integrantes del plantel, una estructura más 6exible y partici-pativa, mejor comunicación y participación en decisiones acadé-mico-administrativas. Asimismo, se encontró que los alumnos en las escuelas participantes han obtenido una leve mejora en su aprovechamiento en español y matemáticas, y que los padres de familia han incrementado su participación en la escuela. Los re-sultados de la autoevaluación del centro escolar en las doce escuelas fueron positivos.

Sin embargo, contrario a las premisas fundamentales del programa, la gestión del director no ha cambiado, sino que es más protagónica y se encontró que la resistencia al cambio en este aspecto es parte del con6icto que se experimenta en algunas escuelas.

Otra evaluación del "#$, realizada por Valdés y Rodríguez, pretendió enfocarse a la efectividad del programa utilizando un diseño preexperimental que comparó a los estudiantes de es-cuelas que participaron en el programa y los que estudiaban en escuelas que no participaron en el mismo, en términos de los resultados de desempeño en español, matemáticas, ciencias na-turales y ciencias sociales. De acuerdo con los resultados, los puntajes obtenidos por los estudiantes en las pruebas de conocimiento son

bajos, independientemente de si sus escuelas participan en el "#$ o no. Los puntajes que obtuvieron los estudiantes en matemáticas fueron signi!cativamente más bajos en comparación con las de otras disciplinas. Debido a que los estudiantes de las escuelas que participan en el "#$ obtuvieron puntajes signi!cativamente me-nores en todas las áreas que los estudiantes de las otras escuelas del estudio, los evaluadores concluyeron que el programa no está cumpliendo con sus objetivos.

En 2007, Rodarte, Barraza y Barraza realizaron otro estudio sobre el "#$ desde la óptica de los docentes de Durango. El estudio fue descriptivo tipo encuesta y se aplicó a docentes de 17 escuelas primarias (federalizadas y estatales) del municipio de Durango. Los resultados indican que los profesores están de acuerdo con recibir recursos !nancieros para apoyar la adquisición de equipo tecnológico y su uso adecuado. Sin embargo, no se encontra-ron resultados en relación con el enfoque de gestión participativa que promueve el programa. De acuerdo con los evaluadores, “no existe correspondencia mínima entre el enfoque de gestión y el uso de recursos” (p.8).

Los docentes encuestados opinaron que el programa ha pro-movido la apertura de canales de comunicación, mejora en los procesos de enseñanza y aprendizaje, y de trabajo compartido. En consistencia con el trabajo de Murane, Willet y Cárdenas (2006), los investigadores también encontraron que los docentes cuyas escuelas han participado por mayor tiempo en el "#$ (2001 y 2002) tienen una percepción más positiva de los efectos favo-rables del programa en comparación con las escuelas que recién ingresaron al mismo. En relación con la formación de los do-centes, se encontró que aquellos que poseen estudios de posgrado (maestría), tuvieron una opinión más positiva del "#$ que quienes solo poseen licenciatura o Normal básica.

Ortega, Navarro y Chavoya (2007) analizaron la planeación y visión futura de una escuela primaria de Durango que participó en el "#$. Los resultados indican que para los docentes de esa escuela las tres prioridades de su visión incluyeron: calidad de los aprendizajes, trabajo colegiado y la mejora de la infraestructura

40 41

física. Sin embargo, los profesores no tenían tan claro qué proceso de planeación (estrategias y acciones) debían seguir para alcanzar la visión, aunque algunos de ellos si tenían su!ciente claridad sobre el propósito de la planeación y lo que la escuela estaba tratando de lograr por medio del "#$. Los evaluadores concluyen que las prioridades identi!cadas por los profesores: trabajo en equipo, aspectos pedagógicos y necesidades de la escuela son consistentes con las sugeridas por el "#$, ya que éste debe fomentar “la pla-neación participativa, estratégica y situacional” (p. 7). Igualmente concluyeron que la escuela cuenta con elementos para el logro del modelo de gestión propuesto dado el nivel de compromiso de los docentes entre ellos y para con el programa.

Ponce de León (2007) analizó el "#$ como iniciativa para garantizar la participación democrática de los diversos sectores involucrados en el nivel de educación primaria en el Distrito Federal. Con base en este análisis y entrevistas realizadas con diferentes actores, el autor concluye que en el D.F. todavía existe un tipo de organización “de carácter jerárquico y competitivo de tipo vertical que afecta los procesos de inclusión y represen-tación” (p.6). Aunado a lo anterior, opina que “las delegaciones políticas afectaron la constitución de los procesos de participa-ción social, así como el compromiso de la comunidad escolar ya que se carecía de un marco normativo favorable para apoyar la implementación del programa” (p.6). En cuanto a la capacita-ción, ésta no fue proporcionada de forma su!ciente y no incluyó aspectos técnicos o pedagógicos necesarios para el aprendizaje, capital social y desarrollo de competencias de los participantes, además de que excluyó a los padres de familia.

Conclusiones del análisis de las evaluaciones previas del programaLas diferentes evaluaciones e investigaciones del Programa Escuelas de Calidad proveen valiosa información acerca de las percepciones de diferentes actores. En particular, los estudios de Bracho y colabo-radores permitieron obtener datos sobre la pertinencia y adecuación del programa, así como de su consistencia, su coordinación,

organización, cobertura, estructura, así como la vinculación en-tre sus objetivos y la evaluación y los factores del diseño que pueden favorecer o entorpecer su implementación.

Sin embargo, existe todavía la necesidad de evaluar el impac-to del programa. Aunque se han llevado a cabo varios estudios, la mayoría se han basado en encuestas de opinión a los diferentes actores. Por ejemplo, las investigaciones basadas en el diseño e Heurística Educativa se centraron en obtener las opiniones que di-ferentes involucrados con el programa tienen acerca de uno de los elementos claves del mismo: la participación social. Las en-cuestas realizadas por Murane, Willet y Cárdenas (2006), Rodarte, Barraza y Barraza (2007) y Ortega, Navarro y Chavoya también recabaron opiniones acerca de la implementación del programa. Aun en el caso del trabajo de Ponce de León (2007), los resultados se basan en una encuesta realizada a una muestra de actores para conocer su percepción acerca de los obstáculos y tensiones que enfrenta el programa al promover un modelo de gestión participativo dentro una estructura tradicional cerrada.

Salvo el caso de Valdez y Rodríguez (2006), los demás estudios son descriptivos, pero aun en este caso el diseño de evaluación se-leccionado no logra medir el impacto debido a que no se presenta evidencia de que las escuelas que son comparadas sean equivalen-tes, no existe control de las múltiples variables que pueden afectar los resultados, ni se hizo una medición previa (pre-test) para con-trastar con los resultados del post-test. Para poder saber si el Programa ha contribuido a mejorar la calidad del aprendizaje de los estudiantes era necesario realizar una medición antes de que sus escuelas participaran en el programa y tener un control de las otras va riables que pueden in6uir en los resultados.

Al emplear un enfoque basado en metas preestablecidas y uti-lizar una estrategia de evaluación estandarizada para todos los tipos de escuelas participantes en el programa, los estudios previos no permiten una comprensión profunda de las complejidades y ne-cesidades contextuales de las escuelas, particularmente aquellas que no se encuentran en zonas urbanas o sirven a estudiantes con necesidades especiales o de diversa herencia étnica y cultural.

42 43

Referencias

Arcia, G. y Belli, H. (2001). La autonomía escolar en Nicaragua. Restableciendo el contrato social. Programa de promoción de la Reforma Educativa en América Latina, Santiago de Chile, Diciembre de 2001.

Blasé, J. y Blasé J. (1997). !e Fire is Back: Principals Sharing School Governance. ;ousand Oaks: Corwin Press.

Bloomington, P. (1993). Beyond School-based Management: Empowering Teachers to Reform. Phi Delta Kappan, 75(3), 245-258.

Bracho, T. (2001). Evaluación del Programa Escuelas de Calidad, 2001. México, D.F. Disponible en: http://basica.sep.gob.mx/pec/pdf/CIDE01pec.pdf

Bracho, T. (2002). Programa Escuelas de Calidad PEC 2002. Segunda Evaluación Externa. México, D.F. Recuperado el: 8 de diciembre de 2005. Disponible en: http://basica.sep.gob.mx/pec/pdf/CIDE02pec.pdf

Bracho, T., (Coord), Mendieta, G. y Reyes, D. (2003). El Programa Escuelas de Calidad. PEC 2001-2003: Evaluación externa. Primer borrador. México, D.F. Disponible en línea: http://basica.sep.gob.mx/pec/pdf/CIDE03pec.pdf

Bracho, T. (Coord), Mendieta, G. y Camacho, A. (2004). Evaluación Externa del Programa Escuelas de Calidad (PEC), 2004. México, D.F. Disponible en: http://basica.sep.gob.mx/pec/pdf/CIDE04pec.pdf

Bracho, T. (Coord), Mendieta, G. y Martínez, A, Jacobom M. y Núñez, M. (2005). Evaluación Externa del Programa

Escuelas de Calidad (PEC), 2005-2006. México, D.F. Disponible en: http://basica.sep.gob.mx/pec/pdf/

CIDE05pec.pdfBrown, D. J. (1990). Decentralization and School-based

Management. London: Falmer.Ceballos, A. (2007). La cultura organizacional como factor de

in6uencia en un Programa de Mejora Escolar. Tesis. Universidad Autónoma de Yucatán, México.

Cohen, D. (1989). What standards for national standards? Phi Delta Kappan, 76, 751. Disponible en línea: http:// www. Proquest.um.com. Retrieved April 20, 2001.

David, J. L. (1996). !e Who, What, and Why of School-based Management. Educational Leadership, Enero, 4-9.

Diario O!cial de la Federación (2007). Reglas de operación del Programa Escuelas de Calidad. 28 de febrero de 2007. Poder Ejecutivo Federal, México.

Henry, G. & Dickey, K. (1993). Implementing Performance Monitoring: A Research and Development Approach, en: Public Administration Review, 53(3), 203-215.

Liontos, L. B. (1994). Shared decision-making. Eugene, -,: #,&$ Clearinghouse on Educational Management. ED368034.

Loera, A. (2005). Cambios en las escuelas que participan en el PEC 2001-2004. Heurística educativa. Disponible en línea: h t tp : / /ba s i c a . s ep.gob.mx/pec /Documento s /Evaluaciones%20de%20Heuristica/Reporte%20fase%205%20partsocv8.pdf

Miles, D. y Stonehill¸ R. (1993). School-based Management. Education Consumer Guide. 4. O5ce of Researchand Improvement (-#,&) of the .* Department of Education. ED/OERI 92-38.

Murane, R., Willet, J. y Cárdenas, S. (2006). ¿Ha contribuido el Programa Escuelas de Calidad (PEC) a mejorar la educación pública en México? Disponible en: http://www.sep.gob.mx

Naylor, C. (2001). Teacher Workload and Stress: An International Perspective on Human Costs and Systemic Failure. >$'? Research Report. British Columbia Teacher Federation. Vancouver.

Nerwick, C. E. P. y Klotz, J. (2002). Teacher Self-e"cacy and School-Based Management as a Decentralized Strategy. Ponencia presentada en el congreso annual de la MidSouth Educational Research Association. Chattanooga, '+:.*0, November.

Odden, E. & Wohlstetter, P. (1995). Making School-Based Management Work. Educational Leadership, February 1995, 32-36.

44 45

Ortega, M. Navarro, M. y Chavoya, M. (2007). La escuela que queremos ser: Una visión de futuro y la planeación esco-lar desde la perspectiva de los profesores de una escuela primaria inscrita en el Programa Escuelas de Calidad, en: Memorias del IX Congreso Nacional del Consejo Mexicano de Investigación Educativa. Disponible en línea: http://www.comie.org.mx/congreso/memoria/v9/ponencias/at13/PRE1177878720.pdf

Ponce de León, S. (2007). Tensiones y límites a la participación en el marco del Programa Escuelas de Calidad, en: Memorias del IX Congreso Nacional del Consejo Mexicano de Investigación Educativa. Disponible en línea: http://www.comie.org.mx/congreso/memoria/v9/ponencias/at13/PRE1178934236.pdf

Rodarte, H. A., Barraza, M. G. y Barraza, L. (2007). El programa Escuelas de Calidad ("#$) desde la óptica de los docentes en el municipio de Durango, en: Memorias del IX Congreso Nacional del Consejo Mexicano de Investigación Educativa. Disponible en línea: http://www.comie.org.m x / c o n g r e s o / m e m o r i a / v 9 / p o n e n c i a s / a t 1 3 /PRE1178921862.pdf

Rodríguez, T. y Slate, J. (2001). Principals’ and teachers’ views of site-based-management in Texas. Ponencia presented at the Annual Meeting of the University Council of Educational Administration, Cincinatti, OH, Noviembre.

Ross, S. (2001). Creating Critical Mass for Restructuring: What Can We Learn from Memphis. 0#2 Policy Briefs. Appalachian Educational Lab. Charleston WV. O5ce of Educational Research and Improvement (ED). Washington, D.C.

Secretaría de Educación de Yucatán (2011). Programa Escuelas de Calidad (PEC). Gobierno del Estado de Yucatán. Disponible en línea: http://www.educacion.yucatan.gob.mx/seccion.php?go=php/contenido.php&pid=123

Valdez, A. y Rodríguez, A. G. (2006). Estudio comparativo de los conocimientos de los alumnos de sexto grado de pri-maria que estudian o no en escuelas con el Programa Escuelas de Calidad, en: Revista Iberoamericana de Educación, 36. Disponible en línea: http://www.rieoei.org/deloslectores/1259Valdes.pdf

46 47

Capítulo 3INVESTIGACIÓN APRECIATIVA Y EVALUACIÓN RESPONSIVA DEL PROGRAMA ESCUELAS DE CALIDAD

En virtud de la necesidad de contar con una evaluación sensible a las características y complejidades de las escuelas de educación espe-cial del Programa Escuelas de Calidad, este trabajo utilizó el en-foque de Investigación apreciativa (&") de Preskill y Caracelli (1991) y de Evaluación responsiva de Stake (2000) para detectar los bene-!cios y aportaciones del "#$, particularmente en el mejo ramiento de la gestión escolar y su vinculación con el aprovechamiento de los estudiantes en las escuelas de educación especial en Yucatán.

La evaluación del Programa Escuelas de Calidad según los modelos antes mencionados tuvo como objetivos:

"#$, particular-mente en el mejoramiento de la gestión escolar y su vincula-ción con el aprovechamiento de los estudiantes en las escuelas de educación especial en Yucatán.

-texto de las escuelas y veri!car en qué medida el programa contri-buye a mejorar las necesidades de las escuelas participantes.

Los diseños de evaluación utilizados permitieron determinar las fortalezas, debilidades, bene!cios y consecuencias del progra-ma, especialmente en el área de gestión escolar y su vinculación con el mejoramiento del aprendizaje y la calidad de vida de los estudiantes.

MetodologíaEn la evaluación se utilizaron dos enfoques, el de Investigación apreciativa (Appreciative inquiry) de Preskill & Caracelli (1997) y el de Evaluación responsiva de Stake (2000), para detectar for-talezas y aportaciones del Programa Escuelas de Calidad ("#$) en Yucatán. El enfoque de Evaluación apreciativa fue seleccionado

48 49

porque se ha utilizado en el campo de desarrollo organizacional y ha demostrado ser altamente valioso para facilitar el cambio organizacional y porque permite detectar elementos de la calidad del programa que no son capturados con modelos predetermi-nados de evaluación (Preskill, 2003; Watkins, y Morh, 2002; Webb y Preskill, 2005).

De forma contraria a otros modelos de evaluación que se centran en problemas, este enfoque primero involucra a los par-ticipantes en el análisis de qué es lo que funciona bien en sus organizaciones a raíz del cambio. Entonces, en lugar de analizar posibles causas y soluciones, el evaluador trabaja conjuntamente con los involucrados en determinar cómo podrían mejorar aún más. Así, el enfoque permite un diálogo acerca de lo que se necesita, en términos de tareas y recursos para lograr el cambio deseado que, !nalmente, los involucrados implementan. Como Ashford & Patear (2001) indican, la Investigación apreciativa (Appreciative Inquiry) permite que las organizaciones mejoren su efectividad a través del descubrimiento de su situación y con-texto, así como valorar, establecer una visión, dialogar y construir conjuntamente su futuro (p. 4).

Asimismo, con este modelo se construye capacidad de eva-luación, pues los diferentes actores se capacitan y forman en evaluación (Compton, Glover-Kudon, Smith, and Avey, 2002; King, 2002, O’Sullivan and O’Sullivan, @AAB; Preskill & Torres, 1999; Weiss, 1998). Aunado a lo anterior, este tipo de evaluación contribuye al “empoderamiento” al hacer el proceso más demo-crático (Greene, 2000; House & Howe, 1999; McNeil, 2002; Mathison, 2000). Las fases en las que el modelo fue utilizado para el desarrollo del estudio son las siguientes: (a) 1. Investigar; (b) 2. Imaginar; (c) Innovar; (d) Implementar.

El segundo enfoque utilizado fue el de Evaluación responsiva de Stake, basado en la observación naturalista. Éste se centra en entender el programa en su contexto natural, sus méritos y de-bilidades. El propósito de la evaluación se relaciona directa o indirectamente con los valores del programa y puede ser un propósito legítimo para un estudio de evaluación particular

(Stake, 1975; 2006). Al involucrar a los diferentes actores en el proceso de evaluación, los evaluadores que usan este modelo intentan incrementar la validez de los resultados e incrementar su uso para mejorar su práctica (Brandon, 1998; Cousins & Earl, 1992; Patton, 1997). El modelo de Stake permitió evaluar los resultados de la implementación a mediano plazo.

Resultados de la evaluación: Investigación ApreciativaAntes recolectar los datos se identi!caron los centros y unidades de educación especial que participaron en el programa de Escuelas de Calidad y se les invitó a ser parte de el estudio. Una vez que aceptaron se impartió un taller de evaluació que contó con profe-sores y administradores de 27 Centros de Atención Múltiple ($03) del estado de Yucatán que participaban en el "#$ desde 2006. La Dirección de Educación Especial de la Secretaría de Educación del Gobierno del Estado convocó conjuntamente con los colaborado-res responsables del proyecto. El número de profesores y adminis-tradores que participaron por escuela fue de entre 2 y 8. En total asistieron al taller 204 personas: 172 mujeres (83.3%) y 33 hombres (16.7%), lo cual se observa en la siguiente grá!ca:

Para la impartición de cada uno de los talleres se contó con un expositor y un asistente de logística con experiencia en la con-ducción de grupos de enfoque. Esta persona tuvo a su cargo la responsabilidad de recolectar y posteriormente transcribir y rea-lizar el primer análisis de las notas de campo.

Masculino Femenino

50 51

Durante el taller se recolectaron los datos del estudio que corresponden a las tres primeras fases del modelo de Investigación apreciativa. A continuación se describen los resultados obtenidos en cada una de las fases propias del modelo:

Primera Fase: Investigar. La primera fase del modelo de Investigación apreciativa de Preskill es Investigar. Se les pidió en un primer momento que se agruparan por pares e identi!caron las mejores experiencias en relación con la implementación del "#$ en cada una de las escuelas. Asimismo, los participantes identi!caron lo más valioso y lo que desearían continuara del programa.

Entre las principales experiencias del personal, indicaron como punto en común, vivencias acerca del mejoramiento en el trabajo en equipo, lo que en su opinión ha ayudado a tener una mejor comunicación y mejor participación de los padres de familia, así co-mo una mejor plani!cación y comunicación entre los integrantes del centro, lo que ha permitido un mayor involucramiento y me-jores acuerdos para alcanzar el éxito. Al ingresar al "#$, hubo una reestructuración del servicio en los $03 al rede!nir la misión y visión de cada escuela. Entre los valores que los participantes iden-ti!caron en relación con el programa se destacan la honestidad, responsabilidad y un mayor compromiso.

Los participantes del taller también expresaron que desearían que el monto de la ayuda fuera mayor y que con el cambio del sexenio se diera la misma continuidad del programa. Es impor-tante recordar que este programa fue creado en la administración del gobierno anterior.

En esta etapa se advirtió la presencia de un actor fundamental en el desarrollo del programa y su implementación en los cen-tros: el inspector de zona. Se encontró en al menos cuatro centros que éste no respetó las instrucciones de la Dirección de Educación Especial para autorizar la asistencia de todos los docentes de los centros al taller. En estos casos, el inspector solo autorizó la asistencia de un número reducido de docentes, quienes a!rma-ron que aunque varios de sus compañeros deseaban participar no les fue permitido hacerlo. En algunos casos, los inspectores

indicaron que solo asistirían los maestros que habían tenido algún tipo de problema en la escuela e irían acompañados por el director.

Segunda Fase: Imaginar. Los integrantes de los talleres de-!nieron la visión ideal para que el Programa Escuelas de Calidad pueda funcionar adecuadamente en sus instituciones. Se encon-tró un gran interés de los integrantes de los centros por mejorar la infraestructura de apoyo para los procesos académicos en sus instituciones, ya que en muchas escuelas las instalaciones no son apropiadas para los estudiantes con discapacidad.

Concluida esta fase, la mayoría de los equipos elaboraron una visión para sus centros enfocada en la calidad de servicios e inte-gración de los alumnos, y mejoras a la infraestructura escolar. Al igual que en los estudios de Bracho, se encontró que las escuelas que han participado mayor tiempo en el Programa Escuelas de Calidad ("#$) se centraron menos en las necesidades físicas de sus centros y más en el mejoramiento de la calidad de la educación para los niños y su integración. En general, se encontraron dos tipos de orientaciones en las visiones de los centros:

a) La primera con mayor énfasis en mejorar la infraestructura y, en segundo término, los aspectos académicos.

b) La segunda con énfasis en el desarrollo integral del niño y, en un plano secundario, en mejorar la infraestructura.

Los centros con menor tiempo de participación en el programa son los que tenían metas que giraban en torno a satisfacer las necesidades de infraestructura y estaban menos preocupados por el trabajo en equipo, delegación, responsabilidad y participación de todos.

Tercera Fase: Innovar. Después de identi!car la visión que deseaban alcanzara su centro, los participantes del taller elabo-raron propuestas de mejoramiento que les permitieran moverse del estado actual de sus centros al que establecieron en su visión.

52 53

La mayor parte decidió implementar propuestas que dieran im-pulso a los talleres laborales ya que de esta manera los niños se integran mejor a la sociedad. Otro grupo de propuestas se enfo-caron en torno a las relaciones entre toda la comunidad educativa del Centro (maestros, alumnos y padres de familia); y la tercera en incrementar el uso de estrategias educativas para el manejo de las distintas discapacidades por parte de los docentes por medio del intercambio de experiencias entre ellos y con profe-sores de otros centros.

Al concluir, los participantes elaboraron propuestas para lo-grar la integración de los estudiantes con hincapié en la vincula-ción escuela-comunidad. Para lograrla, los participantes indicaron que era necesario actualizarse, y propusieron incrementar la participación en cursos y contar con sesiones de retroalimenta-ción donde los docentes pudieran compartir sus experiencias y aprender unos de otros.

Cuarta Fase: Implementar. Cómo última fase se les pidió a los participantes que desarrollaran un Modelo lógico (Wholey, Newcomer and Hatry, 2004) para su propuesta. Entre sus plan-teamientos se encuentran los siguientes:

Modernización y actualización de la sala de cómputo.Capacitación e integración laboral. Urdido de hamacas.“Que no me dañe el sol” (cancha techada).“$0"%&7%&*”. Capacitación en diversas discapacidades.“Misión imposible” (inserción de los alumnos al mundo laboral).Acondicionamiento de aulas.Construcción de nuevos baños.Biblioteca y sala de cómputo.Capacitación al personal del $03 4.Integración y reorganización del $03.Actualización plus.Juegos recreativos durante el descanso.

Como se observa, las propuestas se centran en tres puntos: in-fraestructura, actualización de maestros y mejorar la integración de los alumnos en el aula.

Resultados de la evaluación: Evaluación ResponsivaPara dar seguimiento a los proyectos de mejora propuestos por los $03, se utilizó el enfoque de Evaluación responsiva de Stake (2006). Este tipo de enfoque utiliza múltiples métodos y fuentes de información para la recolección de datos.

El enfoque fue utilizado con la !nalidad de veri!car en qué medida los diferentes centros fueron capaces de implementar las mo-di!caciones o adaptaciones del programa, así como para examinar el "#$ responde a la complejidad del contexto y las necesidades particulares de calidad de los centros. La recolección de datos de esta parte del estudio involucró encuestas y estudios de caso. Las técnicas de recolección de datos fueron tanto cuantitativas y cualitativas.A continuación se presentan los resultados:

-!cios del "#$.

del "#$.-

!cios del "#$.-

cuentran implementando el "#$.

Percepciones de los docentes acerca de las aportaciones y bene#cios del PEC. Se encuestaron 59 docentes de ocho Centros de Atención Múltiple de la ciudad de Mérida. Estas escuelas están distribuidas de la siguiente manera: cuatro en el turno matutino y cuatro en el vespertino; asimismo, cuatro se ubican en la zona norte de la ciudad y cuatro en la zona sur.

En la tabla 1 se muestran los centros de educación especial participantes de distinto nivel socioeconómico.

54 55

Escuelas de la zona sur Escuelas de la zona norte

$03 0 $03 #$03 > $03 ?$03 $ $03 1$03 % $03 (

Tabla 1. Centros participantes de la zona sur y norte

Como se muestra en la grá!ca 1, en la zona sur participaron 26 maestros, y en la zona norte, 33. A continuación se presentan los resultados de la encuesta por área evaluada.

Grá#ca 1. Maestros participantes

(a) Percepciones en relación con la práctica pedagógicaEn cuanto a la práctica de los docentes en el aula, su convivencia con el resto del personal y la comunidad, y su participación en las actividades relacionadas con el "#$, el 53% expresó que en gran parte, durante la implementación del "#$, ha tenido acti-vidades bajo su responsabilidad. De la misma forma, el 63% a!rmó que en el "#$ les ha otorgado mayor autonomía en su práctica docente.

El 46% de los sujetos manifestó que en gran parte en el Consejo Técnico se analizan aspectos académicos, y que las de-cisiones que éste toma se basan en el proyecto escolar (52%). Asimismo, este 52% reportó que la comunicación entre el per-sonal docente ha mejorado.

El 56% de los docentes encuestados declaró que el "#$ ha facilitado el trabajo en equipo, en tanto que el 63% opinó que éste ha fortalecido el papel pedagógico del personal docente.

Por otro lado, el 53% de los docentes a!rmó que se ha fo-mentado la innovación en la prácticas pedagógica y se ha fomen-tado el involucramiento de los padres de familia en las experiencias de aprendizaje de los alumnos (62%).

En la Tabla 2 se observan las medias y desviaciones estándares y la comparación resultante de acuerdo con cada ítem de la catego ría de práctica pedagógica. En general los profesores ma-nifestaron tener una percepción positiva en cada uno de los elementos de ésta práctica.

(b) Percepciones en relación con la gestiónEsta categoría hizo referencia a las tareas y actividades de la

gestión del centro que permiten o facilitan el funcionamiento regular, la convivencia y el logro de los objetivos de la escuela. De acuerdo con el 54% de los docentes, el director de su centro conduce la escuela adecuadamente, pero solo el 45% a!rmó que éste trata a los docentes con igualdad.

El 49% de los maestros también manifestó que consideran al director como el líder del "#'# y de la comunidad escolar, y que éste apoya totalmente las actividades de la escuela. El 43% reportó que se ha fortalecido el liderazgo del director desde su ingreso en el "#$, además, el 45% de los docentes manifestó que el director distribuye correctamente las funciones entre el personal la escuela y ejerce lide-razgo académico, administrativo y social para transformar a la comuni dad escolar. Y a!rmaron que el personal directivo y docente trabaja como un equipo integrado, con intereses a!nes y metas co-munes. El 47% de los docentes indicó que ellos y los directivos se preocupan por capacitarse y actualizarse continuamente.

12

10

8

6

4

2

0

Númerode maestros

Zona sur Zona norte

56 57

Tabl

a 2.

Pro

med

ios e

n la

cate

goría

de p

ráct

ica p

edag

ógica

.

Ítem

Med

ia D

esvi

ació

n Es

tánd

arEn

el C

onse

jo T

écni

co se

tom

an d

ecisi

ones

con

base

en el

Pro

yect

o Es

colar

.2.

46.6

1

En el

Con

sejo

Téc

nico

se an

aliza

n as

pect

os ac

adém

icos.

2.27

.74

Los d

ocen

tes h

an fo

men

tado

el in

volu

cram

iento

de l

os p

adre

s de f

amili

a en

las ex

perie

ncias

de

apre

ndiza

je de

los a

lum

nos.

2.26

.60

Se h

a fom

enta

do la

inno

vació

n en

las p

ráct

icas p

edag

ógica

s.2.

19.6

6

Se h

a for

talec

ido

el pa

pel p

edag

ógico

del

perso

nal d

ocen

te d

esde

su in

gres

o en

el "

#$.

2.17

.60

El "

#$ le

oto

rga m

ayor

auto

nom

ía en

su p

ráct

ica d

ocen

te.

2.13

.63

En la

impl

emen

tació

n de

l "#$

ha t

enid

o ac

tivid

ades

bajo

su re

spon

sabi

lidad

.2.

09.7

3

La co

mun

icació

n en

tre el

per

sona

l doc

ente

ha m

ejora

do.

2.07

.72

El "

#$ h

a fac

ilita

do el

trab

ajo en

equi

po.

2.05

.69

Prom

edio

2.19

.66

Tabl

a 3.

Pro

med

ios e

n la

cate

goría

de g

estió

n

Ítem

Med

ia D

esvi

ació

n Es

tánd

arEl

dire

ctor

apoy

a en

las ac

tivid

ades

que

se ll

evan

a ca

bo en

la es

cuela

.2.

43.6

4

Los d

irect

ivos

y lo

s doc

ente

s se p

reoc

upan

por

capa

citar

se y

actu

aliza

rse co

ntin

uam

ente

.2.

34.6

5

El d

irect

or tr

ata a

los d

ocen

tes c

on ig

uald

ad.

2.31

.73

El d

irect

or es

el lí

der d

el "#

'# y

de l

a com

unid

ad es

colar

.2.

31.6

7

El d

irect

or h

ace u

na co

rrect

a dist

ribuc

ión

de fu

ncio

nes e

ntre

el p

erso

nal d

e la e

scue

la.2.

31.7

1

El d

irect

or co

nduc

e la e

scue

la ad

ecua

dam

ente

.2.

29.6

2

El d

irect

or ej

erce

lide

razg

o ac

adém

ico, a

dmin

istra

tivo

y so

cial,

para

la tr

ansfo

rmac

ión

de la

com

unid

ad es

colar

.2.

29.7

1

Se h

a for

talec

ido

el lid

eraz

go d

el di

rect

or d

esde

su in

gres

o en

el "

#$.

2.23

.81

El p

erso

nal d

irect

ivo

y do

cent

e tra

baja

com

o un

equi

po in

tegr

ado,

con

inte

rese

s a!n

es

y m

etas

com

unes

. 2.

22.7

0

Prom

edio

2.30

.69

58 59

Como se aprecia en la tabla anterior, las medias y desviacio-nes estándares y la comparación resultante de acuerdo con cada ítem de la categoría de gestión indican que los profesores tienen una percepción positiva en cada uno de los elementos de la gestión escolar del instrumento.

c ) Percepciones en relación con la participación socialEn esta categoría se describen las opiniones acerca del modo

en que la escuela conoce y comprende las condiciones, necesi-dades y demandas de la comunidad, así como a la forma en la que se integra y participa de la cultura comunitaria. El 53% de los docentes comentó que en la escuela se fomentan, en gran parte, los valores implícitos en la misión de la escuela y que las relaciones entre el personal y la comunidad son de con!anza.

El 61% de los maestros indicó que el personal, padres de fa-milia y miembros de la comunidad participan en la toma de decisiones acerca de las acciones en bene!cio de la escuela. Por otro lado, el 49% opinó que los padres de familia están organi-zados y participan en las tareas educativas con los docentes, son informados con regularidad sobre el progreso y rendimiento de sus hijos y tienen canales abiertos para expresar sus inquietudes y sugerencias. Asimismo, el 56% reportó que, en gran parte, la comunidad escolar se autoevalúa, busca la evaluación externa y la usa como una herramienta de mejora y no de sanción.

Los docentes expresaron que la escuela se abre a la sociedad y le rinde cuentas de su desempeño (43%) y que existe una buena relación entre docentes y estudiantes (59%). Indicaron también que los estudiantes aprenden en la escuela elementos importantes para la vida (57%) y que se ha fomentado la iniciativa y creati-vidad de la comunidad escolar en el diseño de las actividades del "0' (52%).

Como se aprecia en la tabla siguiente, los profesores mani-festaron una percepción positiva en cada uno de los elementos de la participación social del instrumento.

Tabl

a 4.

Pro

med

ios e

n la

cate

goría

de p

artic

ipac

ión

socia

l

Ítem

Med

iaD

esvi

ació

n Es

tánd

arEx

iste u

na b

uena

relac

ión

entre

doc

ente

s y es

tudi

ante

s.2.

59.5

1

Los e

studi

ante

s apr

ende

n en

la es

cuela

elem

ento

s im

porta

ntes

par

a la v

ida.

2.55

.54

Los p

adre

s de f

amili

a está

n or

gani

zado

s y p

artic

ipan

en la

s tar

eas e

duca

tivas

con

los d

ocen

tes,

son

info

rmad

os co

n re

gular

idad

sobr

e el p

rogr

eso

y re

ndim

iento

de s

us h

ijos y

tien

en ca

nales

ab

ierto

s par

a exp

resa

r sus

inqu

ietud

es y

suge

renc

ias.

2.40

.65

En la

escu

ela se

fom

enta

n lo

s valo

res i

mpl

ícito

s en

la m

isión

de l

a esc

uela.

2.34

.59

Se h

a fom

enta

do la

inici

ativ

a y cr

eativ

idad

de l

a com

unid

ad es

colar

en el

dise

ño d

e las

ac

tivid

ades

del

"0'.

2.31

.63

La es

cuela

se ab

re a

la so

cieda

d y

le rin

de cu

enta

s de s

u de

sem

peño

.2.

25.7

2

Las r

elacio

nes e

ntre

el p

erso

nal d

e la e

scue

la y

la co

mun

idad

son

de co

n!an

za.

2.24

.63

La co

mun

idad

esco

lar se

auto

evalú

a, bu

sca l

a eva

luac

ión

exte

rna y

sobr

e tod

o la

utili

za co

mo

una h

erra

mien

ta d

e mejo

ra y

no

de sa

nció

n.2.

13.6

6

El p

erso

nal,

los p

adre

s de f

amili

a y m

iembr

os d

e la c

omun

idad

a la

que a

tiend

e la e

scue

la pa

rticip

an en

la to

ma d

e dec

ision

es y

en la

dec

isión

de a

ccio

nes e

n be

ne!c

io d

e la e

scue

la.2.

07.6

2

Prom

edio

2.32

.62

60 61

Centros de diferente nivel socioeconómico. A continuación se presentan las percepciones acerca de estas aportaciones en cen-tros de atención múltiple de diferente nivel socioeconómico: las zonas norte (alto) y sur (bajo):

Gra#ca 2. Aportaciones del "#$ en la zona sur

De acuerdo con la respuesta de los maestros en la zona sur, se percibe una mayor aportación del "#$ al centro escolar, princi-palmente en cuanto a adquisición de materiales (44%), consi-derados prioridad al trabajar con los alumnos. En cuanto a las aportaciones institucionales, por ser una zona de escasos recur-sos, 35% de los docentes indicó que las principales mejoras fue-ron en infraestructura, y sobre las aportaciones pedagógicas y al mejoramiento del contexto escolar, el 13% y 8% de los docentes, respectivamente, perciben que el "#$ ha contribuido a mejorar sus centros en estos aspectos.Las aportaciones que los docentes de la zona norte identi!caron se relacionan también con las mejoras en materiales (59%). Opinaron que esta aportación es muy importante, sobre todo por la diversidad de estos centros. En cuanto a las aportaciones institucionales, el 23% percibe que el "#$ contribuyó a mejorar sus escuelas en este aspecto. En cuanto a las aportaciones peda-gógicas y del contexto escolar, el 14% y el 4% reportaron que el "#$ contribuyó signi!cativamente a mejorar el trabajo de sus centros en estos aspectos.

Grá#ca 3. Aportaciones del "#$ en la zona norte

En cuanto a las fortalezas generales del "#$, en estos centros educativos se identi!caron cuatro tipos principales que son: pe-dagógicas, acciones, recursos y apoyos.

Entre las fortalezas pedagógicas se mencionaron: el trabajo en equipo, mejoramiento del trabajo docente, capacitación, pro-gramación, diplomados, participación en visión, misión, metas y objetivos, reuniones y desarrollo de actividades. En las fortalezas vinculadas con las acciones que se iniciaron en la organización: mejora de la comunicación, organización, participación, trabajo con el niño, continuidad del "#$, compromiso y motivación. En cuanto a los recursos, que deben continuar los apoyos peda-gógicos y económicos y que deberían proporcionarse tanto a nivel personal como familiar.

A continuación se describen los porcentajes de las grá!cas de acuerdo a las fortalezas identi!cadas por los docentes de las zonas norte y sur.

En la grá!ca 4 se presentan las fortalezas identi!cadas por los docentes de la zona sur que destacan principalmente en lo pedagógico, con 38%. En cuanto a las acciones que se iniciaron o mejoraron en los centros, un 28% de los docentes consideró ésta como una de las fortalezas del "#$. Los apoyos que aporta el "#$ y que los maestros consideran en los centros, fueron iden-ti!cados por un 24% de los profesores como importantes porque permiten la continuidad del trabajo. Finalmente el 10% indicó

Materiales

Institucional

Pedagógicas

Contexto Escolar

Materiales

Institucional

Pedagógicas

Contexto Escolar13%

8%

35%

44%

14%4%

23%59%

62 63

que los recursos se mantendrán mientras el personal siga invo-lucrado con el programa.

Grá#ca 4. Fortalezas de la zona sur

Como se observa en la grá!ca siguiente, las fortalezas peda-gógicas fueron identi!cadas por un 54% de los docentes como prioridad, mientras que los recursos importantes para el trabajo de calidad fueron considerados por un 25% como muy impor-tantes, y un 21% de los docentes indicó que las acciones iniciadas o mejoradas fueron otra fortaleza esencial del "#$.

Gra#ca 5. Fortalezas de la zona norte

Percepciones de los padres acerca de las aportaciones del PEC. Los resultados de los grupos de enfoque dirigidos a los padres de los estudiantes que asisten a los Centros de Atención Múltiple indican que perciben que los niños han mejorado en sus competencias motoras, psicomotrices, y que muestran ma-yor independencia en la elaboración de sus tareas. Los padres expresaron el deseo de mejorar su involucramiento en las ac-tividades escolares. Debido a las condiciones económicas de los estudiantes, muchos padres permanecen afuera de la escuela esperando que sus hijos terminen sus actividades diarias. Los padres desean que los directores les autoricen trabajar con los maestros en las actividades de los niños, e indicaron que desean mejorar aún más las instalaciones escolares porque todavía re-quieren algunas reestructuras para adecuarlas a las necesidades de los niños con discapacidad. Además, desearían que hubiera al menos dos docentes trabajando con los niños en el aula para brindarles una mejor atención.

Los padres también a!rmaron que desean recibir capacita-ción e información sobre cómo ayudar mejor a sus hijos. Y las madres desean involucrar a los padres para que las apoyen en las actividades de sus hijos. Asimismo, a!rmaron querer saber más acerca del "#$ y sus objetivos, que desearían se incremen-tara el número de días que sus hijos asisten a la escuela, y que el centro proporcione transporte escolar.

Como resultado de esta parte del estudio se desarrollaron una tesis y un proyecto de verano de investigación de la Academia de Ciencias.

Percepciones de los directores acerca de las aportaciones del PEC. Los directores de los Centros de Atención Múltiple opinaron que el "#$ ha contribuido a mejorar las habilidades de los pro-fesores en cómo tratar a los estudiantes con discapacidad. También ha favorecido la adquisición de material didáctico ne-cesario para la enseñanza de los niños. Asimismo, en menor medida, el "#$ ha contribuido a mejorar la infraestructura de la escuela, principalmente en la reparación de salones, adquisición

Pedagógicas

Acciones

Recursos

Apoyos

Pedagógicas

Acciones

Recursos

Apoyos

10%

21%

24%

25%

28%

0%

38%

54%

64 65

de mobiliario, etc. También opinaron que la mayor parte de los profesores han cambiado su visión de la escuela, han incremen-tado su compromiso hacia el aprendizaje de los niños, están más abiertos a involucrar a los padres en las actividades escolares, y que el programa ha ayudado a mejorar la planeación de sus actividades.

Entre las desventajas de participar en el "#$, los directores mencionaron el exceso de papeleo burocrático que implica y los múltiples informes que deben entregar, e igualmente a!rmaron que el apoyo proporcionado por el "#$ es insu!ciente y llega con retraso. Además, las escuelas no pueden utilizar los fondos para otros !nes más que aquellos previamente determinados por el programa. Esto excluye apoyos básicos para apoyar a los niños con necesidades especiales que, a pesar de ser indispensables, no están contemplados por el "#$.

Los administradores también reconocieron que el "#$ no proporciona capacitación para todo el personal de la escuela y que cuando está disponible no siempre corresponde a las nece-sidades reales de los docentes. A los administradores les gustaría que el "#$ permitiese hacer gestiones de apoyo adicionales y contratación de personal.

También expresaron que existen problemas relacionados con la organización y administración de los recursos, así como en cuanto a la responsabilidad compartida, principalmente en el caso de escuelas que trabajan en dos turnos y en las que hay dos directores. Los administradores también expresaron que desean se realice una evaluación externa del programa, que se les pro-porcione más información del "#$, así como más capacitación para que ellos puedan apoyar mejor su implementación.

Estudios de casos. Además de las encuestas a docentes, los grupos de enfoque con padres y entrevistas a directores, se llevaron a cabo estudios de caso en diferentes Centros de Atención Múltiple ($03) con la intención de clari!car el concepto de calidad educativa utilizado en el contexto de las escuelas y veri!car en qué medida el pro grama contribuye a mejorar la calidad de las escuelas participantes

de acuerdo con sus necesidades reales. Asimismo, estos estu-dios de caso permitieron comprender con mayor profundidad cómo las características del contexto de las escuelas favorecen o no la implementación exitosa del programa. A continuación se describen los principales resultados de estos estudios.

(a) Estudio de caso de la in$uencia de la cultura escolar en un CAM de la ciudad de Mérida

En este centro escolar se encontró que los maestros y la di-rectora demostraron, en sus actividades diarias, interés en mejorar su institución y que le dan importancia al papel que desem peñan en su comunidad escolar. Perciben que la participación del per-sonal en el "#$ es positiva a pesar de las carencias materiales, la di!cultad de cambiar costumbres negativas de algunos miem-bros, la escasa participación de los padres y los desacuerdos que, al parecer, existen entre algunos de ellos, y todo lo que de alguna manera in6uye en forma negativa en el desempeño de los niños. A pesar de los bene!cios obtenidos por la escuela gracias a su participación y a la mejora de la infraestructura, ésta fue cali!-cada como inadecuada para la realización de las actividades esco-lares. Los espacios son pequeños y al compartirse se presentan con6ictos entre el personal, principalmente por el ruido que se genera durante las clases de educación física y artística. Otro problema de falta de espacios adecuados tiene lugar en la biblio-teca, que funciona prácticamente como o!cina de la maestra de .*0#, a falta de otro espacio disponible.

Durante las observaciones se identi!có que la infraestructura y equipo requieren mejoras porque el estado que guarda el mo-biliario escolar es pobre, está muy desgastado y viejo, incluso algunos muebles fueron cali!cados como un “peligro para los niños”. Por otro lado, gracias al "#$, la escuela ahora cuenta con una sala de cómputo y el servicio de enciclomedia en cuatro de sus salones.

De acuerdo con los diferentes actores, el ambiente escolar que priva en la escuela es de compañerismo y participación. Ese ambiente positivo y de apertura, apoyado por el director de la

66 67

escuela, facilita que los maestros expresen sin temor lo que piensan y que las decisiones se tomen por consenso. A raíz del "#$, se ha incrementado el interés porque los maestros participen en acti-vidades de desarrollo profesional.

El director y los docentes perciben que la baja participación y compromiso de los padres en las actividades académicas de sus hijos, parece ser un problema común en todos los grados. A pesar de que los maestros son conscientes de las ocupaciones de los pa-dres de familia, opinan que podrían participar más o estar más pendientes de sus hijos. Tanto académica como personalmente el director de la escuela piensa de manera similar. Los resultados generales de este estudio de caso hacen evidente la problemática y di!cultades que enfrenta una organización escolar que sirve a ni-ños con diferentes necesidades educativas. Al observar el aula se evidenciaron los problemas de disciplina y las di!cultades de los docentes para controlar al grupo, la complejidad y multiplicidad de factores que in6uyen en el mejoramiento escolar, y la imposibi-lidad de que un solo programa, como el "#$, pueda lograr por sí solo resolver la problemática y mejorar el logro académico de los estudiantes.

Este estudio dio lugar a una tesis de posgrado que examinó con mayor profundidad el papel de la disciplina adoptada por la escuela en el aprovechamiento de los estudiantes y el nivel de cambio en la organización (Pool, 2007)

(b) Estudio de la cultura organizacional y la implemen-tación del PEC en una escuela rural

Los resultados de este estudio indican que la cultura organi-zacional está en plena conformación, que las dinámicas de inte-racción permiten la construcción-deconstrucción de los acuerdos tácitos de los integrantes en cuanto a las formas de comporta-miento hacia dentro de la organización escolar. En este sentido, estos procesos de relación permiten crear la cultura organizacio-nal, de manera constante y permanente, lo cual está de acuerdo con la literatura sobre el tema, (Hosking, 2006; Lozares, 1999; Gary, Bougon, Donnellon, 1985; Molina, 2004).

Los resultados indican que todos los miembros de la insti-tución consideran que se han logrado avances a raíz de la imple-mentación del Programa Escuela de Calidad ("#$) y que la cultura existente ha facilitado este proceso. Los datos recabados en cuan-to a las cali!caciones obtenidas por los alumnos desde el inicio del "#$, indican que hubo un incremento en el aprovechamien-to a raíz de la participación de la escuela en el "#$. En este sentido, los resultados apoyan los resultados de las investigacio-nes sobre el "#$ que demuestran que aquellas instituciones en donde se ha aplicado, tanto a nivel local como administrativo, han tenido una mejoría leve en su funcionamiento y en el apro-vechamiento académico de los alumnos, como en el caso de este plantel (Bracho, 2001; Carrillo, Duarte, Bazán, 2003; Bracho, Mendieta, Camacho, 2004; Bracho, Mendieta, Reyes, 2004; Loera, Varela, 2005).

El estudio de caso ilustra las di!cultades para implementar el "#$, un programa que favorece el liderazgo de la comunidad en un contexto acostumbrado a que el único líder sea el director. Se detectó que en este centro escolar existe un alto grado de rotación del personal, pero la presencia de una profesora con mucha experiencia y preparación en el trabajo con estudiantes de diferente herencia cultural y étnica ha sido esencial para pro-mover la cohesión entre el personal y una cultura comunitaria. Un estudio del clima realizado en la escuela también destaca el importante papel de esta profesora en el grado de cohesión y compromiso del personal y su interés en la adopción de innova-ciones. De hecho, ella fue identi!cada como la líder. Sin embar-go, la directora, quién recién llegó a la institución, la ve como una amenaza a su puesto y trata de contrarrestar o minimizar el reconocimiento que recibe del personal. Esto es contrario no solo a la !losofía del "#$, que promueve el liderazgo de la co-munidad escolar y una participación activa de todos los actores en la toma de decisiones, sino que demuestra que a pesar de esfuerzos y cambios estructurales promovidos por el programa, es insu!-ciente si no se toman en cuenta los cambios culturales requeridos acerca de la concepción de liderazgo en las escuelas.

68 69

La investigación dio lugar a una tesis de maestría que exa-minó con mayor profundidad la utilidad del modelo de Go=ee y Jones (2001) en el estudio de la cultura en organizaciones educativas (Ceballos, 2007).

(c) El Programa Escuelas de Calidad en tres Centros de Atención Múltiple (CAM)

El estudio dio lugar a una tesis de maestría que examinó con mayor profundidad estos hallazgos, así como el signi!cado de calidad para cada uno de los centros en relación con el concepto de calidad propuesto por el "#$ (Leo, 2007).

Los resultados de estos estudios indican que los tres Centros de Atención Múltiple comparten necesidades en cuanto a in-fraestructura, capacitación, recursos y resultados, pero el grado y necesidad de estas necesidades varía de acuerdo al contexto, características de las instituciones, alumnos y servicios que brin-da cada $03. Por ejemplo, en infraestructura, las necesidades de cada centro se vinculan con las características especiales de los estudiantes a los que sirven, ya que uno sirve a niños con nece-sidades de aprendizaje, otro a estudiantes con discapacidad au-ditiva y otro atiende a niños con discapacidades múltiples. En los tres centros se encontró que todavía existe la necesidad de mejorar las instalaciones para incrementar el acceso y los servicios a los alumnos.

En cuanto a infraestructura, las necesidades fueron diferentes en cada centro escolar, lo que implica costos diferentes. Lo mis-mo ocurre en el caso de la capacitación que requieren los docen-tes de cada centro: no es la misma.

En el $03 1 la capacitación requerida fue para ampliar y adquirir conocimientos en las diferentes +## de los alumnos, ya sea en técnicas de enseñanza, aprendizaje, pláticas con especia-listas, actualización de información, así como identi!car nece-sidades especiales de los estudiantes o cómo cuidarlos, ya que en algunos centros pasaron de tener estudiantes con una discapa-cidad a tener de discapacidades múltiples, y no estaban prepa-rados para este cambio. En el $03 2 la necesidad de capacitación

se dirigió a la adquisición de materiales para discapacidades y problemas de lenguaje, y en el $03 3 los docentes compartieron la opinión de contar con capacitación en el manejo y uso de la computadora, así como de los programas de educación especial.

Los docentes opinaron que esta capacitación es necesaria para mejorar los servicios que presta su institución, para que de esta manera mejoren los resultados de aprendizaje de sus estudiantes. Debido a que cada centro requiere de una capacitación diferente, el "#$ debe tomar en cuenta las necesidades de los maestros de cada $03 al momento de ofertar cursos de capacitación, ya que no son adecuados a sus necesidades personales ni a las de su institución.

En cuanto a los recursos, los tres $03 tienen necesidad de contar con mayores recursos económicos para material didác-tico. Para el centro que atiende necesidades de alumnos con múltiples discapacidades, esto hace que los materiales sean más costosos pero más necesarios. En algunos casos, además de materiales didácticos se requiere de mobiliario apropiado a las necesidades especiales de los niños. Asimismo, es de vital im-portancia incrementar las contrataciones de personal especia-lizado. La adecuación y mejora en las instalaciones demanda mayores recursos económicos.

Los tres Centros de Atención Múltiple comparten la necesi-dad de mejorar los servicios dirigidos a los padres de familia, hacia los docentes y, con mayor razón, a los alumnos. Aunque los docentes y directivos están conscientes de que los resultados que se pudieran conseguir son a largo plazo, mejorar las áreas que lo requieren logrará que los centros cuenten con un respaldo para satisfacer las necesidades educativas especiales de los alum-nos, así como su calidad de vida.

Docentes y directores indicaron que a raíz de participar en el programa adquirieron mayor compromiso y responsabilidad hacia su institución, ya que la planeación de las actividades im-plica trabajo en equipo, lograr acuerdos y aumentar las respon-sabilidades para cumplir con las metas propuestas, y gracias a

70 71

esto se ampliaron los canales de comunicación entre docentes y directores y compartieron ideas y experiencias.

Los diferentes actores (administradores, docentes, padres) opinaron que los recursos económicos no son su!cientes para cubrir las necesidades de los $03 y que no deben ser equitativos para todas las instituciones, ya que deben tomarse en cuenta las características de los centros y sus necesidades, así como los cos-tos que la adquisición de los recursos implica para cada centro. Por otra parte, el hecho de que los recursos que proporciona el "#$ deban suscribirse a una sola lista predeterminada por la *#" es un problema porque ésta en muchas ocasiones no es perti-nente a las necesidades de los centros.

De acuerdo con los directores, el "#$ ha contribuido a me-jorar la administración y manejo de los recursos, pero los trámi-tes burocráticos son tan largos que los recursos no llegan en el tiempo planeado, lo que ocasiona que no puedan cubrir las ne-cesidades de sus centros en el momento oportuno, opinión com-partida por todos los docentes y administradores. Asimismo, la decisión de contratar a compañías especí!cas para las modi!ca-ciones de la infraestructura en los centros representa problemas porque, en ocasiones, las empresas no son la mejor opción. Esto se apreció en una de las escuelas donde las rampas para las sillas de ruedas resultaron demasiado angostas y “empinadas”.

(d) Estudio de la in$uencia del contexto en la efectividad del Programa Escuelas de Calidad

El estudio dio lugar a una tesis de posgrado que examinó cuestiones críticas relacionadas con las características de las fa-milias y su in6uencia en la implementación del programa (Briceño, 2007).

Los resultados del estudio se centran en cómo las caracterís-ticas del contexto escolar in6uyen en la implementación del Programa Escuelas de Calidad en un Centro de Atención Múltiple de la ciudad de Mérida caracterizado por la alta mar-ginación, múltiples discapacidades y analfabetismo de los padres. De acuerdo con los resultados obtenidos se puede concluir que

los involucrados consideran positiva la forma como el "#$ se implementó. Sin embargo, las observaciones de campo indican que el estilo de gestión, elemento central del programa, no siem-pre coincide con el modelo que lo sustenta. Como la literatura expresa, el programa propone entre sus postulados introducir un nuevo modelo de autogestión basado en los principios de libertad en la toma de decisiones, liderazgo compartido, trabajo en equipo, planeación participativa, evaluación para la mejora continua, participación social responsable y rendición de cuen-tas, a !n de constituirse en una Escuela de Calidad (*#", 2006).

El "#$ logró satisfacer algunas necesidades primordiales del $03 estudiado, principalmente las relacionadas con recursos y equipamiento como apoyo a la enseñanza por medio de la ad-quisición de materiales. Sin embargo, aún es necesario adquirir más y mejores recursos que apoyen al aprendizaje y sean con-gruentes con las necesidades educativas especiales de los estu-diantes. Estos resultados son consistentes con los que presentaron Anzurez y el Equipo de Evaluación Cualitativa de Coahuila (2003). Ellos postulan que en muchas escuelas el equipo adqui-rido por medio del "#$ aún no se convierte en un apoyo efectivo para el aprendizaje, ya que adquirirlo se ha convertido en un !n más que en un medio para apoyar la enseñanza.

A pesar de estos bene!cios, no se está logrando que el centro asuma su responsabilidad en cuanto a la enseñanza y los resul-tados de aprendizaje de los estudiantes, ya que la reglamentación y la política educativa marcan la pauta y el rumbo de la ense-ñanza a la cual deben apegarse los centros escolares. De acuerdo con el objetivo del programa, el proceso educativo debe ser re-sultado de la actuación coordinada de toda la comunidad escolar (*#", 2006), lo cual en este centro no pasa.

De la misma forma se encontraron algunas de!ciencias en la implementación del "#$ relacionadas principalmente con la toma de decisiones ya que aún es escasa la participación de los docentes y de los padres. A pesar de esto, los miembros de la comunidad consideran que el "#$ ha brindado oportunidades de mayor participación entre los docentes y la administración y

72 73

ha contribuido a mejorar los canales de comunicación entre ellos y los padres de familia, lo cual antes de su ingreso al programa no sucedía.

Esto podría ser evidencia de que aunque el objetivo no se ha cumplido totalmente, sí se avanzó. Lo anterior es importante porque, como establecen los objetivos del "#$, la participación social debe concebirse como un mecanismo para que las personas se involucren en los procesos de toma de decisiones, implemen-tación de acciones y la socialización de los valores comunes (*#", 2006), lo que no se ha consolidado en este centro educativo durante su participación en el programa.

Los resultados obtenidos son consistentes con Villar (1995), quien concluye que aunque el programa ha sido importante en la educación, actualmente tiene limitaciones tanto a nivel de la implementación como en su concepción como modelo técnico. Esto es consistente con Mijangos (2004) y Anzurez (2003), quie-nes concluyen que en las escuelas es sumamente importante la participación de los padres de familia, ya que las actividades de apoyo y mejora de la escuela se realizan a través de la Sociedad de Padres de Familia, pero los consejos escolares no están debi-damente constituidos, puesto que en la mayoría, los integrantes no están enterados de en qué consiste su participación, no saben sus funciones y tampoco conocen el contenido del Proyecto Escolar ni saben cómo funciona.

Aunque el programa propone que el centro escolar tenga autonomía en la toma de decisiones, quienes coordinan el pro-grama in6uyen en la forma en que los recursos son utilizados y limitan la autonomía, por lo que las autoridades son quienes deciden qué recursos pueden utilizarse y en qué forma.

En cuanto a las características de los alumnos, sus familias y el contexto escolar, se encontró que sí in6uyen en la implemen-tación del programa. Principalmente, algunos padres de familia con alta marginación y analfabetismo limitan su participación en las decisiones y en las actividades relacionadas con el progra-ma. Consecuentemente, esto limita la posibilidad de que el pro-grama funcione con la autonomía deseada.

Aunque la *#" (2006) reconoce la in6uencia del contexto social, cultural y económico en la calidad educativa, así como en el funcionamiento y la dinámica de la escuela en su interior y en el compromiso y la participación de los integrantes de la comunidad escolar, no está proveyendo apoyo alguno para que el programa pueda adaptarse exitosamente dadas las diferencias y limitaciones del contexto de la escuela.

Durante la realización del estudio emergieron del contexto cuestiones críticas que es importante considerar, y que deben ser abordadas con mayor profundidad en futuras investigaciones. Una de estas cuestiones es la falta de preparación de los docentes en múltiples discapacidades, lo que limita la efectividad del pro-grama, dado que di!culta el logro de los objetivos educativos y, por ende, no propicia un aumento en la calidad de la educación que los estudiantes reciben, propósito principal del programa.

De igual forma, incluir a niños con discapacidades múltiples en un centro de educación especial que no tiene estos objetivos ni los recursos para atenderlos, puede restringir las oportunidades educativas de los estudiantes. Dado que las demandas son diver-sas y los docentes carecen de preparación adecuada, esto limita su desempeño y posibilidades de contribuir al aprendizaje y edu-cación de los niños.

Es necesario que futuros estudios profundicen en la in6uen-cia que tiene el contexto en la implementación de un programa de mejoramiento en otros centros de educación especial.

(e) Estudio de caso de estrategias para estimular el desa-rrollo integral cognitivo de niños con discapacidad cognitiva

En el proceso de evaluación del "#$ en este centro escolar, los docentes determinaron implementar estrategias de juego y psicomotricidad para contribuir al aprendizaje de los alumnos de tercer grado de primaria especial con discapacidad cognitiva. Los recursos para implementar estas estrategias fueron adquiri-dos con recursos del "#$.

Los resultados de este estudio indican que el uso de esas estrategias contribuyó a mejorar el entusiasmo y participación

74 75

de los niños en sus actividades de aprendizaje. Sin embargo, los resultados académicos no fueron signi!cativos debido al tipo y características de los estudiantes, ya que muchos de ellos poseen discapacidades múltiples.

Estos resultados son importantes porque algunos estudios de evaluación del "#$ enfatizan la necesidad de evaluarlo con base en los resultados de desempeño de los estudiantes que par-ticipan en el programa y los resultados de las pruebas de apro-vechamiento. Esto es particularmente problemático porque está basado en una inferencia de causalidad que no toma en cuenta los factores que in6uyen en el aprendizaje de los estudiantes, las características de los centros y las necesidades de educación es-pecial de los alumnos.

Referencias

Anzurez, J. (2003). El Programa Escuelas de Calidad en el Estado de Coahuila: Reporte de una Evaluación Cualitativa. Equipo

de evaluación cualitativa del PEC. Ponencia presentada en el &7 Congreso del Consejo Mexicano de Investigación Educativa. Guadalajara Jalisco, México.

Ashford, G., and Patkar, S. (2001). !e Positive Path: Using Appreciative Inquiry in Rural Indian Communities. Winnipeg, Manitoba: International Institute for Sustainable Development.

Bracho, T. (2001). Programa Escuelas de Calidad, PEC. Primera Evaluación Externa. Centro de Investigación y Docencia Económicas. México.

Bracho, T. (Coord.), Mendieta, G. y Camacho, A. (2004). Evaluación Externa del Programa Escuelas de Calidad (PEC), 2004. México, D.F. Recuperado el: 8 de diciembre de 2005. Disponible en: http://basica.sep.gob.mx/dgdgie/escuelasde-calidad/pdfs/CIDE2004.pdf

Bracho, T., (Coord), Mendieta, G. y Reyes, D. (2004). El Programa Escuelas de Calidad. PEC 2001-2003: Evaluación

externa. Primer borrador. México, D.F. Recuperado el: 8 de diciembre de 2005. Disponible en: http://basica.sep.gob.mx/dgdgie/escuelasdecalidad/pdfs/CIDE2003.pdf

Brandon, P. R. “(1998). Stakeholder Participation for the Purpose of Helping Ensure Evaluation Validity: Bridging the Gap Between Collaborative and Non-Collaborative Evaluations. American Journal of Evaluation, 1998, 19(3), 325–337.

Briceño, M. M. (2007). Características del contexto y su in$uencia en la implementación del programa escuelas de calidad en un centro de atención múltiple. Tesis de maestría no publicada. Universidad Autónoma de Yucatán, México.

Carrillo, F., Duarte, F. y Bazán, Javier, (2003). Evaluación Cualitativa del Programa Escuelas de Calidad. Ciclo 2001-2002, línea de base, Escuelas Primarias, Documento para su discusión. Recuperado el 3 de enero de 2006. Disponible en: http://www.heuristicaeducativa.org/nacional/REPNac1.pdf

Ceballos, A. (2007). La cultura organizacional como factor de influencia en un Programa de Mejora Escolar. Tesis. Universidad Autónoma de Yucatán, México.

Compton, D. W., Glover-Kudon, R., Smith, I. E., and Avery, M. E. “Ongoing Capacity Building in the American Cancer Society”, en: D. W. Compton, M. Baizerman, and S. H. Stockdill (eds.), !e Art, Craft, and Science of Evaluation Capacity Building. New Directions for Evaluation, no. 93. San Francisco: Jossey-Bass, 2002.

Cousins, J. A. & Earl, L. (1992). ;e case for participatory evaluation, en: Educational Evaluation and Policy Analysis, 14, (4), 397-418.

Fetterman, D. (2000). Foundations of empowerment evaluation: Step by step. ;ousand Oaks, CA: SAGE.

Green, J.C. (2000). Challenges in Practicing Deliberative Democratic Evaluation, en K. Ryan & L. DeStefano (Eds). Evaluation as a Democratic Process: Promoting Inclusion, Dialogue and Deliberation. New Directions for Evaluation, No. 85, San Francisco, CA: Jossey Bass.

76 77

Gary, Barbara, Bougon, Michel G., Donnellon, Anne, (1985). Organizations as constructions and destructions of Meaning, en: Journal of Management, (1985), Vol. 11 Nº 2, p. 83-98. Recuperado el 8 de septiembre de 2007. Disponible en Base de datos, EBSCO, ED5692832

Go=ee, Rob, Jones, Gareth, (2001). El Carácter Organizacional. Cómo la cultura corporativa puede crear o destruir negocios. Barcelona: Ediciones Granica, S. A.

Greene, J. C. (2000). Challenges in Practicing Deliberative Democratic Evaluation, en; K. E. Ryan and L. DeStefano (eds.), Evaluation as a Democratic Process: Promoting Inclusion, Dialogue, and Deliberation. New Directions for Evaluation, no. 85. San Francisco: Jossey-Bass, 2000.

Guba, E. & Lincoln, Y. (1999). Forth Generation Evaluation. Newbuty Park, CA: SAGE.

House, E., and Howe, K. R. Values in Evaluation and Social Research. ;ousand Oaks, Calif.: Sage, 1999.

Hosking, Dian M. (2006). Social constructionism and relational theory Relational processes as processes of construction. Recuperado el 5 de abril de 2007. Disponible en: http://www.geocities.com/dian_marie_hosking/reltheory.html

King, J. “Building the Evaluation Capacity of a School District.” In D. W. Compton, M. Baizerman, and S. H. Stockdill (eds.), ;e Art, Craft, and Science of Evaluation Capacity Building. New Directions for Evaluation, 93. San Francisco: Jossey-Bass, 2002.

Leo, A. (2007). Percepción de docentes y directores acerca de un programa de mejoramiento escolar. Tesis. Universidad Autónoma de Yucatán, México.

Loera Varela, Armando, (2005). Cambios en las escuelas que participan en el PEC 2001-2004. Heurística educativa. Reportes nacionales. Fase 3. Evaluación Cualitativa del Programa Escuelas de Calidad. Recuperado el 14 de enero de 2006. Disponible en: http://basica.sep.gob.mx/DGDGIE/escuelasdecalidad/Evaluaciones/Documentos/Evaluaciones%20de%20Heuristica/Cambios%20en%20la%20Participaci%C3%B3n%20Social.pdf

Lozares, C. (1999). La Teoría de redes sociales. Recuperado el 15 de octubre de 2006. Disponible en: http://seneca.uab.es/antropologia/jlm/ars/paperscarlos.rtf

Mathison, S. “Deliberation, Evaluation, and Democracy”, en: K. E. Ryan and L. DeStefano (eds.), Evaluation as a Democratic Process: Promoting Inclusion, Dialogue, and Deliberation. New Directions for Evaluation, 85. San Francisco: Jossey-Bass, 2000

MacNeil, C. Evaluator as Steward of Citizen Deliberation. American Journal of Evaluation, 2002, 23(1), 45–54.

Martineau, J. & Preskill, H. (2002). Evaluating the Impact of Organization Development Interventions, en: J. Waclaski, & A. Churge (Eds). Organizational Development: A Data Driven Approach to Organizational Change. San Francisco, Jossey Bass.

Mijangos, M. (2004). Evaluación heurística en dos estudios de caso Tabasco. Foro Internacional. México. [En red] Disponible en: http://www.setab.gob.mx/foro_intl/mesas/mesa3/ma_hortensia_mijangos.htm

Molina, José L., Aguilar, Claudia, (2004). Redes sociales y antro-pología: un estudio de caso (discursos étnicos y redes personales entre jóvenes de Sarajevo). Artículo en red, recuperado el 15 de octubre de 2006. Disponible en: http://seneca.uab.es/antropologia/jlm/public_archivos/Redyant.pdf

O’Sullivan, R. G., y O’Sullivan, J. M. (1998). Evaluation Voices: Promoting Evaluation from Within Programs Through Collaboration. Evaluation and Program Planning, 21, 21–29.

Odell, M. (2002). Beyond the box: An innovative habitat for humanity paradigm for participatory planning, monitoring and evaluation. Measuring and Increasing Program impacts with appreciative inquiry. Americus, G. A. Habitat for Humanity International.

Patton, M. Q. Utilization-Focused Evaluation: !e New Century Text. (3rd ed.) ;ousand Oaks, Calif.: Sage, 1997.

Pool, M. (2007). Variables psicológicas del entorno y su in$uencia en la efectividad de un programa de cambio organizacional. Tesis de maestría no publicada, Universidad Autónoma de Yucatán, México.

78 79

Preskill, H. y Caracelli, V. Current and Developing Conceptions of Use: Evaluation Use TIG Survey Results, en: Evaluation Practice, 1997, 18(3), 209–225.

Preskill, H., & Coghlan, A. T. (2003). An Overview of Appreciative Inquiry in evaluation, en: Using Appreciative Inquiry in Evaluation. New Directions for Evaluation. Jossey Bass.

Preskill, H. & Coghlan, A. T. (Eds.). (2003). Appreciative inquiry and evaluation. New Directions for Program Evaluation, 100. San Francisco: Jossey-Bass.

Preskill, H., y Torres, R. T. (1999). Evaluative Inquiry for Learning in Organizations. ;ousand Oaks, Calif.: Sage.

Rossman, G. B. & Rallis, S. F. (2000) Critical Inquiry and Use as Action, en: V. J. Caracelli & H. Preskill, (Eds.). !e Spandingscope of Evaluation Use. New Directions for Evaluation, No. 88, San Francisco, CA: Jossey-Bass.

Scriven, M. (1991). Evaluation ;esaurus. Newbury Park, CA: SAGE.

*#" (2006). Estadística Básica del Sistema Educativo Nacional. Fin de cursos 2004-2005. Secretaría de Educación Pública. Autor.

Stake, R. (1975). Program Evaluation: Particularly Responsive Evaluation. Conferencia presentada en la Conference on New Trends in Evaluation. Ilinois: $&,*#.

Stake, R.E., (2006). Evaluación comprensiva y evaluación basada en estándares. Albino Santos Mosquera (trad.), Graó, &*>+ 978-84-7827-418-5

Stu4ebeam, D. L. (1983). ;e CIPP Model for Program Evaluation, en: G. F. Madaus, M. Scriven, & D. L. Stu4ebeam (Eds.), Evaluation Models (Chapter 7, pp. 117-141). Boston: Kluwer-Nijho=.

Torres, R. T. & Preskill, H. (2001) Evaluation and Organizational Learning: Past, Present and Future, en: American Journal of Evaluation, 22, (3), 387-396.

Villar, R. (1995). “El Programa Escuela Nueva En Colombia”, en: Revista Educación y Pedagogía, 7, 14, 357-382.

Watkins, J. W. y Mohr, B. J. (2001). Appreciative Inquiry: Change at the Speed of Imagination. Jossey-Bass P=eifer

Webb, L. y Preskill, H. (2005). Bridging Two Disciplines: Applying Appreciative Inquiry to Evaluation Practice. AI Practitioner: !e international journal of AI best Practicioner. Disponible en lìnea: http://www.aipractitioner.com

Weiss, C. H. (1998). Evaluation (2nd. Edition), Upper Saddle River. NJ: Prentice Hall.

Whittney, D. y Trosten-Bloom, A. (2003). !e Power of Appreciative Inquiry. San Francisco, Berrett-Koehler.Wholey, J., Newcomer, K. E. y Hatry, H. P. (2004). Handbook

of Practical Program Evaluation. Jossey-Bass: USA

80 81

Capítulo 4CONCLUSIONES

El estudio de la evaluación como disciplina tiene una larga tradición en los países desarrollados, de donde proceden los principales constructos y teorías con énfasis en los componentes críticos que las de!nen, particularmente en relación con el desarrollo de programas y políticas, y en las distinciones crí-ticas que existen entre diferentes enfoques teóricos. Asimismo, en estos países se advierte una especialización y distinción en cuanto al uso del término evaluación en relación con otros conceptos a!nes.

En México, el desarrollo de la evaluación es más reciente y se ha enfocado principalmente en pruebas de aprendizaje, eva-luación de programas educativos, centros escolares y, más recien-temente, programas educativos. Pocos estudios de evaluación de programas sociales se han realizado en nuestro país basándose en los modelos teóricos desarrollados en el campo de la evaluación, y cuando se hace referencia a alguno de esos modelos, la meto-dología no siempre es consistente con los supuestos del modelo que lo sustenta, por lo que es necesario realizar investigaciones para determinar la pertinencia de estos modelos cuando son aplicados en otro países y culturas.

En esta obra se presentaron los resultados de la evaluación de la calidad de un programa social: el Programa Escuelas de Calidad en centros de atención múltiple del estado de Yucatán. El estudio utilizó los modelos de Investigación apreciativa de Preskill y Coghlan (2003) y el de Evaluación responsiva de Stake (1995, 2006) con la !nalidad de evaluar el programa en esos cen tros, así como determinar la pertinencia y relevancia de los mo-delos de evaluación en el contexto.

La metodología involucró técnicas múltiples de recolecta de datos: encuestas, entrevistas semiestructuradas, grupos de enfo-que, observación participante, y análisis documental. Los datos se colectaron en 27 Centros de Atención Múltiple ($03) del estado de Yucatán que participan del "#$ desde 2006.

82 83

El proyecto contó con la colaboración de la *#" y la Facultad de Educación de la Universidad Autónoma de Yucatán, y con-tribuyó a incrementar la formación de evaluadores en ambas instituciones, permitió retroalimentar a las escuelas y adminis-tradores del programa, e identi!car adaptaciones o modi!caciones necesarias para funcionar mejor, y para identi!car áreas de me-jora que contribuyan a favorecer la calidad del aprendizaje de los estudiantes.

Los resultados fueron consistentes con algunas investigaciones realizadas tanto en el extranjero como en México. En consistencia con los estudios de Bracho y colaboradores (2001, 2002, 2003, 2004 y 2006), Ortega, Navarro y Chavoya (899C) y Rodarte, Barraza y Barraza (2007), se encontró que en general, existe una percepción positiva del programa por parte de los diferentes actores, y que ha promovido el uso descentralizado de recursos a nivel del centro escolar. También se encontró, en consistencia con estos autores, que la cobertura del programa en Yucatán se ha incrementado a lo largo del tiempo, al igual que el tipo de escuelas participantes, y que en la medida que las escuelas per-manecen en el programa tienden a enfocarse más en objetivos académicos que en necesidades de infraestructura o equipo para el funcionamiento de sus centros.

Al igual que Bracho et al. (2003), Blasé y Blasé (1994), Rodríguez y Slate (2001), Liontos (1994) y Loera (2005), se en-contró que los actores perciben una mayor participación e invo-lucramiento de los docentes y padres en relación con el programa y las actividades del centro escolar.

Sin embargo, no se encontró evidencia en los estudios de caso de que el mayor involucramiento de padres y maestros esté llevando a una gestión más democrática y a una verdadera par-ticipación colectiva en las decisiones. Al contrario, la gestión participativa, elemento esencial del modelo que rige al programa, no se aplica, y la estructura de autoridad en el centro escolar sigue siendo piramidal, tal como indican los estudios de Rodríguez y Slate (2001), y Ponce de León (2007). Aunque los docentes a!rman haber incrementado su participación, al igual

que los padres, el director del centro escolar sigue controlando la toma de decisiones, y los padres solo son involucrados para adquirir fondos para apoyar el programa. Aun en el caso de es-cuelas donde los padres estaban dispuestos a ayudar en el aula, dado que permanecen afuera de la escuela esperando que sus hijos terminen su jornada escolar, tanto docentes como directo-res son renuentes a involucrarlos en las actividades académicas de los niños.

Aunque los directores han comenzado a involucrarlos, los docentes no tienen el poder de decisión pero sí se han incremen-tado sus responsabilidades, lo que en algunos casos les ha redun-dado en más estrés. Esto último es consistente con el enunciado de Naylor (2001).

Los estudios de caso realizados con base en el enfoque de evaluación responsiva proveyeron valiosa información que indica que el programa no responde a las complejidades del contexto y características de las escuelas, y que el concepto de calidad di!ere entre los centros, sus características y contexto. Si bien se encontró que tanto docentes como directores a!rman que se incrementó la capacitación de los docentes, las opciones disponibles para su actualización o capacitación no necesariamente responden a las necesidades de los centros, ya que la Secretaría de Educación tiene una lista única para todo tipo de escuelas que participan en el "#$. Es evidente que el uso de un solo listado para que los do-centes se actualicen es insu!ciente, sobre todo en los Centros de Atención Múltiple, caracterizados por diversidad de necesidades especiales, y donde los recursos son insu!cientes y no siempre apropiados para satisfacer las necesidades de los niños.

En consistencia con los estudios de Bracho y colaboradores se encontró que es necesario proveer capacitación y que ésta debe ser proporcionada a todos los actores, incluyendo a padres y a su-pervisores no solamente a docentes y directores. Además de esto es esencial que la capacitación responda a las necesidades de los centros escolares y a su contexto.

Es evidente también que el impacto del programa requiere ser evaluado, pero considerando el contexto escolar y las

84 85

características de los centros que participan en el "#$. Además de lo anterior, es necesario examinar con mayor cuidado el impacto del programa en relación con otras iniciativas que tienen lugar en la escuela. Aunque, en general, los padres que partici-paron en la investigación tienen una percepción positiva sobre su impacto en el aprovechamiento y la calidad de vida de sus hijos, es esencial determinar en qué medida estas percepcio-nes están basadas en su experiencia con el programa porque en las escuelas coexisten varias iniciativas. Como los padres no per-manecen en el centro escolar durante las sesiones de trabajo con los niños y desconocen otros programas que se aplican en la escuela, es necesario veri!car si realmente los resultados que per-ciben son debidos al "#$ y si existen evidencias para con!rmar sus percepciones.

Utilizar dos enfoques de evaluación participativa sensibles a las particularidades de las escuelas involucradas proveyó infor-mación valiosa que no se hubiera obtenido a través de estudios tradicionales basados en encuestas de opinión. Aunque en México se han comenzado a aplicar modelos de evaluación, mu-chos se centran en metas predeterminadas que pretenden ser aplicables a todo tipo de organizaciones, independientemente de las necesidades del contexto. El hecho de que el proyecto haya utilizado el enfoque de Investigación apreciativa “Appreciative inquiry” (Preskill y Coghlan, 2003) y el de Evaluación responsiva de Stake (1975, 2006), en el diseño e implementación de la eva-luación, constituye una innovación, dado que estos son enfoques teóricos que han tenido limitada aplicación en nuestro contexto y cultura.

La evaluación permitió validar ambos enfoques En particu-lar, el modelo de Preskill y Coglan fue útil porque facilitó el acceso, el involucramiento de los actores y contribuyó a incre-mentar la capacidad de evaluación en los centros. Por otra parte, el modelo de Stake (2006) demostró ser el más valioso para la interpretación y el análisis de los resultados del programa en su contexto y para examinar su signi!cados y su aplicación dentro de las condiciones reales de las escuelas.

El estudio permitió validar el uso de los enfoques que es-tudios de investigación realizados en otros países han encontrado como los más apropiados cuando se pretende generar capacidad de evaluación al fomentar la participación y capacitación del personal, el aprendizaje organizacional, así como para la eva-luación de procesos de cambio (Odell, 2002). Asimismo, la investigación permitió valorar las fortalezas y debilidades de estos dos enfoques.

Finalmente, usar estos enfoques contribuyó a la formación y actualización de los docentes, personal de la Secretaría de Educación Pública, estudiantes de posgrado y profesores de las ins ti tuciones participantes en el área de evaluación de programas. Desde el punto de vista del mejoramiento de la práctica, la formación de estas per-sonas contribuirá a crear una cultura de evaluación, al desarrollo de un mayor involucramiento de los diferentes participantes en estos procesos, así como al desarrollo de un modelo de evaluación aplica-ble a las necesidades y características del contexto de las escuelas.

Involucrar a diferentes actores en el proceso de evaluación re-troalimentó a las escuelas y, en el futuro, proveerá información contextual valiosa que favorecerá tomar decisiones más informadas y contextualizadas.

Referencias

Blasé, J. y Blasé J. (1997). !e Fire is Back: Principals Sharing School Governance. ;ousand Oaks: Corwin Press.

Bracho, T. (2001). Evaluación del Programa Escuelas de Calidad, 899@. México, D.F. Disponible en: http://basica.sep.gob.mx/pec/pdf/CIDE01pec.pdf

Bracho, T. (2002). Programa Escuelas de Calidad PEC 2002. Segunda Evaluación Externa. México, D.F. Recuperado el: 8 de diciembre de 2005. Disponible en: http://basica.sep.gob.mx/pec/pdf/CIDE02pec.pdf

86 87

Bracho, T., (Coord), Mendieta, G. y Reyes, D. (2003). El Programa Escuelas de Calidad. PEC 2001-2003: Evaluación externa. Primer borrador. México, D.F. Disponible en línea: http://basica.sep.gob.mx/pec/pdf/CIDE03pec.pdf

Bracho, T. (Coord), Mendieta, G. y Camacho, A. (2004). Evaluación Externa del Programa Escuelas de Calidad (PEC),

2004. México, D.F. Disponible en: http://basica.sep.gob.mx/pec/pdf/CIDE04pec.pdf

Bracho, T. (Coord), Mendieta, G. y Martínez, A, Jacobom M.y Núñez, M. (2005). Evaluación externa del Programa Escuelas de Calidad (PEC), 2005-2006. México, D.F. Disponible en: http://basica.sep.gob.mx/pec/pdf/CIDE05pec.pdf

Liontos, L. B. (1994). Shared Decision-Making. Eugene, OR: #,&$ Clearinghouse on Educational Management. ED368034.

Loera, A. (2005). Cambios en las escuelas que participan en el PEC 2001-2004. Heurística educativa. Disponible en línea: http://basica.sep.gob.mx/pec/Documentos/Evaluaciones%20de%20Heuristica/Reporte%20fase%205%20partsocv8.pdf

Naylor, C. (2001). Teacher Workload and Stress: An International Perspective on Human Costs and Systemic Failure. >$'?

Research Report. British Columbia Teacher Federation. Vancouver.

Ortega, M. Navarro, M. y Chavoya, M. (2007). La escuela que queremos ser: Una visión de futuro y la planeación escolar desde la perspectiva de los profesores de una escuela primaria inscrita en el Programa Escuelas de Calidad. Memorias del IX Congreso Nacional del Consejo Mexicano de Investigación Educativa. Disponible en línea: http://www.comie.org.mx/congreso/memoria/v9/ponencias/at13/PRE1177878720.pdf

Preskill, H., y Coghlan, A. T. (2003). An Overview of Appreciative Inquiry in Evaluation, en: Using Appreciative Inquiry in Evaluation. New Directions for Evaluation. Jossey Bass.

Preskill, H. & Coghlan, A. T. (Eds.). (2003). Appreciative Inquiry and Evaluation. New Directions for Program Evaluation, 100. San Francisco: Jossey-Bass.

Ponce de León, S. (2007). Tensiones y límites a la participación en el marco del Programa Escuelas de Calidad. Memorias del &/ Congreso Nacional del Consejo Mexicano de Investigación Educativa. Disponible en línea: http://www.comie.org.mx/congreso/memoria/v9/ponencias/at13/PRE1178934236.pdf

Rodríguez, T. A. y Slate, J. R. (2001). Principals and Teachers’ Views of Site Based Management in Texas. Ponencia presen-tada en el Congreso Anual de la University Council of Educational Administration. Cincinnati, Noviembre.

Rodarte, H. A., Barraza, M. G. y Barraza, L. (2007). El Programa Escuelas de Calidad ("#$) desde la óptica de los docentes en el municipio de Durango. Memorias del &/ Congreso Nacional del Consejo Mexicano de Investigación Educativa. Disponible en línea: http://www.comie.org.mx/congreso/memoria/v9/ponencias/at13/PRE1178921862.pdf

Stake, R. (1975). Program Evaluation: Particularly Responsive Evaluation. Conferencia presentada en el Conference on

New Trends in Evaluation. Ilinois: $&,*#.Stake, R.E., (2006). Evaluación comprensiva y evaluación basada

en estándares, Albino Santos Mosquera (trad.), Graó, &*>+ 978-84-7827-418-5.

EDITH J. CISNEROS%COHERNOUR

Doctora en Ciencias en las especialidades de Evaluación, Administración y Educación Superior por la Universidad de Illinois en Urbana-Champaign.

Es profesora-investigadora titular de la Facultad de Educación de la Universidad Autónoma de Yucatán, donde también es la Coordinadora de Investigación. Entre 1994-2001 estuvo a!liada a la Alianza Nacional de Transición para Jóvenes con Discapacidades y con el Centro de Investigación sobre la Instrucción y Evaluación del Currículo de la Universidad de Illinois en Champaign-Urbana. Sus intereses de investigación son: evaluación, desarrollo profesio-nal, aprendizaje organizacional y los aspectos éticos en investiga-ción y evaluación.

Ha recibido reconocimientos de diversas instituciones, entre ellas: Fundación Fulbright (1993-1996), Universidad de Illinois (Bagley Scholar, 1996, 1997), el University Council of Educational Administrators (.$#0, 2001), la Secretaría de Educación Pública (",-3#", 2002-2011), y la Asociación Americana de Investigación Educativa (0#,0, 899@; 899D). Es miembro del Sistema Nacional de Investigación (*+&-&) y del Consejo Mexicano de Investigación Educativa, de la American Educational Research Association, de la American Evaluation Association y de la Red Iberoamericana de Investigadores sobre la Docencia.

Entre sus publicaciones se encuentra Academic Freedom, Tenure, and Student Evaluations of Faculty: Galloping Polls in the 21st Century (2005), Validity and Evaluations of Teaching in Higher Education Institutions Under Positivistic Paradigm (2005), An Interpretive Proposal for the Evaluation of Teaching in Higher Education (2008) y La Evaluación de la Docencia en Educación Superior: de Evaluaciones Basadas en Opiniones de Estudiantes a Modelos por Competencias. (2010) con Robert E. Stake.

Ha participado en congresos arbitrados en México y otros países de América Latina, los Estados Unidos y Europa.

E-mail: cchacon@uady.mx

INVESTIGACIÓN APRECIATIVA Y EVALUACIÓN RESPONSIVAse terminó de imprimir en septiembre de 2011.Tiraje: 500 ejemplares