TEMA 1

 PARADIGMAS Y MODELOS DE LA EVALUACIÓN EDUCATIVA

1. Introducción 2. Paradigma cualitativo y paradigma cuantitativo en educación:

repercusiones en la evaluación educativa.

3. Modelos y enfoques de la evaluación.

4. Diseños de evaluación educativa.

1.1. INTRODUCCIÓN

La evaluación es un concepto de gran relevancia en el mundo educativo. Muchas son las páginas que se han escrito o se han dicho para tratar este tema. Afortunadamente, en este momento nos encontramos con muchísimas referencias válidas, sin embargo también es preciso advertir que hemos de ser críticos y consecuentes ante tanta información.

Son muchos los subconceptos derivados del primero y también muy variados los enfoques bajo los cuales la evaluación puede ser estudiada y aplicada. Los trabajos que podemos encontrar en las obras de Tenbrink, Gimeno y Pérez, Stufflebeam, Shinkfield, Tyler, Escriven, Rippey, Stake u otros a los que a lo largo de estas páginas hagamos referencia, nos ofrecen unas perspectivas no siempre coincidentes, si bien, en muchos casos, pueden considerarse complementarias.

Así podríamos hablar de paradigmas cualitativos y cuantitativos en evaluación, evaluación por objetivos, evaluación sin referencia a objetivos, evaluación por norma o evaluación según criterios... evaluación inicial, continua y final; evaluación diagnóstica, formativa y sumativa, etc.

Si el campo conceptual se nos presenta bastante abigarrado, todo aquello referido a técnicas e instrumentos de evaluación puede parecernos o presentarse igualmente amplio, heterogéneo, confuso e inconexo.

En el plano educativo, los temas son aquellos que afectan a los alumnos, a los profesores, a los programas, a la organización, a los procesos de enseñanza, a los resultados... y a la propia evaluación, porque también es necesario evaluarla.

1.2.   CONCEPTO DE EVALUACIÓN.

Evaluar es asignar un valor a algo, juzgar. De entre las muchas definiciones que existen de evaluación, vamos a resaltar la que formula Tenbrink (1981, pág.19):

«Evaluación es el proceso de obtención de información y de su uso para formular juicios que a su vez se utilizarán para tomar decisiones».

Las decisiones educativas se toman sobre la base de unos juicios, y los juicios, a su vez, se emiten sobre la base de una información. La interdependencia de estos tres conceptos (decisiones, juicios, información) define esencialmente la evaluación.

Cuando evaluamos estamos realizando tanto una medición (obtención de información) como una valoración (emisión de un juicio). Una y otra dimensión cumplen funciones diferentes en el proceso total de evaluación. A través de la medición constatamos el estado actual del objeto o situación que queremos evaluar. A través de la valoración realizamos una comparación entre los datos obtenidos en la medición que reflejan el «cómo es» el aspecto a evaluar y unos determinados parámetros de referencia que reflejan bien el «cómo era» o el «cómo debería ser» dicho aspecto. Una y otra dimensión son necesarias para que exista una buena evaluación. Sin la valoración quedaría reducida a una simple medida descontextualizada. Sin medición, la sola valoración da pie a una opinión subjetiva, no a una evaluación.

Pero, el objetivo último, la razón de ser del juicio es la de tomar decisiones que mejoren el proceso de enseñanza-aprendizaje.

Para concluir, diremos esquemáticamente que esta forma de entender la evaluación implica cuatro tareas básicas:

1.º. Recoger información sobre las situaciones a evaluar. Una pretensión fundamental de la evaluación es conseguir informaciones pertinentes para conocer la eficacia de la acción. Y la eficacia de la acción no depende solamente del alumno/a sino de un cúmulo de componentes de variada naturaleza: la adecuación de las pretensiones a la capacidad y actitudes de los niños, el ritmo de aprendizaje, los medios de que se dispone, los momentos elegidos, la relación del profesor con los niños, el ambiente de aprendizaje...

2.º. Realizar juicios de valor apoyados en los datos obtenidos y en las metas previamente seleccionadas. La recogida de informaciones, la obtención de datos de calidad extraídos de la realidad, permitirá efectuar una evaluación de la situación y del proceso que facilitará al profesor la comprensión de lo que sucede en el aula.

3.º. Orientar y reconducir la acción didáctica y los procesos de aprendizaje individuales. De esa evaluación no sólo surgirá una atinada y precisa comprensión sino una intervención más efectiva. Por eso la evaluación es una fuente de mejora de la práctica: reconduciendo el hecho educativo, proponiendo alternativas a las deficiencias encontradas, adaptando los procesos educativos a las necesidades de los alumnos...

2.1. NATURALEZA DE LA EVALUACIÓN EDUCATIVA.

Desde la perspectiva de las Ciencias de la Educación, la evaluación es uno de los elementos fundamentales (básicos) del currículum. Es impensable cualquier tipo de planificación yo puesta en práctica de algún programa educativo, que no incluya un diseño de cuáles deben ser los aspectos a evaluar, de cuáles serán los medios y recursos que se emplearán en la evaluación y de cuándo o a través de qué fases se llevará a cabo la misma.

Siendo la evaluación un elemento básico en cualquier tipo de actividad educativa, es preciso señalar que ésta se encuentra sometida a la misma polémica sobre su estatus científico a la que se haya sometida la propia didáctica (entendida ésta como la ciencia de la enseñanza y el aprendizaje).

En la actualidad existen, en los estudios sobre la didáctica, dos posiciones, en cierta medida encontradas, que parten de presupuestos teóricos distintos y que, de esta manera, tienen puntos de vista distintos acerca de cómo deben resolverse los problemas que se plantean en los contextos educativos.

De forma resumida, podemos hablar de la existencia de dos corrientes o paradigmas que se conocen con el nombre de paradigma cuantitativo (formado por aquellos investigadores que consideran que la didáctica debe ser una ciencia hipotético deductiva, que base la elaboración de sus teorías y la resolución de los problemas a los que se enfrenta, en el método experimental) y paradigma cualitativo (formado por aquellos científicos que piensan que el método experimental no ha sido capaz hasta la fecha de resolver los problemas que se plantea la educación, fundamentalmente debido a la singularidad de los mismos, lo que impide la formulación de leyes universalmente válidas; lo cual invita a la utilización alternativa de métodos cualitativos que permitan la interpretación y la comprensión de lo que ocurre en el contexto singular en el que surgen los problemas).

 

2.2. PARADIGMA CUANTITATIVO Y PARADIGMA CUALITATIVO EN EDUCACIÓN: REPERCUSIONES EN LA EVALUACIÓN EDUCATIVA.

1) EL PARADIGMA CUANTITATIVO

Como señala Casanova (1992), en principio, cabría preguntarse a qué nos referimos cuando empleamos el término paradigma. Tal y como lo definió Kuhn en 1962, "un paradigma es un conjunto de suposiciones interrelacionadas respecto al mundo social, que proporciona un marco filosófico para el estudio organizado de este mundo". Por tanto, es un marco de referencia para las generalizaciones, los valores, las creencias, normas y actitudes ante la vida y el conocimiento de cada individuo y de los diferentes grupos sociales.

A lo largo de la historia se han ido configurando dos posiciones filosóficas ante la ciencia, cuyo enfrentamiento ha tenido, y para algunos tiene todavía, un carácter paradigmático. Estas concepciones de la ciencia han venido adoptando distintas denominaciones: idealismo/realismo, neopositivismo/relativismo, etc., aunque en el campo de las ciencias humanas y sociales se ha extendido el uso de los términos paradigma cuantitativo/cualitativo, quizá por la identificación con los procedimientos e instrumentos utilizados.

Para adentrarnos en las bases teóricas epistemológicas que sustentan estas dos líneas de pensamiento, es necesario que comencemos señalando lo que se entiende por ciencia.

Los partidarios de la metodología experimental, cuantitativa, definen la ciencia como "el conocimiento generado en una determinada parcela de la realidad (biología, física, química, etc.) siempre que se haya generado dicho conocimiento con la aplicación del método experimental o hipotético-deductivo".

Desde una perspectiva estrictamente cientifista se podría señalar que la única verdad que existe es la generada por la ciencia positiva.

El método experimental se refiere a cómo obtener información científica mediante la realización de experimentos. Todo método consiste en una serie de reglas. En el método experimental, las reglas se refieren a cómo hay que realizar los experimentos para que sus resultados sean fiables. A modo de síntesis puede señalarse que en todo experimento se pueden distinguir, a grandes rasgos, cuatro pasos fundamentales: Determinación del problema, creación de las hipótesis, comprobación de las hipótesis y análisis de los resultados con el fin de comprobar si se han generado o no nuevos conocimientos.

El proceso de obtención de nueva información a través del método experimental debe presentar dos características esenciales, a saber: en primer lugar, el experimento su pone crear una situación artificial totalmente controlada, en la que se hace una prueba y se obtienen unos resultados que pueden ser interpretados de manera precisa y objetiva; en segundo lugar, el método experimental pretende detectar relaciones causales entre las variables estudiadas (variable independiente y variable dependiente). Esto último se apoya en la suposición de que si en una situación se mantienen todas las condiciones constantes, menos una (que varía de forma controlada), las consecuencias que se produzcan hay que achacarlas exclusivamente a aquello que se varió. Como síntesis, podemos definir un experimento como una situación controlada, en la que se trata de detectar las relaciones causales entre algunos eventos.

El método experimental/hipotético deductivo pretende la elaboración de teorías científicas mediante la contrastación de hipótesis a través de la realización de experimentos. El esquema que sigue a continuación refleja este procedimiento:

 

 

Desde la publicación en el siglo XVI de la obra de Comenio "Didáctica Magna" hasta nuestros días, las Ciencias de la Educación han pretendido buscar leyes universalmente válidas que trataran de dar solución a los problemas generados en los contextos de enseñanza-aprendizaje. De esta manera, la didáctica como ciencia experimental ha pretendido la elaboración de un cuerpo sólido de conocimientos teóricos que permita actuar, como si de un vademécum se tratara, de forma que a cada situación problemática diagnosticada le siguiera un tratamiento preciso y adecuado (a esta forma de proceder se le denomina enfoque tecnológico).

Esta perspectiva conceptual tan restrictiva ha producido lógicamente el desarrollo de presupuestos éticos, epistemológicos y metodológicos coherentes con sus planteamientos. Presupuestos que, agrupados bajo diferentes denominaciones: «modelo experimental», «esquema tecnológico», «enfoque sistémico», «pedagogía por objetivos», «evaluación objetiva», han dominado la investigación y la práctica de la evaluación durante la mayor parte del siglo XX.

Las características que definen este enfoque pueden resumirse, en principio, en los siguientes presupuestos:

La búsqueda y la creencia en la objetividad de la evaluación. La objetividad en la ciencia y en la evaluación es el resultado de la fiabilidad y de la validez de los instrumentos de la recogida y análisis de los datos.

Lógicamente, el único procedimiento que puede proporcionar el rigor requerido por este concepto de la objetividad es el método hipotético deductivo establecido en las ciencias naturales y en la tradición de la psicología experimental. La verificación experimental de la hipótesis o la búsqueda de apoyo empírico para las formulaciones teóricas exige el tratamiento estadístico de los datos, por tanto, la cuantificación de las observaciones.

El investigador que trabaja dentro del paradigma experimental tiene que observar rigurosamente las normas estrictas de la metodología estadística: operacionalización de variables, estratificación y aleatorización de las muestras, construcción de instrumentos de observación objetiva con suficiente grado de validez y fiabilidad, la aplicación de diseños estructurados, la correlación de conjuntos de dimensiones a lo largo de diferentes y generalmente extensas poblaciones...

El énfasis casi exclusivo en los productos o resultados de la enseñanza . El evaluador mide el éxito docente de manera similar a como un agricultor comprueba la eficiencia de un nuevo fertilizador [...]. La medición de los productos, así como la situación inicial, requiere la operacionalización exhaustiva de las variables y la consideración de los aspectos observables de la conducta del alumno. No cabe duda de que las exigencias que impone la estadística y la medición numérica conduce al olvido intencional de aspectos del aprendizaje y desarrollo del alumno que son también susceptibles de transformación educativa. Aspectos no siempre previstos y frecuentemente imprevisibles.

Estricto control de las variables intervinientes. El diseño experimental requiere un control riguroso de los factores que intervienen, neutralizando unos y manipulando y observando el efecto de otros. Ello supone el intento de simular en el aula las condiciones del laboratorio. La posibilidad técnica y la bondad ética de tal intento es uno de los puntos más críticos del modelo experimental. En cualquier caso implica la artificialización del medio escolar.

El diseño estructurado de un proyecto de evaluación requiere la permanencia y estabilidad del currículo durante un período prolongado de tiempo independientemente del cambio de circunstancias que puedan ocurrir durante el período de investigación y evaluación. Es ésta una condición difícilmente eludible de los diseños de investigación pretest-postest. Los estudios de evaluación poseen un carácter longitudinal que impone la primacía de la estabilidad e incluso, en ocasiones, la renuncia a considerar variables "nuevas" no previstas ni tenidas en cuenta en el pretest. Los efectos secundarios o laterales son difícilmente manejables en el diseño pretest-postest.

El modelo experimental se concentra en la búsqueda de información cuantitativa mediante medios e instrumentos objetivos. El problema de la relevancia y significación de los datos no es el centro de la preocupación evaluadora. Demasiados aspectos, quizás de importancia crítica para analizar un proceso de innovación, son descartados por considerarse subjetivos, anecdóticos e impresionistas. Asimismo, el empleo de extensas muestras de casos que permitan las generalizaciones estadísticas tienden a mostrarse insensible a las perturbaciones locales y efectos poco usuales.

El modelo de evaluación cuantitativa encaja en una perspectiva teórica que considera la educación como un proceso tecnológico (...). La evaluación cuantitativa debe preocuparse únicamente de comprobar el grado en que se han alcanzado los objetivos previamente establecidos.

Sin embargo, la utilización del enfoque tecnológico, derivado en primera instancia de considerar que el único conocimiento posible es el obtenido a través de metodología experimental, presenta algunos inconvenientes que hacen necesario un replanteamiento de los presupuestos científicos y prácticos que han sustentado hasta ahora la Didáctica como ciencia de la enseñanza-aprendizaje. Algunos de los principales inconvenientes que surgen a la hora de aplicar la metodología experimental para resolver los problemas de la educación son los siguientes:

El enunciado de leyes universalmente válidas es materialmente imposible : por un lado, porque en la medida en que no hay dos personas iguales nunca los problemas educativos ni los objetivos a conseguir serán iguales; y, por otro lado, porque los contextos educativos en los que los profesores enseñan y los alumnos aprenden son únicos e irrepetibles, lo cual impide la replicación exacta de los experimentos.

Existe un problema específico en la realidad educativa que la hace radicalmente distinta a la de otras ciencias físicas y naturales. Esta realidad señala que no se puede establecer una relación de causa-efecto entre el hecho de enseñar y el hecho de aprender. No siempre que un profesor enseña el alumno o los alumnos aprenden. Se puede hablar de una relación de

dependencia pero no de causa-efecto. Esta particularidad de los procesos de enseñanza y aprendizaje mina los supuestos teóricos del método experimental al imposibilitar el establecimiento de relaciones causales sólidas.

Quizá la crítica más demoledora, realizada desde los detractores del enfoque tecnológico, sea la que señala que después de casi quinientos años de estudios bajo los presupuestos cientifistas, la didáctica no ha generado un cuerpo sólido de conocimientos que de solución a los problemas educativos, por lo que parece necesario afrontarlos desde otra perspectiva que resulte más fructífera.

La mayoría de los trabajos realizados con la metodología experimental han sido realizados desde los despachos de la universidad. En la mayor parte de los casos, los problemas que han tratado de resolver estos estudios son problemas ficticios y descontextualizados, problemas, en muchos casos, alejados de las verdaderas necesidades que tienen los docentes y los alumnos.

Por otro lado también hay que señalar que el enfoque tecnológico no sólo genera dificultades en la investigación educativa, sino que también se ha deja sentir en otros aspectos de la práctica evaluadora habitual como son las calificaciones escolares. El enfoque tecnológico, experimental, aboga por la utilización del número como referencia objetiva en las calificaciones escolares. Sin embargo, la utilización indiscriminada de calificaciones numéricas genera algunas dificultades señaladas, entre otros, por Casanova (1997).

Es imposible expresar con una cifra la riqueza de información que se puede tener acerca de la formación de un alumno o alumna en todas las facetas de la personalidad que se van desarrollando durante su proceso educativo.

Señalaremos ahora algunos ejemplos que pretenden ilustrar que la utilización del número en las calificaciones no garantiza la pretendida objetividad que persigue con su uso:

1 er Ejemplo:

Todos tenemos constancia de que un mismo ejercicio puede obtener calificaciones distintas en función de quién lo haya corregido. Es ya una práctica adoptada habitualmente, que en los exámenes de oposiciones se descarten las puntuaciones que presentan una diferencia mayor de tres puntos. Igualmente, el mismo profesor valora más o menos un trabajo según el nivel general del grupo -evaluación normativa-, como ya comentamos en su momento.

¿Por qué se producen estas situaciones? Porque si valora únicamente un evaluador, sin referencias externas -criterios- y rigurosas para ello, lo hará siempre:

En función de sus criterios personales. En función del nivel de exigencia que tenga en su programación (lo que piense que un

alumno debe dominar en ese curso determinado). En función de lo que ese evaluador conozca del tema trabajado. En función del nivel del grupo. En función de sus circunstancias personales -estado físico, anímico, situación laboral, etc.-

en el momento de valorar.

  2º Ejemplo:

Si llega un alumno nuevo a un grupo y la información que aporta sobre sus aprendizajes es un boletín donde aparece: Lengua y Literatura: 6 (o Bien, es indiferente). Matemáticas: 5 (o Suficiente), etc., el profesor que debe comenzar a trabajar con él no sabe en absoluto qué aspectos del área domina ese alumno y en cuáles necesita reforzar sus aprendizajes. Puede interpretarse que, en función de la programación del profesor precedente, el alumno había alcanzado lo básico para continuar sin graves dificultades. Pero, primeramente, la programación de ese profesor no tiene por qué coincidir con la del actual (más aún con un sistema educativo que acepta la flexibilidad y apertura del currículo y, por lo tanto, diferentes secuenciaciones de objetivos y contenidos); en segundo lugar, el alumno ha alcanzado unos aprendizajes básicos y le quedan por dominar otros tantos (del 5 al 10 hay un amplio margen de aprendizaje), que no se sabe cuáles son; en tercer lugar, en esa evaluación escueta habrán incidido numerosos factores personales -salvo que se nos aclare lo contrario-, según venimos comentando, que no es posible conocer para encuadrar adecuadamente la información que se recibe del alumno. En síntesis: con una calificación no descriptiva, un profesional no conoce la situación de aprendizaje del estudiante evaluado. Debe, por tanto, comenzar por realizar una amplia y profunda evaluación inicial de las diferentes facetas del área, para determinar qué es lo que domina y dónde necesita reforzar y ampliar sus aprendizajes.

En la actualidad, cuando se produce un cambio de centro por parte de un alumno que no ha finalizado una etapa educativa (si la hubiera terminado y superado habría que suponer que había alcanzado los objetivos propuestos para ella), se exige que se emita un informe en el que aparezcan: el grado de consecución de las capacidades enunciadas en los objetivos generales de la etapa y de las áreas, el grado de asimilación de los contenidos de las diferentes áreas o materias, las valoraciones parciales del aprendizaje que se hubieran emitido y la aplicación, en su caso, de medidas educativas complementarias. Esta completa información que se solicita para que sea trasladada al nuevo centro es difícil -por no decir imposible- simplificarla en unas cifras, por muy expresivas que algunos quieran verlas.

Nos encontraríamos en una situación similar en los casos en que un alumno precisa de medidas especiales de adaptación o diversificación curricular o simples refuerzos educativos para algunas facetas de su aprendizaje. Estas medidas hay que tomarlas sobre datos concretos, claros, bien descritos..., porque hay que elaborar un programa individualizado para el estudiante. Con la evaluación expresada numéricamente seria imposible realizar ese programa de manera que se produjera la regulación de su proceso de enseñanza y aprendizaje para que superara los fallos específicos en su formación.

Se plantea un problema añadido en la situación social y educativa del momento actual. Tal y como se ha promulgado en los decretos de currículo en nuestro país, aparecen contenidos relacionados con actitudes, valores y normas que se deben enseñar, que los alumnos deben aprender y que, por lo tanto, también se deben evaluar. Si ya es incomprensible un "7" en el área de Lengua y Literatura, resultaría grotesco afirmar que un alumno ha obtenido un "7" en solidaridad, sinceridad, respeto a las ideas de los demás, etc.

3 er Ejemplo

El siguiente ejemplo alude a un problema matemático realmente expresivo: "Supongamos una simple suma de ocho sumandos, todos ellos de más de cinco cifras. Supongamos que veinte alumnos han coincidido en el mismo error curiosamente: todos ellos han puesto en la tercera cifra de la suma/resultado, comenzando por la derecha, la cifra de las centenas, un 6 en vez de un 7. Probablemente la brutalidad tosca y acientífica, superficial, irreflexiva y burda del profesor/corrector de turno, diagnosticará a todos los alumnos el mismo dictamen: una "M" (mal),

sin más especificación o análisis, y propondrá a todos el mismo tratamiento: repetir la suma (o hacer otras tantas). Pues bien, no hace falta mucha imaginación para advertir que el error de ese 6 en lugar de la cifra correcta, el 7, puede ser debido a veinte procesos mentales diferentes (...), cada uno de los cuales, para ser destruido, requeriría intervenciones técnico-didácticas cualitativamente distintas, ya que se trata de errores de tipo cualitativo diferentes (...). Por ejemplo:

o Un alumno puso 6 en vez de 7, porque se olvidó de sumar las que se llevaba de la columna anterior;

o Otro alumno puso 6 en vez de 7, porque no sabía que hay que sumar las que se llevan; (...)

o Otro alumno, porque padece una ligera miopía y confundió en la columna anterior un 3 con un 8; (...)

o Lo más grave de todo: un alumno de los veinte "acertó" y fue calificado por su profesor/corrector disparatadamente con una "B" (Bien), porque se equivocó dos veces, en vez de una, como la mayoría de los compañeros (...)"

Parece incuestionable que la evaluación de procesos hace necesario un modelo de evaluación más amplio, más comprensivo, que extienda sus técnicas y sus instrumentos de valoración y que, además, exprese sus resultados mediante la descripción explícita de lo que se ha alcanzado y lo que está pendiente, y de las causas de un rendimiento concreto o las dificultades que presenta el alumno evaluado.

A la luz de estos ejemplos, refiriéndonos a la evaluación de procesos de formación humana, debemos señalar que no es posible evaluar de forma íntegra el complejo mundo educativo, exclusivamente con métodos experimentales: hay que decantarse obligadamente por el uso de métodos no experimentales como el etnográfico, el estudio de casos, la investigación-acción, etc., que permitan planteamientos eminentemente cualitativos, ajustados a las facetas humanas que se van a valorar, precisamente porque utilizan técnicas procedentes del campo de la antropología, apropiadas a estos tipos de investigaciones y evaluaciones.

Estos y otros inconvenientes han llevado a los estudiosos de la educación a la necesidad de utilizar un concepto de ciencia más amplio y unos métodos de investigación y evaluación más adecuados a los contextos en los que surgen los problemas. El conjunto de métodos alternativos a la utilización en educación de la metodología experimental-cuantitativa, se denomina investigación cualitativa.

2) EL PARADIGMA CUALITATIVO

La estrechez del paradigma positivista en sus aplicaciones a la elaboración y evaluación de proyectos educativos ha provocado el desarrollo paralelo de enfoques alternativos con presupuestos éticos, epistemológicos y teóricos bien diferentes.

Desde la década de los sesenta se ha producido un rápido y acelerado incremento del interés sobre la perspectiva llamada evaluación cualitativa (Eisner, Cronbach, McDonald, Stenhouse, House, Guba, Parlett, Hamilton, Elliot, Stake...). Tal interés se debe en gran medida al reconocimiento de que los tests estandarizados de rendimiento no proporcionan toda la información que se precisa para comprender lo que los profesores enseñan y los alumnos aprenden.

De forma breve podrían considerarse las siguientes características como las definitorias del paradigma alternativo:

La objetividad en la ciencia y en la evaluación es siempre relativa y de ninguna forma puede considerarse su objetivo central ni prioritario (...). La comprensión de un fenómeno, de un sistema o de un conjunto de acontecimientos es una empresa humana intencional y tentativa sujeta inevitablemente a limitaciones y errores.

Comprender una situación donde interactúan los hombres con intencionalidad y significados subjetivos requiere tomar en consideración las diferentes posiciones, opiniones e ideologías mediante las cuales los individuos interpretan los hechos y los objetivos y reaccionan en los intercambios. La posición del evaluador no es neutral, libre de consideraciones de valor. Como afirma Lawton, la evaluación debe referirse no sólo al grado en que el alumno aprende un conjunto de habilidades o un tipo de conocimientos, la evaluación debe también responder a cuestiones de justificación (¿por qué han de aprender x?), así como a los efectos de aprendizaje no intencionados (¿qué han aprendido, además?), (aprendiendo x ¿qué han dejado de aprender?).

Ni la educación ni la evaluación pueden comprenderse, pues, como procesos tecnológicos desligados de la esfera de los valores. En el intercambio escolar se generan significados y se comparten o contrastan valores. La evaluación no puede versar únicamente sobre la contrastación aséptica de resultados con objetivos preestablecidos, observables y cuantificables. La vida en el aula es un sistema abierto de intercambio, evolución y enriquecimiento según Doyle (...)Eisner afirma que «en parte como resultado de la creciente literatura sobre "currículum oculto", aquellos que trabajan en el campo educativo han reconocido que los profesores y la escuela como institución, enseñan más que lo que se proponen. La mayoría de las lecciones más importantes que los alumnos aprenden en la escuela no están integradas en el currículum explícito».

El objetivo de la evaluación no se restringe a las conductas manifestadas, ni a los resultados a corto plazo, ni a los efectos previsibles o previstos en los objetivos de un programa. Los efectos secundarios y a largo plazo son tanto o más significativos que los inmediatos y planificados.

Comprender el significado de los productos complejos, a corto y largo plazo, explícitos y ocultos, requiere un cambio de orientación. Una traslación desde el énfasis en los productos al énfasis en los procesos. Sólo comprendiendo la génesis y la historia, la sucesión compleja de fenómenos y acontecimientos, pueden explicarse las conductas y los resultados del aprendizaje. Los métodos cualitativos de evaluación están diseñados en gran medida para enfocar los procesos de la práctica educativa, con objeto de proporcionar la información requerida para la formulación y reformulación racional de la acción didáctica (evaluación formativa).

La evaluación centrada en los procesos de enseñanza-aprendizaje intenta capturar la singularidad de las situaciones concretas, las características particulares que definen una situación y que pueden considerarse responsables del curso de los acontecimientos y de los productos de la vida en el aula. Los estudios sobre procesos han de registrar los sucesos en su evolución, en su estado de progreso, observar las situaciones e indagar los juicios, interpretaciones y perspectivas de los participantes.

La búsqueda de significados y procesos supone la traslación desde las generalizaciones estadísticas al análisis e interpretación de lo singular e irrepetible.

La evaluación cualitativa requiere, pues, una metodología sensible a las diferencias, a los acontecimientos imprevistos, al cambio y al progreso, a las manifestaciones observables y a los significados latentes. Un movimiento metodológico que supone el anverso de los presupuestos del paradigma psicoestadístico [...]

La evaluación cualitativa incorpora, pues, un conjunto de técnicas, orientaciones y presupuestos de la metodología etnológica, de la investigación de campo extensamente desarrollada por la Escuela de Chicago . Más allá de la objetividad aséptica de datos

descontextualizados y con difícil interpretación, la investigación de campo, en una cultura primitiva o en el ámbito del aula, busca el significado, el contenido de los signos o indicadores externos, impregnándose día a día de la vida del medio, de los significados compartidos y latentes, de los comportamientos simbólicos..., la inmersión del evaluador en el centro del intercambio (...). El enfoque sobre los procesos (que enfatiza la descripción e interpretación, el cambio y el contexto) no rechaza los datos cuantitativos ni sugiere que al prestar más atención al proceso se olviden los resultados. Aunque el enfoque debe ser particular, la base de datos se amplía y puede incluir indicadores del progreso de naturaleza cualitativa y cuantitativa, así como evidencias tanto de resultados como de procesos de enseñanza, aprendizaje y vida escolar.

El diseño estrictamente estructurado de antemano no puede ser un instrumento adecuado para la evaluación cualitativa. La atención a lo singular y a los movimientos previsibles o accidentales requiere un diseño flexible que permita el «enfoque progresivo» en áreas particulares que aparecen más significativas en el curso de la investigación. El estudio se orienta y desarrolla frecuentemente hacia direcciones que no han sido previstas e incluso ni sospechadas con anterioridad. La evaluación centrada en los procesos es ella misma un proceso que evoluciona en virtud de los descubrimientos sucesivos y de la transformación del contexto. Supone, pues, un enfoque selectivo y progresivo.

El propósito de la evaluación cualitativa es comprender la situación objeto de estudio mediante la consideración de las interpretaciones, intereses y aspiraciones de quienes en ella interactúan, para ofrecer la información que cada uno de los participantes necesita en orden a entender, interpretar e intervenir del modo más adecuado. La información ni es unívoca ni monopolio de un grupo o estamento, es un instrumento válido para el contraste y la reformulación de interpretaciones y actuaciones de cada individuo que interviene en la actividad educativa (...).

Como consecuencia del desarrollo de enfoque y perspectivas cualitativas, los modelos de evaluación que trabajan dentro del paradigma experimental han ido modificando sus estrechos planteamientos y moderando su posición inicial. No es difícil, hoy, encontrar una base de acuerdo para definir:

la evaluación como un proceso de recogida y provisión de evidencias, sobre el funcionamiento y evolución de la vida en el aula, sobre la base de las cuales se toman decisiones sobre la posibilidad, efectividad y valor educativo del currículum. Más que

medir, la evaluación implica entender y valorar.

Se ha producido, pues, una múltiple apertura:

Apertura conceptual para dar cabida en la evaluación a resultados no previstos y acontecimientos imprevisibles.

Apertura de enfoque para dar lugar a recogida de datos tanto sobre los procesos como productos.

Apertura metodológica. La primitiva e inflexible estrategia formal cambia para incluir procedimientos informales. Del monismo al pluralismo metodológico.

Apertura ético-política. La evaluación proporciona información a todos los participantes y recoge opiniones e interpretaciones de todos los grupos de interés implicados en un proyecto educativo. De la evaluación burocrática a la evaluación democrática».

A continuación presentamos los atributos más representativos de ambos paradigmas:

PARADIGMA CUANTITATIVO PARADIGMA CUALITATIVO

Búsqueda y creencia en la objetividad en la evaluación. Búsqueda y creencia en la comprensión de los fenómenos educativos: para comprender los fenómenos se necesita trabajar con las perspectivas subjetivas, con las creencias, de los agentes implicados en los hechos.

El único procedimiento que puede proporcionar objetividad y rigor es el método hipotético deductivo o método científico.

Existe un conjunto heterogéneo de métodos que tiene como objetivo comprender los fenómenos educativos tratando de interpretar las opiniones de los agentes implicados en los procesos educativos.

El método científico es muy restrictivo y universalmente válido.

Hay una gran libertad en la utilización de distintos métodos cualitativos, siempre que se utilicen con conocimiento y rigor.

Enfasis casi exclusivo en los productos o resultados de la enseñanza.

No interesan exclusivamente los productos de los aprendizajes, interesan fundamentalmente los procesos: lo que ocurre en los contextos físicos, sociales, psicológicos y filosóficos que rodean al hecho educativo.

El método experimental requiere un estricto control de las variables intervinientes para asegurarnos que lo que ocurre se ha producido como consecuencia de la causa estudiada. Esto exige simular en el aula las condiciones de laboratorio.

La evaluación cualitativa se produce en situaciones naturales en las que el observador es un agente implicado en el problema educativo concreto que se estudia.

Para comprobar la eficacia de un método se deben mantener constantes todas las condiciones educativas aunque cambien las circunstancias.

No se pretende comprobar la eficacia de los métodos manteniendo las condiciones constantes sino que se pretende reorientar y adaptar a los cambios el método que se está utilizando, de forma que el método inicial puede que no sea el mismo al final del programa.

Lo subjetivo, lo anecdótico y lo particular es despreciado puesto que lo que se buscan son leyes universalmente válidas.

El interés se centra en la solución de un problema concreto, que ocurre en una situación determinada con personas muy concretas que tienen su particular manera de interpretar el mundo..

La evaluación cuantitativa se preocupa por el grado en que se han alcanzado los objetivos previamente establecidos al comienzo de un programa.

La evaluación cualitativa se preocupa por analizar los procesos educativos para que los propios agentes introduzcan los cambios oportunos para conseguir los objetivos propuestos.

Validar métodos con carácter universal. Hacer válida la acción educativa concreta que se pone en marcha en cada momento.

3.- MODELOS Y ENFOQUES DE LA EVALUACIÓN.

 Hasta hace muy poco tiempo, en nuestro ámbito, era muy fácil encontrarse con el siguiente reduccionismo: evaluar es igual a calificar a los alumnos.

Afortunadamente, muchas voces se han levantado en su contra, y así, sin negar esa función, la evaluación se ha convertido en un elemento del proceso educativo con una incidencia muy fuerte en otros aspectos y ámbitos que superan con mucho la figura del discente.

Evaluar programas, evaluar contextos, evaluar centros, evaluar profesores, evaluar materias... son accidentes que ha de cumplir la evaluación dentro del sistema educativo. La evaluación ha ido ampliando sus centros de influencia, hasta convertirse en uno de los ejes y en uno de los requisitos imprescindibles, si queremos hablar con seriedad, de una enseñanza de calidad.

La preocupación por la evaluación en educación es antigua; pero no nos vamos a remontar a los exámenes que los funcionarios chinos ya tenían que realizar 2.000 años antes de Cristo, ni nos detendremos en la influencia positivista primera y la presión de la Psicología ejercida a través de las «medidas mentales» de la inteligencia, la memoria, la atención, etc.

La adscripción de un autor a uno de los paradigmas anteriormente citados, se realizada después de que dicho autor se haya decantado por la utilización práctica de algún modelo de evaluación. Esto viene a indicar que los paradigmas evolucionan y cambian porque los evaluadores introducen cambios en sus prácticas evaluadoras; cambios que surgen por la insatisfacción a la hora de utilizar los modelos anteriores.

Como ya se ha señalado, a lo largo del último siglo, se han ido sucediendo, en función de las necesidades de los investigadores educativos, distintos modelos de evaluación. Desde los puramente cuantitativos, como el Tyler, centrado en la evaluación del producto de los resultados de la enseñanza, hasta otros, más de tipo cualitativo, centrados en el análisis de los procesos, como los de Scriven, Stufflebeam o Stake. Aunque no se agotan aquí todas las posibilidades, podríamos hablar de la evaluación crítica de Eisner, de la evaluación iluminativa de Parlett y Hamilton, de la evaluación democrática de MacDonald, de la eva1uación como investigación de Stenhouse, etc.

Estudiaremos ahora tres de los modelos de evaluación que más han influido en nuestro sistema educativo a lo largo del último siglo. A través de su presentación podremos observar cómo han ido cambiando las modas, desde concepciones positivistas centradas en los productos, hacia posiciones más formativas basadas en la evaluación de los procesos.

3.1. El modelo de evaluación de Tyler

Iniciaremos nuestro hipotético andar con la figura de Tyler; tras la Segunda Guerra Mundial. Su aportación y preocupación por 1a evaluación en educación ha ejercido una gran influencia. Muchos han sido sus seguidores. Todavía hoy, puede que sea su modelo uno de los más extendidos en el panorama actual de la evaluación en los centros, si bien está siendo criticado y superado ampliamente por otros planteamientos. Su concepción de la evaluación podría sintetizarse así:

Evaluar supone establecer comparaciones entre las realizaciones de los alumnos, tras un período de aprendizaje, y los Objetivos que se establecieron con anterioridad y determinar hasta qué punto éstos han sido logrados.

Llevar a la práctica este modelo de evaluación supone:

Enumerar, secuencializar objetivos.

Establecer controles o procedimientos para obtener información de los resultados de los alumnos, de forma observable.

Comparar los resultados con los objetivos.

Aceptar o rechazar de acuerdo con unos valores o normas.

El procedimiento de diseño evaluativo es el siguiente:

1.º. Establecer las metas u objetivos.2.º. Ordenar los objetivos en amplias clasificaciones.3.º. Definir los objetivos en términos de comportamiento.4.º. Establecer situaciones y condiciones según las cuales puede ser demostrada la

consecución de los objetivos.5.º. Explicar los propósitos de la estrategia de evaluación al profesorado encargado de

realizarla y cuáles serán los mementos y situaciones más adecuadas para la evaluación.6.º. Escoger o desarrollar las apropiadas técnicas de evaluación (a ser posible instrumentos

objetivos y estandarizados) y utilizar los procedimientos estadísticos apropiados.7.º. Recopilar los datos de trabajo, que podrán referirse a los centros, a los programas

desarrollados o al aprendizaje concreto de los alumnos).8.º. Comparar los datos con los objetivos de comportamiento.

El procedimiento tyleriano, con las modificaciones, mejoras y ampliaciones de Scriven (evaluación formativa) y Stufflebeam (evaluación del proceso) principalmente, representa un gran avance para la evaluación educativa, tanto de programas, como de curricula o de alumnos. Este modelo se muestra adecuado para:

Labores de diagnóstico. Tratamiento posterior de aprendizajes defectuosos o lagunas. modificación de objetivos. Ajuste de objetivos. Obtención de información para la dirección y administración educativas. Guía indicadora para el profesor de su actividad y de su repercusión en el aprendizaje

de sus alumnos. Proporcionar información para evaluaciones orientativas de procesos de aprendizaje

subordinados de dichas evaluaciones. Proporcionar información para evaluaciones sumativas o finales dada su especial

preocupación por acabar ciclos o programas y así poder establecer las comparaciones.

Las limitaciones, que son varias, tal como veremos al desarrollar otros modelos, hacen referencia, principalmente, a:

Dificultad de objetivizar, según taxonomías, las metas y fines educativos. No aporta criterios suficientes y claros para seleccionar objetivos. Elaborar los «objetivos operativos» para los curricula es excesivo. Los objetivos de mayor relevancia (juicios, valores, actitudes) pueden quedar fuera de

los procesos de evaluación.

El modelo de Tyler se encuentra claramente dentro de lo que hemos considerado anteriormente corriente cuantitativa o experimental. Pretende objetivar al máximo tanto los objetivos educativos, las situaciones de aprendizaje como la propia práctica de la evaluación, con la pretensión de ejercer el control total de las variables implicadas en el proceso. Pero ya hemos señalado anteriormente las dificultades que este enfoque, tomado en sentido estricto, manifiesta a la hora de ajustarse a las verdaderas necesidades de los centros y de los alumnos.

3.2. La evaluación formativa de Scriven y la evaluación del proceso de Stufflebeam

Aunque ya Tyler introdujo el término feed back (retroalimentación o retroacción) en sus planteamientos educativos, este término tuvo escasa incidencia en los primeros planteamientos. Fueron los estudios posteriores los que detectaron la potencialidad y las posibilidades de ese concepto.

Existe una clara distinción entre la evaluación sumativa (final) la evaluación formativa (o de proceso); la primera tiene como objetivo el de certificar un estado resultante de los aprendizajes de los alumnos respecto a unos objetivos preestablecidos, es decir; establecer unos niveles o unas clasificaciones de los resultados obtenidos por los alumnos; la segunda por el contrario, pretende proporcionar una información que sirva para que el alumno y el profesor puedan conducir reconducir sus esfuerzos y sus trabajos dentro de unas coordenadas de acción que faciliten el desarrollo de las actividades y faciliten aprendizaje mientras éste se está desarrollando. En palabras de Scriven, recogidas por Stufflebeam y Shinkfield (1987:345) resulta que:

«La formativa ayuda a desarrollar programas y otros objetos; la sumativa calcula el valor del objeto una vez que ha sido desarrollado y puesto en el mercado»

Esta idea es importante porque nos sitúa ante un hecho irreversible: hablar de evaluación sumativa nos lleva a planteamientos cerrados y acabados, en tanto que la evaluación formativa nos invita a procesos abiertos y flexibles.

Su incidencia es manifiesta tanto en el diseño y desarrollo de determinados programas parciales o en la elaboración de currícula complejos como en el seguimiento y control (ayuda) del desarrollo didáctico de cualquier actividad y, en consecuencia, de los aprendizajes de los alumnos en un momento determinado, con el propósito de mejorar todos y cada uno de los procesos. Así entendida, la evaluación se convierte en parte integrante del proceso didáctico, mientras éste se realiza de modo distinto al considerarlo una parte final e independiente del mismo.

La evaluación formativa o del proceso tiene como finalidad principal la de obtener información, que, una vez contrastada en cuanto a su validez, nos lleve a desarrollar y optimizar el proceso objeto de evaluación, es decir, el desarrollo y la ejecución de una determinada actividad o programa.

La característica esencial de las evaluaciones formativas o de proceso radican en que las decisiones que se toman afectan al propio proceso; esto no ocurre con la evaluación sumativa cuyas repercusiones afectan a otros procesos. Las «repeticiones», en una evaluación formativa, afectan a secuencias o partes del proceso, considerando este no acabado; en una evaluación sumativa esas «repeticiones afectan a otro proceso, entendiendo el anterior como algo acabado.

 

PUNTO DE CONTRASTACIÓN

DATOS PARA EMITIR JUICIOS

 

La realización de un examen, en una evaluación sumativa, tiene su constatación en una calificación (apto, no apto); a continuación se pasa a realizar otro proceso, que no tiene repercusiones ni sobre los procesos ni sobre los contenidos que han sido evaluados (no existe retroalimentación) Los efectos se verán en otro proceso, ya que lo facilitan, lo permiten o lo impiden.

Por su parte, Stufflebeam concibe la evaluación del proceso como una parte de un planteamiento evaluatorio más amplio al que denomina CIPP, o sea, evaluación del contexto (C), evaluación de las entradas- inputs- (I), evaluación del proceso propiamente dicho (P) y evaluación del producto (P). La finalidad del CIPP es perfeccionar un sistema, no demostrar su validez. Este modelo se ajusta más a la evaluación de centros que a la evaluación de los aprendizajes individuales de los alumnos, aunque pueden utilizarse también para esta tarea siempre que se realicen los ajustes oportunos.

En la tabla siguiente se pueden observar las intenciones de Stufflebeam para cada uno de los aspectos del CIPP

CONTEXTO ENTRADA PROCESO PRODUCTO

¿Qué evaluar?

Definir el contexto escolar y sociocultural, identificar la población objeto de estudio y valorar sus necesidades. Analizar si los objetivos propuestos son con coherentes con las necesidades valoradas.  

Identificar y valorar la capacidad del sistema, las estrategias de programa alternativas, la planificación de procedimientos para llevar a cabo las estrategias, los presupuestos y los programas que lleva la institución a la práctica.

Identificar durante el proceso los efectos de la planificación del procedimiento o de su realización, proporcionar información para las decisiones preprogramadas y describir y juzgar las actividades y aspectos del procedimiento.

Recopilar descripciones y juicios acerca de los resultados y relacionarlos con los objetivos y la información proporcionada por el contexto, por la entrada de datos y por el proceso, e interpretar su valor y su mérito.

¿Cómo evaluar?

Para ello pueden utilizarse métodos como la observación, la inspección, la revisión de documentos, las entrevistas, los cuestionarios, etc.

Para ello se puede inventariar y analizar los cursos humanos y materiales disponibles. El estudio de las posibilidades de viabilidad, aplicabilidad y las económicas.

Para ello se debe tratar de establecer una continua interacción con el personal del proyecto y la observación de sus actividades. Los cuestionarios, las planillas de observación de los elementos centrales del proceso, los diarios y el análisis de documentos son buenos procedimientos para la evaluación del proceso.

Para ello puede utilizarse como método de evaluación, la tarea de definir operacionalmente y valorar los resultados, mediante la recopilación de los juicios de los clientes y la realización de análisis cualitativos y cuantitativos.

¿Para qué evaluar?

La evaluación del contexto permitirá definir el marco, las metas, los objetivos y la planificación inicial del programa.

La evaluación de las entradas o imputs permitirá la selección de los recursos de apoyo, los procedimientos y las capacidades del sistema para llevar a cabo el proceso.

La evaluación del proceso permitirá introducir en todo momento los cambios necesarios para llevar a cabo y perfeccionar la planificación y los procedimientos del programa.

La evaluación del producto permitirá decidir la continuación, la modificación o readaptación o la finalización del programa.

 

Teniendo en cuenta, como señala el propio Stufflebeam, que la evaluación es una parte integrante del programa regular de una institución y no una actividad especial que se lleva a cabo en determinados momentos, los objetivos de una evaluación formativa o de proceso podrían sintetizarse en los siguientes:

Aportar una información suficiente y contrastada a las personas interesadas sobre el ritmo de las actividades de un determinado programa. Si éstas se ajustan a lo planificado y si se emplean los recursos de forma eficiente.

Proporcionar elementos de ayuda y orientación para modificar algún plan concreto previamente establecido o justificar su inadecuación.

Indicar niveles de satisfacción tanto de ejecutores como de usuarios. Elaborar un informe en el cual se recoja la calidad, el coste y el nivel de ajuste respecto a

lo planificado.

Después de la presentación de estos modelos, es preciso insistir en la problemática, que se apuntaba más arriba, respecto a los paradigmas cualitativos y cuantitativos. En un primer momento, la aparición de los modelos cualitativos en educación se presentan enfrentados a los modelos cuantitativos-experimentales tradicionales. Tras largos forcejeos en la actualidad, y en el ámbito de las ciencias sociales en general y en las ciencias de la educación en particular, parece que se llega a un consenso: ningún método tiene la exclusividad a la hora de intentar explicar o profundizar en el conocimiento de los fenómenos; es más, presentar los paradigmas como incompatibles constituye un error. Creemos que son muy acertadas las ideas de Reichardt, 1986 y Filstead, 1986, cuando intentan centrar la polémica y buscar una solución considerando que:

Los atributos de un paradigma no se hallan ligados ni a los métodos cualitativos ni a los cuantitativos. Los paradigmas no constituyen el determinante único de la selección de los métodos. La elección del método dependerá, en parte, de las exigencias de la situación que se pretende analizar. La eficacia, validez y utilidad de una investigación o de una evaluación serán mayores en la medida que

hayamos logrado diseñar un proceso que se ajuste a las situaciones que comprende, de las cuales unas serán de índole cuantitativa y otras cualitativas o, la mayoría de las veces, mixtas,

Los evaluadores han de sentirse libres para cambiar de paradigma cuando lo consideren oportuno.

Que lo inapropiado es situar a cualquiera de los dos métodos en posición inferior Que la evaluación de un programa puede verse fortalecida cuando en un diseño de

investigación se hallan integrados los dos paradigmas.

4. DISEÑOS DE EVALUACIÓN

Abordar el diseño de la evaluación, en función de la realidad del centro evaluado, de los componentes seleccionados y de las necesidades detectadas, supone disponer el camino para llegar a la meta propuesta. La definición de diseño, en sentido amplio, puede concretarse en: «la planificación de las actividades que deben llevarse a cabo para solucionar los problemas o contestar a las preguntas planteadas» (De la Orden, A.:1985, p. 71).

Una vez identificados los componentes y subcomponentes que se van a evaluar y señaladas las condiciones generales del proceso que se emprende, es necesario determinar el tipo de diseño más adecuado para las finalidades que se pretenden (ver Cuadro que aparece más abajo). Decidido el tipo de diseño, hay que precisar, dentro de su planteamiento genérico, las fases del trabajo, las

personas que deben intervenir, los recursos con que se cuenta, las técnicas que se utilizarán, los instrumentos que deben emplearse o elaborarse, el tiempo previsto para su realización, etc.

Cuadro: Tipos de diseños.

 

La realización del diseño supone una importante toma de decisiones para hacer realidad la evaluación proyectada; sin esta tarea previa, es fácil que no se alcancen los objetivos propuestos en un principio.

En el cuadro anterior hemos presentado una posible clasificación de los tipos de diseños válidos tanto para investigación como para evaluación. Según esta propuesta, podemos distinguir básicamente tres tipos de diseños:

a) Experimental.

b) Quasi-experimental.

c) No experimental.

En principio, es válida la elección de cualquier tipo de diseño para realizar la evaluación global o parcial de un centro, pero nos decantamos por los diseños no experimentales por su mayor adecuación y utilidad en la evaluación interna y formativa de los centros escolares.

Así, aunque entendemos que para casos concretos, especialmente en la evaluación parcial de un centro, puede emplearse un diseño experimental o quasi-experimental, creemos que las situaciones habituales de la vida de un centro, consideradas globalmente, son más fácilmente valorables con diseños no experimentales, por adecuarse mejor a la naturaleza compleja de estos hechos, a la evaluación de procesos y a la dinámica diaria de la tarea educativa. Los diseños no experimentales permiten incorporar las eventualidades que van apareciendo y, por ello, el ajuste de los pasos establecidos previamente en ellos. De esta forma, la continua mejora del proceso y las circunstancias en que éste se desenvuelve y la utilización de la evaluación como estrategia de formación permanente en el centro, se convierten en una realidad.

Dentro de los diseños no experimentales, el diseño etnográfico se adecua especialmente a la flexibilidad que necesita la evaluación de las instituciones educativas.

  Diseño experimental

   Diseño quasiexperimental  

Tipos de diseño evaluador Diseño no experimental Ex-post-factoCorrelacionalLongitudinalTransversalEstudio de casosInvestigación-acciónEtnográfico

En consonancia con la exposición que venimos haciendo, consideramos necesario realizar algunas puntualizaciones que quizá orienten al lector a lo largo de las páginas que siguen:

La descripción de los tipos de diseño es sencilla y breve; en ella nos limitamos a destacar sus principales características, de manera que el interesado disponga de unos elementos básicos de juicio para decidir el tipo de diseño que puede resultar más conveniente en cada caso. Para su ampliación, le remitimos a la bibliografía, donde podrá encontrar obras que tratan con mayor profundidad los diseños mencionados.

4.1. Diseño experimental

Un experimento consiste en modificar el valor de una variable (denominada independiente) y observar el efecto del cambio en otra variable (denominada dependiente). Por tanto, la caracterización del método experimental en educación viene dada porque el evaluador controla y manipula deliberadamente las condiciones de los hechos que le interesa valorar. De esta forma se pretende establecer relaciones de causa/efecto entre unas variables y otras.

Las funciones que se asignan al diseño experimental son complejas y variadas; siguiendo a De la Orden, A. (1985, PP. 71-72), citamos entre ellas: «La formulación precisa de la hipótesis y su traducción a términos estadísticos, la identificación tanto de la variable independiente (V. I.) como de las extrañas y la toma de decisiones sobre los niveles de aquélla y el control de éstas, la selección de la muestra, su tamaño y procedimiento de asignación, la selección de técnicas para la medición de la variable dependiente (V. D.), la decisión sobre la prueba estadística y el nivel de significación, y el grado de generalización de los resultados.»

Se ha utilizado frecuentemente este diseño para controlar, por ejemplo, el efecto de una nueva metodología sobre el aprendizaje de grupos de alumnos. Para aplicarlo es necesaria la formación aleatoria de los grupos y, también, contar con un grupo de control. Dada la dificultad de que se dé la condición de aleatoriedad, en sentido estricto, dentro del campo educativo, y dados los problemas éticos que en algunos casos puede plantear la manipulación de sujetos, se hace realmente difícil su utilización en buena parte de la evaluación educativa, lo que no significa que para investigaciones muy especificas no deba realizarse y, de hecho, se realice. No obstante, los obstáculos que presenta su utilización en la evaluación interna de los centros, son prácticamente insalvables.

4.2. Diseño quasi-experimental

Considerando las dificultades del diseño experimental puro, los investigadores en educación manifiestan, en los últimos años, una clara tendencia hacia la aplicación de la quasi-experimentación.

No todas las leyes que rigen en el ámbito de la educación son leyes linealmente causales, sino que más bien encontramos relaciones teleológicas (regidas por metas, intenciones, objetivos, etc.), o bien ecológicas (orientadas por mecanismos complejos de adaptación). Ciertamente, el contexto en el que ocurren los «hechos» constituye un sistema abierto donde aparecen interacciones de todo tipo y en el que, por lo tanto, es casi imposible establecer relaciones causales puras. Por ello, hay que convenir en que son mayores las posibilidades de aplicar el diseño quasi-experimental para obtener resultados no reduccionistas en educación.

El objetivo principal de este diseño se centra, como en el caso anterior, en establecer ciertas relaciones causales entre las variables estudiadas, pero sin exigir la completa aleatorización de los

grupos, por lo que resulta más sencilla y apropiada su utilización. Presenta, de este modo, un menor grado de validez interna, pero un nivel aceptable de validez externa..

Los condicionantes a los que hemos aludido hacen que algunos autores achaquen a este tipo de diseño un menor valor científico. No obstante, las ventajas que presenta, muy especialmente su viabilidad y su escasa interferencia en el curso natural de los hechos, llevan a que los investigadores/evaluadores recomienden este diseño para muchos estudios educativos.

4.3. Diseño no experimental

Para caracterizar los diseños no experimentales habría que indicar que son aquellos que no incorporan los elementos de control disponibles en los diseños anteriores. Es decir, no se controlan y manipulan las variables (no se utiliza grupo de control, no se seleccionan y asignan sujetos por procedimientos aleatorios) y no pretenden definir la estricta relación causa-efecto entre una variable y otra. Por el contrario, sí pretenden descubrir relaciones entre los componentes de un hecho, ofrecen una rica información sobre los procesos, explican las complejas interacciones que se producen en los grupos humanos, dejan un gran margen para la interpretación, y por todo ello, sus resultados no son generalizables, pero resultan de gran utilidad para la toma de decisiones en la situación o el centro evaluados. Por lo tanto, desde un punto de vista experimental, estos diseños resultan muy débiles; no obstante, «con fines formativos esto puede ser muy acertado; pero con fines sumativos son mucho menos convenientes que los diseños más rigurosos» (Weiss, C. H.: 1982, pp. 93-94).

Y es precisamente por esta serie de razones por lo que mostramos nuestra preferencia por los diseños no experimentales en la evaluación de centros: los fines que pretendemos con la evaluación interna del centro son, justamente, su continua formación y mejora y, como dice Weiss, es en ese campo en el que los diseños no experimentales encuentran su adecuada aplicación.

A continuación describiremos algunos diseños incluidos en la clasificación respecto a la que, como ya comentamos antes, todavía no se ha llegado a un consenso general y la inclusión o no de algunos diseños en un grupo u otro depende más de un criterio personal guiado por motivos prácticos que de un consenso aceptado de forma general, como señala De la Orden (1985).

a) Diseño ex-post facto

Interpretado literalmente, el término ex-post-facto significa de lo que se hizo antes, es decir, diseño para la evaluación de lo ya realizado o diseño retrospectivo. Se centra, por tanto, en una variable independiente cuyas manifestaciones ya han ocurrido. De ahí que este diseño se defina como: «... aquella investigación en la que no se ejerce control directo sobre la variable independiente» (De la Orden, A.: 1985, p. 107). Esta es, también, su diferencia esencial con el diseño experimental. Constituye un intento planificado para evaluar la relación causa/efecto entre una situación dada y los factores que en el pasado hayan podido producirla. Por ejemplo, en un centro aparecen porcentajes de abandono escolar que antes nunca se habían dado. El evaluador, para intentar averiguar las causas, investigaría los factores que hubieran podido presentarse en el funcionamiento general del centro a lo largo de los cinco últimos años, buscando así la explicación a la alarmante situación que ahora se manifiesta.

Este tipo de diseño ve amenazada su validez interna por la desaparición a corto plazo de la muestra y la regresión estadística. No obstante, hay autores, como E. N. Kerlinger (1975), para quienes este planteamiento es tan riguroso como el experimental, pero teniendo en cuenta su

aplicación a la investigación pedagógica, ya que el objeto de estudio (la educación) no posibilita el control riguroso de variables y condicionamientos, como ya hemos comentado antes.

b) Diseño correlacional

Insistiendo en la ambigüedad de las clasificaciones, este diseño es considerado, a veces, como una modalidad del diseño ex-post-facto, al igual que el denominado diseño de grupo criterial o diseño causal-comparativo (Cohen, L. y Manion, L.: 1990, p. 224), mientras que otras es incluido entre los quasi-experimentales. No obstante, presenta algunas diferencias significativas que permiten su diferenciación.

La evaluación mediante un diseño correlacional se propone la identificación de las relaciones existentes entre las diferentes variables que confluyen en un fenómeno, intentando determinar el tipo (positivo o negativo) y ponderar su incidencia. La pretensión no es hallar la relación directa de causa/efecto, sino simplemente poner de manifiesto relaciones entre unas variables y otras. De esta forma, no requiere la manipulación de la variable independiente, por lo que resulta más aplicable al campo educativo, aunque los experimentadores cuantitativos puros ponen en entredicho su validez al no poder establecer el tipo de relación que efectivamente se produce. Son importantes sus aportaciones para constatar la fiabilidad y la validez de una prueba (Tyler, L. E.: 1978).

 e) Diseño longitudinal

El diseño de evaluación longitudinal se lleva a cabo mediante la recogida y valoración de los datos a lo largo de un determinado período de tiempo. Este periodo puede establecerse de antemano cuando se evalúa un tema que así lo precise, como puede ser la implantación de un programa, de una reforma educativa, etc. Asimismo, el diseño puede plantearse sistemáticamente cada año en torno a aquellos componentes o aspectos del centro escolar que se consideren de interés (rendimiento del alumnado, funcionamiento de los criterios de evaluación previstos, aplicación de metodologías innovadoras...). Dado que en todos los casos este tipo de diseño evaluativo implica un seguimiento en el tiempo, presenta ciertas ventajas e inconvenientes que comento brevemente. La evaluación longitudinal es útil para llegar a conocer los esquemas de desarrollo del objeto evaluado, para establecer las relaciones que se producen entre unos y otros componentes o resultados, para demostrar cómo los cambios individuales suelen coincidir con los cambios sociales de conjunto y, muy especialmente, para la observación de tendencias en los grupos. No obstante, por el motivo antes citado (su prolongación en el tiempo hace que cuanto mayor sea su duración, más fuertes sean sus limitaciones), también presenta inconvenientes y problemas relativos a su validez, que han hecho reducir enormemente su utilización en los últimos años; entre ellos, el largo período de tiempo en el que se debe contar con un equipo evaluador que realice el seguimiento, el gran coste económico que lleva consigo, la mortalidad de la muestra (cambio o desaparición de los sujetos evaluados por traslado de residencia, de centro, etc.) y las dificultades de organización, ya que las continuas modificaciones impiden cumplir en muchas ocasiones la planificación prevista (Cohen, L. y Manion, L.: 1990, p. 102). No obstante estos inconvenientes, y como ya adelantaba al comenzar este comentario, para la evaluación longitudinal de un centro educativo no existen tantas dificultades como las señaladas por los investigadores cuando se refieren a estudios planificados a escala nacional o internacional y que deben efectuar equipos especialmente contratados para ello. Creo que no es difícil llevar a cabo la evaluación de aquellos componentes que se consideren de mayor interés para el centro, mediante un diseño longitudinal. Ni siquiera es imprescindible precisar de antemano el final de la misma, salvo que así lo requieran los objetivos previstos. Por ejemplo: los resultados

obtenidos por los alumnos y las alumnas a lo largo de varios cursos académicos pueden ser objeto de un diseño de evaluación longitudinal sin necesidad de predeterminar el final del estudio. Esto ofrecería al centro datos comparativos por grupos y por áreas o disciplinas durante toda su vida como institución, y permitiría establecer correspondencias entre éstos y los diferentes factores que se hayan ido introduciendo o modificando en el proceso de funcionamiento (metodología, recursos didácticos, profesorado especialista, programas específicos, etc.) o las modificaciones de contexto o entrada que se hayan producido (en el nivel sociocultural de la población de la localidad o del barrio, en el tejido industrial, en los apoyos externos, en las instalaciones, etc.).

Por las características de este diseño, algunos autores lo señalan como próximo a los diseños quasi-experimentales e, incluso, cuando los diseños experimentales cuentan en su planteamiento con observaciones sistemáticas repetidas en el tiempo, también participan de este carácter longitudinal que acabamos de comentar. Por otro lado, si el diseño longitudinal se aplica a hechos ya ocurridos, al menos en parte, se acerca a la caracterización de los diseños ex-post-facto.

d) Diseño transversal

El diseño de evaluación transversal intenta salvar los inconvenientes de aplicación temporal que se atribuyen al longitudinal y, para ello, la toma de datos y su valoración correspondiente se realizan en un momento preciso, pero recogiendo información de muy diferentes estratos de población. situaciones. edades, ámbitos de actuación, etc., de manera que sea posible deducir unas ciertas tendencias de comportamiento a lo largo del tiempo aunque el estudio se realice en un plazo realmente corto: «Un estudio transversal es aquel que produce una fotografía instantánea de una población en un momento determinado. El resumen o compendio de un estudio transversal es un censo nacional en el que una muestra representativa de la población formada por individuos de diferentes edades, diferentes ocupaciones, diferente educación e ingresos y residentes en diferentes partes del país, es entrevistada en el mismo día» (Cohen, L. y Manion, L.: 1990).

Al igual que el anterior, este diseño de evaluación presenta ventajas e inconvenientes claros. Haciendo referencia a los citados anteriormente, podría afirmarse que las ventajas de la evaluación longitudinal corresponden a los inconvenientes de la transversal, y viceversa. En concreto, las ventajas son su inferior coste económico y organizativo, la mayor rapidez en la obtención de resultados, el mayor número de sujetos con los que se puede contar para su realización y la facilidad para contar con la cooperación de los sujetos evaluados. FI inconveniente básico es la dificultad de determinar tendencias en el comportamiento de los grupos a lo largo del tiempo (sean éstos más o menos amplios) y, por tanto, el estudio de procesos de desarrollo mediante este tipo de evaluación es sólo aproximativo. Un ejemplo comparativo: si queremos conocer la incidencia de la aplicación de una reforma educativa en los resultados obtenidos por los alumnos durante los seis primeros años de implantación, su evaluación bajo un diseño de tipo longitudinal supondría realizar el estudio sobre los factores que se desea evaluar al menos una vez al año. Al cabo de los seis años se podría redactar el informe final de la evaluación con los resultados obtenidos. Si decidimos que no es posible mantener el estudio anual a lo largo de todo ese tiempo, cabe la posibilidad de plantear una evaluación con diseño transversal. Para ello, cuando hubiese finalizado el periodo de seis años, se tomarían muestras de alumnos de los cursos 1º, 2º, 3º, 4º, 5º y 6º, con datos relativos a todos los componentes que vayan a ser evaluados (áreas, disciplinas, metodología, modelo de evaluación, organización del centro...). De esta forma se obtendría una visión global, pero

referida a los distintos momentos de implantación (cursos 1º, 2º, 3º, 4º, 5º y 6º) y a todos los componentes que deseamos evaluar. Se consigue así un resultado similar al del diseño longitudinal. No obstante, si deseáramos obtener mayor información sobre algún aspecto concreto y profundizar en cualquiera de los factores estudiados, ya no sería posible, puesto que este tipo de diseño se realiza cuando el proceso ha finalizado. Esto obstaculiza también la posibilidad de reformulación, ajuste o corrección de las disfunciones que se vayan produciendo, limitando, por tanto, los valores formativos de la evaluación y la efectividad de las decisiones tomadas en el momento oportuno.

Otro ejemplo más, referido estrictamente al ámbito de un centro educativo: podríamos plantearnos la determinación del valor de los criterios establecidos para la evaluación del alumnado a lo largo de toda la Educación Primaria y Secundaria Obligatoria. El diseño transversal de esta evaluación supondría que, al finalizar un curso, se tomarían datos del funcionamiento de esos criterios en los tres ciclos de la Educación Primaria y en los dos ciclos de la Educación Secundaria Obligatoria, simulando así la continuidad en el tiempo del proceso de aplicación de esos criterios. Una vez hecho esto, se establecerían las comparaciones oportunas actuando como si los datos se hubieran obtenido curso tras curso.

e) Estudio de casos

El diseño de evaluación caracterizado como estudio de casos aparece, como en las situaciones anteriores, clasificado de diversas maneras. Vázquez Gómez, G. (1976) lo considera inscrito dentro de los diseños quasi-experimentales, cuando es capaz de satisfacer, al menos en cierto grado, las exigencias de validez interna y externa necesarias. No obstante, otros autores, como Campbell, D. y Stanley, J. (1979), lo citan como diseño precientífico, al señalar que no controla ninguna de las fuentes de invalidez. Lo incluimos ahora en los diseños no experimentales, continuando con el criterio ya mencionado, no considerándolo estrictamente experimental ni quasi-experimental, tanto por los principios generales que lo inspiran como por las situaciones a las que generalmente suele aplicarse.

Este diseño de evaluación implica el estudio profundo de las características de una realidad singular, de la unidad individual que se pretenda evaluar: un centro educativo, un alumno, una pandilla, una clase, etc. Su propósito fundamental es conocer profundamente y analizar con intensidad los diferentes fenómenos que componen esa unidad. Por lo tanto, la técnica principal que se utiliza para la recogida de datos es la observación, complementada con la entrevista. De esta forma, el evaluador incluso puede pasar a formar parte integrante del medio evaluado con la pretensión de conocerlo en toda su amplitud (observación participante).

Interesa especialmente el conocimiento del proceso tal y como está ocurriendo y la opinión que las personas intervinientes tienen de él, y resulta útil sobre todo cuando el objetivo de la evaluación es comprender la naturaleza y la fenomenología de los procesos. La función asignada al estudio de casos es doble: investigadora y formativa, puesto que se propone ayudar a los protagonistas de la acción a conocer lo que hacen y a reflexionar sobre ello para mejorar su actividad profesional.

Es evidente que este tipo de diseño se enmarca dentro del modelo cualitativo de evaluación (metodologías naturalistas, idiográficas, iluminativas...) y últimamente se ha extendido considerablemente en el ámbito de la evaluación de centros, ya que se adapta muy bien a las necesidades evaluativas de los mismos y responde adecuadamente a los intereses de sus miembros y a la forma de hacer que en estas instituciones tiene lugar.

f) Investigación-acción

En términos generales, se puede definir la investigación-acción o investigación activa (recibe diversas denominaciones) como la intervención sistemática en el funcionamiento de realidades reducidas (un aula, un centro), que lleva al examen continuo de la situación y permite los ajustes permanentes para perfeccionar el proceso que se desarrolla. Si enfocamos nuestro interés hacia el centro o el aula, esto se traduce en que los propios integrantes de la comunidad educativa, que día a día hacen la vida de la institución, son los principales observadores/evaluadores de su actividad, de modo que la retroalimentación puede tener lugar en cada momento en que resulte necesaria, a la vista de las interacciones y los resultados que se van produciendo. Constituye la reflexión personal del profesional sobre su propio trabajo.

Como características del diseño enmarcado en el ámbito de la investigación-acción, Cohen y Manion (1990, p. 271) citan las siguientes:

f.1). SituacionalSe preocupa del diagnóstico de un problema en un contexto concreto y lo intenta resolver en ese mismo contexto (en nuestro caso, el centro escolar).

f.2).  ColaboradorTrabajan juntos el equipo de evaluadores y los profesionales del medio evaluado (profesores y directivos).

f.3). ParticipativoLos miembros del centro toman parte en la evaluación/investigación.

f.4). AutoevaluadorSe evalúan continuamente las modificaciones que se produzcan en la situación del centro, siendo el último objetivo mejorar la práctica profesional específica.

Por otra parte, la investigación-acción se suele recomendar para el estudio o evaluación de métodos de enseñanza, de estrategias de aprendizaje, de procedimientos de evaluación, de actitudes y valores, de formación de profesionales en ejercicio, de cuestiones relacionadas con dirección y control y de situaciones problemáticas de gestión. En resumen, puede resultar idónea para la evaluación de muchos elementos que forman parte del funcionamiento de un centro educativo.La inclusión de la investigación-acción dentro de los tipos de diseño no experimentales viene justificada por su propio planteamiento, que no intenta controlar y manipular las variables, sino explicar «desde dentro» la realidad de una situación social. De forma parecida al estudio de casos: «se basa en dos principios esenciales: mejora y participación... Dado que es una forma de investigación social... el campo de la interacción y la práctica humanas configura los lugares aptos para la investigación y el perfeccionamiento» (Grundy, 5.: 1991, p. 193). Por otra parte, las técnicas de recogida y análisis de datos que se ajustan a este tipo de diseño son las utilizadas habitualmente por los investigadores o evaluadores cualitativos, ya que se adecuan mejor al estudio de la compleja e interactiva realidad del centro educativo.

g) Diseño etnográfico

Siguiendo el trabajo realizado por Goetz, J. P. y Le Compte, M. D. (1988), sintetizo los rasgos de los diseños etnográficos que nos pueden resultar más interesantes para su aplicación a la evaluación de centros, ya que este diseño se suele utilizar para estudios de investigación más amplios dentro del campo de evaluación de sistemas y, por tanto, con mayor complejidad e implicaciones que las que aquí van a aparecer.La etnografía educativa ha tomado la terminología y los procedimientos de trabajo del ámbito de la antropología cultural y de la sociología cualitativa, siendo sus elementos básicos los siguientes:

-Comienzo de tipo exploratorio y abierto a cualquier posibilidad de planteamiento para abordar el problema que se investigue o evalúe.

-Fuerte implicación del evaluador en el medio social objeto de su trabajo, como observador y como participante.

-Utilización de diversas técnicas de investigación, especialmente la observación participante y las entrevistas con informantes clave.

-Intento de comprender los acontecimientos desde el significado que tienen para los protagonistas del medio evaluado/investigado.

-Interpretación de los datos dentro del importante papel que el contexto posee en la determinación de las conductas y en la interacción entre conducta y acontecimientos en el sistema.

-Producto de investigación con forma escrita (la «etnografía»), que debe interpretar los hechos de acuerdo con las características señaladas en los puntos anteriores y describir el entorno social con detalles lo suficientemente vivos como para que las personas informadas lleguen a conocer «lo que es estar allí».

Por lo tanto, supone la reconstrucción o descripción analítica de escenarios y grupos culturales (una fotografía del medio estudiado, en nuestro caso el centro educativo), para llegar a esa visión absolutamente real que pretende ofrecer. Con objeto de corregir los posibles sesgos de la información y garantizar la objetividad de los datos, suelen aplicarse técnicas de triangulación.Por su propia naturaleza, planteamientos básicos, técnicas utilizadas y objetivos pretendidos, este diseño entra de lleno en los modelos cualitativos de evaluación y en el ámbito de los diseños no experimentales.La obra de Woods, P. (1987) es sumamente ilustrativa en relación con la aplicación del diseño etnográfico a la evaluación del centro escolar.

 BIBLIOGRAFÍA

Casanova, M. A. (1992). La evaluación, garantía de calidad para el centro educativo. Zaragoza: Edelvives.Casanova, M. A. (1997). Manual de evaluación educativa. Madrid: La Muralla.Ferrández Arenaz, A. y Jiménez Jiménez, B. (1989): Seguimiento y Evaluación de los Procesos Didácticos. Madrid: Fondo Formación Empleo.Guerrero López, J. F. (1991). Introducción a la Investigación Etnográfica en la Educación Especial. Salamanca: Amarú.LeCompte, M. D. (1995). Un matrimonio conveniente: diseño de investigación cualitativa y estándares para la evaluación de programas. RELIEVE (Online), 1 (1). Disponible en http://www2.uca.es/RELIEVE/v1n1.htm (1 julio 1999).Morales Domínguez, J.F. (1985). Metodología y teoría de la psicología. Madrid: UNED.Rodríguez Diéguez, J. L. (1980 ). Didáctica General: 1. Objetivos y Evaluación. Madrid: Cincel.