http://www.cibersociedad.net/congres2006/gts/comunicacio.php?id=927&llengua=es

Concepto, metodología y retos de la evaluación on line: Buenas prácticas para su fiabilidad

OLGA DÍEZ FERNÁNDEZ

Texto de la comunicación: Cuando tuve conocimiento de la existencia de este grupo de trabajo dentro del III Congreso ON LINE Observatorio para la Cibersociedad, no pude menos que congratularme de encontrar, por fin, un foro en el que se pudieran debatir y contrastar opiniones, experiencias y teorías sobre la evaluación on line.

Como profesora tutora que participa en el primer curso que desarrolla las enseñanzas previas a la universidad en la modalidad a distancia on line (Bachillerato por Internet), los centros de interés de este grupo de trabajo no podían estar más en consonancia con las inquietudes reales de mi práctica diaria. Como el resto de los compañeros de los CEAD de Canarias (Centros de Educación a Distancia), me planteo las mismas preguntas que figuran como centros de interés de este grupo de trabajo:

• ¿Cómo entendemos la evaluación en el proceso de enseñanza­aprendizaje en espacios virtuales?

• ¿Cuáles son los principales tipos de evaluación on line? ¿Qué diferencias y semejanzas existen con la evaluación presencial? ¿Qué ventajas e inconvenientes?

• ¿Qué desafíos tiene que sortear la evaluación on line para que sea aceptada en otros ámbitos educativos ajenos a la enseñanza on line?

Intentaré, por tanto, en las páginas siguientes hacer contribuciones desde la práctica a los tres aspectos cruciales que plantean esos interrogantes: el concepto de evaluación, los métodos de evaluación y la credibilidad de la evaluación en los contextos de formación a distancia on line.

Debe tenerse en cuenta que el carácter de experiencia piloto en desarrollo que tiene esta implementación del Bachillerato a distancia, pionera en nuestro país, nos obliga a presentar líneas abiertas de trabajo, más que resultados validados con datos obtenidos de una experiencia ya acabada, por lo que pretendemos analizar críticamente la situación en la que nos encontramos y esbozar las pautas de buenas prácticas que dentro de nuestro contexto formativo nos pueden ayudar a vencer los numerosos retos que se nos presentan a diario.

Así pues, el objetivo de esta comunicación es brindar una serie de elementos para la reflexión, que sirvan para salvar el enorme vacío que a veces encontramos entre lo que es la teoría de la evaluación, el marco normativo, (insoslayable en las enseñanzas oficiales), y la práctica educativa. A menudo sucede que términos que en la teoría parecen unívocos se confunden con las prácticas habituales en muchos centros, recibidas de nuestras propias experiencias previas como alumnos o como docentes. Así es corriente confundir evaluar con calificar o simplificar la idea de evaluación continua.

Desde luego, el concepto de evaluación es muy amplio y lo primero que vamos a hacer es acotar conceptualmente el tema en función de los objetivos de esta contribución, para pasar a analizar posibles buenas prácticas en la evaluación on line.

En este sentido, es un hecho incuestionable que la irrupción de las TIC en la educación ha propiciado todo un movimiento de renovación y revisión de los postulados teóricos o prácticos que la acción de educar lleva consigo. Quizá porque con las TIC nos encontramos con un poderoso recurso que a menudo saca a la luz nuestros currículos ocultos, la revisión, la crítica y la mejora de nuestro trabajo es ineludible, y en este sentido, si bien las TIC no cambian por si mismas los usos docentes, sí es cierto que nos harán evolucionar hacia nuevas aproximaciones más cercanas a la realidad de los alumnos, donde la interacción social y la construcción colaborativa del aprendizaje encuentre por fin un escenario adecuado para su desarrollo.

Si nos centramos en la a evaluación on line de los aprendizajes, nos vamos a encontrar de partida con los mismos elementos que se dan en cualquier sistema de evaluación y que habrán de ser contextualizados conforme a la situación concreta de aprendizaje que queramos observar, medir y mejorar.

La evaluación es sin duda el proceso que vertebra toda acción formativa. En la evaluación ponemos en juego no sólo las capacidades de nuestros alumnos, sino sobre todo nuestras propias competencias como profesionales de la educación que deben ser conscientes de las implicaciones de la acción educativa.

La complejidad de la evaluación es consecuencia directa de la complejidad del propio proceso de enseñanza­aprendizaje. Éste ha dejado hace tiempo de ser algo que pasaba en las aulas, fuera de la mirada de la sociedad, para convertirse en un hecho casi público, en un hecho social, al que cada vez se le exigen o atribuyen tareas más amplias, haciendo que la educación no se valore tanto como un proceso de trasmisión de conocimientos, sino como un proceso formativo en el que hay que contemplar desde el desarrollo de habilidades básicas hasta la adquisición de los comportamientos sociales y la formación en valores.

Paralelamente a esta ampliación o sobredimensionado del concepto de educación, se ha desarrollado la necesidad de control sobre la acción formativa, control que no se limita sólo a la comprobación de la adquisición de los saberes trasmitidos, sino también al desempeño de la función docente y, por ende, de los sistemas educativos. Así, la evaluación plena debe contemplar toda esta complejidad, responder a estas amplias expectativas sociales (ESCUDERO, 2003).

Para centrar el tema, revisaremos de manera muy sucinta los postulados pedagógicos que configuran nuestra concepción de la educación en línea. En este sentido debe quedar claro que ante todo partimos de la definición del proceso de enseñanza aprendizaje como comunicación interactiva, (LÓPEZ EIRE, 2004) y al añadirle la dimensión on line, nos vemos obligados a tener presente siempre las especificidades del discurso electrónico (ED) o comunicación mediada por el ordenador (CMC), así como la amplitud de funciones del tutor y el nuevo compromiso que debe asumir el alumno en este tipo de formación. Al tener en cuenta todas estas especificidades, resulta evidente que el enfoque de la evaluación en los cursos on line tiene que llegar a un modelo evaluador en el que estén integradas y asumidas estas características, los condicionantes, las capacidades y desempeños que este modelo comunicativo conlleva. La evaluación, para ser auténtica: es decir, útil, factible, ética, justa, segura y precisa, según los pincipios del Joint Committee on Standars for Educational Evaluation (ESCUDERO 2003; p.27), debe ser adaptada, debe partir del contexto, de la realidad vivencial del proceso: "cuando cambia el modo de llevar a la práctica la formación, no pueden no cambiar también los significados y las estrategias de la evaluación misma". (ZANGRANDO 2004)

Así pues, la pregunta que, como tutores on line, debemos formularnos es: ¿cómo realizar una evaluación formativa, criterial, contextualizada, compartida, orientadora, integradora y crítica.... en un curso on line? Su respuesta va a estar condicionada por las circunstancias concretas de los cursos en los que trabajemos, por su diseño y objetivo, por las necesidades formativas de los participantes, por la metodología y articulación de los contenidos, por el propio estilo docente. Sin embargo, es necesaria una reflexión detenida sobre el mismo hecho de evaluar. En particular, consideramos de especial relevancia los aspectos que facilitan y mejoran la metacognición de los alumnos, como elemento imprescindible en la construcción de un aprendizaje significativo y

transformador, ya que en educación a distancia la evaluación es el principal instrumento de retroalimentación del alumno.

El concepto de evaluación.

Tanto en la investigación educativa como en la práctica de muchos docentes, se ha dado un cambio en el concepto de evaluación. Se tiende cada vez más a que ésta sea formativa y cualitativa, frente a la práctica que identifica evaluación y calificación y en la cual evaluar queda reducido a poner notas. Frente a esta visión mecanicista, la evaluación pasa a considerarse como "una extensión de la investigación educativa" que "incorpora de forma explícita un componente axiológico – o de valores­ como parte esencial de las interpretaciones o juicios que elabora. Como un instrumento mediador del propio currículo entre su diseño y su puesta en acción, entre sus posiciones teóricas y sus aplicaciones prácticas" (FERNÁNDEZ FALCÓN 1992).

Ya en 1982 Gimeno Sacristán afirmaba que el gran valor de la evaluación radica entre otros aspectos en ser: "instrumento de investigación didáctica: comprobar hipótesis de acción metodológica para ir acumulando recursos de una eficacia comprobada en la acción, e ir engrosando de esta manera el apartado de técnica pedagógica fundamentada científicamente".

La evaluación, por tanto, presenta este doble carácter: el ser un instrumento de investigación didáctica y, a la vez, un medio pedagógico que proporciona una información que ayuda al alumnado a progresar en su aprendizaje. En este sentido destacamos que la eficacia de la evaluación habrá de admitirse desde estas dos perspectivas: la evaluación del proceso educativo y la evaluación del aprendizaje del alumnado. Pero el objetivo de la evaluación va más allá de estos aspectos. No se trata de tomar decisiones ni sobre el proceso ni sobre el producto, sino de que un colectivo tome conciencia de su situación para plantear mejoras en la enseñanza.

Desde nuestro punto de vista, la finalidad de la evaluación es tender siempre a la mejora de la intervención didáctica, extendida ésta a todos los elementos que intervienen en el proceso de enseñanza­aprendizaje; así, por una parte, sirve para facilitar el proceso de toma de decisiones y consecuente y progresivamente ir adaptándolo a la ayuda pedagógica que precisa el alumnado, y, por otra parte, para constatar si estas intervenciones han sido significativas o no, mejorándolas en las reflexión, en el estudio prospectivo y en el proceder consiguiente. Admitido esto, también hemos de reconocer que la evaluación es un instrumento de investigación que, "en una situación y marco determinado, mediante el análisis, la identificación, la recogida y el tratamiento de diversos datos, permitirá comprobar la hipótesis de acción que se hizo en su día en el proyecto pedagógico con la finalidad de confirmarla o de introducir modificaciones de mejora". (IMBERNÓN, 1993)

Partimos, pues, de la concepción de la evaluación que la entiende como el elemento del currículo que cohesiona al propio currículo y potencia la función pedagógica de todos los elementos del currículo. La evaluación, por lo tanto, es un método, una

epistemología, y no una técnica. La técnica sería un apoyo a la evaluación, ya que la evaluación no se cierra en la técnica, sino que incluye más dimensiones.

Para sintetizar las dimensiones de la evaluación, presentamos a continuación un esquema básico, centrado en la evaluación de aprendizajes, en el que diferenciamos nueve elementos o dimensiones de la evaluación, siguiendo los modelos evaluativos que tienen mayor incidencia en la práctica. Nos referimos sobre todo al nivel básico de todo el proceso evaluador: la evaluación de aprendizajes, centrada en el cambio que se produce en el alumno. Tomamos este contenido como referencia porque es el que tiene mayor protagonismo en las aulas, preocupa diariamente a los docentes y es el que despierta el máximo interés en el alumnado, pero no debemos olvidar, por una parte, que no es el único elemento que debe y puede ser evaluado, y por otra parte, que debería ser prioritario a la hora de articular un proceso evaluador completo de un programa en su totalidad.

Dimensiones de la evaluación

Desde nuestro planteamiento, la evaluación es un proceso compartido, colaborativo y democrático de recogida de información, que fomenta la reflexión crítica de los procesos y conduce a la toma de decisiones relativas a cada situación con la

finalidad explícita de la mejora de la enseñanza­aprendizaje.

La evaluación en definitiva es información al servicio de la mejora. Y, en este sentido, recordamos que ya STENHOUSE en 1975 afirmaba que "el profesor debería ser un crítico, y no un simple calificador."

Por lo tanto, podemos definir también lo que en nuestro concepto no es una evaluación. (SANTOS GUERRA 1988):

No es una evaluación aquel proceso en el que:

• sólo se evalúa al alumnado, • sólo se evalúan los resultados, • sólo se evalúan los conocimientos; • sólo se evalúan los resultados directamente pretendidos (previstos); • sólo se evalúan los aspectos observables; • se evalúa descontextualizadamente; • se evalúa cuantitativamente; • se evalúa unidireccionalmente; • no se evalúa desde fuera, y • no se produce metaevaluación

Sin embargo, hay elementos o factores que generalmente no están presentes en el diseño evaluador de manera explícita y sobre los que quizá convendría realizar una reflexión mucho más profunda de lo que estas líneas pretenden. Se trata de los contenidos de las primeras dimensiones del esquema anterior:

Para qué evaluar – Por qué evaluar – Para quién evaluar.

Objetivos, funciones y destinatarios de la evaluación entran en conjunción y condicionan desde el inicio el desarrollo del proceso evaluador. Es necesario tener presente "las demandas, preocupaciones y asuntos de los implicados" (GUBA Y LINCOLN 1989), porque la dinámica de la evaluación, como método de investigación y generadora, por lo tanto, de un nuevo conocimiento, tiene la vocación de provocar cambios en la educación, cambios que deben ser para mejor, pero que conllevan un riesgo para los implicados. Toda organización tiene su propia cultura en la que se insertan estructuras de poder y métodos o rutinas de trabajo, que tienen a su vez una cierta resistencia al cambio. La evaluación en su total complejidad puede ser considerada como un peligro, ya que se va a cuestionar el quehacer de los implicados y los resultados pueden ser utilizados en su contra. De ahí la tendencia a ocultar o enmascarar datos que se consideran de partida perjudiciales, sin permitir que el error sea incorporado a la evaluación como un indicador que nos señala precisamente por dónde debemos crecer. En este ámbito se halla una vez más la triple dimensión del currículum: el currículum oficial, el currículum real y el currículum oculto. Los tres desempeñan un rol en el proceso evaluador que no puede dejar de atenderse.

De la teoría a la práctica de la evaluación on line

En realidad, gran parte de la dificultad de la práctica de la evaluación reside en el hecho de que de entrada no queda absolutamente claro cuál es el objeto de evaluación, es decir

qué queremos evaluar. Se supone que en la evaluación de los aprendizajes lo que queremos es saber qué han aprendido los alumnos, lo que como es obvio nos lleva a la pregunta básica de la que debería partir toda acción formativa: ¿Qué quiero que aprendan mis alumnos?

Las respuestas a esta pregunta son las que condicionan inexorablemente el desarrollo posterior del proceso evaluador, ya que con harta frecuencia éste se conduce inconscientemente hacia la demostración de que efectivamente los alumnos han aprendido lo que nos proponíamos desde el principio. En la práctica docente habitual (on y off line) pueden darse casos en los que el modelo evaluador potencie esta distorsión. En él, la evaluación se ve como una certificación final de resultados. Se pone nota, se expide un certificado de aprovechamiento. No hace falta cuestionarse más cosas, no se plantea la necesidad de un cambio en los esquemas de pensamiento. Esta dinámica es favorecida muchas veces por el propio alumnado que quiere saber "qué hace falta para aprobar" y que no tiene más horizonte que éste. También hay muchos docentes que prefieren este modelo, ya que están acostumbrados a que las autoridades académicas o administrativas estén obsesionadas con los resultados mensurables en porcentajes: cuántos se matriculan, cuántos se evalúan, cuántos de los matriculados aprueban. Las políticas educativas que quieren "rendimiento escolar" fomentan este tipo de dinámicas en las que una reflexión abier ta sobre el proceso, es decir una evaluación procesual, parece una pérdida de tiempo para todos. Más utópico parece aún plantear la evaluación como un proceso que interviene en la generación de conocimiento y por lo tanto en la evolución adaptativa de la organización (ROMÁN Y DÍEZ)

En el caso que nos ocupa nos centraremos en la evaluación on line dentro del contexto de la formación académica reglada de los curso previos a la Universidad, es decir del Bachillerato por Internet.

Se trata de un modelo sin duda innovador, que se desarrolla en los CEAD de Canarias con el objetivo de facilitar a la población adulta de nuestras islas la posibilidad de acceder a estos estudios independientemente de su situación geográfica, horario laboral u otros condicionantes que le impedirían asistir regularmente a un centro de régimen ordinario o al bachillerato a distancia con tutorías semanales.

Dentro de la Orden que regula este tipo de oferta (BOC 170, de 31 de agosto de 2006) hay un apartado sobre evaluación que dice textualmente:

6. Evaluación. Para el bachillerato por Internet, el aprendizaje está mediado por ordenador y por tanto, los instrumentos, criterios y procedimientos de evaluación, que se darán a conocer anticipadamente, se seleccionarán en coherencia con el entorno virtual y garantizando la adecuada validación de la identidad del alumnado. Además de las pruebas presenciales, al alumnado se le valorarán las pruebas que realice por Internet, así como los trabajos y ejercicios de cada UD que previamente hayan sido definidos como componentes de calificación de la materia. En la Guía del Alumno se indicará el calendario de presentación de trabajos y ejercicios de carácter obligatorio, así como su valor dentro de la evaluación global de la materia.

Parece que la norma establece, por una parte, la necesidad de que instrumentos, criterios y procedimientos de evaluación sean coherentes con el contexto formativo on line, es decir, con la mediación de las TIC en el aprendizaje, pero se combinen con una prueba presencial. Esta evaluación debe garantizar la adecuada validación de la identidad del alumnado, y tanto las pruebas presenciales como las que se realicen on line deberán contar como elementos para la calificación, en la proporción que se establezca en las Guías del Alumno. La normativa parece decantarse por un modelo de evaluación sumativa, en la que la entrega de actividades a lo largo de cada unidad didáctica debe tener algún peso ponderado y conocido previamente por el alumno. La evaluación se considera no como un método de reflexión o mejora, sino como un proceso para validar la adquisición de contenidos.

La normativa no indica la necesidad de evaluar otros aspectos que no sean el del aprendizaje del alumnado, cuando sin duda, y en especial al tratarse de una experiencia piloto, deberían evaluarse de manera integradora aquellos elementos imprescindibles en el desarrollo de las actividades on line:

• Evaluación del entorno virtual de aprendizaje y su implementación. Como resultado de esta valoración deberíamos saber: si los alumnos han podido acceder con normalidad al aula virtual, si la instalación ha permitido la carga correcta de los materiales didácticos necesarios, si ha servido como herramienta de diálogo y si es fiable en los registros de las actuaciones de los alumnos (tracking), si reúne unos mínimos de accesibilidad.

• Evaluación de los materiales didácticos, realizados por grupos de profesores expertos en cada materia, pero con diferente nivel de competencia tanto en la elaboración de material didáctico como en el empleo del soporte electrónico y multimedia para su realización. Debemos averiguar, por tanto, si los materiales con los que queremos que nuestros alumnos aprendan reúnen las características técnicas y didácticas adecuadas para el nivel formativo, para el medio educativo, y para las necesidades formativas reales de los alumnos. Su flexibilidad, su interacción, su navegabilidad, su capacidad de motivación, amén de otra serie de factores, van a condicionar que en la realidad el alumnos tenga la posibilidad de aprender o no.

• Evaluación de la acción tutorial. ¿Son los profesores que van a impartir esta enseñanza on line conscientes de su nuevo rol educativo y de la responsabilidad que su trabajo conlleva en cuanto al seguimiento no tanto de los contenidos sino de los aprendizajes de los alumnos? ¿Disponen los profesores, en cuanto que tutores on line, de las herramientas y la pericia suficientes para que puedan acompañar en el proceso de aprendizaje a los alumnos, fomenten su participación, valoren su aprendizaje, adapten sus materiales y resuelvan los problemas técnicos? ¿Crean e implementan las actividades necesarias de la manera adecuada, en el momento adecuado y sirven éstas a los objetivos de la materia?

Estos tres elementos son imprescindibles aunque por supuesto es ineludible analizar si la institución académica y la administración educativa han sabido planificar, diseñar, apoyar y desarrollar los recursos necesarios para este tipo de oferta, desde el diseño y organización de los espacios virtuales. En este campo cabría plantearse cuestiones de este tipo: ¿El soporte técnico de la plataforma ha estado cercano al centro, para resolver las incidencias de usuarios? ¿El profesorado cuenta con horario suficiente para el

desarrollo de su labor tutorial? ¿Existen guías para los alumnos, para los tutores, para los creadores de contenido que den coherencia a la experiencia de aprender y enseñar on line? ¿Tiene el profesorado la formación necesaria?...

Y por último un elemento de reflexión que no puede ser escamoteado y que a menudo parece obviarse. ¿Y el alumnado? ¿Reúne las características recomendables para seguir este tipo de aprendizaje? Tendríamos que saber exactamente en qué condiciones se puede conectar al aula virtual, que conocimientos básicos informáticos posee, qué expectativas tiene con respecto al curso, su nivel de autonomía en el aprendizaje y su capacidad de organizar su tiempo, su compromiso con los estudios, etc. De todas éstas, hay un rasgo que me parece especialmente importante, se debe primar al alumnado que no tiene posibilidades de cursar estos estudios en otra modalidad, para evitar que se convierta, como a veces pasa en la educación a distancia con tutorización presencial, en una oportunidad que parece más suave para quien no obtiene en los centros de régimen ordinario su titulación, aunque nada le impida seguir en ellos.

La implementación de la evaluación on line. Buenas prácticas

Desde la concepción de la evaluación que hemos descrito en el apartado anterior, creemos que, pese a las limitaciones de la normativa, es posible que los profesores­ tutores del Bachillerato por Internet desarrollen una evaluación eficaz de los aprendizajes en la enseñanza on line, de manera que a lo largo de todo el proceso de aprendizaje obtengan los datos suficientes que permitan revisar sus propias actuaciones y las de los alumnos, y reorientarlas hacia la mejor consecución de los objetivos evaluables.

Para ello contamos, desde el punto de vista tecnológico, con herramientas que permiten realizar un seguimiento paso a paso de la presencia virtual de los participantes, gracias a los sistemas de monitoreo o tracking con que cuentan la mayoría de las plataformas educativas. En nuestro caso, esta información nos la proporciona en abundancia el conocido sistema de gestión de cursos, Moodle, de manera que la primera labor consiste precisamente en seleccinar de acuerdo con unos criterios qué elementos de la monitorización son relevantes y cuáles deben combinarse con otros sistemas de seguimiento no virtuales.

Uno de los felices aciertos de Moodle consiste en la incorporación de herramientas que permiten la elaboración de una amplia gama de actividades de distinto tipo, de manera que a la hora de realizar las unidades didácticas contamos con toda una gama de actividades posibles que abarcan desde tareas individuales, no visibles para el resto de los compañeros, hasta actividades de características colaborativas que facilitan la dimensión social de los aprendizajes, como son las que posibilitan el uso didáctico de los instrumentos de comunicación insertos en la plataforma (foros y chat), las wiki y, en la versiones 1.6 y posteriores, los weblog. Además, existen distintas herramientas para insertar actividades de evaluación automatizada, como son los cuestionarios, las lecciones, o la importación de actividades hechas con Hot Potatoes y Clic. La gama es muy amplia, pero no basta con la elección de un determinado formato para que la actividad diseñada con él sea necesariamente una autoevaluación: para ello debe reunir una serie de requisitos que expondremos a continuación. Efectivamente, tanto los "informes de actividad" como todas estas "actividades" y "recursos" pueden usarse con diversos fines educativos y, por lo tanto, pueden jugar un papel diferente en la

evaluación.

Para intentar fijar algunas pautas que nos permitan llegar a establecer una serie de ejemplos de "buenas prácticas" en la evaluación on line para el Bachillerato por Internet, vamos a hacer un seguimiento de posibles actuaciones a lo largo del proceso de enseñanza­aprendizaje y a discenir los usos que pueden llegar a ser buenos modelos, contando con el empleo tanto de las herramientas informáticas de la plataforma, como de otros instrumentos soportados en otras tecnologías educativas.

AL INICIO DEL CURSO: Evaluación Diagnóstica:

Los primeros momentos de la actividad formativa on line son cruciales. En ellos se producen las primeras tomas de contacto, y sobre todo la primera apreciación por parte del alumno de si aquello que realmente se le oferta coincide con sus expectativas. A menudo, esta situación puede ser crítica si en el periodo de matrícula no se ha ofrecido una información adecuada al alumno, es decir, una información comprensible y significativa para él a la vez que realista y ajustada a lo que va a ser el desarrollo del curso. Es fácil crear expectativas irreales que luego van a devenir en la conocida frustración del alumnado on line (BORGES 2005)

Se trata, por tanto, de informar y orientar. Para ello, es una buena práctica, contrastada por la experiencia de largos años de educación a distancia, la confección y distribución de la Guía del alumno, que especifique los objetivos, metodología, materiales de aprendizaje y sistema de evaluación del curso. Se trata sobre todo de clarificar, de evitar errores de partida, de que el alumno valore si el tipo de oferta se adecua a sus posibilidades tanto tecnológicas como de disponibilidad de tiempo, motivación, etc. En este sentido, es una práctica excelente que el posible alumno pueda tener acceso a esta Guía incluso antes de confirmar su matrícula, como sucede, en otro ámbito formativo, con la Guía del Alumno del Diploma de Formación Continua de la Universidad de Salamanca de Tutor on line, que puede descargarse de la URL del curso.

Pero la Guía no es en si mismo un elemento de motivación, y debe recurrirse a la tutoría de orientación, es decir, la atención individualizada a cada interesado, bien mediante consulta presencial, conversación telefónica, intercambio de correos, foros de orientación, recopilación de FAQ... Esta orientación debe darse tanto antes de formalizarse la matrícula como en el inicio de las actividades lectivas. Con estos elementos se consigue que el interesado valore la oferta que le proporcionamos y se comprometa con cierto grado de conocimiento de causa en su formación. Una vez tomada esta decisión, la motivación inicial debe ser reforzada mediante una serie de estrategias que permitan que el equipo docente conozca qué características reúnen los alumnos tanto de manera global, como grupo, como de forma individualizada. Así pues, en estos primeros momentos ya se está introduciendo un proceso de evaluación inicial que nos debe permitir llegar a conocer:

• Las habilidades tecnológicas y hábitos de usuario en Internet del alumno. Esta información es vital para el apoyo técnico y para conocer el perfil básico de usuario, ya que la experiencia indica que no se comunican de la misma manera los alumnos que se conectan desde casa o desde el trabajo, los que cuentan con buenas conexiones, los que ya tienen experiencia en el trabajo en entornos

informáticos o los que usan Internet fundamentalmente como medio de diversión.

• Las expectativas formativas del alumno, sus intereses y las circunstancias personales que pueden condicionar su participación: desplazamientos, cargas familiares, condiciones laborales, etc. Aquellos aspectos motivacionales deberían ser puestos de manifiesto para poderlos reforzar en los momentos en que la persistencia del alumno flaquee, se detecte un bajo nivel de participación o los resultados de sus actividades no sean los esperados.

Para obtener esta información, es posible usar dos instrumentos: los cuestionarios de tipo individual, estandarizados para todos los alumnos, y la comunicación grupal, de manera que cada alumno se presente al grupo y dé información sobre sus actividades, intereses, circunstancias personales, etc.. En general, es bastante difícil conseguir que el alumnado en un entorno virtual con el que no se ha familiarizado realice aportaciones en este sentido de manera espontánea; para ello es necesario que el tutor, especialmente si existe un tutor pedagógico o de orientación, diseñe estrategias de participación que borren las primeras fronteras. Con frecuencia el alumno no entiende para qué se le pide que dé información personal, por qué, además, se pide que la comparta con el grupo y ésta es una de las mayores dificultades iniciales de comunicación.

En este sentido, es una buena práctica la utilización de ambos instrumentos, es decir que el tutor conozca de antemano el perfil del alumnado a través del cuestionario inicial, y que esta información le sirva para plantear actividades grupales que hagan que los alumnos cuenten sus expectativas, compartan sus temores y expongan sus dudas. En la plataforma educativa todos deben personalizar su perfil, incluyendo la foto, y dirigir un mensaje de saludo inicial al foro. Pero ninguna de estas actuaciones tiene sentido si no encuentra un eco inmediato en el tutor, si éste no responde acogiendo a los participantes, proporcionando información personal sobre si mismo, facilitando espacios para encuentros sociales en los que haya actividades y refuerzos a la participación (SEOANE y LAMANIE,2005). Cuando nos encontramos con alumnos que, además, cuentan con un tiempo escaso, pretenden hacer un uso muy funcional del curso, y consideran que estas actividades no van a repercutir en su calificación final, es mucho más difícil conseguir su participación, por lo que los esfuerzos iniciales consisten en hacerles ver que están en un modelo de enseñanza muy personalizada y que la información que aporten en todas estas actividades va a influir en el desarrollo del curso y por tanto en su calificación (DÍEZ).

Valorar el bagaje con el que cuenta cada alumno desde el mismo comienzo nos ayudará a tomar las decisiones adecuadas para encauzar su aprendizaje hacia el éxito. Esta debe ser la finalidad de toda evaluación inicial: esencialmente formativa y orientadora, tanto para con el alumno como para con la actividad educativa, que debe tener la flexibilidad suficiente para adecuarse a la realidad de los estudiantes. Evaluar las dificultades de partida tiene sentido si sirve para que el profesor­tutor ayude al alumno a superarlas y le enseñe a autorregularlas, es decir, a adecuar sus estrategias a las situaciones concretas de aprendizaje. (ROMERA 2004)

DURANTE LAS ACTIVIDADES LECTIVAS. Evaluación procesual

La permanente disponibilidad de los espacios virtuales de aprendizaje hace que sea una tarea especialmente compleja la organización de los mismos, ya que se tiende a menudo

a la dispersión, a la sobreabundancia de recursos, muchas veces redundantes y a la poca claridad en los referentes que faciliten la navegación por el aula virtual, Una de las principales dificultades con las que se encuentra el docente on line es la manera de fomentar y regular la comunicación con sus alumnos, la integración de estos en una comunidad virtual de aprendizaje y la fluidez en el feedback educativo que en el aula física tiende a darse de manera casi espontánea (CABERO, 2004)

Estos elementos que no son propiamente curriculares hacen, sin embargo, que la evaluación sea enormemente compleja, en proporción a la complejidad misma de la situación de aprendizaje. ¿Cómo saber si todos los alumnos han recibido la información pertinente, la han comprendido y están, por tanto, en situación de aprender? El tracking o monitoreo de la actividad del alumno en plataforma no nos informa sobre la calidad de los mismos, por lo que si no somos capaces de que el alumno se haga presente comunicándose con el tutor y con sus compañeros nunca obtendremos información fiable sobre si realmente está realizando las actividades señaladas.

Supongamos que un alumno nunca ha llegado a comunicarse con nosotros a través de los foros, del chat o de cualquier otro elemento de comunicación posible (mensajería, correo), para comentarnos sus dudas o intercambiar impresiones sobre el desarrollo del curso. Supongamos que, sin embargo, vemos a través de la información que proporciona la plataforma que ha realizado una serie de cuestionarios y que ha visitado determinadas partes de las unidades didácticas. Independientemente de su pericia en la respuesta a los cuestionarios o en el envío de las tareas, es prácticamente imposible evaluar con justicia a este alumno porque nos está resultando invisible. No podemos contrastar si las dificultades o aciertos que presenta en sus actividades se corresponden con su verdadero proceso de aprendizaje, porque no hemos podido seguir su proceso, ni siquiera podríamos estar seguros de que tales actividades no hayan sido resueltas por otra persona que las ha enviado usando su clave de acceso.

Por ello, dentro del esquema de evaluación debe figurar como requisito indispensable la participación en los espacios sociales de comunicación, especialmente en el foro, es decir, debe reforzarse la participación en " clase" , entendida como comunidad virtual de aprendizaje. Y ello por diversos motivos:

• Porque el aprendizaje no se produce en el aislamiento: es necesaria una dimensión social del aprendizaje.

• Porque enseñanza es comunicación. Y una comunidad virtual es sobre todo un espacio para la comunicación.

• Porque permite el sentimiento de pertenencia, reforzando vínculos, alimentando motivaciones y relaciones.

• Porque permite trabajar en proyectos y proyectar en la realidad el aprendizaje realizado.

• Porque la comunidad virtual no sólo retroalimenta la actuación de los alumnos, sino también el desempeño de los profesores y la calidad y adecuación de los medios instruccionales (plataformas y contenidos).

• Porque se convierte, por tanto, en un factor imprescindible para la evaluación de los aprendizajes.

Cuando postulamos esta necesidad, no estamos diciendo que deban calificarse necesariamente los mensajes que se envíen a los foros, posibilidad que se puede

configurar en Moodle; pero, en determinados casos, sí puede ser interesante aprovechar esta opción como un refuerzo para la participación, en cuyo caso optaremos por escalas de valoración cualitativas y nos esforzaremos por resaltar los aspectos positivos, convirtiendo las dudas, los errores o las críticas en oportunidades para mejorar.

Pero en general el mejor refuerzo, la mejor retroalimentación, la obtiene el grupo del propio tutor on line, que es quien sabe cuándo debe escuchar, cuándo debe moderar, cuándo debe introducir elementos de discusión, cuándo debe poner límites.

De esta manera, el desarrollo del proceso de aprendizaje se enriquece, se hace participativo y más fiable. Y, por tanto, la evaluación del mismo puede ir cubriendo los objetivos de toda evaluación procesual como elemento de regulación de los componentes del proceso de enseñanza­aprendizaje.

En este momento, para la recogida de datos sobre el aprendizaje se suelen emplear un tipo de recurso muy socorrido: los cuestionarios. A menudo se confunde " cuestionario on line" con " autoevaluación" . El cuestionario es simplemente un modelo de prueba objetiva que debe diseñarse de acuerdo con las habilidades que quieran comprobarse, que debe ponderar bien el peso de los errores y aciertos, la tipología de preguntas y las posibilidades de revisión, así como las condiciones en cuanto a duración, instrucciones para su realización, posibles erratas, ambigüedad en los enunciados, etc. En cambio, la autoevaluación se refiere a un tipo de evaluación por la cual el estudiante puede valorar su propio aprendizaje y llegar a saber si es adecuado a los estándares del nivel educativo, de manera que le permita reconducir sus estrategias de estudio.

A menudo, ni profesores ni alumnos somos conscientes del alto valor formativo que los cuestionarios o cualquier otra actividad con feedback rápido pueden tener, si se aplican de manera adecuada, especialmente en la formación a distancia. En muchas ocasiones, los alumnos los ven como un juego con puntuación y los profesores como un tipo de examen que pueden reutilizar y se corrige sólo. Sin embargo, sus posibilidades son enormes. Pueden ayudarnos a localizar las ideas previas y su nivel de adecuación con lo que vamos a aprender, pueden servirnos para comprobar si hemos comprendido, si hemos alcanzado determinadas destrezas, y sobre todo pueden ayudar a delimitar las zonas de duda o de error que deben ser corregidas (que no sancionadas) para avanzar en nuestro conocimiento. En general, los cuestionarios en educación a distancia deberían emplearse fundamentalmente como herramientas de autoevaluación, permitiendo reintentos ilimitados, sin limitaciones temporales y, por tanto, no tener un peso específico en las escalas de calificación que se empleen en la evaluación final o sumativa.

Por último, es obvio que en estos contextos predomina la diversidad de estilos de aprendizaje, y que por ello es beneficioso para la acción formativa prever el uso de diferentes tipos de actividades que puedan corresponderse con diversos estilos de aprendizaje.

AL ACABAR EL CURSO: Evaluación sumativa

Una vez que se acaban las actividades lectivas on line correspondientes a cada módulo o periodo de evaluación, en muchos casos las instituciones docentes organizan sesiones

de comprobación y evaluación según sus propios criterios y posibilidades. Se puede convocar a los alumnos a una sesión de clausura presencial en la que podrán demostrar los conocimientos adquiridos; se puede desplazar a un equipo docente a realizar las pruebas finales a los centros que, como aulas auxiliares, colaboren en el proyecto; se pueden realizar entrevistas personales o por video­conferencia, de manera que se pueda acreditar la identidad de los participantes cuyos aprendizajes deben ser evaluados (Zapata 2004), etc. Sin embargo, independientemente de cuál sea el medio por el que se realicen estas sesiones, lo verdaderamente importante es que con ellas se consigan dos objetivos fundamentales en toda evaluación de aprendizajes: acreditar de manera fehaciente, y por procedimientos constatables de manera objetiva por agentes externos, que se han alcanzado los conocimientos imprescindibles para la promoción dentro del sistema, y revisar las situaciones de aprendizaje que se han producido de manera que se pueda reorientar el diseño y desarrollo del curso para las siguientes promociones o ediciones del mismo.

A este respecto, existe cierto debate sobre si son totalmente imprescindibles las pruebas sincrónicas cara a cara, o si por el contrario puede confiarse a las actividades en plataforma la evaluación de los aprendizajes con la correspondiente garantía de autenticidad de la identidad del evaluando. Habría que delimitar en qué casos puede ser beneficioso prescindir de algún tipo de prueba cara a cara, dado que sustituirla por una prueba sincrónica on line puede suponer una complicación innecesaria. Por una parte, ese tipo de prueba on line debe ser diseñada con sumo cuidado, y su precisión y fiabilidad en cuanto a estructura y diseño debe ser óptima, pero por otra parte, nadie puede garantizar la identidad auténtica del usuario en línea en ese momento. En caso de que se opte por una prueba on line, ésta no debe estar desvinculada de todo el proceso de aprendizaje, sino que debe hacer referencia a las experiencias de aprendizaje durante el desarrollo del curso. Pero sobre, todo, y la experiencia como alumna y como profesora on line así me lo indica, el hecho de poder acudir a una sesión final en la que voy a compartir con mis compañeros, que habrán dejado de ser virtuales, las situaciones habituales de este tipo de encuentros, puede llegar a ser una experiencia muy enriquecedora, siempre que la organización y estructura de esta sesión cara a cara esté cuidadosamente diseñada para que sea coherente con todo el proceso de aprendizaje. De esta manera se pueden combinar entrevistas individuales, reuniones de grupo con su tutor, pruebas para realizar en el aula virtual en presencia del tutor, pruebas escritas, y cualquier otro instrumento evaluador que pueda ratificar y validar el aprendizaje obtenido a lo largo de todo el curso. A la vez hay que cuidar que el ambiente sea motivador y eliminar cualquier elemento que cargue de tensión lo que debe el alumno debe percibir como el último paso de todo un proceso de aprendizaje que le ha proporcionado los saberes y las competencias que necesitaba.

En los casos en los que los alumnos, por razones especiales, no puedan acudir al centro de referencia, se puede optar por la videoconferencia, por desplazar a algún miembro del equipo educativo, etc. Para estas circunstancias señalaríamos como buenas prácticas las pruebas que se realizan al acabar los cursos del Aula Mentor. Se trata de pruebas a las que el alumno asiste, una vez que el tutor correspondiente le considera preparado para ello, y que realiza previa cita en un aula colaboradora con el proyecto en su localidad, en presencia de un "administrador de aula", que le proporciona el acceso a la prueba on line, valida su identidad y le asiste en caso de dificultades técnicas.

Conclusiones, necesariamente provisionalesLo que hemos pretendido hacer en este

documento es una revisión de los condicionantes de la evaluación on line y resaltar el hiato que existe entre las prácticas habituales de evaluación y las características inherentes al aprendizaje en línea. Como conclusión, podemos resaltar que el planteamiento de una evaluación meramente sumativa es errónea, no sólo desde el punto de vista de la teoría (y más aun desde los postulados del aprendizaje constructivista y desde la dimensión social y colaborativa que los entornos virtuales deben tender a fomentar), sino que desde el punto de vista de las propias dinámicas que se generan en las aulas virtuales resultaría insuficiente, por no poder garantizar la autenticidad y fiabilidad de los resultados, a no ser que se someta al alumnado a una prueba de evaluación final presencial, que en todo caso debe ser coherente con el contexto formativo y las experiencias de aprendizajes desarrolladas en los entornos virtuales, si se pretende que sea justa y adaptada.

Soy partidaria de una metodología de evaluación integradora, que valore los aprendizajes desde todas las facetas que lo van condicionando y que permita su regulación a través de una labor de acompañamiento del proceso de aprendizaje realizado por el tutor. En este sentido, habrá que valorar las experiencias que se producen con nuevos planteamientos que fomentan la co­evaluación, como son el portfolio y el portfolio electrónico (BARBERA y otros, 2006)), de manera que los riesgos de plagio, la picaresca en la suplantación de personalidades, o la práctica del "copy and paste" para la realización de actividades sean sólo anécdotas que rara vez puedan llegar a producirse. La mejora en estos procesos de evaluación no presencial garantizará, además, la credibilidad de la institución que propone la certificación de los aprendizajes y completa así la necesaria validación social de todo el proceso educativo.

Desde un concepto integrador de la evaluación, todos los elementos presentes en el entorno de aprendizaje se ven continuamente revisados y adaptados con el fin de que el alumnado pueda ser el verdadero protagonista de su formación y alcance al final de su trayectoria en el aula virtual, no solo los contenidos académicos previstos, sino lo que podemos llamar el valor añadido de la educación a distancia desar rollada en entornos virtuales. Se trata del desarrollo de las dimensiones sociales, cognitivas, metacognitivas y organizativas que ha debido poner en juego a lo largo de su proceso de aprendizaje, y que, por tanto, deberían ser claves como contenido formativo evaluable y formar parte de los criterios de evaluación, ya que implican la capacidad de relación y negociación entre iguales, el manejo de las nuevas tecnologías más allá de los aspectos lúdicos o comerciales imperantes, la capacidad para el análisis de la información procedente de diversas fuentes, la autorregulación de su propio aprendizaje. En suma, se trata de formar ciudadanos conscientes y críticos que sepan desenvolverse en la sociedad del conocimiento.

REFERENCIAS

BIBLIOGRAFÍA CITADA

• BARBERÁ, E. (2006) "Los fundamentos teóricos de la tutoría presencial y en línea: una perspectiva socio­constructivista" en JERÓNIMO, J.A. y AGUILAR, R. E. (2006) Educación en Red y Tutoría en Línea UNAM México 2006

• BARBERÀ, E.; BAUTISTA, G.; ESPASA, A.; GUASCH, T. (2006). «Portfolio electró­nico: desarrollo de competencias profesionales en la Red». En: Antoni BADIA (coord.). Enseñanza y aprendizaje con TIC en la educación superior [monográfico en línea]. Revista de Universidad y Sociedad del Conocimiento (RUSC). Vol. 3, n.° 2. UOC. (visitado el 04.11.06) http://www.uoc.edu/rusc/3/2/dt/esp/barbe ra_bautista_espasa_guasch.pdf

• BORGES, F. (2005) "La frustración del estudiante en línea: causas y acciones preventivas". Digithum UOC n. 7 http://www.uoc.edu/dighitum/7/dt/esp/bor ges.pdf (visitado el 29­10­06)

• CABERO AMENARA, J. (2004). "Comunidades virtuales para el aprendizaje. Su utilización en la enseñanza". Edutec n. 20 enero 2006. http://www.uib.es/depart/gte/gte/edutec­ e/revelec20/cabero20.htm (visitado el 01­11­06)

• DIEZ FERNÁNDEZ, O: El reto de la nueva educación a distancia; enseñar a aprender en red, en, JERÓNIMO, J.A. Aprendizaje en Red, en busca de la Comunidad Virtual, en prensa. México: UNAM.

• ESCUDERO, Tomás (2003) "Desde los tests hasta la investigación evaluativa actual. Un siglo, el XX, de intenso desarrollo de la evaluación en educación". Revista ELectrónica de Investigación y EValuación Educativa v. 9 http://www.uv.es/RELIEVE/v9n1/RELIEVEv9n 1_1.htm (visitado el 05­11­ 06)

• FERNANDEZ FALCÓN, T. (1992) Pautas para la evaluación del diseño y desarrollo de una unidad didáctica, La Laguna: CEP.

• GIMENO SACRISTÁN, J. (1982) La pedagogía por objetivos: obsesión por su eficacia. Madrid: Morata.

• GUBA, E.G. y LINCOLN Y. S. 1989: Fourth Generation Evaluation Newbury Park Ca. Sage Publications.

• IMBERNÓN, F., (19993) "Reflexiones sobre la evaluación en el proceso de enseñanza aprendizaje". Revista Aula nº 1 pp. 6­12.

• LÓPEZ EIRE, A 2004.: "Enseñanza y comunicación". Documento del Curso Tutor on line de la Universidad de Salamanca.

• ROMÁN PÉREZ M. ­DÍEZ LÓPEZ E. "Las organizaciones educativas aprenden ¿cómo? (i) creación y transformación de la cultura institucional" Artículo publicado en la Revista Novedades Educativas Nº 124 (Buenos Aires) (Actualizado en http://www.martinianoroman.com/paginas/a rticulos/articulo_4.htm , visitado el 05, 11, 06)

• ROMERA, C. (2004). "El empleo de las nuevas tecnologías en la evaluación de los aprendizajes a distancia." Contribución al Congreso Latineduca 2004, en: http://www.ateneonline.net/datos/64_03_r omera_carolina.pdf#search=%22evaluaci%c3 %b3n%20%22carolina%20romera%22%22 (09­10­06)

• SANTOS GUERRA, M. A. (1988) "Patología general de la evaluación educativa" Infancia y aprendizaje nº 41, Madrid.

• SEOANE, A y LAMANIE, F. 2005. "Causas de la insatisfacción en la formación on line. Algunas ideas para la reflexión" en Monográfico sobre formación virtual, Educaweb.com. 26 de septiembre de 2005, nº113. http://www.educaweb.com/EducaNews/interf ace/asp/web/NoticiesMostrar.asp?NoticiaI D=680&SeccioID=1000 (29­10­06)

• STENHOUSE L. (1975) Introduction to Currículum Research Development. Londres, Heinemann.

• ZANGRANDO,V.: "Introducción a los instrumentos de evaluación", documento del curso Tutor on line de la Universidad de Salamanca.

• ZAPATA, M. (2004). "La autoría y la acreditación de la identidad en los trabajos personales en Educación a Distancia. Una experiencia". RED, 10. http://www.um.es/ead/red/10/ (09­10­06)

• Normativa sobre el Bachillerato por Internet de la Comunidad Autónoma Canaria: ORDEN de 30 de junio de 2006, por la que se actualizan las instrucciones que desarrollan determinados aspectos de las enseñanzas de Bachillerato de Personas Adultas en la Comunidad Autónoma de Canarias. (BOC, núm. 170, jueves 31 de agosto de 2006) http://www.gobiernodecanarias.org/boc/20 06/170/003.html