reactivosexcale00aconstruccion de reactivos en educacion preescolar

Instituto Nacional para la Evaluacin de la EducacinI ns ti tuto Nacional para l a Ev aluaci n de la Educacin

Direccin de Pruebas y Medicin

Manual Tcnico

C

onstruccin de Reactivos Educacin Preescolar

16

El Manual Tcnico para la Construccin de Reactivos es un documento de uso oficial elaborado por la Direccin de Pruebas y Medicin del Instituto Nacional para la Evaluacin de la Educacin.

REDACTADO POR: Eduardo Backhoff Escudero Margarita Peon Zapata Andrs Snchez Moguel Laura Tayde Prieto Lpez Juan Carlos Xique Anaya REVISIN Y CORRECCIN: Ramss Sandoval Ramrez DISEO Y DIAGRAMACIN: Elizabeth Rojas Martnez

D. R. 2006 por el Instituto Nacional para la Evaluacin de la Educacin (INEE) Jos Ma. Velasco 101, 03900 Mxico, D. F.

Primera edicin: septiembre de 2006

Impreso en Mxico

2

NDICEINTRODUCCIN .............................................................................................................................5 DELIMITACIN DEL DOMINIO DE UNA PRUEBA ...........................................................................9 1.1 Tabla de doble entrada ............................................................................................................... 9 1.2 Especificacin de reactivos ........................................................................................................ 10 1.3 Estructura general de la especificacin de reactivos ..................................................................... 11 TIPOS DE REACTIVOS QUE SE UTILIZAN EN LOS Excale .............................................................13 2.1 Reactivos de opcin mltiple...................................................................................................... 13 2.2 Reactivos de respuesta construida.............................................................................................. 14 2.3 Caractersticas de los reactivos para la Educacin Preescolar.16 CONSTRUCCIN DE REACTIVOS ..................................................................................................21 3.1 3.2 3.3 3.4 Elaboracin de reactivos ............................................................................................................ 21 Prueba emprica de los reactivos a pequea escala ...................................................................... 23 Revisin de reactivos ................................................................................................................ 25 Entrega de reactivos ................................................................................................................. 27

REFERENCIAS BIBLIOGRFICAS .................................................................................................28 ANEXOS ........................................................................................................................................29 Anexo Anexo Anexo Anexo Anexo I ......................................................................................................................................... 29 II ........................................................................................................................................ 32 III ....................................................................................................................................... 41 IV ....................................................................................................................................... 47 V ........................................................................................................................................ 49

3

4

INTRODUCCINEl proceso general para la construccin de los Exmenes de la Calidad y el Logro Educativos (Excale) contempla siete fases y 16 etapas, as como la obtencin de los productos parciales y finales que se presentan en la siguiente tabla.Tabla I. Proceso general para disear, construir, aplicar y validar los ExcaleFases Etapas Participantes externos Procedimientos Productos 1. Plan General de Evaluacin del Aprendizaje; incluye el Marco de Referencia de los Excale 2. Manual General de Procedimientos 3. Manual Tcnico para el Diseo Matricial 4. Manual Tcnico para el Escalamiento de Puntuaciones y Niveles de Competencias Documentacin 5. Marco Terico de Validacin de los Seminarios Excale Trabajo colegiado Trabajos por encargo 6. Marco de Referencia de los Cuestionarios de Contexto 7. Cuestionarios de Contexto del alumno, docente y director

1. Diseo del Plan General de Evaluacin

Consejo Tcnico Asesores en medicin y validacin 1. 2. 3. 4.

I. Planeacin general1 2. Diseo y elaboracin de cuestionarios de contexto 3. Diseo y desarrollo del sistema informtico 4. Diseo de los Excale II. Estructuracin de los Excale

Especialistas en diseo de cuestionarios Especialistas en evaluacin del aprendizaje Especialistas en bases de datos y sistemas de informacin Comit Acadmico (uno por examen)

III. Construccin de reactivos de los Excale

Comit Elaborador de 5. Especificacin de Especificaciones reactivos de Reactivos (uno por examen) Comit Constructor de 6. Elaboracin de Reactivos (uno reactivos por examen) Comit de Validacin y 7. Validacin de Sesgo (uno por reactivos examen)

8. Piloteo de reactivos y cuestionarios de contexto

Algunas Coordinaciones Estatales de Evaluacin

8. Sistema de bases de datos de reactivos 9. Documento que describe la estructura y funcionamiento de la base de datos2 10. Manual Tcnico para el Diseo de los Excale 11. Retcula curricular de cada examen 1. Documentacin 12. Tabla de Contenidos de cada examen 2. Capacitacin 13. Manual Tcnico para la Elaboracin de 3. Preparacin de Especificaciones materiales 14. Especificaciones de reactivos de cada 4. Trabajo colegiado examen 15. Dos revisiones por especificacin de reactivos 16. Manual Tcnico para la Construccin de Reactivos 17. Tres reactivos por especificacin 1. Documentacin 18. Dos revisiones por reactivo construido 2. Capacitacin 3. Trabajo individual 19. Manual Tcnico para la Validacin de y colegiado Reactivos 20. Dos reportes de validacin por cada reactivo 21. Manual Tcnico para el Piloteo de Reactivos 1. Muestreo para el 22. Muestra poblacional piloteo 23. Manual Tcnico para la Edicin de 2. Pre-edicin de Reactivos reactivos e 24. Cuadernillos de los Excale y impresin de Cuestionarios de Contexto impresos cuadernillos 25. Base de datos con resultados de 3. Capacitacin pilotaje

1 2

Fase general para la nueva generacin de los Excale. A partir de la cuarta etapa el sistema informtico se ir alimentando con la informacin que se produzca a lo largo de todo el proceso.

5

Fases

Etapas 9. Seleccin de reactivos e integracin de bloques y formas

Participantes externos

Procedimientos

Productos 26. Manual Tcnico para el Anlisis Psicomtrico de Reactivos 27. Informe de Estimadores Estadsticos de Reactivos 28. Bloques de reactivos 29. Estructura de formas (combinacin de bloques) 30. Manual Tcnico para la Edicin de Reactivos y Cuadernillos 31. Cuestionarios de Contexto impresos 32. Cuadernillos de los Excale impresos

Asesores en medicin

1. Documentacin 2. Anlisis de reactivos 1. Edicin de cuadernillos y cuestionarios de contexto 2. Impresin de cuadernillos de lectura ptica 1. Documentacin 2. Trabajo colegiado 3. Trabajo por contrato

IV. Conformacin de los Excale 10. Edicin, armado e impresin Imprenta contratada

11. Muestreo poblacional V. Aplicacin de los Excale 12.

13.

VI. Anlisis e 14. interpretacin de resultados de los Excale 15.

16. VII. Validacin de los Excale

33. Manual Tcnico para Seleccionar Muestras Poblacionales 34. Marco muestral actualizado 35. Diseo y muestra poblacional 36. Manual Tcnico para la Administracin Todas las de Cuadernillos y Cuestionarios de Coordinaciones 1. Documentacin Administracin Contexto 2. Distribucin de Estatales de de las pruebas 37. Paquetes de cuadernillos distribuidos cuadernillos en Evaluacin y captura de en las entidades federativas las entidades Personal resultados 38. Base de datos con resultados de la contratado evaluacin capturados 39. Manual Tcnico sobre Anlisis de 1. Seminarios Reactivos 2. Anlisis Anlisis iniciales Asesores en 40. Informe tcnico sobre el estadsticos de de resultados medicin Comportamiento Psicomtrico de los resultados reactivos 41. Manual Tcnico sobre Establecimiento Comits de de Niveles de Logro 1. Documentacin Establecimiento Niveles de Logro 42. Documento donde se consignen los 2. Capacitacin de niveles de (uno por niveles de logro y puntos de corte de 3. Trabajo colegiado logro examen) cada Excale 43. Manual Tcnico para el Informe de Elaboracin de Resultados de Aprendizaje 1. Documentacin Asesores en informe tcnico 44. Informe tcnico sobre Resultados de 2. Capacitacin medicin y de resultados Aprendizaje Asociados con Variables 3. Trabajo colegiado validacin de aprendizaje de Contexto 45. Marco de Referencia de los Estudios de Validez Estudios de 46. Marco de Referencia de cada Excale validez de Asesores en 1. Documentacin 47. Reportes Tcnicos de Estudios de procesos y validacin 2. Investigacin Validez resultados de 48. Publicaciones sobre la validez de los los Excale exmenes Especialistas en muestreo

Como puede observarse, el trabajo que corresponde desarrollar a los miembros del Comit Constructor de Reactivos (CCR) est precedido por dos fases y cinco etapas del proceso general de diseo del Excale. La primera fase y sus tres etapas corresponden a la planeacin general, en la cual se definieron las caractersticas de todos los Excale que realiza el INEE. La segunda fase corresponde a la estructuracin de los Excale, es decir, se disea la prueba y se especifican los reactivos. En esta fase intervienen dos comits: el Comit Acadmico es el responsable de analizar el currculo y determinar cules son los contenidos curriculares que se evaluarn en el Excale; Posteriormente, el Comit Especificador de Reactivos hace una revisin terica de los contenidos curriculares que se evaluarn en el Excale, analiza la ubicacin y funcin de cada contenido a evaluar, as6

como su importancia, y detalla las caractersticas de cada reactivo, es decir, delimita el contenido a evaluar y la forma de cada reactivo. Es la tercera fase, dedicada a la construccin de los reactivos, en la que se integra el trabajo de este Comit Elaborador de Reactivos, especficamente en la etapa 6 del proceso. Al diseo de los reactivos le sigue, para completar esta fase, la validacin de los reactivos que consiste en la revisin y aprobacin de cada uno de los reactivos por parte de un equipo de docentes de todo el pas y de distintos estratos y modalidades educativos, quienes verifican que los reactivos sean comprensibles para toda la muestra que ser sujeta a la evaluacin y que estn libres de sesgo cultural o de gnero. Como puede verse, hasta el momento se han realizado las actividades correspondientes a las dos primeras fases y se han generado los productos necesarios para que los miembros de cada CCR puedan trabajar y lograr los objetivos que les sern encomendados. De especial importancia para los CCR son los productos elaborados por los miembros de los Comits Acadmicos (CA) y de los Comits Elaboradores de Especificaciones (CEE). A continuacin se delinean brevemente estos insumos que nutren el proceso.

Productos elaborados por el Comit Acadmico

Retcula del curso. La retcula es un modelo grfico que muestra los contenidos del curso y las relacionesde servicio que estos dan y reciben. Los contenidos estn identificados mediante rectngulos, en tanto que las relaciones entre ellos se indican mediante flechas que representan la funcin principal del contenido como parte del programa de estudios. Dichas funciones pueden ser: 1) dar servicio a otros contenidos; 2) recibir servicio de otros contenidos, y 3) no dar ni recibir servicio, toda vez que es un contenido aislado.

Documento de justificacin de los contenidos a evaluar. Se trata de un escrito en el cual se presentan loscontenidos que fueron juzgados como esenciales e importantes en el contexto del programa de estudios. Asimismo, incluye las razones por las cuales fueron categorizados como tales, as como la decisin adoptada respecto a ellos: ya sea censarlos en todo el Excale por ser esenciales, o bien incorporarlos al examen por ser importantes. Dicha justificacin es necesaria, pues es imposible evaluar todo el currculo de un curso. En ocasiones este documento est incorporado en la tabla de contenidos.

Tabla de contenidos. Se trata de una tabla que resume las decisiones adoptadas (en los documentos antesdescritos) respecto a la planeacin de la prueba. Especifica el tema o subtema cuyo dominio ser evaluado, el nmero de especificaciones de reactivos para evaluarlo, as como el nmero y tipo de reactivos que ser necesario construir para responder a cada especificacin. De hecho, la tabla de contenidos presenta la estructura general del examen. Cabe sealar que el nmero de especificaciones y de reactivos que se indican en la tabla es ponderado con base en criterios tcnicos que hacen alusin a la importancia del contenido y al tipo de prueba a construir.

7

Productos elaborados por el Comit elaborador de especificaciones

Carpeta de especificaciones de reactivos. Rene las especificaciones de los contenidos a ser evaluados delprograma de estudios respectivo, mismas que fueron escritas por los miembros de los Comits Elaboradores de Especificaciones con el propsito de describir las caractersticas que debe poseer cada uno de los reactivos de los diferentes Excale. En general, las especificaciones elaboradas presentan las siguientes secciones: datos de identificacin de la competencia programtica a evaluar; interpretacin y descripcin del indicador (o contenido) de la competencia programtica a evaluar, tipo y nivel de conocimiento o habilidad involucrado; plantilla del reactivo (caractersticas de los estmulos que los reactivos debern presentar al examinado: instrucciones para responder, base del reactivo, distractores, respuesta correcta, tablas o figuras de apoyo, etctera); comentarios adicionales a los elementos de la plantilla; rbricas de calificacin del reactivo (para el caso particular del campo formativo de Lenguaje y comunicacin), reactivo muestra que ilustra la aplicacin de dicha especificacin, y bibliografa consultada. En el primer captulo de este manual se explica con mayor detalle en qu consiste cada uno de los productos de los dos primeros comits, as como su utilidad para la tarea de elaborar reactivos. En el segundo captulo se presentan algunas nociones fundamentales sobre los tipos de reactivos que se utilizan en las pruebas Excale. Finalmente, en el tercer captulo se explican los pasos que se espera que den los constructores de reactivos para cumplir de manera efectiva con la tarea.

8

DELIMITACIN DEL DOMINIO DE UNA PRUEBA

El propsito de una prueba educativa es hacer inferencias acerca del conocimiento que tiene un estudiante respecto al dominio evaluativo que se pretende medir, informacin que es til a los educadores para tomar decisiones tendientes a mejorar el proceso educativo. Sin embargo, no se puede saber si una prueba representa adecuadamente el dominio si ste no est explcitamente definido. As, muchas personas definen el dominio evaluativo con el trmino dominio del contenido, el cual considera conocimientos, habilidades y competencias, entre otros elementos. Usualmente los documentos de las pruebas estandarizadas se refieren al dominio evaluativo como especificaciones de la prueba, especificaciones de tems, estructura de la prueba, etctera. En el caso particular de los Excale se le denomina especificaciones de reactivos. Asimismo, toda prueba educativa tiene ciertas caractersticas que limitan su dominio evaluativo; ejemplo de lo anterior es el tiempo destinado a la aplicacin de la prueba: su longitud (nmero de reactivos), los materiales necesarios para contestarla (diccionarios, calculadoras), as como los tipos de reactivos que se utilizan (opcin mltiple, respuesta corta, ensayo, entre otros).

1.1 Tabla de doble entrada Una de las estrategias ms comunes para definir un dominio evaluativo es mediante el uso de una tabla de doble entrada; donde una de sus dimensiones est representada por el contenido temtico que se evala, en tanto que otra dimensin es el tipo de estrategia cognoscitiva que el estudiante tiene que utilizar para responder el reactivo. La tabla II muestra un ejemplo donde se aprecia el nmero y tipo de reactivos que conforman una prueba. Se ha utilizado para este caso una taxonoma de objetivos educativos.Tabla II. Ejemplo de una tabla de especificaciones Contenidos Nmeros decimales Regla de tres rea de un rectngulo Decimales y fracciones Total Estrategias cognoscitivas Conocimiento 3 4 2 3 12 Comprensin 5 2 3 3 13 Aplicacin 3 3 3 3 12 Anlisis 3 2 2 1 8 Total 14 11 10 10 45

Como se puede apreciar en este ejemplo, la prueba est conformada por 45 reactivos distribuidos de acuerdo a los contenidos temticos y categoras cognoscitivas. La tabla es de utilidad, ya que a simple vista se puede apreciar si inadvertidamente la prueba presenta algn desbalance en su estructura.

9

Es posible, por supuesto, agregar otras dimensiones a la tabla, como sera el caso del tipo de reactivos a utilizar o un desagregado de los temas en subtemas. De esta manera, la tabla podra contener tantas dimensiones como caractersticas definan al dominio. Para una prueba normativa esta informacin puede ser suficiente, ya que este tipo de pruebas no requiere especificacin detallada de sus contenidos. Sin embargo, para una prueba criterial, como es el caso de los Excale, el nivel de detalle de estos descriptores resulta muy general, pues proporciona poca informacin sobre el reactivo mismo. De ah que sea necesario utilizar otra estrategia que brinde abundante informacin de los tems, ya que se desea conocer el nivel de aprendizaje que logran los estudiantes en los distintos contenidos curriculares. Independientemente de la estrategia que se utilice para definir un dominio evaluativo, una pregunta clave que hay que formular es en qu momento se deben crear las especificaciones del dominio evaluativo de una prueba. La respuesta, sin duda alguna, es antes de iniciar el proceso de construccin de reactivos, toda vez que la descripcin del dominio evaluativo debe gobernar la produccin y seleccin de los mismos. 1.2 Especificacin de reactivos Las especificaciones de reactivos tienen como propsito principal proporcionar a los Comits Constructores de Reactivos tanto el contenido especfico de los tems como los detalles tcnicos necesarios que les permitan elaborar reactivos adecuados para evaluar el logro escolar de los estudiantes. Sin embargo, otros objetivos asociados son: Servir de criterio para determinar si los reactivos elaborados por el CCR son adecuados (congruentes con la especificacin) o deben desecharse. Proporcionar un marco contextual que ayude a interpretar la ejecucin de los estudiantes, aportando elementos al anlisis de resultados de los Excale. Comunicar a los profesores, estudiantes, investigadores y autoridades educativas qu es lo que mide cada reactivo, as como la cobertura y alcance de las competencias escolares evaluadas. Informar al pblico en general sobre los contenidos de los Excale.

Al respecto, cabe subrayar que existe el compromiso institucional para que el conjunto de especificaciones de tems de todas las pruebas sea dado a conocer al pblico en general a travs de la pgina electrnica del INEE. Del mismo modo, el conjunto de reactivos-muestra que forman parte de las especificaciones se difundir como ejemplo de los contenidos de los diversos Excale. Resumiendo, las especificaciones de reactivos sealan los elementos esenciales y particulares que debern exhibir los tems una vez elaborados. De hecho, tales elementos sern empleados posteriormente para evaluar la congruencia del reactivo con la especificacin correspondiente. As, la elaboracin de un tem es una tarea cuyo reto implica apegarse estrictamente a lo que establece la especificacin.

10

1.3 Estructura general de la especificacin de reactivos Para facilitar el trabajo de los CCR, as como para uniformar la presentacin de las especificaciones de manera que se facilite la comunicacin con los destinatarios finales de las mismas, se dise un formato (ver Anexo I) cuya estructura general se presenta a continuacin: Datos de la elaboracin de la especificacin. Nombre de los especificadores, fecha en que se elabor la especificacin, nmero de versin e identificador nico de la especificacin. Datos de identificacin de la competencia programtica a evaluar. Incluyen el enunciado del contenido y su ubicacin en el programa de estudios correspondiente; es decir, campo y aspecto formativo, grado y nivel educativo, lnea de evaluacin (para el caso de Lenguaje y comunicacin), competencia e indicador curricular a evaluar, as como una aproximacin a la delimitacin (qu evaluar?) del contenido o indicador programtico. La importancia de esta seccin radica en que el tipo de desagregacin curricular del tema proporciona un contexto significativo para la construccin del tem. Descripcin del indicador de la competencia curricular a evaluar. Aqu se especifica la interpretacin del sentido del contenido que se deber evaluar, su importancia y delimitacin curricular, as como una orientacin general o ejemplo tal como aparece en la tabla de contenidos. Adicionalmente, en esta seccin se incluye un rubro para describir los conocimientos y habilidades requeridos para responder el reactivo, as como las actividades cognoscitivas involucradas en la contestacin correcta del mismo. Plantilla del reactivo. En esta seccin se hace la descripcin de los reactivos propiamente dicha; es decir, se especifica la manera de formular las instrucciones, la base del reactivo, la respuesta correcta y los distractores. Asimismo se detalla el material, las ilustraciones o los textos adicionales requeridos para cualquier tem construido con esa especificacin. Comentarios adicionales a los elementos del plantilla. En esta parte se enuncian las particularidades que deber presentar el tem, segn las necesidades especficas en cada caso. Lo anterior significa que se detallan slo las caractersticas relevantes de la informacin que se presentar al examinado. stas incluyen: Las peculiaridades de las instrucciones para la aplicacin del reactivo Las peculiaridades de la base del reactivo, del material requerido, de la informacin verbal, textual o grfica que se presenta a los nios, as como otros elementos vlidos de emplear o los que no lo son Posibles eventualidades a considerar (con respecto al comportamiento de los nios, a distracciones diversas, u otras) y acciones alternativas para encauzar el reactivo Tiempo estimado para la aplicacin del reactivo Recomendaciones y/o condiciones tcnicas u operativas requeridas para el desarrollo del reactivo

11

Rbricas de calificacin del reactivo (preponderantemente para la evaluacin del campo formativo de Lenguaje y comunicacin). Bajo la consideracin de que en una prueba dirigida a educacin preescolar predominan, por mucho, el tipo de reactivos a los que se les denomina reactivos de respuesta construida; en esta seccin se especifican las posibles respuestas correctas y su interpretacin numrica, as como otras posibles respuestas con su respectiva valoracin cuantitativa. De igual manera, se consider pertinente incluir un rubro en el que se asentaran aquellas situaciones de cualquier ndole que pudieran invalidar el reactivo. Redaccin de un tem muestra. Deber ilustrar la manera de aplicar los elementos descritos en la especificacin. Bibliografa consultada. Aqu se asentarn todos los datos bibliogrficos que fundamenten la investigacin realizada y que puedan servir de apoyo para la tarea que han de realizar los CCR. Cabe sealar que cuando se trabaj con los CEE se acord que, dadas las caractersticas de un contenido y a menos que se especifique lo contrario, el vocabulario, las conceptualizaciones, las situaciones y los eventos que se describan debern corresponder a aquellos que son tpicos del grado escolar al que se refiere cada una de las especificaciones de tems. Lo anterior significa, por ejemplo, que las palabras que se incorporan en cada reactivo son las que aparecen en los materiales que usualmente emplean los profesores que trabajan con los nios de ese grado escolar. De igual modo, se estuvo de acuerdo en que las instrucciones para responder tems de opcin mltiple, o el nmero de opciones de respuesta que presentar el tem, son aspectos que se incluirn en las instrucciones generales para responder la prueba.

12

TIPOS DE REACTIVOS QUE SE UTILIZAN EN LOS Excale

Los reactivos que se utilizan en los Excale son fundamentalmente de opcin mltiple, con excepcin de la prueba de Redaccin de la asignatura de Espaol, la cual es de respuesta construida, as como las pruebas de Preescolar, que incluyen en mayor o menor medida reactivos de opcin mltiple y de respuesta construida. 2.1 Reactivos de opcin mltiple Por distintas razones, especialmente por su versatilidad y caractersticas psicomtricas, los reactivos ms comunes son los de opcin mltiple. Pueden ser utilizados en distintos contextos y con diferentes propsitos; sirven para evaluar conocimiento factual (puramente memorstico), habilidades intelectuales de alto orden, o disposiciones actitudinales y valorativas. Con ese tipo de preguntas, siempre que sean bien utilizadas, se puede medir una gran cantidad de atributos sofisticados de los estudiantes. Por lo anterior, este tipo de reactivos son los ms idneos para ser incorporados en los Excale. Los componentes indispensables de un reactivo de opcin mltiple son: la base del reactivo y las alternativas de respuesta. Estas ltimas se conforman de una respuesta correcta y tres distractores. Definamos estos elementos: Base del reactivo. Estmulo en forma de pregunta (o de enunciado incompleto), el cual debe responder el estudiante. Alternativas. Opciones plausibles de las cuales se debe seleccionar nicamente la respuesta correcta. Respuesta correcta. Opcin que responde correctamente a la base de la pregunta. Distractores. Opciones incorrectas pero plausibles. Se les llama de esta manera pues, en ocasiones, se dice que distraen a los estudiantes que no conocen la respuesta correcta. El INEE considera que la funcin de estos elementos no es distraer, sino atraer a los estudiantes que tienen niveles de logro insuficiente para poder distinguir la respuesta correcta. Otros componentes adicionales de los tems de opcin mltiple son las instrucciones, as como las figuras y los textos que complementan el reactivo segn sea el caso. Instrucciones. Indicaciones dirigidas a los textos y figuras que se utilizan adicionalmente a la base del reactivo. Figuras adicionales. Elementos grficos (dibujos, diagramas, grficas, frmulas, etctera) que el estudiante debe analizar para responder la pregunta. Son muy utilizados en los reactivos de Matemticas, Geografa y Ciencias Naturales, as como en los diferentes campos formativos de la Educacin Preescolar. En general, mientras ms jvenes sean los estudiantes que resolvern la prueba, es deseable que la prueba tenga mayor riqueza de figuras adicionales.

13

Textos adicionales. Se presentan en dos formas: como elementos que acompaan a las figuras adicionales, o como escritos completos que el estudiante debe leer para responder el reactivo; estos ltimos son tpicos de las preguntas de comprensin lectora. En la siguiente figura se presentan los distintos elementos de un reactivo de opcin mltiple.

Figura 1. Componentes de un reactivo de opcin mltiple

Entre las ventajas de las pruebas construidas con preguntas de opcin mltiple destacan las siguientes: Permiten medir muchos tipos de aprendizaje Se pueden resolver muchos tems en poco tiempo, lo cual posibilita la exploracin de una buena muestra de contenidos Resultan fciles de calificar Entrenan a los estudiantes a responder exmenes de gran escala, ya sean de admisin o certificacin

Entre sus desventajas podemos destacar que: Son difciles de redactar cuando se pretende medir aprendizaje complejo Existe una tendencia a redactar reactivos fciles que implican pura memorizacin El estudiante slo reconoce la respuesta, no produce la suya Es difcil redactar buenos distractores (que sean plausibles) Pueden penalizar a los pensadores divergentes

2.2 Reactivos de respuesta construida Las preguntas de respuesta construida se caracterizan por solicitar al alumno la produccin libre de sus respuestas, dadas las demandas planteadas por los tems. Hay situaciones educativas donde es imperativo utilizar este tipo de preguntas; por ejemplo, cuando se tiene que evaluar la habilidad para escribir ensayos, cartas personales, composiciones, etctera. Sin lugar a dudas, los tems de respuesta construida representan la nica posibilidad razonable para evaluar la habilidad de redactar, as como otras competencias escolares,14

como podran ser: la originalidad, las operaciones intelectuales complejas y la solucin de ciertos tipos de problemas, entre otros. En los Excale se utilizan dos tipos de reactivos de respuesta construida: respuesta breve y ensayo. La tabla III muestra las principales caractersticas de este tipo de reactivos.Tabla III. Caractersticas de los reactivos de respuesta construida Tipo de reactivo Caractersticas Principales ventajas Principales desventajas Contexto de uso Saln de clase y nivel nacional Saln de clase y nivel nacional

El estudiante responde Permite un buen muestreo Slo es til para medir Respuesta breve con una palabra, smbolo de contenido aprendizajes ms bien o frase corta simples Pide al estudiante Permite medir integrar libremente y por aprendizajes complejos y escrito lo que sabe la expresin personal acerca de un tema Permite un muestreo de contenido muy pobre y es difcil de calificar

Ensayo

Aunque parezca que toma menor tiempo la preparacin de reactivos de respuesta construida en comparacin con los de opcin mltiple, en realidad ocurre lo contrario, ya que es preciso tomar en consideracin el proceso (previo y posterior) que conlleva la calificacin de las respuestas. Por otra parte, las respuestas construidas slo se pueden calificar en forma subjetiva, lo cual deriva en resultados poco confiables. Debido a esto, a cada reactivo construido es necesario agregar una rbrica o protocolo de calificacin para mejorar la confiabilidad de las calificaciones. Los reactivos de respuesta construida pueden ser de respuesta breve o de respuesta larga. Los primeros, por lo general, le solicitan al estudiante proporcionar una palabra o frase como respuesta a una pregunta directa o para completar una afirmacin incompleta. Cuando un reactivo requiere ser contestado con una respuesta extensa, ste se debe considerar como un tem de respuesta larga o ensayo, dndole el tratamiento como tal. Aunque las preguntas de respuesta corta son particularmente adecuadas para evaluar resultados de aprendizaje relativamente simples, tambin es posible construir tems muy complejos cuya respuesta refleje operaciones intelectuales de alto nivel. Sin temor a equivocarnos, el tipo ms comn de reactivos de respuesta construida es la pregunta de ensayo. Este tipo de preguntas es especial para evaluar resultados complejos de aprendizaje que requieren niveles cognitivos altos. Las preguntas tipo ensayo pueden ser estructuradas de tal manera que el estudiante sea obligado a dar una respuesta breve, muy semejante a los reactivos de respuesta corta; o bien una respuesta larga y elaborada. Al primer tipo de reactivo se le conoce como tem de respuesta restringida, y al segundo como tem de respuesta extensa. Por lo general, las respuestas son restringidas limitando el alcance del tema a ser tratado en la respuesta, lo que depende de la forma de plantear el reactivo. En los tems de respuesta extensa se restringe menos al estudiante, por lo general solicitndole una respuesta ms sofisticada. Sin embargo, siempre existe la duda de hasta dnde las respuestas complejas pueden ser calificadas satisfactoriamente. En este sentido, el uso de procedimientos, rbricas o protocolos de calificacin bien diseados puede mejorar significativamente la confiabilidad de las calificaciones.15

Entre las ventajas que presentan estos reactivos, podemos destacar las siguientes: Permiten evaluar aprendizajes complejos, como la solucin de problemas y la creatividad. Representan la nica va aceptable para evaluar la habilidad de expresin escrita. Permiten que el estudiante produzca su propia respuesta, lo que se asemeja mucho a la vida real. Para terminar, las deficiencias ms importantes de este tipo de reactivos se relacionan con: El tiempo que requiere un estudiante para dar respuesta a una pregunta de ensayo, lo que reduce el nmero de reactivos contestados en una prueba y, por lo tanto, la representatividad del dominio que evala La baja confiabilidad de su calificacin, lo que reduce la certidumbre que se tenga en el dominio evaluado El alto costo que representa contratar personal capacitado para realizar la calificacin en una prueba de gran escala

2.3 Caractersticas de los reactivos para Educacin Preescolar Lenguaje y comunicacin La mayora de los reactivos del Excale de Lenguaje y comunicacin son, en su mayora, del tipo de respuesta construida breve. Ante la limitante que implica el hecho de que los alumnos no saben leer ni escribir, se trata de crear situaciones comunicativas orales dentro de un ambiente lo ms emptico posible, que logre generar confianza en los nios y propicie su participacin. En este sentido, los reactivos de esta prueba tienden a solicitar al evaluado que responda a una pregunta oral; directa, clara y precisa. Por esta razn, se pone especial cuidado en la base del reactivo que se efecta para que el estudiante comprenda la demanda de la tarea que ha de realizar, ya sea que conteste en forma oral, o marcando (dibujando) algo en las hojas de respuesta. Asimismo, se pide al evaluador que establezca contacto visual con los nios y que, al terminar su pregunta, se asegure que entendieron bien para que puedan responder. La respuesta de los alumnos suele estar bastante acotada, lo que permite codificarla haciendo uso de un protocolo de calificacin, el cual presenta las reglas para interpretar las respuestas de manera confiable. A continuacin se presenta un ejemplo representativo de este tipo de reactivos y del protocolo de calificacin usado:

16

Campo formativo: Lenguaje y Comunicacin

Aspecto formativo: Lenguaje Oral

Competencia curricular: 1.2 Utiliza el lenguaje para regular su conducta en distintos tipos de interaccin con los dems. Indicador de la competencia curricular: 1.2.2. Comprende y formula instrucciones para organizar y realizar diversas actividades. Qu evaluar? 1.2.2. Comprende instrucciones y las explica.

REACTIVO MUESTRALa evaluadora elige a tres alumnos (preferentemente un grupo heterogneo en cuanto a sexo) de acuerdo a las especificaciones de seleccin para la muestra poblacional. Se renen en un lugar propicio para la realizacin de la evaluacin, en el cual se pueda sentar ella y, a su alrededor, los nios. Previo a la evaluacin es necesario crear un ambiente de confianza y empata con los alumnos, a fin de que se animen a participar. Es importante que la situacin se desarrolle de manera natural, lo ms cercana a una conversacin cotidiana.

(La evaluadora iniciar la instruccin hasta que haya captado la atencin de los nios, lo cual puede hacer mediante comentarios generales muy breves. Despus de ello centrar la conversacin en el cuaderno de evaluacin.)Le voy a dar a cada uno de ustedes un cuaderno como ste (seala un cuadernillo de evaluacin) que van a utilizar para varias actividades que les ir diciendo, por lo que deben cuidarlo y no maltratarlo. (Reparte los cuadernillos de

evaluacin y ubica la hoja de trabajo para este reactivo.)En esta hoja que est en blanco van a dibujar un sol, un rbol y una flor. Cada uno de ustedes debe hacer solamente un dibujo en su hoja. No se vale hacer el mismo dibujo que su compaero, pero s se pueden ayudar y poner de acuerdo para que no repitan los dibujos. Al final, tendremos dibujados un sol, un rbol y una flor. Entendieron lo que tienen que hacer? Quin me quiere repetir lo que van a hacer? (Si algn nio se propone para responder, la evaluadora le dar la palabra llamndolo por su nombre. En dado caso, con este nio empezar la ronda de preguntas personalizadas. Si ningn nio se propone, la evaluadora preguntar directamente a cada nio.) A ver, Carlitos, platcales a tus compaeros qu es lo que van a hacer. Ahora t, Luis, cuntanos qu es lo que van a hacer. Rosita, t tambin nos puedes explicar qu es lo que van a hacer?. (La evaluadora anima a participar a todos los nios y registra en el cuadernillo de evaluacin de cada nio la opcin

que, segn el protocolo, corresponda a su respuesta. Posteriormente, retomar los comentarios de los nios y dar trmino al reactivo con una conclusin que resuma la instruccin general.)

17

RBRICAS DE CALIFICACIN DEL REACTIVOComprende instrucciones y las explica0 1 2

0 = No contesta o expresa algo que no se relaciona con el contenido de la instruccin. 1 = Expresa solamente uno de los elementos clave de la instruccin. 2 = Expresa dos o ms elementos clave de la instruccin.

Posibles respuestas correctas e interpretacin numrica: 2 puntos: El alumno incluye en su explicacin por lo menos dos de los elementos (tarea a realizar, forma de organizarse, producto esperado) de la instruccin. Por ejemplo: Tenemos que dibujar tres cosas, pero cada uno tiene que hacer un dibujo diferente; Cada uno tiene que hacer un dibujo y podemos ayudarnos. 1 punto: El alumno nicamente expresa uno de los elementos clave de la instruccin. Por ejemplo: Tenemos que hacer unos dibujos; Cada quien tiene que hacer un dibujo. Otras posibles respuestas e interpretacin numrica: 0 puntos: No responde. 0 puntos: Dice algo no relacionado: En mi casa hay un rbol muy grande; Hoy no sali el sol. Situaciones que invalidan el reactivo: Que los nios se ayuden entre s y respondan entre dos o tres a una pregunta personalizada. Que un nio responda por otro.

Pensamiento matemtico Desde el punto de vista del contenido, en general, los reactivos de la prueba presentan situaciones problemticas que los nios tendrn que resolver de la manera que ellos prefieran. En cuanto a la estructura, en su mayora se trata de reactivos de opcin mltiple con distintas opciones de respuesta, que incluyen una consigna que deber ser leda por el aplicador de la prueba y un par de parfrasis de la misma, las cuales podrn ser usadas cuando el estudiante manifieste requerir o solicite ayuda para comprender la tarea que debe realizar; incluye, adems, dibujos a modo de opciones de respuesta entre los cuales los estudiantes debern sealar (circular, tachar o palomear) la respuesta correcta. A continuacin se presenta un ejemplo de reactivo: 1. Datos de Identificacin de la Competencia Programtica a Evaluar Campo formativo: Grado y nivel educativo: Pensamiento matemtico Tercer grado de Educacin Preescolar Aspecto formativo: Nmero Competencia curricular: 2. Plantea y resuelve problemas en situaciones que le son familiares y que implican agregar, reunir, quitar, igualar, comparar y repartir objetos. Qu evaluar?: 2. 4. 2 Resuelve problemas que implican igualar cantidades de dos colecciones (que contienen elementos del mismo tipo).

18

2. EJEMPLO DE REACTIVO

Gloria tiene cinco paletas y Csar tiene ocho paletas. A) Cuntas paletas le faltan Gloria para tener la misma cantidad de paletas que Csar? B) Cuntas paletas debera comprar Gloria para tener el mismo nmero de paletas que tiene Csar? C) Qu nmero de paletas le daras a Gloria para que ella tuviera el mismo nmero de paletas que tiene Csar?

DOBLAR

_____________________________________Encierra en un crculo la tarjeta que tiene las paletas que le faltan a Gloria para tener la misma cantidad de paletas que Csar

Durante toda la aplicacin de la prueba los estudiantes dispondrn de objetos manipulables (fichas), que podrn ser usadas por ellos en el momento y en la forma que consideren conveniente para resolver los problemas planteados. Se pretende que las consignas y la aplicacin de los reactivos de la prueba de pensamiento matemtico, permitan que los estudiantes resuelvan los problemas con sus propios recursos, tal como lo hacen en situaciones de clase. Los nios pueden contar con sus dedos, usar las fichas o hacer dibujos o esquemas. Al final de su trabajo los estudiantes debern seleccionar, de entre las cuatro opciones que se les presentan, la respuesta correcta.

19

20

MANUAL TCN IC O CO NSTRUC CI N DE RE ACTIVOS

CONSTRUCCIN DE REACTIVOS

Como se dijo anteriormente, con las especificaciones de reactivos es posible iniciar la tercera fase del proceso de elaboracin de los Excale, correspondiente a la construccin, validacin y piloteo de reactivos. Su propsito es producir reactivos de alta calidad para la conformacin de cada prueba. As, en la sptima etapa, los reactivos resultantes pasan al Comit de Validacin y Sesgo (CVS), el cual revisa cada reactivo con relacin a su contenido (pertinencia curricular, grado de dificultad, etctera), redaccin (lenguaje utilizado y construccin sintctica, entre otros) y sesgos cultural y de gnero (caractersticas de contenido y redaccin que favorezcan o perjudiquen a algn grupo social). La tercera fase del proceso termina con la octava etapa, en la cual se realiza un estudio piloto con una muestra intencional de aproximadamente cinco mil estudiantes3 por prueba, a fin de conocer el comportamiento psicomtrico de los reactivos y detectar los problemas que enfrentan los alumnos al responderlos. Dicho lo anterior, corresponde a los CCR realizar cuatro tareas bsicas que servirn de insumo para completar a satisfaccin la fase descrita: 1) elaborar los reactivos de una prueba con base en sus especificaciones y de conformidad a la normatividad establecida por el INEE; 2) probar los reactivos elaborados con una muestra pequea de alumnos; 3) revisar los tems que hayan construido otros especialistas, y 4) corregir los reactivos propios de acuerdo a la revisin correspondiente. 3.1 Elaboracin de reactivos La meta principal al construir los reactivos de los diferentes Excale es asegurar que cada tem represente la parte del currculo para la cual se especific. Por ello, es necesario garantizar que, a partir de las especificaciones, cada miembro de los CCR desarrolle el conjunto de tems que le corresponda, de conformidad con las normas tcnicas estipuladas para asegurar su validez. Al respecto cabe decir que se construirn tres tems por cada especificacin, a fin de estar en posibilidades de seleccionar (despus de un piloteo) el mejor de ellos. Los CCR deben redactar de manera independiente los reactivos y probarlos empricamente con una pequea muestra de estudiantes. Posteriormente, dos revisores harn observaciones que debern ser atendidas por los constructores de reactivos. Los pasos que se recomiendan para la construccin de reactivos se presentan a continuacin: 1. Revisar la retcula, tabla de contenidos y justificacin. Esta revisin debe ser exhaustiva con el fin de comprender cabalmente el propsito de la prueba, as como sus alcances y limitaciones. Toda duda al respecto deber ser despejada antes de proseguir con el siguiente paso.

3

La muestra de 2005 abarca cinco estados de la Repblica, as como las modalidades y estratos educativos de mayor relevancia.

21

2. Revisar las especificaciones de los reactivos a elaborar. En esta etapa se estudia a detalle cada especificacin de los reactivos que se van a elaborar, ya que sta ser su base y sustento conceptual. La idea es conocer con mucha precisin la interpretacin de los contenidos, su importancia y funcin curricular, as como la actividad cognoscitiva involucrada en el reactivo. Para ello, se recomienda proceder de la siguiente manera: Revisar la descripcin general del contenido a evaluar con el propsito de comprender el sentido del mismo. Se debe responder a la pregunta: qu es lo que se pretende evaluar?. Revisar el tipo de habilidad cognoscitiva que se pone en juego al responder el reactivo. Se debe responder a la pregunta: qu actividad intelectual se est evaluando con este tem?. Revisar los distintos elementos de la plantilla del reactivo. Se debe responder a la pregunta: en qu medida la plantilla corresponde a la esencia del contenido y a la habilidad intelectual que se desea evaluar?. En su caso, analizar los comentarios adicionales para comprender cabalmente los alcances y limitaciones del reactivo que se desea construir. Se debe responder a la pregunta: cules son las peculiaridades del reactivo?. Revisar el reactivo muestra y tratar de responderlo sin conocer la respuesta correcta. Se debe responder a la pregunta: el reactivo corresponde a las caractersticas y plantilla descritas en la especificacin (en cuanto a contenido y habilidades requeridas)?. Anotar cualquier discrepancia interna que se observe en la especificacin, a fin de que el coordinador del Excale pueda aclararla.

III. Construccin y redaccin del reactivo. Una vez estudiada la especificacin, se proceder a elaborar el tem correspondiente apegndose a la plantilla del reactivo (y no al reactivo muestra). En este sentido, ser necesario consultar los libros de texto y materiales didcticos pertinentes, as como a otros asesores en la materia. Para redactar el tem correctamente, se deber consultar el documento Normas Tcnicas para la Construccin de Reactivos (ver Anexo II). Dichas normas hacen nfasis en los siguientes apartados generales: La congruencia con la especificacin El contenido El uso del lenguaje La redaccin Los materiales de apoyo El formato

Adicionalmente, se dan lineamientos especiales de acuerdo al tipo de reactivo que se vaya a construir: Opcin mltiple Respuesta corta Ensayo

22


Finalmente, se proporcionan lineamientos para las pruebas de acuerdo a su contenido temtico; a saber: Espaol Matemticas Ciencias Naturales Ciencias Sociales Lenguaje y comunicacin Pensamiento matemtico

Es importante mencionar que adems de la elaboracin de reactivos con base en una plantilla, existen otras tcnicas muy eficaces, como la transformacin lingstica y el anlisis de conceptos y procedimientos, mismas que se presentan en el Anexo III como referencia para que los CCR amplen su repertorio metodolgico y logren que los reactivos producidos sean de una alta calidad tcnica. 3.2 Prueba emprica de los reactivos a pequea escala Una vez que el especialista elabore y depure los reactivos asignados, es conveniente que los pruebe empricamente con un grupo reducido de estudiantes (entre diez y veinte), a fin de: 1) observar las dificultades que encuentra el alumno al responderlos; 2) estimar el nivel de dificultad de cada uno de ellos; 3) conocer el comportamiento de sus distractores (para los reactivos de opcin mltiple), y 4) conocer el tiempo que se tardan los estudiantes en contestarlos. Frecuentemente los estudiantes tienen dificultades al responder un reactivo, las cuales pasan inadvertidas al especialista que lo construy. Entre los problemas ms comunes se encuentran los siguientes: 1. 2. 3. La base del reactivo es confusa debido al uso de lenguaje sofisticado, estructura gramatical compleja o a su mala formulacin. La pregunta resulta muy fcil debido a que los distractores son muy obvios, poco plausibles o mal redactados. La pregunta es muy difcil debido a la cercana conceptual de los distractores, lo cual hace difcil discriminar la respuesta correcta o que haya ms de una respuesta correcta, etctera.

Igualmente importante es estimar el nivel de dificultad emprico del reactivo. Esto se puede obtener fcilmente calculando la proporcin de estudiantes que contest correctamente el tem. El ndice de dificultad o valor p del reactivo se obtiene con la siguiente frmula:

p=c/tdonde,

p = nivel de dificultad c = nmero de examinados que tuvieron correcto el tem t = total de examinados que respondieron el tem

23

As, a mayor valor de p, menor ser la dificultad del tem. La facilidad o dificultad del tem estn relacionadas con el currculo. Es decir, la dificultad emprica del reactivo debe corresponder con la dificultad conceptual (o esperada) del contenido que se evala. Es importante detectar los reactivos que presenten discrepancias al respecto, ya que este problema con seguridad se deber a causas relacionadas a la forma en que est redactada la base del reactivo y/o sus distractores. Asimismo, para los reactivos de opcin mltiple es importante conocer el comportamiento estadstico de sus distractores; es decir, la ejecucin de los estudiantes evaluados ante cada una de las opciones de respuesta. Para tal efecto, se calcula la proporcin de estudiantes que seleccionaron cada alternativa de los reactivos. La siguiente tabla muestra un ejemplo hipottico de esta distribucin en dos reactivos contestados por 20 estudiantes.Tabla IV. Distribucin de las respuestas a las alternativas de dos reactivos Reactivos A* Reactivo 1 Reactivo 2* Respuesta correcta

Opciones de respuesta B 8 (40%) 4 (20%) C 0 (0%) 4 (20%) D 4 (20%) 4 (20%)

8 (40%) 8 (40%)

Se puede ver en la tabla que los distractores del reactivo 1 tienen un comportamiento anmalo o muy desequilibrado, ya que uno de ellos (B) tiene tantas respuestas como la respuesta correcta (A); mientras que otro no tiene ninguna respuesta (C). Por el contrario, el reactivo 2 presenta un comportamiento ideal, ya que la respuesta correcta es la opcin ms seleccionada y el resto de las respuestas se reparten homogneamente entre los tres distractores. Otra informacin importante que se obtiene de la prueba es la cantidad de tiempo que los estudiantes se tardan en responder cada una de las preguntas. Idealmente, una pregunta de opcin mltiple le debe de tomar al alumno entre uno y dos minutos. Las preguntas de Comprensin lectora son ms largas y las de ensayo an ms. Sin embargo, es importante que en ningn caso el estudiante requiera de tiempo excesivo para responder una pregunta. Por todo lo anterior, es claro que la nica forma de conocer si los alumnos tendrn dificultad o no con un tem en especial es probndolo empricamente. El resultado generalmente da muy buenos indicios para mejorar el reactivo. Los tipos de fallas ms comunes y las decisiones adoptadas ante ellas se describen en la siguiente tabla.

24


Tabla V. Fallas ms comunes y decisiones adoptadas para el mejoramiento de los tems Tipo de falla Complejidad del reactivo Problemas con los distractores Edicin Redaccin Mixta Ejemplos Muy difcil Muy fcil Muy difciles Muy fciles Escritura confusa Conceptos complejos Respuesta al azar Tipo de decisin adoptada para el mejoramiento Cuidadoso anlisis del contenido del tem y, en su caso, usar una redaccin ms categrica, hacer ms o menos atractivas las opciones, o sustituirlas. Ampliar la distancia conceptual entre ellos. Revisar si son poco plausibles o si hay pistas en su redaccin. Corregir errores mecanogrficos, hacer instrucciones o dibujos ms claros. Simplificar las conceptualizaciones, cambiar la redaccin confusa. Hacer ms categricas la base del reactivo y la respuesta correcta, o sustituir los distractores.

Finalmente, es conveniente que en algunos casos se prueben los reactivos de opcin mltiple con un formato de respuesta construida, ya que las respuestas incorrectas de los alumnos podrn dar pistas para seleccionar los mejores distractores. Esto es especialmente cierto para el caso de Matemticas. 3.3 Revisin de reactivos Para asegurarse de que los reactivos estn formulados correctamente y cumplan con su propsito en la prueba correspondiente, una vez formulados por los especialistas pasarn por un proceso de revisin minucioso para comprobar que cumplieron con las normas de calidad establecidas; en caso contrario, se debern determinar sus fallas y ser enviados para su correccin a los especialistas que los elaboraron. Este proceso se repite hasta que el reactivo sea aprobado por dos revisores. En las pruebas criteriales es preciso esforzarse por describir con precisin el dominio que se desea medir y luego asegurar que los reactivos son congruentes con dicha descripcin, lo cual slo puede hacerse mediante juicios humanos. Existen varias fuentes de datos derivados de juicios: los redactores de los tems, quienes tras disearlos pueden revisarlos; paneles de jueces independientes que revisan y mejoran los reactivos; o los propios estudiantes que reportan tems ambiguos, engaosos, difciles, fciles, o bien instrucciones confusas, tiempo insuficiente, etctera. En esta etapa del proceso los miembros del propio CCR pueden fungir como revisores de los reactivos elaborados por otros compaeros del mismo comit. Aqu se busca que los revisores evalen dos aspectos esenciales del reactivo: Que cada uno de los elementos del reactivo se apegue a la especificacin correspondiente. Que las caractersticas del reactivo se apeguen a las Normas para la construccin de reactivos del INEE (ver Anexo II).

Lo anterior se hace con base en el formato para revisar reactivos que se anexa al final del documento (Anexo IV). El proceso se repite hasta que el reactivo quede a satisfaccin de los revisores. Es importante tener en mente que esta tarea tiene como propsito principal asegurar la calidad de la relacin tem especificacin, con lo cual se garantiza que el reactivo represente el currculo y, con ello, su validez de contenido.

25

En teora, el procedimiento de revisin de reactivos debe operar de la manera como se ilustra en la (Figura 2. Sin embargo, es importante decir que ste debe ajustarse a la mecnica que establezca cada coordinador de Excale, por lo que no se debe tomar al pie de la letra, ya que, por ejemplo, es comn que los revisores prefieran evaluar al reactivo en su totalidad, dar observaciones y esperar a que se resuelvan los problemas antes de volverlo a revisar.

Correccin o, en su caso, reelaboracin

NoRevisin de tem vs. especificacinEl tem es congruente con la especificacin?

No

No SRevisin de la correccin de contenido

S

El tem es congruente con el contenido?

S

El tem es relevante?

S

Hay errores conceptuales?

No

Revisin de errores de escritura

No

El tem ofende o penaliza?

Revisin de sesgo

S

El tem tiene vocabulario apropiado?

Revisin de vocabulario apropiado

S

La respuesta correcta, lo es?

No

S NoEl tem presenta fallas de redaccin de fcil correccin?

NoCorreccin in situ

S

Fin

Figura 2. Diagrama de flujo del proceso de revisin formal de los tems de la prueba

A continuacin se describe el proceso ilustrado en el diagrama: Inicialmente cada tem es contrastado con la especificacin que lo produjo. Para ello, el CCR dictaminar si el tem es congruente con la especificacin y con el contenido correspondiente, y si adems resulta relevante. Estas decisiones se adoptarn de manera consensual. Cuando el dictamen es favorable en los tres casos, se contina con el anlisis; cuando no lo es, se enva el tem a correccin o reelaboracin segn la naturaleza de las observaciones. Enseguida se revisa la correccin del contenido del tem; es decir, que est exento de errores conceptuales y que la respuesta correcta realmente lo sea. Cuando el dictamen es favorable en ambos casos, se contina el proceso; en los casos donde no lo es, se indica lo procedente. Posteriormente, se revisa que el tem presente un vocabulario apropiado al nivel de los examinados. Cuando no es as, se hacen las correcciones necesarias.

26


Adems, se revisa que el tem no presente estereotipos tnicos o de gnero y que no ponga en ventaja a un grupo social sobre otros. Lo mismo se hace ms adelante con el conjunto de tems que forman cada modelo. Finalmente, se revisa que el tem est exento de errores de escritura, tanto en tcnica como de tipo mecanogrfico. En los casos en que se presenten determinantes especficos, opciones poco plausibles u otras fallas similares, se efectuarn las correcciones en el momento. Cuando no pueda hacerse de inmediato, y segn la naturaleza de la falla detectada, la correccin se deja a cargo de quien elabor el tem y su dictamen queda pendiente para la siguiente sesin.

3.4 Entrega de reactivos Una vez revisados los reactivos, se deben entregar al coordinador del Excale usando el formato que se presenta en el Anexo V, tanto en su versin electrnica como impresa. El redactor debe proporcionar toda la informacin necesaria para poder identificar el reactivo y para que se pueda editar sin que ste tenga que ser consultado. Lo anterior implica que cada uno de los elementos del tem debe estar perfectamente descrito, incluyendo sus elementos grficos. Es comn que los redactores no sean especialistas en la elaboracin de dibujos o diagramas que requiera el tem. En este caso, se debern proporcionar los elementos indispensables para que el Departamento de Diseo y Edicin pueda realizar esta tarea (p. ej., copia de diagramas similares, dibujos hechos a mano, etctera). El INEE cuenta con el profesionalismo de los participantes en este trabajo (integrantes de los diferentes CCR, personal interno, jueces independientes, etctera) para mantener la necesaria confidencialidad en el manejo del material generado a lo largo del proceso.

27

REFERENCIAS BIBLIOGRFICAS

Berk, R. (1984). A Guide to Criterion-Referenced Test Construction. Baltimore: The Johns Hopkins University Press. Bloom, B. S. (1956). Taxonomy of educational objectives: Handbook I. Cognitive domain. New York: McKay. CRESST: National Center for Research on Evaluation, Standards and Student Testing (1994). Assessment Profile-State Summary. Evaluation Comment. CRESST Haladyna, T. (1990). Advances in Item Design. Rasch Measurement Transactions, 4 (2). [documento www.] Disponible en: Gopher_root_eric_ae:[_rasch.back]rm42_52.txt:1 Nitko, A. J. (1994). A Model for Developing Curriculum-Driven, Criterion-Referenced and NormReferenced National Examinations for Certification and Selection of Students. Ponencia presentada en la

Conferencia Internacional sobre Evaluacin y Medicin Educativas, de la Asociacin para el Estudio de la Evaluacin Educativa en Sudfrica (ASSESA).

Nitko, A. J. (1995). Curriculum-based Continuous Assessment: A Framework for Concepts, Procedures and Policy. Assessment in Education, 3 (2). Popham, J. (1990). Modern Educational Measurement. A Practitioners Perspective. Boston, MA: Allyn and Bacon. Rudner L. (1993). Test Evaluation. [documento www.] Disponible en Gopher ERIC/AE. 12/93.

28


ANEXOS Anexo I Especificacin de Reactivo Excale 00

Nombre de los redactores de la especificacin: Fecha de elaboracin: Nm. de versin de la especificacin: Identificador nico de la especificacin:

1. DATOS DE IDENTIFICACIN DE LA COMPETENCIA PROGRAMTICA A EVALUAR a. Campo formativo: b. Grado y nivel educativo: c. Aspecto formativo: e. Competencia curricular: f. Indicador de la competencia curricular: g. Qu evaluar?: d. Lnea de evaluacin (Lenguaje y comunicacin):

2. DESCRIPCIN DEL INDICADOR DE LA COMPETENCIA CURRICULAR A EVALUAR a. Interpretacin del sentido del contenido de la competencia curricular a evaluar: b. Importancia del contenido en el contexto del currculo: c. Delimitacin del contenido a evaluar: d. Orientacin general o ejemplo que aparece en la tabla de contenidos:

3. TIPO Y NIVEL DE CONOCIMIENTO O HABILIDAD INVOLUCRADO a. Conocimientos y habilidades previos (circunscritos al campo formativo o a la situacin de evaluacin en general), requeridos para contestar el reactivo correctamente: b. Actividades cognoscitivas involucradas en la contestacin correcta del reactivo:

29

4. PLANTILLA DEL REACTIVO a. Instrucciones: b. Base del reactivo: c. Material requerido: d. Respuesta(s) correcta(s): e. Distractores o respuesta(s) considerada(s) incorrecta(s): 5. COMENTARIOS ADICIONALES A LOS ELEMENTOS DE LA PLANTILLA a. Peculiaridades de: Las instrucciones para la aplicacin del reactivo La base del reactivo El material requerido La informacin verbal, textual o grfica que se presenta a los nios Otros elementos

b. Posibles eventualidades a considerar (con respecto al comportamiento de los nios, a distracciones diversas u otras) y acciones alternativas para encauzar el reactivo: c. Tiempo estimado para la aplicacin del reactivo: d. Recomendaciones y/o condiciones tcnicas u operativas requeridas para el desarrollo del reactivo:

6. RBRICAS DE CALIFICACIN DEL REACTIVO (LENGUAJE Y COMUNICACIN)

0 1 2 0= 1= 2=a. Posibles respuestas correctas e interpretacin numrica: b. Otras posibles respuestas e interpretacin numrica: c. Situaciones que invalidan la respuesta:

30


7. REACTIVO MUESTRA

8. BIBLIOGRAFA CONSULTADA

31

Anexo II Normas para la construccin de reactivos1. De la congruencia con su especificacin a. Tanto la base del reactivo como los distractores deben redactarse de conformidad estricta con su correspondiente especificacin. Ningn tem debe ser ms o menos difcil de lo que seale su especificacin. Se podrn utilizar los libros de texto, guas y otros materiales didcticos oficiales como insumo para la construccin de tems. Sin embargo, debe evitarse la creacin de reactivos idnticos a los que aparecen en dichos recursos. En los casos en que resulte necesario cambiar la dificultad del reactivo, porque as lo indique el anlisis de la prueba emprica, la modificacin se efectuar incrementando la dificultad de las opciones de respuesta y nunca formulando la base de la pregunta de manera ms ambigua o mediante el uso de vocabulario ms sofisticado o de situaciones ms complejas.

b. c.

d.

2.

Del contenido El contenido de los reactivos deber: a. b. Reflejar el currculo nacional. Centrarse en los contenidos curriculares que, por su importancia y frecuente implementacin dentro del aula, sean ms significativos en el nivel escolar al que se dirige la prueba. Evaluar lo que es esencial y consecuente con un determinado aprendizaje, evitando tener que recurrir a conocimientos adquiridos fuera del saln de clases. Considerar los contenidos, el vocabulario y los procesos de aprendizaje previos, pero slo para lograr el andamiaje preciso con el contenido a evaluar y partir de lo que el alumno ya conoce. Evitar requerir del estudiante el uso de una estrategia en particular para resolver los problemas que se le planteen. Evitar entrar en detalles del conocimiento que resulten demasiado especficos, as como emplear informacin basada en opiniones. Procurar que cada reactivo constituya un estmulo y un reto intelectual para los alumnos.

c.

d.

e.

f.

g.

32


3.

Del uso del lenguaje El lenguaje de los reactivos deber: a. b. c. d. Ser sencillo y acorde al nivel escolar al que se dirige la prueba. Tener calidad ortogrfica y de redaccin. Estar libre de expresiones idiomticas locales que dificulten su comprensin. Evitar todo tipo de sesgo (cultural, social, de gnero u otros); es decir, vocabulario o cualquier tipo de representacin que ofenda a un grupo de estudiantes en particular y/o facilite la identificacin de la respuesta correcta o dificulte contestar correctamente. Contemplar el uso de nombres propios representativos de la diversidad cultural de Mxico. Se preferirn nombres cortos que sean fciles de leer.

e.

4.

De la redaccin La redaccin de un reactivo deber: a. b. Tener oraciones breves y sintaxis sencilla. Especificar claramente lo que se espera como respuesta y ayudar al estudiante a enfocar su atencin en la tarea a realizar. Considerar el uso de la organizacin en vietas para el caso especfico de instrucciones complejas. Contemplar un tiempo mnimo de lectura, lo cual exige precisin, sencillez y claridad de ideas. Utilizar una combinacin semntica y sintctica simple. Ser siempre afirmativa. Usar verbos en imperativo al inicio de la instruccin o instrucciones. Establecer consignas directas y concisas. Construir la base de cada tem en forma de pregunta o de enunciado incompleto. Redactar cada tem de manera independiente de los dems reactivos. Formular el reactivo en forma positiva evitando la palabra NO en la base de la pregunta. Evitar el SI condicional en la base de la pregunta.

c.

d. e. f. g. h. i. j. k. l.

m. Evitar mezclar el modo condicional y el modo interrogativo en una misma oracin. Por ejemplo: Cul sera el resultado de sumar 25 ms 32, si 32 es un nmero negativo?. n. Incluir todos los elementos de informacin necesarios para responder cada reactivo.33

5.

De los materiales de apoyo (ilustraciones, grficos, tablas, etctera) Los materiales de apoyo debern: a. b. c. d. Ser concisos. Ser conceptualmente correctos. Ser claros y simples, con el mnimo de distractores o informacin irrelevante. Cumplir su funcin de apoyo y nunca engaar a los estudiantes para que se confundan o seleccionen una respuesta incorrecta. Ser realistas y cercanos a la cotidianeidad de los nios y/o adolescentes, particularmente en el caso de representaciones grficas como dibujos o fotografas. Ser atractivos y acordes al nivel escolar a evaluar.

e.

f. 6.

De formato a. b. c. Se evitar usar margen justificado. La fuente tipogrfica a utilizar ser Arial, 12 puntos. Las imgenes debern tener formato JPG.

7.

De las preguntas de opcin mltiple a. En promedio, el reactivo debe requerirle al estudiante un minuto para su respuesta. Ocasionalmente podr utilizar dos o tres minutos. Cada reactivo deber contener una base del reactivo (en formato de pregunta, enunciado incompleto o afirmacin) y cuatro posibles respuestas (tres plausibles, pero slo una considerada correcta). La base del reactivo deber presentar informacin suficientemente clara, a fin de que el estudiante sepa qu hacer antes de leer las opciones de respuesta. En la base del reactivo se evitar incluir informacin irrelevante. Cuando el reactivo lo requiera (por ejemplo, cuando incluya textos o figuras complementarias), podr acompaarse de instrucciones adicionales a la base de la pregunta. Los distractores debern reflejar errores comunes o malos entendidos, concepciones simples o ingenuas, u otro tipo de error, de tal forma que las respuestas correctas demuestren lo que los alumnos realmente saben o pueden hacer. Los distractores no tendrn la intencin de confundir al estudiante, por lo que no debern ser variantes cercanas a la respuesta correcta.

b.

c.

d. e.

f.

g.

34


h. i.

Todos los distractores debern tener congruencia gramatical con la pregunta. No se debern utilizar alternativas como: todas las anteriores, ninguna de las anteriores, las dos de arriba. El diseo de las alternativas no deber inducir a que los estudiantes descarten o eliminen alguna opcin de respuesta, o a que identifiquen la respuesta correcta debido a caractersticas superficiales y triviales de las otras alternativas, o debido a la complejidad sintctica y conceptual de las mismas. Los reactivos no debern permitir que las respuestas correctas se obtengan mediante procedimientos incorrectos. Preferentemente, las alternativas de respuesta debern tener la misma longitud y formato, as como ser sintctica y semnticamente paralelas. En caso de que esto no sea posible, podr haber dos pares de alternativas con las mismas caractersticas (ejemplo: dos respuestas cortas y dos largas).

j.

k.

l.

m. Las letras A, B, C y D debern ser utilizadas para las alternativas de respuesta y no como encabezados o vietas en el reactivo. n. o. Las alternativas de respuesta debern ordenarse considerando su longitud, cantidad o cronologa. En las especificaciones de reactivos la primera opcin deber ser siempre la respuesta correcta. Deber, adems, estar indicada con un asterisco. Ningn tem debe proporcionar determinantes especficos; es decir, pistas que indiquen la respuesta correcta o que invaliden ciertas opciones incorrectas que se ofrecen a los estudiantes. A continuacin se presentan los determinantes especficos ms comunes: Se proporcionan claves contextuales, las cuales permiten identificar que una opcin no puede ser correcta o, en su caso, que se trata de la respuesta correcta. Por ejemplo, la base del reactivo se refiere a un tema determinado; tres alternativas hacen referencia al mismo tema, y la restante, que es incorrecta, se refiere a un tema distinto. Se proporcionan claves gramaticales, las cuales indican que una opcin es la correcta o que no lo es. Por ejemplo, la base informativa de un tem demanda que la respuesta correcta sea un sustantivo con nmero singular; sin embargo, salvo la opcin correcta, las dems opciones presentan sustantivos cuyo nmero es plural. La longitud de una opcin es considerablemente ms larga o ms corta que las dems. Se emplean determinantes como "nunca", "siempre" o "algunas veces". Se presentan asociaciones evidentes, opciones absurdas o indicadores semnticos muy generales o especficos.

p.

35

8.

De respuesta corta a. b. c. Una pregunta directa es generalmente preferible a un enunciado incompleto. Estructurar el reactivo de tal manera que la respuesta requerida sea muy concisa. En los reactivos por completar, se deber ubicar el espacio al final del enunciado incompleto, o bien en el margen de la pregunta directa. Es necesario restringir el nmero de espacios en blanco a uno o dos como mximo. Los espacios en blanco deben ser todos del mismo tamao.

d. e. 9.

De los reactivos de ensayo a. b. c. Dar encuadre al reactivo, de tal manera que la tarea del estudiante est explcitamente definida. Especificar el tiempo aproximado que le toma a un estudiante responder la pregunta. Emplear una gran cantidad de reactivos que requieran de respuestas relativamente cortas, en vez de utilizar pocas preguntas que requieran respuestas extensas. No emplear preguntas opcionales. Verificar la calidad del tem mediante un borrador escrito de la respuesta que se solicita. Preparar una gua o protocolo de calificacin en forma anticipada. Calificar todas las respuestas del mismo reactivo antes de pasar a la siguiente pregunta. Definir en forma anticipada el tratamiento que se le dar a factores tales como la ortografa, la caligrafa, la puntuacin, etctera. Evaluar las respuestas en forma annima. Calificar las respuestas de ensayo con los mtodos analticos y holsticos.

d. e. f. g. h.

i. j.

10. De las pruebas de Matemticas a. b. El uso del lenguaje deber corresponder siempre a un grado menor al que se dirige el examen. Con base en la pregunta, y para el caso particular del uso de nmeros de ms de tres dgitos enteros (que no refieran aos calendario), se debern utilizar espacios para agrupar rdenes y clases numricas. Por ejemplo: 26 000. Se podrn utilizar abreviaturas de medidas estndar; sin embargo, cuando pueda haber una posible confusin, ser necesario evitarlas. Por ejemplo: pulgada (para sustituir la abreviatura pul). Las variables debern usar tipografa itlica y mayscula.

c.

d.36


e.

La variable X no deber usarse en los reactivos donde el smbolo x se utilice para indicar una multiplicacin. Toda fraccin quedar representada mediante una lnea horizontal para separar al numerador del 1 denominador. Por ejemplo: 2 Los reactivos no debern evaluar definiciones de vocabulario. Las caractersticas de las cifras y smbolos dependern del eje y grado escolar, tomndose las correspondientes de los libros de texto. En la solucin de problemas escritos o en contexto, las medidas utilizadas debern ser cercanas a la realidad. Nunca se debern utilizar situaciones absurdas.

f.

g. h.

i.

11. De las pruebas de Espaol a. Se debern usar instrucciones adicionales a la base del reactivo: una para la accin de lectura y otra para la actividad a desarrollar a partir del texto.

Los textos de lectura tendrn las siguientes caractersticas: b. Debern ser tomados de los libros de texto editados por la SEP, as como de libros, revistas o peridicos de reconocido prestigio. Siempre ser necesario referir la fuente bibliogrfica. Se dar preponderancia al uso de textos completos. El uso de fragmentos o adaptaciones estar sujeto a las necesidades que se deriven de la prueba en general, o del reactivo en particular, y deber ser autorizado por el coordinador del Excale. Los textos informativos (artculos de divulgacin, editoriales, artculos de opinin, reportajes, etctera) debern contener informacin fidedigna y de inters para los estudiantes del nivel educativo a evaluar. Los textos literarios debern ser estticos y cumplir la funcin recreativa que marca el plan y los programas de estudio. La extensin de los textos informativos, literarios y de divulgacin, se especifican en la siguiente tabla.Extensin mxima del nmero de palabras de los textos de lectura Tipo de texto Informativo y divulgacin Literarios 3 de primaria 300 300 6 de primaria 450 500 3 de secundaria 600 600

c.

d.

e.

f.

37

Los textos para correccin de borradores tendrn las siguientes caractersticas: a. b. c. Debern ser transcripciones de textos autnticos escritos por los alumnos del nivel escolar a evaluar. Slo se aceptarn como vlidas las adaptaciones menores, siempre y cuando no se altere el sentido, la intencin y el mensaje del texto. La extensin de los textos respetar la siguiente tabla:

Extensin mxima del nmero de palabras en los textos para reflexin sobre los cdigos escritos Tipo de texto Todos 3 de primaria 50 6 de primaria 75 3 de secundaria 100

12. De las pruebas de Ciencias Naturales a. b. c. Los reactivos debern evitar el empleo de tecnicismos y lenguaje cientfico de difcil comprensin. En los reactivos que midan la dimensin valoral ser importante cuidar, de manera especial, que haya una sola respuesta correcta y que sta no est sujeta a discusin. Cuando se presenten ilustraciones en la base del reactivo, deber incluirse un enunciado corto o frase que invite a los sustentantes a observarla antes de responder el reactivo. Por ejemplo: "Observa el siguiente dibujo". Los esquemas de plantas, animales, aparatos, sistemas y ciclos (o procesos) debern ser realistas, claros y adaptados a las caractersticas de los nios y nias del nivel y grado escolar. Adems, slo debern incluir los detalles necesarios. Los dibujos de historietas y escenarios en los que se incluyan objetos, animales, plantas y personas podrn ser caricaturizados para hacerlos ms agradables, siempre y cuando no se distorsionen, ni desatiendan las caractersticas de desarrollo de los nios y nias del nivel y grado escolar. Cuando se incluyan grficas, tablas y otras ilustraciones originales, deber citarse la fuente bibliogrfica de donde se tomaron. Cuando se empleen unidades de medida debern expresarse con palabras completas, no con abreviaturas.

d.

e.

f. g.

13. De las pruebas de Ciencias Sociales a. Se debern usar instrucciones adicionales a la base del reactivo: una para invitar a la lectura de un texto (o a la observacin de una imagen) que sirva de contexto o anclaje para la ejecucin de la tarea, y otra para la demanda de la tarea propiamente dicha.

Los textos, mapas, tablas, grficas e imgenes tendrn las siguientes caractersticas: b. Las citas textuales utilizadas debern referir, preferentemente, los libros del alumno editados por la SEP, as como libros, revistas o peridicos de reconocido prestigio. Siempre ser necesaria la fuente bibliogrfica.

38


c. d. e.

Se podrn utilizar adaptaciones o fragmentos de texto, siempre y cuando no pierdan su sentido, intencin y mensaje, lo mismo que su enfoque, tendencia o corriente a la que pertenecen. Se podrn utilizar textos de creacin personal que correspondan a situaciones de contextualizacin para la respuesta al tem. Se eliminarn dilemas con sesgo, estereotipos o descalificaciones para ciertos grupos sociales. En su lugar se procurar incluir textos estrictamente descriptivos del hecho dilemtico, que puedan ser interesantes, conocidos y estar al alcance de alumnos de todo el pas. Se podr hacer uso de historietas cortas editadas, de creacin personal o adaptadas, propias del nivel educativo a evaluar. El uso de textos informativos, mapas, tablas y obras plsticas (dibujos, murales, pinturas, fotografas, etctera) estar sujeto a la presentacin de informacin fidedigna completa y de inters para los estudiantes del nivel educativo a evaluar. Los mapas, planos, dibujos y croquis, as como las fotografas, grficas y tablas, debern ser inditos y elaborados ex profeso para la evaluacin y nunca escaneados o fotocopiados. Las imgenes de murales y pinturas debern ser reales, sin ningn tipo de adaptacin o mutilacin. El lenguaje utilizado deber ser sencillo, claro y llano, carente de tecnicismos o jerga propia de las disciplinas a evaluar. Todo recurso utilizado deber de estar debidamente citado.

f. g.

h. i. j. k.

La extensin de los textos se especifica en la siguiente tabla.Extensin mxima del nmero de palabras de los textos Tipo Citas textuales y adaptaciones Dilemas Textos informativos Historietas 3 de primaria 80 De 30 a 50 80 De tres a cuatro cuadros de dilogo. 6 de primaria 100 50 100 De cuatro a cinco cuadros de dilogo 3 de secundaria 200 100 200 De cinco a seis cuadros de dilogo.

14. De las pruebas de Educacin Preescolar4

4

Esta es la primera experiencia que se tiene en el establecimiento de las normas para los reactivos de Preescolar. Se considera que, gracias al esfuerzo del Comit de Reactivos, se crearn nuevas normas o las que aqu se delinean se modificarn para hacer un ajuste ms preciso a la aplicacin de los reactivos.

39

Reactivos de respuesta escrita a. b. c. d. Los reactivos escritos debern poder contestarse utilizando un lpiz, cuyo color ser el mismo en todos los casos. Deber haber slo un reactivo por pgina (en formato horizontal). La pgina de cada reactivo no debe tener nmero, ni logos, fechas u otros datos que puedan distraer la atencin del alumno. Las ilustraciones deben ser atractivas, similares a las de los materiales curriculares, estar libres de sesgo sociocultural y de gnero, e incluir nicamente los elementos pertinentes a la intencin del reactivo.5 Las instrucciones y las ilustraciones del reactivo no deben causar ambigedad, es decir, debido a que generen mltiples interpretaciones o sean poco claras. Las instrucciones debern ser lo ms breves y comprensibles posible. Si se tiene que elegir entre brevedad y comprensin, debe preferirse esta ltima. Cada reactivo debe incluir una descripcin exacta de cundo una respuesta se considera correcta y cundo no, as como los motivos de estos criterios. En el caso de Lenguaje y comunicacin, esto se expresar directamente en el protocolo de calificacin que se incluye como parte del reactivo.

e. f. g.

Reactivos de respuesta oral a. b. c. d. Los reactivos presentarn instrucciones sencillas, claras y cortas, de tal manera que, en la aplicacin, puedan ser expresadas estableciendo contacto visual con los evaluados. Las instrucciones y la base del reactivo debern incluir parfrasis cercanas que puedan ser utilizadas en caso de que un alumno no haya comprendido correctamente y necesite un apoyo. Los reactivos de respuesta construida debern considerar las diferentes posibles respuestas que puede expresar el alumno, as como su interpretacin numrica. Para el caso de los reactivos de respuesta construida se elaborar un protocolo de calificacin para cada reactivo, el cual deber dejar claro, sin lugar a dudas, el puntaje que se otorgar a la respuesta del alumno. Los portadores de texto que se utilicen durante la evaluacin debern ser similares a los textos que circulen socialmente.

e.

5

No se espera que el constructor del reactivo realice la versin final de las ilustraciones, pero s que d los elementos suficientes para su elaboracin y diseo.

40


Anexo III Reglas para la generacin de reactivosRegla para la generacin de reactivos: transformaciones lingsticas Las transformaciones lingsticas pueden ser utilizadas como tcnicas que facilitan la escritura de tems y consisten en hacer una estructura genrica con partes fijas y variables, de tal manera que al interactuar las partes variables sobre la estructura fija comn, es posible obtener gran cantidad de tems. Esta regla para la generacin de reactivos permite asegurar la relacin lgica entre los tems y los materiales textuales a partir de los cuales se generan. Incluye las siguientes fases: Bsqueda de frases clave en el proceso educativo Seleccin de las frases ms importantes (frase original) Transformacin de las frases segn el nivel de complejidad (taxonmico) del tem que se establece en la especificacin correspondiente (frase transformada: tem) Construccin de distractores

Para efectuar la transformacin lingstica pueden emplearse los siguientes procedimientos: Eliminar un segmento Emplear la parfrasis Reemplazar trminos particulares por otros ms generales Reemplazar los sustantivos por sinnimos Eliminar un segmento o realizar una pregunta

Ejemplo para un nivel de reconocimiento de informacin

Frase original: El mtodo de transformaciones lingsticas asegura la relacin lgica entre los tems y lostextos a partir de los cuales se generan.

Frase transformada (tem): El mtodo de ______________________________ asegura la relacin lgicaentre los tems y los textos a partir de los cuales se generan. Ejemplo para un nivel de comprensin de informacin (mediante parfrasis)

Frase original: Las preguntas elaboradas mediante transformaciones literales de frases importantes tomadasde los libros de texto conducen a evaluar nicamente el reconocimiento o memoria directa. Por ello, la comprensin de la instruccin no puede garantizarse a partir de un rendimiento satisfactorio en tems de ese tipo.41

Parfrasis: Puesto que los tems construidos mediante frases tomadas directamente de textos slo midenmemorizacin, no se pueden garantizar niveles superiores de comprensin a partir de las respuestas correctas a tales preguntas.

Frase transformada (tem): Los tems que se construyen a partir de frases tomadas directamente del libro detexto: A. Son necesarios para evaluar la comprensin del texto B. Son parfrasis apropiadas del significado esencial del material C. Son transformaciones literales en las que se establece la equivalencia de significado D. No garantizan los niveles superiores de comprensin del material textual Ejemplo para un nivel de aplicacin de informacin

Frase original: La elaboracin de las preguntas que conforman un examen se consigue: a) reemplazando los trminos particulares con trminos supraordenados; b) reemplazando todos los sustantivos con sinnimos o mediante parfrasis apropiadas; c) eliminando un segmento de informacin, o d) realizando una pregunta. Trminos supraordenados: La generacin de tems se lleva a cabo realizando operaciones estructurales ysemnticas con el material textual.

Frase transformada (tem): Qu es lo que se lleva a cabo realizando operaciones estructurales y semnticascon el material textual? A. La mejora del test B. La generacin de tems C. La clarificacin semntica y estructural D. La revisin del test y de los tems A partir de los aspectos que definen un contenido se elabora una sentencia directriz con dos elementos: la formulacin fija del tem y las partes variables o facetas. Las facetas definen variaciones en las formas de expresin que se emplean para generar sentencias paralelas, a partir de cuya combinacin se pueden generar muchos tems. La idea es descomponer un tema en un enunciado general y en varias facetas, de tal manera que se facilite no slo la elaboracin de muchos tems, sino tambin la comprensin de lo que puede ser evaluado. Esta tcnica es especialmente til cuando el contenido se caracteriza por estar muy estructurado.

42


Ejemplo para un nivel de conocimiento de informacin

Contenido a evaluar: reglas ortogrficas.1. Sentencia directriz: Una regla ortogrfica del espaol dice que antes de la letra FACETA A siempre va la letra FACETA B y nunca la letra FACETA C. Lo anterior es: 2. Descripcin de las facetas: FACETA A: Letras / b / p / v / f FACETA B: Letras / m / m / n / n FACETA C: Letras / n / n / m / m

3. Reglas de generacin de tems: Se pueden combinar al azar los dos primeros elementos de la FACETA A, con los dos primeros elementos de la FACETA B y con los dos primeros elementos de la FACETA C. Se pueden combinar al azar los dos ltimos elementos de la FACETA A, con los dos ltimos elementos de la FACETA B y con los dos ltimos elementos de la FACETA C.

Ejemplo de tem (Av Bn Cm):Una regla ortogrfica del espaol dice que antes de la letra v siempre va la letra n y nunca la letra m. Lo anterior es: A. Cierto, en todos los casos B. Falso, en todos los casos C. Cierto, solamente en algunos casos D. Falso, solamente en algunos casos Ejemplo para un nivel de anlisis de informacin 1. Sentencia directriz: La grandeza de/del FACETA A en el Quijote radica en FACETA B que pone/hace Cervantes en/de FACETA C.

43

2. Facetas:FACETA A - el tema - el desarrollo de caracteres - la forma - el estilo - el comentario social FACETA B - la atencin - la eleccin - el punto de partida - la crtica FACETA C - la relacin entre Don Quijote - el aspecto moral - el estilo de aventuras, de boga en la poca - el uso del lenguaje - la nobleza de espritu y la fe inquebrantable

3. Posible ejemplo de tem de respuesta breve: Describe brevemente tres episodios que muestren que la grandeza del FACETA A en el Quijote radica en FACETA B que pone/hace Cervantes en/de FACETA C . Regla para generacin de reactivos: Anlisis de contenido de conceptos y procedimientos Comprender la naturaleza del contenido cuyo dominio se va evaluar resulta una condicin necesaria para estructurar de manera apropiada una tarea evaluativa orientada a determinar si el examinado se ha apropiado del conocimiento que prev el currculo. En general, a lo largo del sistema educativo formal, los currculos privilegian la adquisicin de grandes cantidades de informacin y, en menor medida, de habilidades. Las razones de tal privilegio estn asociadas, probablemente, con la necesidad social de transmisin de la herencia cultural a las nuevas generaciones, o con el avance cientfico y tecnolgico de una sociedad cada vez ms diversificada, compleja y global. Dado que los jvenes que asisten a las escuelas estn destinados a adquirir principalmente conocimientos tericos y prcticos, es necesario analizar si los contenidos sobre cuyo dominio sern evaluados se refieren a conceptos o procedimientos y, posteriormente, examinar las implicaciones que tal distincin tendr para disear la estrategia evaluativa. Las implicaciones de este anlisis del contenido para fines de construccin de las especificaciones de reactivos son claras: puesto que aprender un concepto involucra procesos cognitivos diferentes a los implicados en el aprendizaje de procedimientos, la evaluacin del aprendizaje debe ser congruente con ambos tipos de procesos; es decir, la evaluacin de un concepto puede incluir tems que indaguen sobre las caractersticas crticas o atributos del concepto; que exploren la capacidad del examinado para distinguir ejemplos de los no-ejemplos del concepto; o que demanden al nio o joven ubicar al concepto en una red conceptual que incluya los conceptos supraordenados, coordinados y subordinados que le corresponden segn la estructura del conocimiento disciplinario. De igual modo, seran vlidos los reactivos que sondeen la comprensin del concepto mediante su definicin, parfrasis, sinonimia o antonimia; en cambio, las tareas evaluativas congruentes con el aprendizaje de procedimientos podran explorar el dominio que tiene el examinado de los requisitos tericos y prcticos del procedimiento; la comprensin del tipo de problemas que su uso resuelve; el conocimiento de las condiciones para su utilizacin; el conocimiento del contexto de uso del procedimiento, o bien, la exploracin del dominio que posee de las fases que integran el proceso o de la secuencia de operaciones que estn involucradas en ste.

44


Una vez identificados los conceptos, se precisan sus caractersticas crticas y variables (aqullas que pueden variar tanto en los ejemplos como en los no-ejemplos del concepto) para, mediante su combinacin, generar los ejemplos y no-ejemplos a utilizar en la formulacin de los tems (y de la instruccin). Esta tcnica se fundamenta en tres ideas: 1) que los estudiantes deben aprender a discriminar entre ejemplos y noejemplos de un concepto; 2) que los estudiantes deben ser capaces de generalizar (a partir de los ejemplos empleados en la enseanza) hac

reactivosexcale00aconstruccion de reactivos en educacion preescolar

Documents