evaluación al interior del aula

EVALUACIN AL INTERIOR DEL AULA: UNA mIRADA DEsDE LAVALIDEz, CONfIAbILIDAD y ObjETIVIDAD

Assessment inside the classroom: a view from the validity, reliability and objectivityapproachCarla Frster Marn* Cristian A. Rojas-Barahona**

Resumen

El artculo profundiza en el tema de la evaluacin en el aula, una prctica cotidiana quepocas veces es analizada. Por medio de elementos conceptuales y experiencias reales deestudiantes se intenta identificar los elementos determinantes y necesarios para unaevaluacin de calidad. Se analiza la validez de contenido, la validez instruccional, lavalidez consecuencial, la confiabilidad y la objetividad, desde una mirada psicomtricaen pruebas a gran escala y en evaluaciones especficas a nivel de aula. Al mismotiempo se entregan algunas sugerencias o ideas a tener presentes en la prcticaeducativa, con el fin de mejorar la evaluacin de los aprendizajes, por consecuencia elaprendizaje en s mismo.Palabras clave: evaluacin de aprendizajes, validez, confiabilidad, objetividad

Abstract

The article deepens into the classroom assessment topic which, despite being a dailypractice, is hardly analyzed. By means of concepts and students real experiences weattempt to identify determinant elements needed for quality assessment. Content,instructional and consequential validity, reliability and objectivity are analyzed from apsychometric view in large scale tests as well as through specific classroom assessment.Additionally, some suggestions worth bearing in mind are provided with respect toimproving learning assessment; consequently, learning itself.Key words: learning assessment, evaluation, validity, reliability and objectivity* Magster en Evaluacin Educacional, Profesora Facultad de Educacin, PontificiaUniversidad Catlica de Chile. Correo: [email protected]** Doctor en Psicologa Evolutiva y de la Educacin, Profesor Facultad de Educacin,Pontificia Universidad Catlica de Chile. Correo: [email protected]. Pensamiento Educativo, Vol. 43, 2008. pp. 285-305Evaluacin al interior del aula: una mirada desde la validez, confiabilidad yobjetividadCarla Frster Marn, Cristian A. Rojas-Barahona

http://pensamientoeducativo.uc.cl/files/journals/2/articles/443...

1 de 23 06-01-12 10:49

Introduccin

Los docentes permanentemente deben emitir un juicio respecto del aprendizaje quealcanzan los estudiantes en las diferentes temticas que ensean. Desde la mirada de laevaluacin que se presenta en este artculo, este juicio supone que con anterioridad serecogi informacin de manera sistemtica y confiable, se analiza correctamente y secontrasta contra un referente previamente establecido, por tanto, la conclusin obtenidasera vlida, confiable y objetiva. Pero, qu ocurre realmente en la sala de clases? Paradecir que se va por el camino correcto se debe responder positivamente a las siguientespreguntas: lo que respondieron los estudiantes era lo que quera evaluar el profesor?,las respuestas en la evaluacin son coherentes con el dominio de la disciplina que sepresenta durante las clases? y los resultados son independientes de quin evale y dequin revise la informacin obtenida?Las concepciones de evaluacin y los enfoques tericos con que cada docente seaproxima a la evaluacin del aprendizaje de sus estudiantes condicionan la forma enque toma decisiones al interior del aula (Brown, 2004; Castillo y Cabrerizo, 2007;Flrez, 1999). Adems, hay que tener presente que la informacin que se recogesiempre est permeada por las caractersticas psicolgicas, sociales, econmicas yfsicas, particulares de cada estudiante, y puede estar influida por problemas de ndolepasajera, circunstancias especiales del contexto, o situaciones propias de laadministracin de los instrumentos con los que se recoge dicha informacin (Luckett ySutherland, 2000; Salinas, 2002; Sanmart, 2007). En este sentido, la calidad de unaevaluacin, es decir, la consistencia, adecuacin y pertinencia de los procedimientos einstrumentos que se utilizan para evaluar el desempeo de los estudiantes, debieseconsiderar la validez, confiabilidad y objetividad como elementos esenciales almomento de interpretar los resultados y as tomar decisiones adecuadas respecto de quy cmo ensear (Brookhart, 2003; Himmel, Olivares y Zabalza, 1999; McMillan,2003).El presente artculo tiene como objetivo analizar desde una perspectiva terico-prcticalos conceptos de validez, confiabilidad y objetividad de una evaluacin, y proponersugerencias que permitan a los docentes resguardar estos criterios en futurasevaluaciones de aprendizajes al interior de sus aulas.

Validez

El primer elemento a considerar en la calidad de una evaluacin es la validez de lainformacin recogida con un instrumento o en una situacin evaluativa. Este conceptotiene su origen en la medicin y se ha desarrollado ampliamente desde el enfoquepsicomtrico, donde se dice que una prueba es vlida si mide lo que pretenda medir;no obstante, esta definicin genrica debe complementarse con la finalidad para la quefueRev. Pensamiento Educativo, Vol. 43, 2008. pp. 285-305Evaluacin al interior del aula: una mirada desde la validez, confiabilidad y


2 de 23 06-01-12 10:49

objetividadCarla Frster Marn, Cristian A. Rojas-Barahonaconstruida, es decir, si la interpretacin de una determinada puntuacin permite sealarcorrectamente una conclusin respecto del fin o constructo que mide dicha prueba(Hogan, 2004). Concordante con esta idea, Messick (1989) define la validez como unjuicio evaluativo integrado del grado en el cual la evidencia emprica y terica soportala adecuacin y pertinencia de las inferencias y acciones basadas en los puntajes de untest o en otros modos de evaluacin (p. 13). As, por ejemplo, la pregunta la Pruebade Seleccin Universitaria (PSU) es vlida? no es una buena pregunta, ms biencorrespondera decir: la PSU es vlida para predecir los resultados de los estudiantesdurante su primer ao de universidad?, o mejor an, en qu grado es vlido el puntajede la PSU para predecir el resultado de los estudiantes en su primer ao de universidad?En otras palabras, la validez no es una propiedad intrnseca de un instrumento osituacin evaluativa, sino una propiedad de la interpretacin y los usos que se realizande la informacin obtenida a partir de ellos (Valverde, 2000).El concepto de validez utilizado en el enfoque psicomtrico tiene sentido solo parapruebas a gran escala, aplicadas a un nmero considerable de estudiantes, donde seespera que los resultados generen una distribucin normal (se espera que la mayora delas personas obtenga puntuaciones medias y una proporcin menor se ubique en losextremos), pero en la sala de clases no se tiene como objetivo que los resultados de losalumnos se distribuyan de esta forma, por el contrario, se espera una curva asimtrica,donde la mayora (si no todos) est sobre el puntaje de aprobacin de un determinadoaprendizaje, ya que esto indicara que lograron aprender lo que se esperaba para esemomento (edad, curso, perodo del ao, etc.). Por esta razn, Stiggins (2001) evitahablar de validez en el contexto de la sala de clases y reemplaza este trmino porevaluacin de alta calidad (high-quality classroom assessment).Diversos autores plantean que en la sala de clases el significado de validez no es eltradicional, ya que la evidencia estadstica es muy difcil de obtener (Luckett ySutherland, 2000; McMillan, 2003; Moss, 2003; Stiggins, 2001). Ms an cuando lamayora de los profesores no tiene conocimientos en teora de la medicin, producto dela escasa presencia de esta disciplina en su formacin inicial y, por tanto, muy pocasherramientas para hacer adaptaciones y reconocer las limitaciones de la validezpsicomtrica en la sala de clases (Brookhart, 2003). Asimismo, Moss (2003) sepregunta hasta qu punto la utilizacin de la validez propia de la medicin psicomtricaasegura una orientacin hacia las temticas relevantes en la sala de clases y cmoaportaran otras perspectivas tericas a generar un marco slido para obtenerevaluaciones vlidas al interior del aula.Brookhart (2003), por medio de un cuadro comparativo, realiza una claradiferenciacin de la validez de una evaluacin segn el contexto para el cual fuediseada (ver Tabla 1). Destaca principalmente el propsito de la validez y laimportancia del contexto de aplicacin de la evaluacin. A gran escala el propsito essacar conclusiones del desempeo de los estudiantes para los fines especficos de laevaluacin diseada,


3 de 23 06-01-12 10:49

Rev. Pensamiento Educativo, Vol. 43, 2008. pp. 285-305Evaluacin al interior del aula: una mirada desde la validez, confiabilidad yobjetividadCarla Frster Marn, Cristian A. Rojas-Barahonamientras que a nivel de aula es determinar el desempeo de los estudiantes y entregarevidencia respecto de la enseanza de ese contenido. Con respecto al contexto, lasevaluaciones a gran escala no la consideran como una variable relevante, mientras quea nivel aula s es un tema a considerar, debido que importan, por ejemplo, losconocimientos previos del alumno y su contexto sociocultural.

Tabla 1

COMPARACin DE LA VALiDEZ En EVALUACiOnES A gRAn ESCALA y En LASALA DE CLASES (Adaptado de Brookhart, 2003)

Evaluacin a gran escala Evaluacin a nivel aulaLas interpretaciones y las accionestomadas son externas al proceso demedicin.

Las deducciones y las accionestomadas son internas al proceso demedicin.

Los estudiantes son la materiasobre la que se realizan lasobservaciones, no tienen injerenciaen la evaluacin.

Los estudiantes son observadoresconjuntamente con los profesores;esas mediciones corresponden aprocesos formativos de evaluacin.

Los estudiantes no reciben unbeneficio directo de la evaluacin,los anlisis no son individuales.

Los estudiantes reciben beneficiosindividuales de la informacin de laevaluacin.

El objetivo de la evaluacin esrealizar una inferencia significativaestadsticamente sobre elrendimiento de los estudiantes y/o lautilizacin eficaz de esa informacinpara una finalidad determinada.

El objetivo de la evaluacin escomprender cmo es el desempeode los estudiantes comparado con elideal (definido en los objetivos deaprendizaje) y/o el uso efectivo deesa informacin para el aprendizaje.

El contexto de la medicin es unconstructo irrelevante.

El contexto de la medicin es unconstructo relevante.

Las especificaciones del contenidodescriben un dominio disciplinar.

Las especificaciones de contenidoreflejan el dominio (objetivo deaprendizaje) y la enseanza (modos,actividades).

La administracin del test esestandarizada y se controla el efectode las ciencias, prcticas ydiferencias culturales.

Las creencias de los profesores, susprcticas y el conocimiento de lamateria y de los estudiantes(incluyendo diferencias culturales ylingsticas) son preocupacionesrelevantes.


4 de 23 06-01-12 10:49

La evaluacin es independiente de laenseanza. Se puede relacionar condiferentes contextos a travs decruces de datos.

La evaluacin es parte de laenseanza. Una buena evaluacin esun episodio genuino deaprendizaje.

Rev. Pensamiento Educativo, Vol. 43, 2008. pp. 285-305Evaluacin al interior del aula: una mirada desde la validez, confiabilidad yobjetividadCarla Frster Marn, Cristian A. Rojas-BarahonaAunque es claro el hecho de que la validez de una evaluacin en la sala de clases noobedece a una lgica psicomtrica (Brookhart, 2003), es posible rescatar algunoselementos de los distintos tipos, categoras o aspectos relacionados con la validez quese han descrito en diversas clasificaciones, donde las ms clsicas son la validez decontenido, de constructo y la relacionada a criterio (gorin, 2007; Hogan, 2004; Moss,2007; Sireci, 1998). Lo primero que se observa al introducirse en los textosespecializados es que hasta el da de hoy no existe un acuerdo en la comunidadcientfica respecto de si hay una validez (la de constructo) que incluye a las otras o sison de naturaleza diferente y excluyente, y por tanto estar separadas (Borsboom,Mellenbergh y van Heerden, 2004; gorin, 2007; Moss, 2007; Sireci, 1998). En estesentido, se rescatan las palabras de Valverde (2000): Existe una gran cantidad deopciones en cuanto al tipo de evidencia que se puede acumular y reportar. Cada tipo deevidencia ilumina y da apoyo a distintas facetas de la validez (p. 26). As, en elpresente artculo no se pretende profundizar en la discusin ni adherir a unaclasificacin en particular, sino considerar cules de estas categoras o aspectos seranrelevantes de considerar para resguardar la calidad de la evaluacin en el contextoeducacional, especficamente en la sala de clases. A continuacin se presenta unarevisin conceptual de las tipologas relevantes en la evaluacin al interior de la sala declases y se indican algunos ejemplos de situaciones de evaluacin descritas por losestudiantes, en las cuales se evidencia la falta de validez.

Validez de contenido

La validez de contenido es un concepto que ha resultado controversial a travs deltiempo (ver resumen de la evolucin del concepto en Sireci, 1998). Tericos comoMessick (1989) sealan que es parte de la validez de constructo y que dada sunaturaleza cualitativa es tcnicamente incorrecto y no corresponde a unanomenclatura psicomtrica, proponiendo hablar de relevancia, representacin ocobertura de los contenidos. gorin (2007), por su parte, seala que un constructo semantiene independiente del contexto de evaluacin, mientras que un contenido esdependiente de dicho contexto. Hogan (2004) plantea que para determinar la validez deconstructo de un instrumento se requiere analizar su estructura interna1y los procesosde respuesta. Como ambos procedimientos son muy difciles de llevar a cabo en el aulay el contexto es un elemento importante que condiciona las situaciones de evaluacin,se presenta la validez de contenido como un elemento clave a considerar para


5 de 23 06-01-12 10:49

resguardar la calidad de una evaluacin.Consistencia interna o confiabilidad de dicho instrumento, la cual se calculaestadsticamente con KR-20 o alfa de Crombach y las dimensiones comunes quesubyacen al modelo a travs de anlisis factorial.Rev. Pensamiento Educativo, Vol. 43, 2008. pp. 285-305Evaluacin al interior del aula: una mirada desde la validez, confiabilidad yobjetividadCarla Frster Marn, Cristian A. Rojas-BarahonaComo ya se mencion, no es tema de este artculo discutir si es una categora diferenteo parte de la validez de constructo, sino rescatar la importancia de considerar estecriterio para resguardar la calidad de una evaluacin. Esta validez se refiere a lacorrespondencia que existe entre el contenido/habilidades que evala el instrumento yel campo de conocimiento al cual se atribuye dicho contenido (Brualdi, 1999; garca,2002; Hogan, 2004; Lukas y Santiago, 2004). En el mbito educacional se ha trabajadoampliamente en generar ndices de validez de contenido en pruebas a gran escala,considerando variables como: a) la opinin de expertos (profesores, investigadores,curriculistas, directivos) en cuanto a la cobertura curricular de las pruebas y lacobertura instruccional de dichos contenidos, b) la muestra de estudiantes a quienes seles aplic la prueba, c) el nmero de tems de cada contenido, entre otras (Crocker,Llabre y Miller, 1988). Sin embargo, estos modelos estadsticos diseados para calcularndices de validez de contenido no son aplicables a las situaciones evaluativas que serealizan al interior del aula, dado que no cumplen con los requisitos de base quesostienen dichos modelos.En este sentido, resguardar que las evaluaciones en el aula tengan validez de contenidoimplica garantizar que las situaciones evaluativas incluyan los contenidos y habilidadesasociadas a estos. Se deben considerar los contenidos y habilidades ms relevantes parademostrar el logro de un aprendizaje, es decir, se debe seleccionar una muestrapertinente y representativa del universo de contenidos cubierto por un curso, una clase,o un conjunto de ellas. Sireci (1998), luego de una exhaustiva revisin bibliogrfica,plantea que hay consenso en al menos cuatro elementos que caracterizan el concepto devalidez de contenido: la definicin de un dominio disciplinar, la relevancia de dichodominio, la representatividad del dominio y los procedimientos de construccin delinstrumento o situacin evaluativa. Esto es particularmente importante porque lasconclusiones que se pueden sacar a partir de una evaluacin solo son vlidas para loque se evalu, es decir, los puntajes o categoras que obtenga cada estudiante debenprovenir de tareas y estmulos de calidad, coherentes con los propsitos conceptualespara los que fueron elaborados. Por tanto, certificar lo que un estudiante sabe y es capazde hacer o no en un curso tiene directa relacin con los contenidos y habilidades quefueron evaluados.A continuacin se exponen algunos ejemplos de evaluaciones consideradas negativaspor los estudiantes y que tienen relacin con la falta de validez de contenido:


6 de 23 06-01-12 10:49

Durante un curso se dio la situacin de que el profesor dio bastante lectura paraunaprueba y en ella comenz a preguntar datos demasiado especficos, palabras exactascitadas en los textos para identificar de qu autor podan ser y nombres y fechas, que sibien eran interesantes o importantes, para una evaluacin de tantos contenidos eranmuy especficos. Para m son negativas todas aquellas evaluaciones en las que se preguntan citastextuales de la bibliografa, que no estn relacionadas con el marco terico general delcurso.Rev. Pensamiento Educativo, Vol. 43, 2008. pp. 285-305Evaluacin al interior del aula: una mirada desde la validez, confiabilidad yobjetividadCarla Frster Marn, Cristian A. Rojas-Barahona Recuerdo una prueba que involucraba muchos contenidos pero que nos habananticipado no sera memorstica, sin embargo, a la hora de enfrentarme a la pruebaera evidente que las respuestas deban ser literales, pues las preguntas eran muyespecficas y no apuntaban a lo que en el curso se haba considerado como relevante. Me ha tocado responder evaluaciones donde las preguntas no tienen nada que vercon los contenidos que entraban, parecieran evaluar cualquier cosa menos lo quedebiesen. Creo que una situacin evaluativa negativa podra ser el caso de matemticas,cuando por ejemplo nos ponan unos ejercicios que se podan resolver solo si se teocurra el truco adecuado. Creo que es negativo porque el aprender no depende de site sabeso no el truco, sino de resolver y plantear bien un problema. Hay veces en que tenemos que estudiar, por ejemplo un texto entero, y luego en laprueba aparecen un par de preguntas textuales y nada ms me parece negativoporque creo que es bueno aplicar lo que uno lee, adems suelen pasar que justo nospreguntan lo que tenamos menos claro de todo y eso nos perjudica. En una clase nos pidieron hacer unos grficos de la economa de la regin y luegoel profesor evalu ms la esttica, que si estaban o no bien elaborados, y loscompaeros que pintaron los grficos de colores les fue mejor que a mi grupo quetenamos los grficos en blanco y negro ah aprend a preocuparme ms por laesttica que por los contenidos.Como se puede apreciar en estos relatos, los estudiantes resienten que se les evalencontenidos demasiado especficos, carentes de significado o que no tienen relacin con


7 de 23 06-01-12 10:49

el dominio disciplinar esperado.A continuacin se presentan algunas sugerencias para resguardar la validez decontenido de una situacin evaluativa, que corresponden a procedimientos y accionesque un profesor de aula podra llevar a cabo en la elaboracin de sus propiasevaluaciones. Si bien hay sugerencias en el mbito estadstico que tambin se puedenrealizar, no han sido consideradas en este anlisis:1) Elaborar una tabla de especificaciones del instrumento, que considere: el contenido,la meta/objetivo/indicador de aprendizaje/logro especfica/o que se desea abordar conese contenido, la habilidad cognitiva, afectiva o psicomotora que se desea evaluarasociada a ese contenido y los tems que se han elaborado para ello. Con esta tabla esposible visualizar si se estn cubriendo todos los contenidos seleccionados, si lashabilidades asociadas a dichos tems son coherentes con las metas de aprendizajetrazadas y si los tems corresponden a los contenidos y habilidades que se esperaban. Apartir de este anlisis, tambin es posible establecer si existe una graduacin de lacomplejidad en cuanto a las habilidades evaluadas y si los tems son los ms apropiadospara evaluar una habilidad determinada.Rev. Pensamiento Educativo, Vol. 43, 2008. pp. 285-305Evaluacin al interior del aula: una mirada desde la validez, confiabilidad yobjetividadCarla Frster Marn, Cristian A. Rojas-Barahona2) Verificar a travs de criterio de jueces que la situacin de evaluacin sea adecuadapara medir los contenidos planteados en el aprendizaje. Dado que en la sala de claseses el mismo profesor quien construye los instrumentos y situaciones evaluativas,muchas veces se pasan por alto aspectos que para quien no ha visto antes dichaevaluacin son ms evidentes. Por esta razn se recomienda mostrar a otros profesoresel instrumento con su pauta de correccin y la tabla de especificaciones para que den suopinin. Puede ser que el problema se encuentre en la redaccin de una instruccin o enla pauta de respuesta, y al mirar solo la tabla esto no es evidente.

Validez instruccional

Segn Hogan (2004), esta validez corresponde a una aplicacin particular de la validezde contenido y es conocida tambin como validez curricular. Tiene relacin con lo quelos estudiantes han tenido oportunidad de aprender durante las clases para respondercorrectamente en una evaluacin (Crocker et al., 1988).En el mbito educativo este tipo de validez es clave, dado que representa la relacinentre lo que se ensea y lo que se evala. Cuando esta relacin es dbil se presentandos problemas, por una parte, los estudiantes no tienen posibilidad de demostrar lo queaprendieron durante las clases y, por otra, son evaluados en aspectos que no se lesensearon (Himmel et al., 1999; McMillan, 2003). Esta ltima idea se ve reflejadaespecialmente cuando se cambia el nfasis de lo que se ense, por ejemplo, en clases


8 de 23 06-01-12 10:49

se ensean los conceptos, sus definiciones y luego en la evaluacin se les pide queapliquen dichos conceptos en situaciones que nunca han sido trabajadas durante lasclases, aludiendo a que se espera que los estudiantes sean capaces de hacerlo comoparte de la construccin de su propio aprendizaje.En evaluaciones a gran escala se incorporan otros problemas ticos relacionados con lainterpretacin que se hace de los resultados: responsabilizar a los estudiantes por nosaber contenidos que no han tenido la oportunidad de aprender y responsabilizar a losdocentes por el bajo logro de sus estudiantes sin proporcionarles las condiciones,materiales o la capacitacin necesaria para ensear los contenidos (Valverde, 2000). Enconclusin, se dice que una evaluacin tiene validez instruccional cuando contienesituaciones evaluativas coherentes con las actividades de aprendizaje realizadas por losalumnos.En este apartado se incluye tambin lo que se ha llamado validez semntica, queconsiste en que las situaciones de evaluacin contienen trminos cuyo significado esconocido y compartido entre el constructor del instrumento (en el caso del aula, elprofesor) y los alumnos. Muchas veces se ensea un contenido usando un trmino yRev. Pensamiento Educativo, Vol. 43, 2008. pp. 285-305Evaluacin al interior del aula: una mirada desde la validez, confiabilidad yobjetividadCarla Frster Marn, Cristian A. Rojas-Barahonaluego en la evaluacin se pregunta utilizando otro trmino sinnimo que no ha sidotrabajado. En estricto rigor, el contenido fue enseado, pero frente a una respuestaerrnea de los estudiantes cabe preguntarse si no dominan el contenido o fue la palabraque no comprendieron lo que provoc dicha respuesta.A continuacin se presenta una serie de situaciones relatadas por los estudiantes queresultaron negativas para ellos y que aluden a la validez instruccional. Ha sido negativo para mi aprendizaje el hecho de que muchas veces los profesoresevalan materia o contenidos que no corresponda a lo que habamos visto en lasclases. Eso me acarre a la larga una desmotivacin y frustracin al no conseguir lacalificacin esperada o al no poder aplicar lo que haba estudiado. Fue negativo para m cuando las clases tericas no iban acordes a las evaluacionesde laboratorio y nos evaluaban materia que an no habamos visto, hay muchasactividades de laboratorio que an no logro comprender del todo. Las pruebas en un curso no correspondan a lo que el profesor enseaba en clases,enseaba mal, creaba un clima de terror en la sala y luego nos preguntaba cosas queno haba enseado o que haba pasado en el curso del lado.


9 de 23 06-01-12 10:49

En un ramo de mi carrera, la primera prueba que nos hicieron no corresponda conlo que trabajbamos y aprendamos en clases. solo hacamos teora y la prueba fue deaplicacin, con muchos detalles, y el profesor no haca ni destacaba esos elementos.En suma, lo que aprend no me sirvi para la prueba. He tenido profesores que evalan en sus pruebas cosas (contenidos) que han tratadomal, a la rpida o sencillamente no han tratado ni en clases ni en los textos referidos(asumiendo que los vimos en otros cursos). No me parece pedaggico evaluarcontenidos de otros cursos.Como se puede observar las opiniones de los estudiantes aluden directamente aldesempeo profesional del docente, por tanto, las acciones que se sugieren acontinuacin para resguardar la validez instruccional tienen relacin con las prcticasde enseanza que se utilizan habitualmente:1) Velar porque las situaciones de evaluacin contengan los contenidos vistos en lasactividades de aprendizaje realizadas. Esto supone llevar un registro de lo que seense en cada clase, para elaborar las situaciones de evaluacin no basta con utilizar lacalendarizacin o planificacin, a menos que sta sea actualizada permanentemente.Muchas veces las dinmicas propias de un curso permiten profundizar o volver atrs enuna temtica, o sucede alguna actividad no planificada, producindose desfasestemporales que pueden hacer que se evalen contenidos que an no han sido revisadoso que se vieron en un curso, pero en otro an no.Rev. Pensamiento Educativo, Vol. 43, 2008. pp. 285-305Evaluacin al interior del aula: una mirada desde la validez, confiabilidad yobjetividadCarla Frster Marn, Cristian A. Rojas-Barahona2) Velar porque las situaciones de evaluacin sean equivalentes o similares a lasactividades de aprendizaje realizadas. no significa repetir la gua que se realiz enclases y ahora ponerle una nota, por el contrario, esta sugerencia apunta a evaluaractividades en trmino de habilidades similares a las trabajadas. Esto supone quedurante el proceso de enseanza se intencionaron actividades para lograr losaprendizajes esperados o metas de aprendizaje determinadas para esos estudiantes y,por tanto, se debe evaluar si se lograron o no. Se sugiere, por una parte, hacer uso de laplanificacin de clases y que esta sea una gua flexible de apoyo a la preparacin de laenseanza; y, por otra, utilizar la tabla de especificaciones, poniendo nfasis en que lassituaciones de evaluacin sean coherentes con lo que cada profesor trabaj con susestudiantes. En este ltimo punto, los jueces expertos no tienen competencia ya queno estuvieron durante el proceso, por lo que solo depende de la autoevaluacin querealice el profesor respecto de su propia prctica.3) Cuidar que el lenguaje utilizado en las situaciones de evaluacin sea conocido porlos estudiantes. Esto implica tener especial cuidado en utilizar trminos familiares para


10 de 23 06-01-12 10:49

los estudiantes, tanto en las instrucciones como en el lenguaje tcnico propio de ladisciplina que se desea evaluar. Es importante hacer notar que el fin de una evaluacines obtener informacin del aprendizaje de los estudiantes y las palabras truco slopermiten generar informacin de mala calidad respecto de ese fin.

Validez consecuencial

Este tipo de validez se relaciona con las consecuencias y secuelas intencionales y nointencionales que tendr el uso e interpretaciones que se dar a la informacin recogidaen la evaluacin (Hogan, 2004; McMillan, 2003; Moss, 1997). Aunque no hay acuerdoentre los autores respecto de si esta validez es pertinente al mbito psicomtrico(Borsboom et al., 2004; Hogan, 2004; McMillan, 2003), a opinin de Moss (2003) yMcMillan (2003) debera ser la principal consideracin al momento de tomardecisiones respecto de una evaluacin en la sala de clases.Los aspectos consecuenciales de la validez son especialmente importantes en unaevaluacin cuando las interpretaciones de la informacin pueden implicarconsecuencias adversas para los participantes (Brualdi, 1999), por ende, estudiar lavalidez de las consecuencias podra ayudar a controlar estos aspectos. En lasevaluaciones a gran escala las consecuencias estn en la toma de decisiones yreformulacin de polticas pblicas (Schutz & Moss, 2004) y tienen implicancias ticasy sociales (Borsboom et al., 2004) que hacen relevante estudiar la validez desde estepunto de vista. En la sala de clases, en cambio, las consecuencias tienen relacin directacon las dinmicas de enseanza-aprendizaje que se dan entre profesores y alumnos; eneste sentido, Brookhart (2003)Rev. Pensamiento Educativo, Vol. 43, 2008. pp. 285-305Evaluacin al interior del aula: una mirada desde la validez, confiabilidad yobjetividadCarla Frster Marn, Cristian A. Rojas-Barahonaseala que si la integracin entre enseanza y evaluacin es tomada seriamente, unasituacin evaluativa debera ser como consecuencia un vehculo para el aprendizaje.Por tanto, se podra decir que la validez consecuencial a nivel de aula tiene relacindirecta con los efectos de la evaluacin sobre la enseanza y los aprendizajes de losestudiantes (Himmel et al., 1999), por consecuencia, se relaciona con los propsitospara los cuales se dise la evaluacin. As, McMillan (2003) plantea una serie depreguntas que, de ser respondidas positivamente, indicaran que una evaluacin tienevalidez consecuencial: Los estudiantes adquieren una comprensin profunda de lo queestn aprendiendo mientras se preparan para la evaluacin? Los estudiantes creen queson capaces de aprender nuevos conocimientos despus de autoevaluarse en ejerciciosde prctica de una evaluacin? Los estudiantes son capaces de transferir susconocimientos en las tareas siguientes? La decisin de llevar a cabo revisionesadicionales, como evaluaciones formativas, llevan a un mayor aprendizaje delestudiante?


11 de 23 06-01-12 10:49

Estas preguntas apuntan a propsitos diferentes y no siempre se darn todas al mismotiempo, lo importante es tener en cuenta que la evaluacin en la sala de clases siempretiene consecuencias y, por tanto, los docentes deben pensar en ellas antes, durante ydespus de realizar la evaluacin, para sacar el mayor provecho de esta instancia yminimizar los efectos negativos que se puedan generar. Entre las consecuenciasimprevistas de una evaluacin, y que le restan validez, destacan la falta de motivacinde los estudiantes para participar en una actividad de evaluacin, interiorizar un errorconceptual a causa de la tarea realizada, generar un ambiente de competencia entre losestudiantes, resentimiento de los estudiantes por el formato de la evaluacin, entreotros. (Brookhart, 2003; McMillan, 2003).Los estudiantes relatan una serie de situaciones que para ellos fueron negativas, dondese evidencia la validez consecuencial:En un trabajo en grupo, en el cual se evalu a todos por igual, uno de miscompaerosno se prepar bien, se puso nervioso y la exposicin no fue la mejor, pero los otros trescompaeros hicieron su presentacin de buena forma. Por las razones anteriores, laevaluacin del grupo fue disminuida y con esto se premi al compaero deficiente yse perjudic a los otros que s lo hicimos bien.Un ejemplo de situacin negativa correspondera a evaluaciones que se basan en laamenaza de sanciones en caso de no ser aprobadas. si bien podra otorgar una presinque provoque mayor conciencia y en consecuencia mayor efectividad, a juicioparticular no es correcto provocar miedo o algn tipo de dao psicolgico al grupoevaluado.Una evaluacin oral, para m es muy confuso dar a conocer lo que se sabe con tantapresin de por medio, los nervios juegan en contra en estos casos y siento que norepresenta una buena manera de evaluar ya que lo que preguntan se podra responderperfectamente en forma escrita y lo hacen ms por no revisar.Rev. Pensamiento Educativo, Vol. 43, 2008. pp. 285-305Evaluacin al interior del aula: una mirada desde la validez, confiabilidad yobjetividadCarla Frster Marn, Cristian A. Rojas-BarahonaRecuerdo pruebas demasiado extensas en que las preguntas eran exclusivamente dememorizacin de contenidos y no haba oportunidad de pensar y analizar nada. Meaprenda las cosas y me fue bien, pero no me acuerdo de nada, es como si no hubiesehecho el curso y ahora lo voy a necesitar para mi futuro laboral.


12 de 23 06-01-12 10:49

Puesto que las consecuencias de una evaluacin pueden ser negativas, y de largo plazoen nuestros estudiantes, las sugerencias que se dan para resguardar la validezconsecuencial se basan en su mayora en acciones relacionadas con la definicin yplanificacin de una evaluacin:1) Definir claramente los propsitos y usos de la evaluacin. Como esta validez se basaen las implicancias que tiene un proceso evaluativo para los estudiantes, es importantedefinir previamente la finalidad que tiene realizarlo, es decir, para qu evaluamos? Eneste sentido se presentan tres grandes fines: diagnstico (por ejemplo, identificar losconocimientos previos de los estudiantes, reconocer conductas de entrada, ajustar laplanificacin al contexto, etc.), formativo (por ejemplo, mejorar los aprendizajes y lamotivacin de los estudiantes, monitorear su desarrollo, mejorar el proceso deenseanza, etc.) y sumativo (por ejemplo, certificar los aprendizajes de los estudiantes,informar a los padres el desempeo de sus hijos al final del curso, etc.), a partir de loscuales se tomarn decisiones que tendrn implicancias para la enseanza y elaprendizaje de los alumnos. Es importante tener presente que un mismo instrumentopuede ser vlido consecuencialmente para una instancia y no tener ninguna validez enotra.2) identificar claramente las evidencias que darn cuenta de los propsitos de laevaluacin. Como ya se ha sealado anteriormente, la validez consecuencial estdeterminada por la correspondencia entre la informacin que se recoge y los fines paralos que se utilizar. En este sentido, la sugerencia es tener una buena planificacin quepermita resguardar esta correspondencia y no realizar una evaluacin y luego definirpara qu la puedo usar. Un ejemplo de esto son las pruebas sin aviso que se realizanen una clase, cuya motivacin obedece ms a un control disciplinario que a laevaluacin de los aprendizajes esperados. Estas evaluaciones por lo general sonimprovisadas y se agregan como una calificacin cuyas consecuencias son, en sumayora, negativas para los estudiantes.

Confiabilidad

Otro elemento que se considera al momento de analizar la calidad de una evaluacin esla confiabilidad o precisin de sta. A diferencia de la validez, la confiabilidad solo serelaciona con la consistencia de la medicin, al margen de lo que se mida exactamente(Flrez, 1999; Hogan, 2004). La confiabilidad implica que el instrumento entregaresultados similares cuando se repite su aplicacin en las mismas circunstancias a lasRev. Pensamiento Educativo, Vol. 43, 2008. pp. 285-305Evaluacin al interior del aula: una mirada desde la validez, confiabilidad yobjetividadCarla Frster Marn, Cristian A. Rojas-Barahonamismas personas. El concepto de confiabilidad hace referencia a consistencia, exactitudy estabilidad de los resultados, a las inferencias que se pueden realizar, y tiene directarelevancia en las conclusiones y posterior toma de decisiones (Luckett & Sutherland,


13 de 23 06-01-12 10:49

2000; McMillan, 2003). La confiabilidad se puede verificar de diversas maneras, perolas ms comunes son el coeficiente alfa de Crombach, que entrega la consistenciainterna de un instrumento, la correlacin test-retest, que evala la consistencia entre dosmediciones del mismo test, aplicadas al mismo sujeto, y las formas paralelas, queevalan el grado de correlacin que hay entre dos versiones de una misma prueba.Este criterio de calidad tiene su origen en la psicometra, donde se dice que una pruebaser confiable si consistentemente genera la misma puntuacin, o una similar, al seraplicada a un individuo, y su puntuacin es replicable al menos con un margen de errorpequeo. Moss (2003) seala que en las evaluaciones de aula, a diferencia de lasevaluaciones a gran escala, la confiabilidad no es un tema relevante y que muy pocasveces se considera; sin embargo, argumenta que su afirmacin se refiere a pruebas, yque en la sala de clases los profesores tienen mltiples instancias para recogerinformacin complementaria de un aprendizaje. Smith (2003) reafirma esta ideasealando que los profesores no calculan coeficientes alfa, ni correlaciones test-retest,ni formas paralelas, por una parte, porque no tienen un nmero de casos suficientes y,por otra, porque las evaluaciones son realizadas a un estudiante en un tiempoespecfico. no obstante, lo que es fundamental en este caso es que se espera que elalumno cambie su aprendizaje de una semana a otra, elemento que va contra loesperado en psicometra respecto de la estabilidad de los rasgos que se miden.Por tanto, en el contexto de la sala de clases, donde no interesa generar un orden ojerarqua de los estudiantes en las actividades que se evalan, la confiabilidad desdeuna mirada psicomtrica no es pertinente (Brookhart, 2003; Smith, 2003). Adems,muchas evaluaciones se califican con categoras (por ejemplo, excelente, satisfactorio,regular, insatisfactorio), lo que generara un problema para hacer algn clculo deconfiabilidad tradicional. Moss (2003) plantea que lo correcto para hablar deconfiabilidad a nivel de aula es analizar la suficiencia de informacin, es decir, laconfiabilidad est representada por tener suficiente evidencia de un aprendizaje quepermita tomar decisiones con el menor margen de error. En su propuesta, se plantea queesta evidencia debe no solo corresponder al mismo contenido sino tener un mismo nivelde exigencia, lo que parece ser lo ms difcil de cumplir (Smith, 2003). Brookhart(2003) es muy claro en el momento de diferenciar la confiabilidad a gran escala y anivel de aula (ver Tabla 2). La confiabilidad a gran escala se entiende como laconsistencia entre los factores que componen un instrumento de medicin, mientras quea nivel de aula es vista como suficiencia de la informacin. En el primer caso se buscauna clasificacin estable a lo largo de un continuo y a nivel de aula se busca obtenerinformacin estable entre el ideal del aprendizaje (lo que busca el profesor de susalumnos) y lo real alcanzado.Rev. Pensamiento Educativo, Vol. 43, 2008. pp. 285-305Evaluacin al interior del aula: una mirada desde la validez, confiabilidad yobjetividadCarla Frster Marn, Cristian A. Rojas-Barahona

Tabla 2


14 de 23 06-01-12 10:49

COMPARACin DE LA COnFiABiLiDAD DE EVALUACiOnESA gRAn ESCALA y En LA SALA DE CLASES

(Adaptado de Brookhart, 2003)

Evaluacin a gran escala Evaluacin en el aulaLa confiabilidad es la consistenciaentre factores relevantes.

La confiabilidad es la suficiencia dela informacin.

El objetivo de la confiabilidad estener una clasificacin estable de losestudiantes en una escala depuntuacin o una categorizacinestable a lo largo de un continuo deprogreso.

El objetivo de la confiabilidad estener informacin estable acerca dela diferencia entre el desempeo delos estudiantes y el ideal, tal comose definen en los objetivos deaprendizaje.

Entre los factores que pueden influir en la confiabilidad de una evaluacin destacan: a)el nmero de observaciones o evidencias de un aprendizaje, ya que mientras msinstancias de evaluacin del mismo aprendizaje (nmero de tems en una prueba,instancias de evaluacin formativas, etc.), mayor ser la consistencia interna delproceso de evaluacin y ms confiable ser la conclusin respecto del logro delestudiante; b) las caractersticas de la aplicacin, referidas a la claridad de lasinstrucciones, tiempo destinado y disposiciones del espacio fsico; y c) la precisin dela correccin y puntuacin (Himmel et al., 1999; Hogan, 2004). Este ltimo punto sertratado en forma independiente bajo el ttulo de Objetividad, dada la relevancia quetiene en el mbito educativo.Los estudiantes frente a este criterio de calidad sealan que sus malas experienciasevaluativas se centran principalmente en la falta de oportunidades para demostrar suaprendizaje en distintas instancias. Algunos ejemplos se presentan a continuacin: En un taller en la universidad, solo haba una prueba al final y con eso se jugaba lanota del curso. Encuentro que eso es una mala evaluacin, porque hay muchas cosasque pueden afectar la respuesta que uno da y justo ese da puede pasar algo que hagaque uno responda mal, aunque haya estudiado. Una situacin negativa de evaluacin fue cuando tena que disertar y estabaenfermacon fiebre y me senta muy mal; la profesora me ret porque mi exposicin fue muymala. Me dio mucha rabia, porque yo me saba la materia y no tuve otra oportunidadde demostrarlo. En un curso donde las pruebas eran una pregunta por cada tema y si justo no te

sabas eso especfico, perdas con esa pregunta, aunque te supieras el tema.Rev. Pensamiento Educativo, Vol. 43, 2008. pp. 285-305


15 de 23 06-01-12 10:49

Evaluacin al interior del aula: una mirada desde la validez, confiabilidad yobjetividadCarla Frster Marn, Cristian A. Rojas-Barahona En las pruebas de alternativas de una profesora, donde en general la alternativams larga era la correcta, y entonces, por descarte uno poda responder las pruebas ysacar buena nota, al final creo que no aprend casi nada.Para resguardar que las evaluaciones sean confiables se debe tener en cuenta que el finltimo de este criterio es que las conclusiones y posteriores decisiones respecto de laforma que se aborda el proceso de enseanza-aprendizaje con los alumnos debe estarbasado en la evidencia suficiente para no cometer errores (o al menos minimizar-los).En este sentido las acciones sugeridas a continuacin proporcionan una gua para lograrevaluaciones confiables:1) Aplicar al mismo estudiante variadas situaciones evaluativas que midan el mismoaprendizaje. Dar la posibilidad al estudiante de demostrar su desempeo frente a unmismo aprendizaje, a travs de reiteradas oportunidades, permite tener la certeza de queel aprendizaje fue o no logrado. Esto se puede realizar en distintas actividadesevaluativas o poniendo en un mismo instrumento distintas situaciones de evaluacinque evalen lo mismo (por ejemplo, distintos tems en una prueba).2) Velar por la claridad de los tems e instrucciones. Hay ocasiones en que un tempuede estar correctamente construido, pero ser comprendido por los estudiantes en dossentidos diferentes, si no est esto considerado, al momento de revisar la informacinse puede generar un sesgo que altere las puntuaciones de los estudiantes y, por tanto, laconfiabilidad de la evaluacin.3) Velar porque el ambiente de aplicacin sea similar en cuanto a recursos, espacios ytiempo. Es particularmente importante tener en cuenta esta sugerencia cuando serealizan evaluaciones en ambientes que no son los ptimos, por ejemplo: hay msica enel patio, hace mucho calor en la sala, hay una actividad recreativa programada acontinuacin, etc., pues los resultados de la evaluacin estarn influidos por estosaspectos y puede que no representen los aprendizajes reales de los estudiantes.4) Velar por la precisin de la correccin. Esta sugerencia se refiere a la objetividad dela revisin de la informacin recogida en la evaluacin y ser tratada con detalle acontinuacin.

Objetividad

La objetividad o precisin de la correccin en un proceso evaluativo es un elementoclave asociado a la confiabilidad de una evaluacin; sin embargo, se decidi tratarlo enforma separada dada la relevancia e impacto que tiene al interior de la sala de clases.Esto no supone que sea independiente de la confiabilidad.Por lo general, la objetividad se entiende como la calidad de un objeto en s,


16 de 23 06-01-12 10:49

independiente de las consideraciones o juicios personales. Si llevamos la objetividadRev. Pensamiento Educativo, Vol. 43, 2008. pp. 285-305Evaluacin al interior del aula: una mirada desde la validez, confiabilidad yobjetividadCarla Frster Marn, Cristian A. Rojas-Barahonaal mbito evaluativo, supone que tanto los instrumentos como el juicio que se emite apartir de la informacin recogida con ellos sean imparciales. En relacin a este temaCalatayud (1999) afirma que quien cree que la evaluacin de los estudiantes es unaaccin objetiva, se embarca en una tarea imposible. La autora plantea que la evaluacines una prctica compleja, que involucra no solo el dominio de una tcnica, sino tambinposee una carga moral y valrica importante, y por tanto, es una actividad ligada a lascreencias personales de los docentes, lo quieran o no. Desde esta perspectiva, laimparcialidad no es posible y cada juicio que se emite tiene un componente deapreciacin propio de quien lo expresa.Esta preocupacin por la objetividad de la evaluacin no es un tema nuevo. Estudiosasociados a las expectativas de los docentes como los de Rosenthal y Jacobson (1968;efecto Pigmalion), de Spears (1984) y de Rubie-Davies (2006) muestran que losestudiantes considerados de bajo rendimiento tienen menos tiempo para contestar enuna interrogacin oral, reciben menos ayuda o pistas cuando preguntan alguna dudaen una prueba y reciben menos retroalimentacin de su desempeo que los estudiantesconsiderados de alto rendimiento, para los cuales los docentes tienen mayoresexpectativas. Cabe sealar que estas expectativas, en general, estn condicionadas porcaractersticas personales de los estudiantes como el gnero, el nivel socioeconmico,la raza o etnia, la apariencia fsica y los patrones de lenguaje oral.Estudios como el de Lpez y colaboradores (1983) dan cuenta de cmo diferentesprofesores de matemticas o fsica dan puntuaciones o calificaciones distintas a unmismo ejercicio, lo cual se podra atribuir a diferentes niveles de exigencia en lacorreccin que no debera afectar a los estudiantes, si son corregidos todos por lamisma persona (gil Prez y Vilches, 2008), mientras que otras evidencias indican queun mismo profesor puede puntuar o calificar de manera diferente la respuesta de unestudiante dependiendo del momento (Hoyat, 1962). Aunque se asume que lacorreccin nunca ser ciento por ciento objetiva, es conocido por todos que losprofesores tienen escaso tiempo para corregir trabajos y pruebas de sus estudiantes, yque lo hacen en los pocos espacios fsicos y temporales que tienen disponibles,implicando que algunos comienzan en el colegio durante la maana, pero puedenterminar al da siguiente en su casa de madrugada. Si no se generan acciones concretasque eviten distorsionar el criterio de correccin, las posibilidades de cambiar laexigencia y la respuesta esperada pueden ser enormes.Estos problemas de objetividad se ven reflejados en las opiniones de estudiantesrespecto de experiencias de evaluacin que resultaron ser negativas para su proceso deaprendizaje:


17 de 23 06-01-12 10:49

En un taller se hacan controles de lectura con tres preguntas sin mayor explicacin,al tener el control observ que no tena todo el puntaje en ninguna de las preguntas, alpreguntar por qu, el profesor me dio la respuesta correcta y era lo mismo pero conotras palabras.Rev. Pensamiento Educativo, Vol. 43, 2008. pp. 285-305Evaluacin al interior del aula: una mirada desde la validez, confiabilidad yobjetividadCarla Frster Marn, Cristian A. Rojas-Barahona Una prueba en un ramo donde casi todo el curso se sac un rojo. Nadie entendapor qu estaba todo mal. las preguntas fueron muy especficas, y la pauta era muyestricta. no qued claro qu estaba malo y qu era correcto. En la clase de artes, en mi caso present una pintura que fue bien evaluada, la hicea la rpida y no me tom mayor trabajo, en cambio, a uno de mis compaeros loevalu muy mal, siendo que su pintura era mucho ms trabajada, novedosa y habaseguido todas las instrucciones. Como no haba pauta, no pudo alegar nada. En enseanza media, todas las evaluaciones de historia se realizaban concuestionarios, el problema radicaba en que las pruebas quedaban en poder delprofesor y no se tena derecho a correccin. Un trabajo final de un curso, donde a pesar que mi trabajo fue considerado uno delos mejores del curso en la presentacin, fue mal evaluado porque me encontraba enmalas relaciones con el profesor. Un profesor califica como insatisfactorio un trabajo, pero al comparar notamos queestaba mejor que otros que tenan calificaciones satisfactorias. son experienciasnegativas donde pesa ms el criterio del profesor que no es conocido ni entendido porlos alumnos.Dado que la objetividad de una evaluacin consiste en resguardar la ausencia de sesgoso apreciaciones subjetivas en la interpretacin de las evidencias y/o procesos que lasgeneraron, se sugieren algunas acciones que un docente puede realizar fcilmente en elaula:1) informar a los alumnos la intencionalidad de la evaluacin y los aprendizajes aevaluar. La doble funcin de esta accin es que, por una parte, el docente debe hacerexplcito el propsito de sus evaluaciones en la planificacin, y, por otra, para susestudiantes no hay ambigedades en qu se les va a evaluar y con qu fin, por tanto laevaluacin deja de ser una caja negra y se convierte en una herramienta deaprendizaje con normas claras y bien definidas.2) Dar a conocer a los alumnos los criterios de evaluacin. Si entendemos que laevaluacin es parte del proceso de enseanza-aprendizaje, y por ende su fin es ayudar a


18 de 23 06-01-12 10:49

mejorar los conocimientos de los estudiantes, estos deben saber claramente con qucriterios se les va a evaluar. Preparar una presentacin oral que va a ser evaluada encuanto al uso de las habilidades comunicativas es muy diferente que prepararla para serevaluado en el dominio conceptual de dicha presentacin, por tanto, los nfasis que unestudiante pone y el tipo de aprendizaje que desarrolla estarn en directa relacin con lapauta de trabajo que se le haya entregado. Si la pauta y sus criterios son ambiguos odesconocidos, el estudiante realizar lo que cree que debe hacer y si eso no concuerdacon lo que el profesor evala, la evidencia no ser confiable y las conclusioneserrneas.Rev. Pensamiento Educativo, Vol. 43, 2008. pp. 285-305Evaluacin al interior del aula: una mirada desde la validez, confiabilidad yobjetividadCarla Frster Marn, Cristian A. Rojas-Barahona3) Elaborar pautas de respuesta o correccin. Es comn elaborar pruebas o situacionesde evaluacin, y luego, al momento de corregir se hace un punteo de las ideas quedeberan estar presentes en la respuesta o desempeo del estudiante, sin embargo, loque en una respuesta significa 0.75 puntos cuando se comienza a corregir, puedesignificar 0.8 cuando se est terminando. El criterio y la exigencia varan producto dediferentes causas (por ejemplo, momento del da, el contexto en el cual se corrige, etc.),por tanto, tener una pauta clara y precisa ayuda a mantener la consistencia en laaplicacin y evitar los sesgos propios de un proceso correccin. Adems, permite quelos estudiantes conozcan esos criterios y puedan contrastarlos con sus resultados,haciendo transparente el proceso de evaluacin y permitindoles reconocer sus erroresy conocer qu se esperaba en cada caso.4) Establecer previamente los criterios de asignacin de puntajes en funcin de larelevancia y nivel de complejidad de los aprendizajes. Este elemento es clave en dossentidos: primero permite al docente asegurar, previo a la aplicacin de la evaluacin,que los tems a evaluar reflejan, en trminos de extensin y complejidad, la relevanciaque se les asigna con un puntaje determinado en comparacin con el puntaje total de laevaluacin; y en segunda instancia, los estudiantes toman decisiones en funcin delpeso que tiene cada tem respecto de la dedicacin y orden con la que se enfrentan aellos. La ausencia de esta asignacin genera ambigedad para los alumnos en losnfasis que da el docente a cada aspecto que se est evaluando.

Conclusiones

La evaluacin es parte del proceso de enseanza y aprendizaje al interior del aula, ycomo tal puede marcar a un estudiante tanto positiva como negativamente. En estarevisin se ha presentado cmo la ausencia de validez, confiabilidad y objetividad enuna situacin evaluativa puede generar desmotivacin, aprendizajes errneos ysentimientos de injusticia en los estudiantes, que en nada favorecen un ambiente deaprendizaje que resulte significativo para ellos.


19 de 23 06-01-12 10:49

En general, los profesores no calculan la confiabilidad, el error estndar de unamedicin o los coeficientes de validez y de discriminacin de una evaluacin. Estastcnicas son propias del desarrollo de pruebas estandarizadas y de aplicacin a granescala, pero tienen una importancia limitada en la evaluacin al interior del aula. En elartculo se intenta rescatar los elementos que pueden ser claves y necesarios deresguardar para hacer evaluaciones que aporten al aprendizaje de los estudiantes, comoson la validez de contenido, la validez instruccional, la validez consecuencial, laconfiabilidad y la objetividad. Como se discuti anteriormente, la validez no se planteaen trminos absolutos, sino en grados y depende del propsito para el que fue creada laevaluacin,Rev. Pensamiento Educativo, Vol. 43, 2008. pp. 285-305Evaluacin al interior del aula: una mirada desde la validez, confiabilidad yobjetividadCarla Frster Marn, Cristian A. Rojas-Barahonasi sus resultados sern ms o menos vlidos para sacar conclusiones respecto de ese fin.Tanto la validez como la confiabilidad aumentan o disminuyen segn sea la calidad dela evidencia que las sustenta.La validez de contenido de un instrumento o situacin evaluativa se refiere a lacobertura y relevancia de los contenidos y/o habilidades en un rea disciplinarespecfica que han sido seleccionados, y las sugerencias para resguardar este criterioson: elaborar una tabla de especificaciones del instrumento y someter la evaluacin acriterio de jueces.La validez instruccional hace referencia a la coherencia entre lo que se va a evaluar y loque los estudiantes han tenido oportunidad real de aprender. Las sugerencias pararesguardar este criterio de calidad son: velar por que las situaciones de evaluacincontengan los contenidos vistos en las actividades de aprendizaje, sean equivalentes alas actividades realizadas y utilicen un lenguaje conocido por los estudiantes.La validez consecuencial tiene relacin con las consecuencias tanto positivas comonegativas que puede tener una evaluacin para el aprendizaje de los estudiantes; sesugiere resguardar este criterio definiendo claramente los propsitos y usos de laevaluacin e identificando a priori las evidencias que darn cuenta de dichospropsitos.Es pertinente resaltar que la validez instruccional debe ir de la mano de la validez decontenidos, no sera lgico evaluar algo que efectivamente se ense, pero que no esrelevante para el rea disciplinar del curso.La confiabilidad corresponde a la consistencia y precisin de una evaluacin, valedecir, que las evidencias que se recojan del desempeo de los estudiantes seansuficientes para emitir un juicio respecto del nivel de logro de sus aprendizajes. Lasacciones que permiten resguardar este criterio son: evaluar en reiteradas ocasiones a unestudiante respecto de un mismo aprendizaje, ya sea en instancias diferentes o en varios


20 de 23 06-01-12 10:49

tems dentro de una misma situacin evaluativa, velar por la claridad de los tems, susinstrucciones, el ambiente de aplicacin y la precisin en la correccin. Este ltimoelemento tambin es llamado objetividad y tiene especial importancia al interior de lasala de clases, dadas las consecuencias que puede generar el no resguardarlo. Para ellose sugiere informar previamente a los estudiantes la intencionalidad de la evaluacin ylos aprendizajes a evaluar, dar a conocer los criterios de evaluacin, elaborar pautas derespuesta o correccin y asignar previamente los puntajes en funcin de la relevancia ynivel de complejidad de los aprendizajes.Aun cuando la evaluacin de aprendizajes al interior del aula es una tarea compleja querequiere tiempo y esfuerzo adicional, es fundamental integrarla como parte del procesode enseanza y no verla como una instancia separada. Si se asume esta posicin habrcoherencia entre la planificacin y la prctica, en la seleccin de los contenidos yhabilidades que se ensean y que se evalan, mejorando conductas evaluativas dondeescasea la validez, confiabilidad y objetividad.Rev. Pensamiento Educativo, Vol. 43, 2008. pp. 285-305Evaluacin al interior del aula: una mirada desde la validez, confiabilidad yobjetividadCarla Frster Marn, Cristian A. Rojas-Barahona

bibliografa

borsboom, D.; mellenbergh, G.j., & van Heerden, j. (2004). The Concept of Validity.Psychological Review, 111 (4), 1061-1071.brookhart, s. (2003). Developing Measurement Theory for Classroom Assessment.Purposes and Uses. Educational Measurement: Issues and Practice, 22 (4), 5-12.brown, G. (2004). Teachers conceptions of assessment: implications for policy andprofessional development. Assessment in Education, 11 (3), 301-318.brualdi, A. (1999). Tradicional and Modern Concept of Validity. ERiC/AE Digest.ERiC Clearinghouse on Assessment and Evaluation. Washington DC. ED 435714.Castillo, s. & Cabrerizo, j. (2007). Evaluacin Educativa y Promocin escolar.Madrid, Espaa: Pearson Prentice Hall.Calatayud, m.A. (1999). La creencia en la objetividad de la evaluacin: una misinimposible. Aula Abierta, 73, 205-222.Crocker, L.; Llabre, m., & miller, m.D. (1988). The generalizability of ContentValidity Ratings. journal of Educational Measurement 25 (4), 287-299.flrez, R. (1999). Evaluacin pedaggica y Cognicin. Bogot, Colombia: Mcgraw-Hill.


21 de 23 06-01-12 10:49

Garca, s. (2002). La Validez y la Confiabilidad en la Evaluacin del Aprendizajedesde la Perspectiva Hermenutica. Revista de Pedagoga, 23 (67), 297-318.Gil Prez, D. & Vilches, A. (2008). Qu deben saber y saber hacer los profesoresuniversitarios? En M.i. Cebreiros y n. Casado (Eds.), novos enfoques no ensinouniversitario (pp. 25-43). Vigo: Universidad de Vigo.Gorin, j.s. (2007). Reconsidering issues in Validity Theory. Educational researcher, 36(8), 456- 463.Himmel, E.; Olivares, m.A. & zabalza, j. (1999). hacia una evaluacin Educativa.Aprender para evaluar y evaluar para aprender. Volumen i: Conceptos actuales sobrela evaluacin del aprendizaje escolar para nB3. Santiago, Chile: Ministerio deEducacin de Chile Pontificia Universidad Catlica de Chile.Hogan, T. (2004). Pruebas psicolgicas. Una introduccin prctica. Mxico: ElManual Moderno.Hoyat, f. (1962). les Examens. institut de lUnESCO pour lEducation. Paris:Bourrelier.Lpez, N.; Llopis, R.; Llorens, j.A., salinas, b. & soler, j. (1983). Anlisis de dosmodelos evaluativos referidos a la Qumica de COU y Selectividad. Enseanza de lasCiencias, 1(1), 21-25.Luckett, K. & sutherland, L. (2000). Assessment practices that improve teaching andlearning. En S. Makoni (Ed.), improving teaching and learning in higher education: ahandbook for southern Africa (pp.). Johannesburg, South Africa: WitwatersrandUniversity Press.Rev. Pensamiento Educativo, Vol. 43, 2008. pp. 285-305Evaluacin al interior del aula: una mirada desde la validez, confiabilidad yobjetividadCarla Frster Marn, Cristian A. Rojas-BarahonaLukas, j.f. & santiago, K. (2004). Evaluacin Educativa. Madrid, Espaa: Alianza.mcmillan, j.H. (2003). Understanding and improving Teachers Classroom AssessmentDecision Making: implications for Theory and Practice. Educational Measurement:Issues and Practice, 22 (4), 34-43.messick, s. (1989). Validity. En R. L. Linn (Ed.), Educational measurement (pp.13-103). new york: Macmillan.moss, P.A. (1997). The role of consequences in validity theory. EducationalMeasurement: Issues and Practices, 17 (2), 6-12.moss, P.A. (2003). Reconceptualizing validity for classroom assessment. Educational


22 de 23 06-01-12 10:49

Measurement, issues and practice, 22 (4), 13-25.moss, P.A. (2007). Reconstructing Validity. Educational researcher, 36 (8); 470-476.Rosenthal, R. & jacobson, L. (1968). Pigmalion in the classroom. new Jersey:Rinehart and Winston.Rubie-Davies, C.m. (2006). Teacher Expectations and Student Self-Perceptions:Exploring Relationships. Psychology in the Schools, 43 (5), 537-52.salinas, D. (2002). Maana examen! la evaluacin entre la teora y la realidad.Barcelona: gra.sanmart, N. (2007). 10 ideas clave. Evaluar para aprender. Barcelona: gra.schutz, A., & moss, P.A. (2004). Reasonable decisions in portfolio assessment:Evaluating complex evidence of teaching, Education Policy Analysis Archives, 12 (33).Recuperado el 17 de diciembre de 2008 de http://epaa.asu.edu/epaa/v12n33.sireci, s.G. (1998). The Construct of Content Validity. social indicators research, 45,83-117.smith, j.K. (2003). Reconsidering Reliability in Classroom Assessment and grading.Educational Measurement: Issues and Practice, 22 (4), 26-33.spears, m.G. (1984). Sex bias in science teachers ratings of work and pupilscharacteristics. European journal of science Education, 6, 369-377.stiggins, R. j. (2001). student-involved classroom assessment. Upper Saddle River, newJersey: Prentice-Hall.Valverde, G. (2000). La interpretacin justificada y el uso apropiado de los resultadosde las mediciones. En P. Ravela (Ed.), Los Prximos Pasos: Hacia Dnde y CmoAvanzar en la Evaluacin de Aprendizajes en Amrica latina? (pp. 21-30). Lima, Per:gRADE/Preal.Fecha de Recepcin: 15 de noviembre de 2008 Fecha de Aceptacin: 9 de diciembre de2008Rev. Pensamiento Educativo, Vol. 43, 2008. pp. 285-305Evaluacin al interior del aula: una mirada desde la validez, confiabilidad yobjetividadCarla Frster Marn, Cristian A. Rojas-Barahona


23 de 23 06-01-12 10:49

evaluación al interior del aula

Documents