aportes del lenguaje para su calidad y evaluación

Organizacinde EstadosIberoamericanos

Para la Educacin,la Cienciay la Cultura

Revista Iberoamericana de Educacin

Nmero 10 - Enero Abril 1996

Evaluacin de la Calidad de la Educacin

Datos Artculo

Ttulo: Aportes de las Ciencias del Lenguaje para laconsideracin de la calidad en Educacin y su evalua-cin

Autor: Marta Elena Costa

7979

MONOGRFICO

REVISTA IBEROAMERICANA DE EDUCACIN. N 10 (1996), pgs. 79-99

Aportes de las Ciencias del Lenguaje para laconsideracin de la calidad en Educacin

y su evaluacin1

Marta Elena Costa (*)

Ha aumentado en la regin la circulacin de pruebas objetivasutilizadas en programas de evaluacin de la calidad, en exmenes deacreditacin o admisin y en diversos estudios diagnsticos. En estetrabajo se consideran las concepciones de calidad y de evaluacin dela calidad que subyacen en los programas del primer tipo y se analizanalgunas posturas alternativas. Desde una perspectiva que integra lasciencias del lenguaje, se plantean -en particular con referencia a laspruebas de lengua y, dentro de ellas, a las de lectura- aportes para laconsideracin de la diversidad lingstica, cultural y cognoscitiva de laspoblaciones y de los sujetos evaluados. Se reconoce la utilidad del empleode pruebas estandarizadas, del tipo denominado objetivo, cuando se trata depoblaciones numerosas, y por otra parte se analizan desde la perspectivasealada los aspectos considerados crticos, tanto por los modelos a losque responden como por las limitaciones que de hecho plantean.

1. Introduccin

La evaluacin educacional, de dcadas de tradicin en los pasescentrales, ha tenido fuerte incremento en Amrica Latina desde los aos80 por impulso tanto de los organismos de educacin, ciencia y cultura

(*) Marta Elena Costa, profesora en Letras por la Universidad de Buenos Aires, esespecialista en el campo educacional y en lingstica aplicada. Coordina proyectos en dichaUniversidad y en el Ministerio de Cultura y Educacin. Fue coordinadora del rea deInvestigacin de la Direccin de Educacin del Adulto, especialista para el Curso Introductoriode la Universidad Nacional Abierta de Venezuela y directora de Planeamiento Educacional dela Universidad de Buenos Aires.

8080


Aportes de las Ciencias del Lenguaje para la...

que operan en la regin como de los organismos rectores de las polticaseconmicas o que coadyuvan a ellas.

Esta tendencia se ha acentuado en los 90 hasta el punto deincorporarse como una instancia institucionalizada en los procesos dereformas o de transformaciones educativas impulsadas desde el Estadoe incluso en las leyes que regulan la educacin de los paises. Valgancomo ejemplos los casos de Argentina (Ley Federal de Educacin, 1993),Bolivia (Ley de Reforma Educativa, 1994) y Colombia (Ley General deEducacin, 1994).

As en Argentina, la Ley Federal de Educacin, en su ttulo IX, Dela calidad de la educacin y su evaluacin, arts. 48 a 50, establece laevaluacin permanente del sistema, que incluye la evaluacin de losaprendizajes a cargo de la Nacin y de las dems jurisdicciones.

Paralelamente al auge de este tipo de evaluaciones se ha instaladola discusin en los sectores involucrados -docentes, padres de alumnos-,en el mbito poltico, gremial y otros, que ha venido a sumarse a la yaexistente en el mbito acadmico, acerca del sentido y finalidad de dichasprcticas y de los instrumentos empleados.

Hacia fines de 1993 y comienzos del 94 tom estado pblico en laArgentina la evaluacin de la calidad llevada a cabo por el Ministerio deCultura y Educacin. Esto suscit un intenso debate reflejado en losmedios, superado slo por el que anteriormente provoc la transferenciade los servicios educativos a las jurisdicciones y la ley de educacin,debate ste ltimo mucho ms inserto en la sociedad misma.

Uno de los elementos que se toman en cuenta para la evaluacin delos sistemas educativos o de los niveles de enseanza es la calidad de losaprendizajes de los alumnos y ha sido justamente este aspecto el queprovoc el debate mencionado. Al aparecer a travs de los mediosrecortado de los dems componentes de la evaluacin, absorbi ante lamirada pblica el significado total de la evaluacin, lo que tornabaimposible establecer relaciones que permitieran dilucidar las causas delrendimiento, fuera ste aceptable o no.

El campo universitario no es ajeno a la cuestin: se ha visto lanecesidad de autoevaluacin institucional o de evaluacin externa segnlas posturas adoptadas, fomentado esto por los organismos internaciona-les, en especial los de universidades2. La inquietud ha surgido tambindesde el propio quehacer acadmico, sobre todo por parte de docentese investigadores vinculados a los primeros aos de estudios que confron-tan las dificultades en el rendimiento de los estudiantes. Se han venido

8181

MONOGRFICO


realizando en diferentes universidades investigaciones que incluyenpruebas diagnsticas de diversos tipos.

Sabemos que de hecho, y por razones fundadas, los saberes que seprivilegian al momento de este tipo de evaluaciones suelen ser los delengua y matemtica. Cabe considerar entonces los aportes que desde laperspectiva de las ciencias del lenguaje, y conjuntamente con otrasciencias, podran hacerse para una conceptualizacin y tambin para unaprctica evaluativa de calidad.

En este trabajo nos referiremos sobre todo a las pruebas queintentan evaluar dominio en sentido amplio, aptitud verbal, competenciasglobales, o pruebas de nivel, etc., ya sea con fines de admisin, acredi-tacin o investigacin. As por ejemplo las pruebas que se hacen enalgunos pases para ingreso al nivel medio o universitario, o las quecorresponden a programas de evaluacin de la calidad, o las que formanparte de diversos tipos de estudios o investigaciones: todas ellas buscandiagnosticar las competencias lingsticas de poblaciones numerosas ode muestras de volumen considerable.

2. Concepciones de calidad y de evaluacin de la calidad

Bajo este ttulo podran considerarse multiplicidad de teorizacionesy de prcticas, lo cual est fuera del alcance de este trabajo3. Si bien hayuna preocupacin generalizada por la calidad de la educacin, no hayconsenso sobre qu se entiende por calidad y menos an sobre hasta qupunto y bajo qu modalidades es posible evaluarla. En atencin a nuestropropsito, haremos una referencia breve a algunas posturas.

La medicin de la calidad en educacin surgi, como es sabido, enrelacin con un modelo de eficiencia econmica. La calidad de lossistemas educativos y de los procesos que tienen lugar en ellos es vistaen trminos de eficiencia. Los modelos evaluativos se nutren de unaracionalidad propia del modo de produccin industrial.

Algunas manifestaciones recientes de las visiones economicistasse vinculan con el nuevo orden mundial. Segn esto, los sujetos de laeducacin son vistos predominantemente desde la mira de su insercinen el mercado laboral, el cual est diferenciado a nivel mundial.

As de algunas regiones o pases podra esperarse, en un extremode una escala ocupada por un pequeo segmento de su poblacin, unaeducacin de excelencia, para que se pueda cooperar en la carreracientfica y econmica y, en el otro extremo, los niveles mnimos para una

8282



eficiencia en los sectores ms descalificados de la escala ocupacional, opara la desocupacin, subocupacin, etc.

Esta caracterizacin, un tanto simplista quizs, hace referencia sinembargo a la concepcin que subyace en las denominadas posturaseficientistas en educacin o en algunos intentos de tornar ms eficienteun sistema.

En otros casos estas posturas aparecen combinadas con elementosde otras visiones en las que se toman en cuenta aspectos que tienen quever con concepciones ms humanistas, ms interesadas en lo pedaggi-co, en la adquisicin de saberes socialmente vlidos, etc. Y en pasesdonde se quiere construir una sociedad democrtica conviven o entran enconflicto con el principio de la igualdad de oportunidades y con la voluntadpoltica de llevarlo a la prctica.

Frente a las posturas eficientistas, existen posiciones como las deMagendzo y otros que vinculan la calidad a la cultura de la poblacinsujeto de educacin. Corriente sta que entronca con lneas de pensa-miento y prcticas educacionales muy arraigadas en Amrica Latina y enotras regiones del mundo.

Desde esta perspectiva se plantea que en una educacin de calidadresulta imprescindible que las instituciones educativas tomen en cuentalas diferentes culturas y se nutran de ellas para llevar adelante losaprendizajes que son de incumbencia de la escuela.

Magendzo demostr a travs de una investigacin etnogrfica -lle-vada a cabo en una poblacin indgena de Guatemala, hablante decakchiquel y espaol-, que los estilos de enseanza-aprendizaje de laescuela, al apartarse de los patrones de socializacin domsticos de losnios y de otros aspectos de la cultura de la comunidad, conducan alfracaso escolar, a la repitencia y a la desercin.

La tesis fundamental de este autor es que existe una relacindirecta entre calidad y cultura, es decir que la educacin incrementa sucalidad en la medida en que es capaz, a travs del currculo, de valorizary hacer suya las formas de pensar, sentir y actuar que una comunidadtiene para enfrentar y darle significado a su cotidianeidad.(...) No son losestudios o las evaluaciones comparativas con niveles de rendimientonacionales o internacionales los que permitan aquilatar la calidad de laeducacin (Magendzo, 1984:32).

Siguiendo a este autor puede afirmarse que una cantidad de estu-dios transculturales que se han llevado a cabo permiten inferir que

8383

MONOGRFICO


muchas de las categoras conceptuales que se han desarrollado paramedir la calidad de la educacin desconocen las diferencias cognoscitivas,perceptuales, valricas y de aprendizaje que se presentan en distintosgrupos culturales (Magendzo, 1984:33).

La discusin acerca de la evaluacin de la calidad es relativamentenueva bajo esa denominacin pero entronca con la cuestin planteadadesde las primeras dcadas de este siglo, acerca de la legitimidad de lautilizacin de instrumentos estandarizados para la evaluacin en contex-tos educacionales.

Recientemente Daz Barriga (1994) arroja nueva luz sobre el temadel examen -y su versin moderna, las pruebas objetivas-. Plantea quedebido a que la sociedad no puede resolver sus problemas de ordensocial, econmico y psicopedaggico, se observa excesivamente alexamen y se espera que a travs de l se obtengan conocimientosobjetivos sobre el saber de los alumnos.

Enuncia la que denomina inversiones -en el sentido foucaultianodel trmino, en tanto se presentan como relaciones de saber las que sonen realidad relaciones de poder-; en torno de ellas realiza un anlisishistrico y sincrnico del examen. Segn tales inversiones, se ocultan losproblemas sociales vinculados a la posibilidad de acceso a la educaciny otros a travs de la problematizacin acerca de las caractersticas deobjetividad, validez y confiabilidad atribuidas al instrumento.

El examen, segn Daz Barriga, ha dejado de ser un aspecto delmtodo ligado al aprendizaje, como lo era en la concepcin comeniana,para convertirse en un medio para la acreditacin, trastocndose as laprctica pedaggica, al tenerse la mira puesta en la acreditacin. Losesfuerzos de docentes y alumnos se descentran de la enseanza -aprendizaje.

La evaluacin se ha configurado como un mbito desvinculado de lodidctico; ha adquirido una autonoma como campo de estudio y comopractica, afincada en lo tcnico, y se ha disociado de lo educativo. Losreduccionismos tcnicos han empobrecido el debate educativo.

La revisin de los trabajos de los autores mencionados nos sugiereque la bsqueda de la calidad debera desvincularse del afn por sumedicin, ya que no parece haber sido saludable para la educacin elintento por convertir el quale en quantum, sino que ms bien ha descen-trado la mirada y la tarea.

En lo que concierne a la reflexin, la cuestin de fondo debera giraren torno de cul educacin sera mejor y cmo generar transformaciones

8484



en su bsqueda. Asimismo y dado que la evaluacin ya est instalada enlos sistemas educativos y legitimada por las normativas vigentes, sera deinters orientar el debate en este campo especfico tanto hacia susfundamentos y a los significados que se atribuyen en las distintasrepresentaciones sociales a las prcticas evaluativas, como al reconoci-miento de su valor real en trminos de qu pueden y qu no puedendiagnosticar este tipo de pruebas, a la vez que a recuperar fundamentostericos que favorezcan nuevas experimentaciones.

Al trabajo de educadores, socilogos, antroplogos y otros estudio-sos habra que sumar los aportes de las ciencias del lenguaje quellevaran al reconocimiento y valorizacin de la diversidad cultural, lin-gstica y cognoscitiva, en vinculacin con la atribucin o no de calidada la educacin o a los logros de aprendizaje.

La evaluacin aparece como un espacio de confluencia de mltiplesdisciplinas que requiere de interacciones mucho ms ricas y complejasque las habituales de especialistas en evaluacin y especialistas encontenidos.

3. La cuestin de la diversidad. Aportes de las Ciencias delLenguaje

En lo concerniente a la lengua, la consideracin de la diversidadimplica plantearse cuestiones vinculadas al campo de la sociolingsticay de la dialectologa.

Lo primero que aparece en las evaluaciones en la lengua oficial delpas, en este caso el espaol, es que habitualmente se toma comoreferencia la variedad denominada estndar4 y, dentro de ella, lasmodalidades propias de la lengua escrita.

De este modo, queda acotado el objeto de evaluacin a una parte dela competencia lingstica de la persona examinada. Quedan fuera ellenguaje oral y las formas coloquiales del lenguaje escrito.

As, podran encontrarse en situacin desventajosa para responderaquellas personas que por su origen socioeconmico tengan menoscontacto con la lengua escrita o cuyas culturas de origen se expresen porla oralidad, y/o cuyo uso del espaol est ms alejado de la variedadestndar, ya sea de la de la escuela y los textos escolares, o de la de losinstrumentos de evaluacin.

Una evaluacin que abarcara una gama ms amplia de las compe-tencias lingsticas podra asimismo ser de inters en la medida en que

8585

MONOGRFICO


posibilitara establecer relaciones entre el lenguaje oral y el escrito, o entreel uso del propio dialecto del espaol y la comprensin de la variedadestndar, etc.5.

Cuando se trata de evaluaciones de mbito nacional debera echar-se mano a los estudios de dialectologa y formular consultas a expertosde modo de incorporar, como uno de los aspectos por evaluar en los ciclosprimario o secundario, el desempeo en las variantes propias. De no serello posible, habr que tomar en cuenta esta limitacin a la hora deanalizar los resultados.

Los aportes de la sociolingstica pueden ayudar a encarar estascuestiones que se tornan ms lgidas en zonas de lenguas en contactoo en hablantes del espaol como segunda lengua.

Estos puntos que hemos sealado son en realidad problemas quese plantean en el currculum de lengua y que cobran resonancia a la horade la evaluacin. Cuestiones que se vinculan a las polticas lingsticas,sean stas explcitas o no.

Vemos entonces que las evaluaciones diagnsticas no slo brindaninformacin sobre el rendimiento de las poblaciones evaluadas sino queponen en evidencia qu usos del lenguaje son considerados vlidos en elsistema educativo. Segn cmo estn encaradas, pueden retroalimentaral mismo arrojando luz sobre innumerables aspectos a ser tenidos encuenta por docentes y planificadores y que incidan en un mejoramiento delas actitudes lingsticas o, por el contrario, pueden reforzar situacionesde discriminacin, como por ejemplo favorecer indirectamente en lasociedad o en el sistema educativo situaciones de diglosia tomando eltrmino en el sentido amplio en que lo emplean L. Krysin6 y otros autores,con referencia a las variedades estndar y no estndar dentro de lamisma lengua.

Sera desacertado ignorar las diferenciaciones internas que existenen las lenguas, vinculadas a lo geogrfico-espacial, a la estratificacinsocio-cultural, a lo estilstico, etc., y tender a una falsa homogeneidad.

El espaol, extendido en un enorme espacio geogrfico, ha conser-vado su unidad y su riqueza. Una forma de afianzar esta unidad esfavorecer la comprensibilidad entre los hablantes de unas y otras zonas,de unos y otros estratos sociales, y el acceso de todos ellos a diferentestipos de discursos.

La cuestin de cules variedades se ensean en la escuela ha sidolargamente debatida. En los aos 70 y 80 numerosos estudios de

8686



sociolingstica aplicada analizaron cmo operan en el mbito escolarestadounidense las variedades no estndar y su incidencia en el apren-dizaje de la lengua, en particular, de la lectura. Algunas de las investiga-ciones llamaban la atencin sobre el code switching -la alternancia decdigos y el pasaje rpido de uno a otro en funcin de situacionescomunicacionales- (Lamb, 1981).

Sus resultados llevaron a plantear como aconsejable elbidialectalismo, es decir la enseanza de la variedad estndar como unaalternativa a la propia y sin la erradicacin de sta.

Criterios similares, aunque partiendo quiz de concepciones muydiferentes, han guiado mltiples prcticas educativas en Amrica Latina.Ms all de las posturas adoptadas, ha habido en los ltimos aos unincremento de la conciencia por parte de docentes e investigadores entorno de estas problemticas. Ms difcil ha resultado introducirlos en lateora y en la prctica evaluativas.

4. Aspectos crticos en las pruebas de lengua con especialreferencia a las de lectura

Nos referiremos pues a las pruebas estandarizadas, de tipo objeti-vo, con nfasis en las de comprensin de lectura. A la vez que poseenmltiples ventajas cuando se trata de poblaciones numerosas, presentanproblemas en su elaboracin, administracin y en el anlisis e interpre-tacin de sus resultados. Consideraremos desde una perspectiva queintegre los aportes de las ciencias del lenguaje algunos de estos aspectoscrticos: la contextualizacin, la comprensibilidad y las preguntas. Noabordamos aqu otras cuestiones igualmente importantes como la valida-cin y la interpretacin de los resultados.

Aunque el trabajo est referido a las pruebas de lengua, algunossealamientos pueden resultar aplicables a las evaluaciones en otrasreas en la medida en que se utilicen instrumentos en los que intervengael lenguaje.

4.1. La contextualizacin

Frecuentemente se presentan en las pruebas distintos tipos detems, cada uno de los cuales, o a veces ms de uno, se refieren aaspectos muy puntuales y no guardan relacin con el resto. Preguntasclsicas de este tipo son aquellas que interrogan sobre el significado o elsinnimo de una palabra aislada, o las que presentan una oracin en laque hay que colocar una palabra que falta. De sta u otras formas se

8787

MONOGRFICO


plantean ejercitaciones artificiales, que se alejan de los usos naturales ohabituales del lenguaje.

Si se incluyen textos, stos suelen ser demasiado escuetos o porsus caractersticas no facilitan la formulacin de preguntas adecuadas, olas preguntas, aun cuando el texto sea apto, no logran referirse aaspectos significativos. En otros casos, se trata de textos con ciertacomplejidad sobre los que se formulan preguntas demasiado simples.

Una prueba as construida, lejos de promover los procesos de lacomprensin y la produccin, los obstaculizan. En todo caso, si lapersona da respuestas acertadas, stas no demostrarn de por s unbuen desempeo. Parecera que con este tipo de instrumentos se ponems a prueba la habilidad para disgregar los propios saberes que elejercicio integral de la competencia lingstica.

Estas y otras cuestiones que se vinculan con algunos puntos crticosen la elaboracin de la prueba pueden englobarse en lo que se denominacontextualizacin.

C ourtney C azden (ca 1982:135) explica al respecto: El ejercicio decualquier proceso cognitivo -tanto para nosotros como para los nios-tiene lugar en algn contexto: un formato particular de la tarea, condicio-nes fsicas, organizacin social, reglas convencionales, etc.; y las carac-tersticas de ese contexto aportarn soporte u obstculos a las tareascognitivas desempeadas en l. La cognicin est siempre en un contex-to y no puede ser enseada o evaluada en forma separada de un contextoparticular.

En un trabajo posterior distingue los contextos internos -los con-textos mentales del lector y del escritor- y los contextos socialesexternos en los que ambos se encuentran. Subraya la incidencia deambos tipos de contexto en la lectoescritura y la necesidad de incentivarlospara un buen desempeo (Cazden, 1986).

Consideramos pertinente aplicar la nocin de contextualizacin -ysu contraria, la no contextualizacin- tanto a la situacin en que seadministra la prueba como a los instrumentos en s.

La situacin de prueba

Resulta fundamental que las personas evaluadas conozcan por quse las evala, para qu se van a utilizar los resultados, desde qu pticavan a ser interpretados. A posteriori, debera hacrseles alguna devolu-cin acerca de su propia actuacin y de los resultados generales yfavorecerse formas de aprovechamiento inmediato de esa informacin.

8888



Esto cabe mencionarse en particular con relacin a investigacionesdiagnsticas o a programas de evaluacin de la calidad. Ello contribuiraa dar sentido a una evaluacin que no se vincula con el currculum ni conningn requisito de acreditacin o de admisin. De hecho, la devolucinde resultados se practica en algunos casos.

Respecto de las pruebas objetivas, no en todos los mbitos se estsuficientemente familiarizado con este tipo de instrumento, en cuyo casose requerir previamente -de ser posible en una sesin anterior- unentrenamiento para su utilizacin.

Ambos aspectos pueden incidir en la eliminacin de inseguridad uotro tipo de malestar a la hora de la evaluacin. Otras recomendacionesde tipo pedaggico tenderan a crear un buen clima, favorecedor de unadecuado desempeo.

Por otra parte habra que considerar la posibilidad de que a laspruebas clsicas contestadas en forma individual y con un estricto controlde no comunicacin entre los evaluados, se aadiera alguna ejercitacinque requiriera una actividad cooperativa por grupos. Sera interesante lacontrastacin de los resultados de ambos tipos de actividades.

Cazden seala que a los nios suele resultarles difcil realizar en unexamen individual lo que habitualmente hacen en forma grupal, ya que,a diferencia del lector adulto que lee casi siempre individual y silenciosa-mente, en la escuela la lectura es una actividad social. Asimismo,apoyndose en investigaciones propias y de otros autores -entre ellos enun estudio de W. Labov sobre el desempeo en lectura de nios negros- que ponen de relieve las comunicaciones entre pares, sugiere que stasse aprovechen en la enseanza de la lectura de modo que el poder delas interacciones grupales pueda ser usado directamente como contextosde aprendizaje (Cazden, ca. 1982:138).

Estimamos que los sealamientos de esta autora, que se refierenprincipalmente a la enseanza y ocasionalmente a las evaluaciones en unmarco curricular, pueden ser aprovechados en relacin con el tipo depruebas que nos ocupa.

Los instrumentos

Hemos dado ejemplos de tipos de ejercicios no contextualizados.Una prueba bien diseada debera en cambio, a travs de sus materialese tems, posibilitar el ejercicio de la prediccin.

Frank Smith (1978) en su anlisis psicolingstico de la lecturaplantea el concepto de la prediccin como base de la comprensin7.

8989

MONOGRFICO


Harste y Burke (1986) desde un enfoque sociolingstico sostienenque el contexto de lo escrito y de lo impreso posibilita que se formulenesquemas anticipatorios. La identificacin del contexto permite la detec-cin de un rango posible de significados y la delimitacin de las opcionessemnticas, es decir, el ejercicio de la prediccin. Remarcan asimismo lagnesis social de la predictibilidad. Sealan que cuando no se toma estoen cuenta en la enseanza de la lectura y escritura, se altera el procesode la comprensin.

Tomar en consideracin los conceptos de predictibilidad ycontextualizacin y aplicarlos al campo de la evaluacin implicara, anuestro entender, tomar en cuenta cuestiones como:

las caractersticas grficas, de diagramacin, la transcripcincorrecta de los textos, la ausencia de errores -al respecto se requiere untrabajo muy cuidadoso de revisin de la versin final impresa de laprueba, a cargo de quienes la han elaborado-, y otros aspectos materia-les, los cuales deberan confluir a una perfecta legibilidad;

las instrucciones generales de las pruebas y las de los ejerciciosde modo que resulten claras, concisas y no permitan albergar dudassobre la tarea asignada;

el modo de presentacin de los materiales, que debera llevar a unarpida identificacin del gnero; as, si se trata de un artculo periodstico,la inclusin de una fotocopia del mismo contribuir ms a lacontextualizacin que la mera transcripcin; en otro tipo de textos serconveniente citar datos de autor, obra u otros que ayuden a su ubicacin;tampoco sera bueno recortar un texto en pequeos fragmentos osuprimir palabras por razones de espacio;

la significatividad de los materiales que se utilicen, en funcin delmarco cultural y del nivel de informacin;

la extensin de los textos, en vinculacin con el tipo de actividadque se requiera; como criterio general sera preferible seleccionar pocostextos que por su ndole y extensin permitan una mayor cantidad y gamade tems y no muchos textos muy breves;

algunas ayudas para la lectura o recursos de los evaluadorestendientes a que el evaluado se detenga en un prrafo o repare en algnaspecto en particular -como por ejemplo introducir entre prrafo y prrafoms espacios que los habituales o algn tipo de instruccin o subttulosque no existen en el original-, los cuales pueden ms bien interferir en laprediccin en la medida en que no estn guiados por la ndole del textoo por las estrategias del lector, sino por el objetivo del evaluador;

9090



las preguntas que se formulen -y ste es un punto que retomaremosluego- podrn interferir en la comprensin de la persona evaluada, o almenos no sern suficientemente vlidas para su verificacin, si en vez deconsiderar los procesos espontneos del lector en interaccin con el textoy tratar de recalar en aspectos significativos de ellos, se formulan encambio a partir de estereotipos o prcticas evaluativas corrientes que nose han revisado a la luz de las perspectivas planteadas.

Alice Omaggio (1993) analiza los tipos de pruebas que se utilizan enEE.UU. para la evaluacin en lengua -se refiere en particular a las lenguasextranjeras-, distingue los achievement tests que se utilizan en relacincon un curso determinado, de los proficiency tests, que son pruebasgenerales de nivel de competencias que se emplean por ejemplo en lasuniversidades para la aprobacin de un idioma extranjero, independien-temente de que se hayan aprobado los cursos de ese idioma8.

Segn su descripcin, las pruebas del primer tipo se cien a aspectospuntuales, a segmentos del currculum de lengua, y formulan preguntas derespuesta estructurada sobre cuestiones gramaticales o lxicas muy espe-cficas, a partir de frases aisladas u oraciones, tales como colocar lapreposicin que corresponde segn el rgimen de un verbo dado, completarla traduccin de una oracin, etc. Los proficiency tests, por el contrario,incluyen el nivel textual y las preguntas son mucho ms abarcativas; si biense interroga sobre cuestiones concretas, se requieren tambin competen-cias ms globales referidas a contenidos, contexto, tipo de discurso, etc.

Omaggio, a la vez que postula que en el currculum se utilicen ms laspruebas del segundo tipo, provee desde la perspectiva de la contextualizacin-descontextualizacin un esquema interesante para analizar los tems y paraincentivar a los docentes a la construccin de ejercicios adecuados:

Discurso natural, secuencial

Secuencia de oraciones o frases no relacionadas entre s

tems convergentes: se requiereuna respuesta correcta

de final abierto: muchasrespuestas posibles; requiere

produccin divergente

pueden ser tems centrados enaspectos puntuales o un formatointegrativo que incluya dichos tems

tems de comprensin global

Omaggio H.,A, 1993:429 (La traduccin es nuestra).

9191

MONOGRFICO


Cada uno de los ejes representa un continuum; los tems que seanalicen o se elaboren se ubicarn en un punto del continuum en funcinde su mayor o menor proximidad a los extremos. Pocos tems podrnentonces ser considerados como totalmente contextualizados odescontextualizados.

Las pruebas escolares podrn incluir tems ubicados en diferentespuntos del eje horizontal en la medida en que ste representa unagradacin del campo lingstico-comunicacional. En cambio, en lo querespecta al eje vertical, deberan ubicarse slo en la mitad inferior, ya quela parte superior queda fuera del mbito del lenguaje natural. As los doscuadrantes inferiores constituiran el espacio de insercin de las pruebasque denomina hbridas en tanto se utilizan para la evaluacin de losaprendizajes vinculados al currculum pero estn orientadas a la demos-tracin de competencias ms globales (proficiency oriented).

Omaggio provee luego una serie bastante rica de ejercitaciones deeste tipo para evaluar comprensin oral, comprensin en la lectura yproduccin escrita.

Ntese que la caracterizacin que realiza Omaggio y las recomen-daciones que formula seran aplicables en nuestro contexto latinoameri-cano no slo a la evaluacin de los aprendizajes curriculares sino aprogramas de evaluacin diagnstica o a pruebas de nivel.

4.2. La comprensibilidad

Suele suceder que en pruebas para evaluar la comprensin seutilicen textos poco comprensibles, se formulen preguntas confusas oambiguas o las respuestas, aun las consideradas correctas, no estnclaramente formuladas.

Los estudios de comprensibilidad (readability)9 se refieren a losfactores de tipo lingstico y psicolingstico -vocabulario, sintaxis, orga-nizacin del texto, etc.- que inciden en que un texto resulte ms o menoscomprensible. Sera de inters tomarlos en cuenta tanto para los materia-les que se incluyan en las pruebas como para los tems.

Una parte de este campo de estudio se refiere a la complejidadsintctica y describe cules estructuras son ms comprensibles enfuncin del desarrollo psicolingstico. Si se trata de una estructura pococomprensible en la comunicacin oral -en la cual, por ejemplo, resultedifcil la identificacin del sujeto-, ms difcil an ser su procesamientoen la lectura. En el otro extremo, una sintaxis demasiado simple -basadapor ejemplo en el no uso de conectores y por ende en el uso de

9292



repeticiones ficticias- tampoco ayuda a la comprensin en la medida enque se aleja del lenguaje corriente (Dawkins, 1977).

Desde otra perspectiva, la de la teora e investigacin lingsticas,Alfredo Hurtado llev a cabo un estudio sobre las estructuras tardas ennios de escuelas primarias de Mxico: (...) en el proceso de adquisicin[del lenguaje] aparecen estructuras que slo se interpretan, se repiten ose producen despus de otras, en el orden de adquisicin. A estasestructuras se las llama tardas con respecto a las anteriores (Hurtado,1984:23).

Hurtado plantea la utilidad del conocimiento de las estructurastardas en espaol para formularse luego los interrogantes de si esconveniente aprender a leer una estructura antes de interpretarla,repetirla y producirla espontneamente en el habla y escribir unaestructura antes de interpretarla, repetirla y producirla espontneamenteen el habla (Hurtado, 1984:16).

Ms all de las consideraciones tericas y de las investigacionesque pueden ir en ayuda de quienes elaboren las pruebas, las evaluacio-nes con fines de diagnstico posibilitan ms que otras validar los instru-mentos en la etapa de su elaboracin, antes de la prueba piloto. Losmejores jueces sobre la comprensibilidad sern los usuarios de la pruebay, si se los deja expresarse a travs de estrategias de validacin enpequeos grupos, ser posible mejorarlas.

4.3. Las preguntas

Sobre qu se interroga

Este punto se vincula con la cuestin de la validez, es decir en qumedida el contenido de las preguntas y de la prueba en su conjunto serefiere a aspectos significativos y pertinentes respecto de la competenciaque se pretende evaluar.

En las teoras sobre evaluacin en lengua predomina actualmentela de la competencia unitaria, es decir, que las diversas habilidades dellenguaje son vistas como manifestacin de una nica capacidad subya-cente, frente a las teoras segn las cuales hay que considerar indepen-dientemente distintas subhabilidades (Davies,1992).

Cualquiera sea la postura que se adopte, aun en los modelos deevaluacin por objetivos, un conocimiento acotado puede evaluarseponiendo nfasis ya sea en la informacin, en el conocimiento de unanocin gramatical o en la competencia lingstica vinculada a esanocin. En las pruebas corrientes abundan ms los tems del primer tipo.

9393

MONOGRFICO


En el campo de los estudios sobre la lectura, luego de dcadas depredominio de las teoras que sealaban los tres niveles clsicos decomprensin: la literal, la capacidad de inferencia y la lectura crtica,desde fines de los 70 y comienzos de los 80 empezaron a predominar lasvisiones de la lectura como proceso global.

Maria y MacGinitie (1982) examinan los modelos sobre la lectura;sealan que tanto en el de Rumelhart como en el de Kintsch, el lector esvisto comprometido simultneamente en un procesamiento de muchosniveles en forma paralela. Interactan en la comprensin del texto losprocesos de tipo de abajo hacia arriba (bottom-up) y de arriba haciaabajo (top-down), trminos que hacen referencia respectivamente a laidentificacin de palabras, el acceso a su significado, el anlisis sintctico,y el objetivo del lector al leer, su conocimiento del mundo y los esquemas(schemata) que estructuran el texto.

As, en ambos autores, la distincin entre decodificacin y compren-sin, que en los modelos anteriores responda a dos niveles jerrquicosdiferentes, resulta desdibujada.

Van Dijk, T.A. y Kintsh, W. (1983) plantean un modelo estratgicoque da razn desde el procesamiento de las unidades de palabras hastael de las unidades abarcativas de temas o macroestructuras. Lo denomi-nan estratgico porque el oyente o lector ejercita un entendimientolineal rpido, que es hipottico y podr rectificarse luego, durante eltranscurso de la audicin o lectura. Durante el procesamiento, los nivelesinteractan de una manera intrincada y compleja.

Las estrategias de anlisis que se utilizan dependen no slo de lascaractersticas del texto sino de las del oyente/lector, tales como suconocimiento del mundo y otros. As el lector reconstruir no slo elsentido del texto sealado por el escritor, sino el sentido que es msrelevante para sus propios intereses y objetivos.

En un primer paso, a travs de una estrategia abarcativa que incluyesubestrategias -decodificacin de rasgos fonolgicos/grficos, identifica-cin de fonemas/letras y de morfemas, dependientes de la interpretacinsemntica y sintctica subyacente-, se llega a la construccin de propo-siciones relacionadas entre s que constituyen un texto base anclado enuna coherencia de tipo local, que tiene lugar en la memoria de cortotrmino.

Adems de esta representacin en la memoria episdica, se cons-tituye tambin una representacin del hecho o situacin de que trata eltexto, de su tema, que se denomina macroestructura. Entender untexto significa que la gente es capaz de construir un modelo mental para

9494



el texto. E inversamente, en la produccin del texto, el modelo es el puntode partida para todo procesamiento: la gente sabe algo acerca de unhecho, y este conocimiento est representado en su modelo del hecho,y este modelo servir como la base, por ejemplo, para contar una historiaacerca del hecho (van Dijk, 1995:26).

Por ltimo los autores sealan que muchos tipos de discurso poseenuna estructura convencional -as por ejemplo la narracin o la argumen-tacin- , que se denomina superestructura.

Las pruebas de lectura suelen estar ms vinculadas a modelosanteriores a los analizados, que establecan jerrquicamente niveles,vinculados a habilidades y subhabilidades, desde la decodificacin hastala comprensin, que tendran lugar en forma sucesiva y progresiva en elindividuo. En las pruebas de lectura, en los ejercicios con referencia a untexto, el esquema ms habitual es hacer preguntas sobre detalles de loscontenidos de los prrafos y al final alguna pregunta ms global. Auncuando se den respuestas acertadas, uno podra en muchos casospreguntarse si realmente se comprendi el texto.

Una de las prcticas comunes en las pruebas la constituyen laspreguntas sobre inferencias; ello es debido al papel clave que la mayorade los autores atribuye a la inferencia en el proceso de la lectura. Sinembargo, es muy frecuente que las preguntas de ese tipo se refieran aaspectos casi totalmente explcitos; en las respuestas esperadas seconstruyen enunciados muy fcilmente deducibles a partir del enunciadodado en el texto, que por lo tanto no requieren del lector ninguna actividadheurstica o de formulacin de hiptesis.

Este tipo de preguntas podra estar originado en la exigencia deresponder a una taxonoma elegida para la evaluacin, ya que de hechomuchas de las inferencias posibles no agregan nada relevante para lacomprensin del texto.

Mientras por una parte la inferencia interviene permanentemente enla comprensin y no slo en los puntos que se eligen para construirpreguntas ad hoc, a la vez respecto de stas suelen esperarse respues-tas obvias, que no son las nicas posibles, ya que el ejercicio de lainferencia puede anclarse en diferentes indicios presentes en un textoque conduzcan a conclusiones diversas.

En cuanto a otros tipos de preguntas de comprensin, hay que vera qu contenidos se les da mayor importancia. Si bien podra haberconsenso sobre algunos aspectos considerados claves, tambin hay uncampo muy subjetivo, ya que diferentes buenos lectores podran ser

9595

MONOGRFICO


impresionados preponderadamente por distintos aspectos del texto. Lavalidacin por juicios de expertos o por diversos lectores puede ayudar eneste sentido.

A la vez sera til introducir en una prueba de lectura una ejercitacinque planteara por ejemplo: si usted quisiera saber si una personacomprendi este texto qu preguntas le hara para comprobarlo?. Lainformacin obtenida sera de inters en trminos de diagnstico ycontribuira a disminuir la unidireccionalidad propia de ese tipo de pruebas.

Una forma de acercarse a la caracterstica de objetividad de laspruebas sera la construccin de una intersubjetividad que redujera elgrado de subjetivismo en cuanto a las preguntas que se formulen y a lasrespuestas esperadas. La ampliacin de la cantidad e ndole de personasque intervengan en la elaboracin de las pruebas, la incorporacin demetodologas que incluyan la participacin de diferentes tipos de juecesy la asignacin de un rol ms activo a los evaluados, tanto en las etapasde construccin de los instrumentos como en el momento de la evalua-cin, podran contribuir a ello.

Cmo se construyen los tems

En este punto es imprescindible -aunque no suficiente- apelar a latecnologa evaluativa, muy desarrollada dentro de las ciencias de laeducacin y de las ciencias sociales. Existen cantidad de prescripcionesacerca de la buena redaccin de un tem, de los aspectos formales queinciden en la eleccin de una respuesta, as como formas de validacin:anlisis de pertinencia tem-objetivo, y, a posteriori, de su administracin,anlisis de consistencia interna, de grado de discriminacin de los tems, etc.

Sin embargo, este conocimiento acumulado no siempre se hautilizado en forma apropiada sino que ha conducido a veces a la conso-lidacin de usos rutinarios y poco creativos. Por otra parte las pruebasobjetivas conllevan una cantidad de restricciones. No obstante, comoinnumerables experiencias lo demuestran, es posible ampliar y enriquecerese marco.

En una experiencia, expuesta en 1982, de pruebas administradas alo largo de dos aos a un total de 37.300 estudiantes que ingresaban a laUniversidad Nacional Abierta de Venezuela se introdujeron diversasinnovaciones en el diseo de las pruebas y en la estructuracin de lostems (Costa, 1984).

Uno de los aspectos que observbamos entonces es que a veces enlas pruebas de lectura se hacen preguntas que se pueden contestar

9696



independientemente del texto. En otros casos, si bien la respuestacorrecta est referida al texto, las alternativas falsas plantean contenidosajenos a l.

En las pruebas que presentbamos, todas las alternativas - lacorrecta y las falsas - se construan con palabras o ideas del texto,utilizando para ello transformaciones sintcticas, o alguna alteracin enlos significados, etc.

Queremos sealar que nuestra experiencia en el diseo de pruebas,o en la revisin de pruebas elaboradas por otras personas, nos lleva areconocer la importancia de la observacin de los propios procesosdurante la lectura de los materiales seleccionados, como una de lasfuentes a las que puede apelar el evaluador para construir los tems, envez de recurrir a los modelos preestablecidos.

Un ltimo comentario se refiere a las preguntas abiertas o dedesarrollo. Muchas veces se requiere un ejercicio escrito para verificar lacomprensin en lectura. En ese caso se evala la comprensin a travsde la produccin y el material es obviamente ms rico.

Los parmetros que se construyan para la correccin de esosejercicios deberan ser suficientemente amplios como para considerar losmodos de aproximacin de las distintas personas a la lectura y susestrategias de escritura, que no siempre coinciden con los ms valoriza-dos en nuestra tradicin escolar y acadmica, vinculados ms bien alpensamiento lgico y a los procesos de tipo racional.

Para concluir, creemos que hay que trabajar para generar marcosamplios que permitan el desarrollo de una gama rica y variada deestrategias de evaluacin.

Conclusiones

Las evaluaciones que se realizan con el objeto de medir la calidad-u otras afines- ponen en evidencia los criterios y prcticas existentes enel sistema educativo. Sin embargo, mltiples prcticas innovadoras no sehan visto convenientemente representadas en la evaluacin.

Existen importantes desarrollos en evaluacin de la lengua- aquy en otros pases- que han incorporado criterios de las ciencias dellenguaje. Hay asimismo aspectos de la teora lingstica, de lasociolingstica y psicolingstica, del campo interdisciplinario de losestudios sobre lectura (reading), donde confluyen la psicologa cognitiva,la lingstica del texto, etc., que pueden ser aplicables a la evaluacin.

9797

MONOGRFICO


- Las pruebas objetivas crean un marco constrictivo para el evaluador,sin embargo es posible superar algunas de sus limitaciones. Si queremosque las poblaciones evaluadas puedan desplegar sus saberes hay quedesechar algunos estereotipos y construir instrumentos vlidos y confiablesen los que se formulen preguntas inteligentes, cuyas respuestas espera-das contemplen la diversidad lingstica, cultural y cognoscitiva.

Notas

(1) Una primera versin de este trabajo fue presentada en las Jornadas De lateora lingstica a la enseanza del espaol, en la Facultad de Filosofa y Letras de laUniversidad de Buenos Aires, junio de 1993.

(2) Para una apreciacin de la vigencia del asunto en lo que respecta a universidades,cf. valuation et Qualit. Evaluation and Quality. CRE-action. Revue trimestrielle de laConfrence permanente de recteurs, prsidents et vice-chanceliers. N 96, 1991/4, conreferencia al contexto europeo, y en lo que concierne a nuestra regin cf. Puiggros, A. yKrotsch, C. (comp.) Universidad y evaluacin. Estado del debate. Buenos Aires, Rep. Arg.IDEAS_AIQUE, 1994.

(3) Cf. en Edwards, Vernica, su anlisis en torno del concepto de calidad y lasrelaciones que establece con las concepciones curriculares.

(4) En cuanto al concepto de variedad estndar, entendemos que no ha habidosuficiente fundamentacin cientfica. Menos an en la consideracin de determinadasformas dialectales como estndar o no. Otra denominacin, la de variantes prestigiosaspone al descubierto que se trata ms de valoraciones sociales que lingsticas.

(5) En una investigacin en la que participamos, llevada a cabo por la Direccin deEducacin del Adulto como parte de un estudio regional de la OREALC, se administraronpruebas objetivas de lengua y matemtica a 300 adultos con escolaridad bsica incompleta.Con 30 de ellos se realiz una entrevista etnogrfica; el anlisis lingstico del materialgrabado permiti contrastar el resultado de las pruebas de lectura y escritura con eldesempeo oral. (Analfabetismo funcional. Ministerio de Cultura y Educacin-OREALC.Informe final en preparacin).

(6) Mencionado por de Granda, Germn, en el seminario de doctorado El contactolingstico, en la Facultad de Filosofa y Letras, UBA, nov. 1993.

(7) En su muy valiosa y conocida obra Understanding Reading, destaca laimportancia de la informacin no visual -la que est en el cerebro- y de la prediccin. Laprediccin posibilita la reduccin de la incertidumbre, a travs de la eliminacin anticipadade ciertas alternativas y posibilita la comprensin.

(8) Cf. en especial el captulo 9 Classroom Testing.(9) Readability se ha traducido al castellano como lecturabilidad, seguramente con

el objeto de distinguirla de la palabra legibilidad, que se refiere a los aspectos materialesde lo escrito. Otros autores usan legibilidad en el sentido amplio que tiene el trminoreadability en ingls .

9898



(10) Cf. en Dubois (1984), el anlisis que realiza sobre el papel de la inferencia enlos distintos modelos explicativos de los procesos de la lectura.

Referencias bibliogrficas

BERNSTEIN , Basil Social Class, Language and Socialization en Power and Ideologyin Education, Karabel and Halsey Eds., New York, Oxford University Press, 1977.

CAZDEN, Courtney B., Social Context of Learning to Read en Walter MacGinitie(comp.), Foundations of Reading. Readings for ED-B 342. University of Victoria. s/f

CAZDEN, Courtney B., La lengua escrita en contextos escolares en Ferreiro, E. yGmez Palacio, M. (comp.) Nuevas perspectivas sobre los procesos de lectura yescritura. Buenos Aires, Siglo Veintiuno, 1986.

COSTA, Marta. Pruebas objetivas para evaluar la comprensin en lectura en Lecturay vida, IRA, ao 5, N 1, marzo 1984.

DAVIES, Allan Language Testing and Evaluation en Crabe, W. and Kaplan Introductionto Applied Linguistics. Reading, Massachusetts, Addison-Wesley Publ.Comp,1992.

DAWKINS, John, Syntax and Readability. Newar, Delaware, IRA, 1977.

DAZ BARRIGA, ngel Una polmica en relacin al examen. En Revista Iberoamericanade Educacin, (N 5), 1994, ps. 161-181.

DIJK, Teun A. van De la gramtica del texto al anlisis crtico del discurso en Boletnde Estudios Lingsticos Argentinos. ao 2, (No.6), mayo 1995, ps. 20-40.

DIJK, T.A. van and KINTSCH, W. Strategies of Discourse Comprehension. AcademicPress, New York, 1983.

DUBOIS, Mara Eugenia Algunos interrogantes sobre comprensin en la lectura enLectura y Vida. IRA, Ao V, N 4, dic. 1984.

EDWARDS R., Vernica, El concepto de calidad de la educacin. Santiago, Chile,UNESCO-OREALC,1991.

GMEZ PALACIO, M. y otros, Indicadores de la comprensin lectora. Washington, OEA,1993.

HARSTE, Jerome C. y BURKE, Carolyn N., Predictibilidad: un universal en lecto-escritura en Ferreiro, E. y Gmez Palacio, M. (comp.), Nuevas perspectivas sobrelos procesos de lectura y escritura. Buenos Aires, Siglo Veintiuno, 1986.

HURTADO, Alfredo y colab., Estructuras tardas en el lenguaje infantil. Mxico, DireccinGeneral de Educacin Especial -SEP-OEA, 1984, tomo I.

LAMB, Pose, Dialects and Reading en Robert Shaffer Ed, Applied Lingustics andReading .Newar, Delaware, IRA, 1981.

MAGENDZO, Abraham, Calidad de la educacin y su relacin con la cultura: sntesis deuna investigacin en un rea indgena de Guatemala en La Educacin. Revista

9999

MONOGRFICO


Interamericana de Desarrollo Educativo. OEA, Washington, ao XXVIII, N 96, ps.32, 47.

MARIA, Katherine and MacGINITIE, W.H. Reading Comprehension Diabilities: KnolewdgeStructures and Non-Accommodating Text Processing Strategies in Annals ofDyslexia, vol 32,1982.

OMAGGIO HADLEY, Alice, Teaching Language in Context. Boston, Massachusetts,Heinle and Heinle Publ., 1993.

PRADO de SOUZA (org.), Avaliao do Rendimento Escolar. Campinas, Papirus. 1992.RAMA, Germn W, Qu Aprenden y Quines Aprenden en las Escuelas de Uruguay.

Montevideo, CEPAL, 1992.

SMITH, Frank, Understanding Reading. New York, Holt, Rinehart and Winston, 1978.

Una Opinin. Caracas, vol 4, N 2,abril 1982 (nmero dedicado a la evaluacin).

PortadaArtculoRegresar a WWW

aportes del lenguaje para su calidad y evaluación

Documents