INTRODUCCIÓN

Mejorar la comprensión lectora de losalumnos que finalizan la educación obliga-toria es uno de los principales retos quedebe afrontar el sistema educativo. La eva-luación de esta compleja capacidad se hautilizado de hecho, reiteradamente, comouno de los índices más discriminatorios,que pone de relieve las diferencias educa-tivas entre regiones y países. Sin embargo,se echa en falta una reflexión rigurosa sobrela validez de los instrumentos empleadospara este objetivo, así como sobre su utili-dad para la demanda más importante:

obtener una información que nos ayude aindividualizar la respuesta educativa paralos alumnos que no comprenden.

Las técnicas de evaluación más utiliza-das se basan en la observación y el análisisde productos inferenciales, supuestamenterelacionados con los procesos cognitivos decomprensión. Existen múltiples evidenciasacerca de la relación entre la comprensiónlectora y la eficacia ante la demanda de infe-rir información de un texto. Algunos traba-jos recientes aportan indicios de que estaúltima tarea no es simplemente un síntoma,sino incluso la principal causa que explicael nivel de comprensión que alcanzan los

415

(*) Universidad de Extremadura.

CÓMO EVALUAR LA COMPRENSIÓN LECTORA: ALTERNATIVAS Y LIMITACIONES

MANUEL MONTANERO FERNÁNDEZ (*)

RESUMEN. En este trabajo se hace una exhaustiva revisión teórica y empírica de losprincipales enfoques y técnicas que se han utilizado a lo largo de los últimos añospara evaluar las capacidades de comprensión lectora, así como sus presupuestosimplícitos y limitaciones, que hacen imprescindible un análisis crítico de su validez.Teniendo en cuenta el tipo de inferencias lectoras que, en la mayoría de los mate-riales analizados, se toma como criterio principal de evaluación, se propone una cla-sificación que puede ser de utilidad a investigadores y profesionales a la hora deseleccionar o confeccionar pruebas de evaluación, así como para interpretar de unmodo más realista sus resultados.

ABSTRACT. In this paper, we present an exhaustive theoretical and empirical reviewof the main approaches and techniques used in the last few years to evaluate readingcomprehension skills, as well as implicit ideas and limitations, which need a criticalanalysis of their validity. Taking into account the type of reading inferences that istaken as the main criteria for evaluation, in most of the materials analysed, a classifi-cation for researchers and professionals I proposed to be used when selecting ordesigning evaluation materials and to interpret the results in a more realistic way.

Revista de Educación, núm. 335 (2004), pp. 415-427.

Fecha de entrada: 5-02-2003 Fecha de aceptación: 25-06-2003

lectores (Cain y Oakhill, 1999). Normal-mente, las inferencias se explicitanmediante la respuesta a preguntas objetivaso semiobjetivas, después de la lectura de untexto. Por el contrario, otras técnicas másrecientes se han centrado en la observa-ción sistemática en curso de la actividadinferencial de los sujetos durante la lectura.Finalmente, otras tareas, como la confec-ción de resúmenes, protocolos de recuerdoo esquemas, evalúan también otros proce-sos verbales, más allá de lo estrictamenteinferencial.

De acuerdo con los últimos modeloscognitivos de la comprensión, podríamosestablecer una distinción inicial entre dosniveles de representación sobre los queoperan todos estos procesos: la base deltexto y el modelo de la situación. Entre lasprincipales operaciones cognitivas que sesuelen tomar como indicadores de la com-prensión de la base del texto podemosseñalar: la extracción del significado de laspalabras desconocidas a partir del contex-to; la extracción de la información esencial;las relaciones sintácticas, semánticas oretóricas entre las ideas del texto (conexio-nes referenciales, temporales, anafóricas,temáticas, expositivas�); la detección deproblemas de cohesión o coherencia...

Entre los indicadores relacionados conla representación situacional podríamosseñalar las inferencias sobre la intencióncomunicativa del autor o sobre el significa-do de recursos estilísticos y expresionesambiguas, las inferencias sobre la informa-ción implícita en el texto, así como lasacciones implicadas en la utilización delacerbo de conocimientos previos o, en lasolución de las inconsistencias que [RTFannotation: Es necesario que el autor acla-re (para incorporar o no el pronombre «se»)si son las acciones las que plantean incon-sistencias o se establece a título imperso-nal.] plantean con respecto a la interpreta-ción del contenido del texto.

Casi todos estos criterios han sidoexplícita o implícitamente suscritos por el

MEC (1996) para la evaluación psicopedagó-gica de las capacidades cognitivas implica-das en la comprensión lectora. Algunostests consideran también las habilidadesléxicas y subléxicas que intervienen en lasegmentación fonológica, la discriminaciónvisual de letras, palabras o pseudopalabraso la velocidad lectora como variables decomprensión. Sin embargo, el énfasis de laevaluación debe recaer en aquellos indica-dores que permiten inducir si el lector escapaz de desarrollar activa y estratégica-mente operaciones para inferir significadosprogresivamente más elaborados a partirde sus conocimientos previos. Esta infor-mación es, de hecho, la que puede resultarmás útil para orientar la intervención psico-pedagógica sobre la comprensión. En loque sigue, vamos a exponer una revisiónmás detallada acerca de las principalesalternativas de evaluación y cómo puedencontribuir al análisis de los diferentesaspectos de la capacidad inferencial yestratégica del lector.

EVALUACIÓN DE LA COMPRENSIÓNLOCAL Y REFERENCIAL

La actuación estratégica del lector comien-za propiamente en la fase de conexión pro-posicional que da lugar a la microestructu-ra de la base del texto. En este procesonuestra memoria de trabajo debe manteneractiva una selección de las proposicionesprocesadas en ciclos previos para estable-cer el «hilo conductor» entre las mismas.Dicha conexión referencial debe inferirseen tres instancias, cada una de ellas, pro-gresivamente más complejas.

En primer lugar, el sujeto debe inferiruna primera conexión sintáctica entre lasdiferentes cláusulas de las oraciones. Losesquemas proposicionales y sintácticos dellector estipulan qué argumentos puedeadmitir el predicado de cada proposición ypermiten, por otro lado, decidir la estructu-ra sintáctica más plausible.

416

Posteriormente, el sujeto debe integrarlas nuevas proposiciones y las activadas enla memoria operativa en cada ciclo de pro-cesamiento. Para ello es necesario producirinferencias referenciales más complejas,anafóricas, temporales o causales, ayudán-dose de ciertas señalizaciones lingüísticas.La dificultad para comprender relacionesanafóricas depende del tipo de anáfora (lospronombres demostrativos y los sustanti-vos anafóricos plantean más dificultades),así como de lo alejado que se encuentre elantecedente. Otro subtipo de inferenciasreferenciales, las llamadas «conectivas», sonaquellas que permiten conectar una partetemática que se viene tratando y otra quees comentario de la misma, es decir, lonuevo que se predica del tema.

PRUEBAS OBJETIVAS Y SEMIOBJETIVAS

La mayoría de los instrumentos dirigidos,explícita o implícitamente, a evaluar esteprimer nivel de comprensión, se funda-mentan en la formulación de preguntasobjetivas o semiobjetivas, después de la lec-tura del texto. Se trata de preguntas brevescuya respuesta se ofrece cerrada (acompa-ñada de distractores) o limitada a un par defrases, que se valoran en función de losanteriores criterios inferenciales.

El emparejamiento entre frases y dibu-jos que representan diferentes estructurassintácticas es una de las tareas más simplesque aparecen en el PROLEC (Cuetos, Rodrí-guez y Ruano, 1996). Para evaluar la com-prensión referencial, el CL-4 (Alonso Tapiay Corrales, 1994) formula preguntas dirigi-das a detectar si el sujeto es capaz de selec-cionar correctamente el antecedente deuna proposición conectada referencial-mente con otra anterior, es decir, si escapaz de establecer una conexión anafóri-ca o causal entre ambas, durante la lectura.

Las preguntas más habituales de estenivel de comprensión son, no obstante, lasque demandan que el sujeto parafrasee

una oración, con objeto de valorar si larecuerda como parte del texto o si com-prende la relación entre dos proposicionesen función de un esquema causal o medio-fin más o menos explícito. Este es el caso,por ejemplo, de la prueba de comprensiónlectora del EVALUA (García Vidal y GonzálezManjón, 1996), donde los alumnos de pri-maria deben completar frases del tipo «Elsendero estaba fresco porque�», eligiendoentre varios distractores sin el texto delan-te.

La prueba de comprensión lectora deLázaro (1982), por su parte, incluye diver-sas tareas en las que el sujeto debe recono-cer entre varias oraciones (que no aparecí-an literalmente en le texto), aquella cuyosignificado se corresponde con una ideaque sí está presente explícitamente. Estaúltima demanda (sentence recognition) seconsidera un buen indicador de la capaci-dad de transcender de un nivel de com-prensión meramente superficial del conte-nido lingüístico de un texto, aunque no serequiera necesariamente la comprensiónglobal del mismo.

Finalmente, existen evidencias de quelos lectores expertos suprimen mejor y másrápidamente los significados irrelevantesaprovechando la información semánticaque proporciona el contexto inmediato. Eneste sentido, las tareas de emparejamientoentre palabras relacionadas semánticamen-te en el texto o las preguntas sobre el sig-nificado de una palabra poco familiar oambigua, que el sujeto debe inducir a par-tir del contexto inmediato de la propia fra-se o del párrafo, podrían considerarse tam-bién adecuadas para valorar la capacidadde comprensión lectora en este primernivel.

Las pruebas objetivas plantean, noobstante, diversas objeciones en cuanto asu validez para evaluar estos indicadores.La actividad inferencial que interviene enla comprensión del «hilo conductor» sedesarrolla principalmente durante la lectu-ra del texto, por lo que resulta difícil de

417

evaluar con preguntas que se formulan unavez terminado el proceso. Así, en las pre-guntas que algunos tests denominan «litera-les» es difícil saber si se está evaluandocapacidades de comprensión o simple-mente de recuerdo inmediato. En otrostipos de preguntas parece difícil discrimi-nar si el sujeto realiza las inferenciasespontáneamente o si dicha actividad esmás bien producto de la demanda que seplantea a posteriori, al responder a la cues-tión.

En el caso de los tests en los que elsujeto puede acceder al texto mientras res-ponde a las preguntas, por el contrario, lasrespuestas a preguntas referenciales osobre información literal pueden realizarsemediante simples operaciones de recono-cimiento, por lo que su utilidad para eva-luar la comprensión ofrece muchas dudas.Algunas investigaciones han comprobadopor ejemplo, que los sujetos de primariamejoran significativamente sus resultadosen este tipo de preguntas cuando se lespermite volver a consultar el texto. Estaventaja se reduce, no obstante, cuando laspreguntas de la prueba hacen alusión ainformación global o implícita (Cain yOakhill, 1999).

Una variante semiobjetiva que preten-de soslayar esta limitación, proviene delprocedimiento cloze. Se trata de ofrecer allector un texto mutilado (con espacios enblanco) que el sujeto debe rellenar duran-te la misma lectura, de manera que éstesólo será capaz de restaurar las palabrasque faltan si utiliza de forma estratégica lasclaves textuales que conducen a la repre-sentación del hilo conductor (Condemariny Milicic, 1990). La técnica aporta la venta-ja de posibilitar una cierta evaluación delproceso de la comprensión, limitando encierta medida la contaminación derivadade la capacidad de recuerdo o de las infe-rencias más globales que el sujeto generaal final de la lectura. Las inferencias semán-ticas y «elaborativas» que posibilitan lajerarquización de las ideas del texto y la

conexión con los conocimientos previosdel sujeto, son difícilmente evaluables coneste procedimiento. No obstante, se hanobtenido correlaciones altas con pruebasclásicas, como el test de Lázaro, que avalansu validez de criterio (Artola, 1988).

Otra alternativa semiobjetiva, hastaahora mucho menos explorada, consisteen diseñar tareas de comprensión más omenos estructuradas donde los sujetosdeban realizar inferencias a partir de lainformación que obtienen de las señaliza-ciones textuales y de su propia base deconocimientos previos. Frecuentemente, lapresencia de algunas palabras clave, comoun pronombre, un adjetivo o un sustantivo(sinónimos de una expresión anterior), nosayudan a deducir la relación entre una ideay su antecedente. Yuill y Oakhill (1988)demostraron que la interpretación de estaspalabras en textos narrativos ayuda muchoa discriminar a los niños con problemas decomprensión. La actividad de reordenarun texto fragmentado permite evaluar estacapacidad de un modo muy funcional, a lavez que resulta extraordinariamente esti-mulante para los alumnos. La ordenaciónde este particular rompecabezas requiereque el lector descubra este tipo de señali-zaciones y expresiones anafóricas, reco-nozca el hipotético antecedente, infiera el«hilo conductor» y anticipe la progresióntemática, con objeto de establecer «correfe-rencias» entre los fragmentos del texto. Enun estudio reciente con una muestra de 87chicos de 11 y 12 años, hemos comproba-do que, a pesar de su sencillez, la tarea dis-crimina con cierta precisión entre buenos ymalos lectores, ofreciendo índices de vali-dez más elevados que otras pruebas objetivasestandarizadas, como el mismo PROLEC-SE. Almismo tiempo, el profesor puede obteneruna información cualitativa de gran inte-rés para ofrecer las ayudas adecuadas alalumno y entrenar su actividad estratégicae inferencial (González y Montanero,2002).

418

PENSAMIENTO EN VOZ ALTA Y REGISTROS

DE OBSERVACIÓN

La evaluación de proceso de la compren-sión resulta difícil si no se tiene en cuentainformación cualitativa que puede obtenerel evaluador demandando inferencias con-cretas o incluso, suministrando ayudaspara observar los comportamientos estraté-gicos del sujeto. El análisis de los protoco-los orales de pensamiento en voz alta(thinking aloud) constituye una opciónque permite fundamentalmente valorarinferencias referenciales durante la lectura.El procedimiento consiste en grabar (mag-netofónicamente o en vídeo) y analizarposteriormente las reflexiones en voz altaque los sujetos realizan durante la lecturade un texto; razón por la cual algunos auto-res consideran más bien esta última técnicacomo un caso particular de autoinforme. Almargen de las dificultades de cuantifica-ción objetiva, propias de un procedimientotan poco estructurado, el método presentaotras dificultades, como son la necesidadde un entrenamiento previo del sujeto o laposibilidad de que el propio procedimien-to interfiera, al realizarse simultáneamentey en condiciones de demanda excesiva, enlos procesos y estrategias que se pretendenevaluar. Los sujetos son estimulados parahablar acerca de la relación de cada frasecon lo leído anteriormente, así como paraanticipar la información subsiguiente, porlo que existe también el riesgo de quemanifiesten más inferencias de las queharían en condiciones naturales. Beishui-zen y Cols. (1999) encontraron que losresultados de este tipo de evaluación ape-nas «correlacionaba» con las puntuacionesobtenidas en pruebas objetivas quedemandan inferencias locales y globales,aunque se utilicen los mismos textos. Sinembargo, no cabe duda de que el pensa-miento en voz alta permite vislumbrar cier-tos procesos que los sujetos desarrollanestratégicamente en su interacción con eltexto.

EVALUACIÓN DE LA COMPRENSIÓNGLOBAL Y ESTRUCTURAL

Un segundo nivel de comprensión se fun-damenta en la actividad mental que el suje-to desarrolla para asignar un significadocoherente de carácter global al texto leído.Este proceso implica, en gran medida, infe-rencias aplazadas al final de la lectura deltexto o de sus unidades temáticas, conobjeto de construir la denominada macro-estructura del texto, es decir, una represen-tación mental, más o menos jerarquizadade las macroproposiciones del contenidode las proposiciones (Van Dijk y Kintsch,1983).

PRUEBAS OBJETIVAS Y SEMIOBJETIVAS

Los materiales más utilizados para evaluareste nivel de comprensión se basan de nue-vo en la formulación de preguntas querequieren la realización de inferenciassobre el significado global del texto o la dis-tinción entre ideas jerárquicamente diferen-tes. En algunos estudios dichas preguntasse dirigen a suscitar la aplicación de las clá-sicas macrorreglas del modelo de Kintsch yVan Dijk , supresión, generalización e inte-gración. Se trata de averiguar si el lector escapaz de reconocer información redundan-te o ideas-detalle; o bien construir una ideamás general a partir de información másespecífica, recogida en el texto. En concre-to, la inducción de títulos se consideracomo un buen indicador de la comprensióntemática, es decir, del significado más glo-bal que da sentido al texto (León y Martín,1993). Los distractores en las preguntasobjetivas sobre el título deberían reflejarrespuestas erróneas de cuatro tipos: títulosimprecisos, demasiado generales, demasia-do particulares o alejados de la verdaderatemática. Igualmente, algunas preguntasque requieren reconocer o parafrasear unaidea esencial (sentence recognition) pue-den también constituir un indicador de este

419

segundo nivel de comprensión. En algunostests, como la Batería SURCO o el ya citadoCL-4, se solicita explícitamente al sujeto,que exprese o reconozca la idea principaldel texto o la información más relevanteque se deduce directamente del mismo(shadow questions).

ANÁLISIS DEL CONTENIDO DE RESÚMENES

Y PROTOCOLOS DE RECUERDO

El análisis de contenido de productos de laactividad inferencial es una de las modali-dades de evaluación más utilizada en lostrabajos de investigación sobre compren-sión de textos. Las técnicas más habitualesse basan en el análisis de resúmenes y pro-tocolos de recuerdo libre, inmediato odemorado. El objetivo principal es evaluarel producto de la representación semánticagenerada por el sujeto, utilizando diversosmétodos de análisis del contenido proposi-cional del resumen que elabora, sin teneracceso al texto que se leyó. Algunos deestos métodos se encuentran altamente for-malizados, de modo que permiten estable-cer comparaciones cuantitativas con larepresentación proposicional del conteni-do original. Para ello, es necesario fraccio-nar los protocolos en unidades proposicio-nales, de modo que se puedan compararcon un texto-modelo, aunque tengan unaexpresión lingüística diferente. El métodode (Bovair y Kieras, 1985) y, sobre todo, elde (Meyer, 1985) son los más conocidos.

El primero se basa en la aplicación dealgoritmos basados en el modelo ya refe-renciado de Kintsch y Van Dijk. La reglafundamental para reconocer en un proto-colo una proposición del texto original esque aparezca el predicado de dicha propo-sición más uno de sus argumentos (tenien-do en cuenta la sinonimia y que el sentidogeneral de la expresión tenga sentido). Elmétodo, sin embargo, tiene la limitación deno reflejar el establecimiento de nivelesjerárquicos entre las proposiciones.

Meyer, por el contrario, distingue entrerelaciones retóricas y léxicas. Las primerasse basan en la taxonomía de superestructu-ras propuesta por la autora, mientras quelas segundas se inspiran en la gramática decasos de (Fillmore, 1968). Sobre este análi-sis, se pueden realizar hasta nueve tipos demedida: recuerdo reproductivo, recuerdosustantivo de los contenidos tópicos, rela-ciones de rol, predicados léxicos, predica-dos retóricos, unidades de contenido queno estaban en el texto, relaciones lógicasque no estaban en el texto, confusionesintratextuales y puntuaciones de la estruc-tura de alto nivel. Este tipo de evaluaciónaporta una interesante información, tantocuantitativa como cualitativa, sobre la acti-vidad estratégica e inferencial que lleva alsujeto a reconstruir en un protocolo deresumen (con recuerdo inmediato o demo-rado) el significado original del texto.Como contrapartida debemos citar la con-siderable complejidad del procedimiento,que repercute en su fiabilidad. Por ellomuchos investigadores han optado por uti-lizar métodos mucho más simplificados ycon criterios de puntuación menos estric-tos.

En este mismo sentido, para simplificarla valoración de «resúmenes» en tareas derecuerdo inmediato, (Sánchez, 1989) utili-zó un sencillo método de análisis cualitati-vo, que ha sido posteriormente replicadoen sucesivas investigaciones. Los criteriosde categorización del resumen pretendenevaluar la utilización de estrategias semán-ticas de forma eficiente con textos breves,de carácter expositivo. La categoría C(correcto) se asigna sólo a los resúmenesque reflejan con precisión y de forma eco-nómica las macroproposiciones másimportantes. La categoría A (abstracción)incluye las respuestas que incorporan elsignificado global del texto pero no lascaracterísticas de precisión y economía. Sepuntúan así resúmenes que incluyen ideasdemasiado generales o que presentendemasiados detalles que podrían haber

420

sido sustituidos por proposiciones másgenerales. En las categorías D (detalle) y S(secuencia) el resumen estaría construido apartir de uno de los detalles del párrafo,con pérdida de información relevante, ocomo un simple listado de los mismos.

ANÁLISIS DEL CONTENIDO DE ESQUEMAS

Y GRÁFICOS

La mayoría de los anteriores métodos pue-den adaptarse para evaluar la comprensiónde textos narrativos o expositivos. Otrotipo de tareas, como la clasificación y jerar-quización de conceptos (shorting of con-cepts) o la construcción de un esquemaque organice gráficamente las ideas deltexto, se centran en cambio, en evaluar eluso de estrategias semánticas y estructura-les con textos de naturaleza expositiva.

Uno de los principales antecedentepuede verse en el diseño y evaluación demapas conceptuales (Novak y Gowin,1984). La construcción de mapas puedeconstituir en este caso un método paravalorar cómo los sujetos representan lamacroestructura de textos expositivos.Además de una valoración cualitativa, lacuantificación puede hacerse teniendo encuenta tres criterios: la cantidad y calidadde las relaciones jerárquicas que el alumnoha sido capaz de elaborar, comparándolocon un mapa-modelo; el número de nive-les de la representación jerárquica (losmapas excesivamente horizontales suelenrevelar una clara dificultad para emplearestrategias semánticas de alto nivel); y elnúmero de nexos transversales que repre-senten las relaciones semánticas entre dife-rentes ramas de conceptos.

En diversas investigaciones AlonsoTapia y han utilizado una alternativa mássimplificada que consiste en solicitar a lossujetos que elijan el gráfico más adecuadoentre varias opciones que representan lasideas conectadas por flechas. Sin embargo,esta opción no permite discriminar si el

alumno es capaz de generar, o simplemen-te reconocer, la organización retórica deltexto (especialmente si no se controla elsesgo del azar).

Una alternativa, semejante al procedi-miento cloze para este segundo nivel decomprensión, consiste en ofrecer unesquema mutilado que el sujeto debe relle-nar con conceptos de un texto descriptivo(Ramos y Cuetos, 1999). De esta manera, sepuede cuantificar si el sujeto es capaz deutilizar las claves jerárquicas del esquemapara recordar y clasificar la informaciónesencial que conforma la macroestructuradel texto.

Sin embargo, hay que reseñar que nin-guna de estas opciones evalúan realmentela capacidad del sujeto para reconocer otransformar la superestructura retórica quevincula dichas ideas, más allá de relacionesestrictamente semánticas que caracterizana los textos descriptivos. Una tarea muchomás exigente en este sentido consiste enofrecer un esquema, un diagrama o un cua-dro sinóptico vacío, de manera que el suje-to seleccione y rellene uno de ellos con unlistado de las ideas de un texto académico.El procedimiento ofrece la posibilidad deconseguir información cuantitativa o cuali-tativa. Para cuantificar la capacidad delsujeto para representar la organización delas ideas del texto basta con contabilizar elnúmero de relaciones descriptivas, compa-rativas o lógico-causales que el sujeto escapaz de reflejar gráficamente. Este tipo detareas presenta, no obstante, el riesgo deresultar poco discriminatoria debido a suelevada dificultad, como se ha demostradoen algunas investigaciones recientes (Mon-tanero, 2002).

EVALUACIÓN DE LA COMPRENSIÓNPRAGMÁTICA Y «ELABORATIVA»

El proceso de comprensión no se agota nimucho menos en la representación mentalde la base del texto. En paralelo, el lector

421

enriquece todas estas representaciones apartir de su acerbo experiencial. Este tercernivel lleva por tanto aparejado una dimen-sión pragmática y situacional: la construc-ción de todo un mundo más allá del textoen sí, en el que se recogen las inferencias eincluso las vivencias, que el lector activapara interpretar la nueva información.Algunas inferencias causales o intenciona-les que permiten conectar localmente dosproposiciones pueden considerarse tam-bién como elaborativas. Sin embargo, lasinferencias más representativas de los nive-les profundos de la comprensión (al menosen los textos expositivos) serían aquellasque operan sobre representaciones semán-ticas más globales al final de la lectura.

PRUEBAS OBJETIVAS Y SEMIOBJETIVAS

La comprensión pragmática se relaciona enparte con la capacidad de articular enun-ciados en unidades lingüísticas muyamplias, propias de diferentes «superes-tructuras» y géneros textuales. Esta capaci-dad comienza a desarrollarse desde los 5 ó6 años, cuando algunos niños son ya capa-ces de identificar un tipo de texto o detec-tar contradicciones que afectan a su com-prensión. De nuevo, la alternativa más uti-lizada se corresponde con materiales querecogen preguntas breves, formuladas conposterioridad a la lectura. Algunos testspresentan ítems acerca del género deldocumento, las intenciones comunicativaso los recursos estilísticos del autor en dife-rentes tipos de textos. En los textos degénero no expositivo (narrativos, descripti-vos, periodísticos o literarios) las preguntassuelen centrarse además en clarificar elescenario situacional en que transcurre laacción o las intenciones más o menosimplícitas de los personajes; inferenciasque resultan realmente difíciles de extrapo-lar de la actividad que hemos descrito enlos niveles anteriores de comprensión.Otras preguntas más «profundas» pueden

incluso solicitar la interpretación de unametáfora o la moraleja de un suceso (véa-se, por ejemplo, Lázaro, 1982). Este tipo deinferencias discriminan bastante bien lacapacidad del lector para utilizar sus cono-cimientos previos y razonar sobre el conte-nido implícito del texto.

En los pasajes expositivos no es tandifícil deslindar la evaluación de las capaci-dades que intervienen en la construcciónde un modelo situacional de aquellas queposibilitan la representación de la base deltexto. Las preguntas de comprensión pro-funda que requieren la participación deconocimientos temáticos (deep questions)o conectar información implícita más omenos alejadas en el texto-base (bridginginference question), son las tareas másrepresentativas de este nivel. Todas ellastienen en común la necesidad de desplegarinferencias «elaborativas» más allá del texto-base. Algunos trabajos recientes estánbasados en diversos tipos de preguntas conesta orientación, (Orrantia y cols., 1998),por ejemplo, utilizaron preguntas «creati-vas» para evaluar el uso personal de lainformación en la construcción de modelossituacionales más allá del contenido explí-cito del texto. Se demandaban esencial-mente respuestas explicativas, que requi-sieran desentrañar la trama causal de unfenómeno. La evaluación de inferenciasreferenciales, semánticas o estructurales notiene por qué ser redundante con este tipode cuestiones. En principio, para reconocerla relación causal entre dos eventos es sufi-ciente con delimitar las causas y las conse-cuencias a partir de la representaciónsemántica de la base del texto, sin que ellopresuponga que se comprende por quéesas causas generan esos efectos. La llama-da «trampa narrativa» (Duthie, 1987) es unade los principales riesgos en este sentido,al menos para un tipo de evaluación quepretenda abordar las comprensión profun-da de textos expositivos.

En uno de los estudios anterioreshemos desarrollado también una propues-

422

ta para operativizar este tipo de preguntasen función de la estructura organizativa detextos (Montanero y cols., 2002). En un tex-to causal las preguntas deberían solicitarinformación implícita acerca del nexo, lasacciones o condiciones intermedias quepermiten explicar por qué un determinadoepisodio puede considerarse un factorexplicativo de otro suceso. Los sujetos quealcancen un nivel más profundo en la com-prensión de un texto expositivo, deberíanser capaces de inferir o justificar los crite-rios que permiten vincular las característi-cas de diversos conceptos entre sí; asícomo las decisiones que justifican que unadeterminada respuesta se presente comoposible solución a un problema si el textopresenta más bien una estructura procedi-mental. Cuando se trata de un texto argu-mental, finalmente, el lector debería poderinferir por qué unas razones fundamentandeterminadas deducciones o en qué medi-da, las razones expuestas apoyan la con-clusión a la que llega el autor (explorandopor ejemplo, si se han tenido en cuenta loscontraargumentos que apoyan otras deci-siones o posiciones diferentes).

Este último tipo de cuestiones secorresponde en cierto modo con las tareasde análisis crítico que sirvieron de basepara la evaluación de diversas capacidadesde comprensión lectora en el conocido«macroestudio» del INCE (1998). En el diseñode la investigación se intentó en concretodiscriminar entre inferencias que permitencomprender el significado literal del textoy las que se dirigen a obtener una interpre-tación personal o realizar un análisis críti-co. Las primeras son asimilables a la cons-trucción de lo que hemos denominado tex-to-base: inferencia del significado de laspalabras en su contexto, establecimientode conexiones referenciales y compren-sión global a través de la identificación deltema y la distinción entre la idea principaly las secundarias. Los dos grupos de pre-guntas restantes se refieren ya a inferenciasque supuestamente reflejarían los niveles

más profundos de comprensión. Para res-ponder correctamente las preguntas deinterpretación personal en textos narrati-vos se preguntaba sobre la identificaciónde personajes protagonistas y secundarios,ordenación temporal� En el análisis críti-co, se debe determinar la función del textoy la intención del autor; clarificar la opi-nión, la ironía, la ambigüedad o la falacia;y valorar la línea argumental de contenidosimplicativos. Este último tipo de preguntasse contestaban en presencia de textos«informativos», categoría a la que son asimi-lables tanto los periodísticos como el restode los expositivos de carácter académico.

Por último, hay que señalar que elhecho de que el sujeto pueda releer o no eltexto, mientras responde a estas preguntas,no condicionaría tanto los resultados comoen la evaluación del primer nivel referen-cial. Como hemos tenido ocasión de com-probar con una muestra de alumnos de laESO, las diferencias resultantes de respon-der con o sin el texto delante no resultansignificativas (Montanero, 2000). Por suparte, (Cain y Oakhill, 1999) constataronque los alumnos de primaria mejoran rela-tivamente poco, ante preguntas sobreinformación implícita cuando se les da laoportunidad de revisar el texto leído. Ade-más, las diferencias entre buenos y maloslectores se mantienen prácticamente cons-tantes.

PENSAMIENTO EN VOZ ALTA Y TAREAS

DE SOLUCIÓN DE PROBLEMAS CON TEXTOS

INCONSISTENTES

En los niveles más profundos de la com-prensión, las relaciones que los lectoresdeben establecer entre las ideas, tienen uncarácter global: abarcan segmentos másamplios de información y una participa-ción mayor de conocimientos previos. Noes de extrañar, por tanto, que cuando intro-ducimos información contradictoria en untexto, los chicos que no comprenden bien,

423

manifiesten muchos más problemas, nosólo para resolverlas, sino incluso paradetectarlas. Este tipo de evaluación se basaen confeccionar textos que presenten afir-maciones contradictorias entre sí (inconsis-tencias internas) o con respecto a los cono-cimientos previos que sabemos que tieneel sujeto (inconsistencias externas). La téc-nica no se recoge en ninguna de las prue-bas estandarizadas que hemos analizado.El procedimiento de preguntas abiertas(semiobjetivas), y sobre todo el autoinfor-me oral de los sujetos durante la lectura,son probablemente los que mejor se adap-tan a este recurso.

EVALUACIÓN DE ESTRATEGIASDE REGULACIÓN METACOGNITIVAY APOYO A LA COMPRENSIÓNDE TEXTOS EXPOSITIVOS

Para terminar puede ser oportuno conside-rar un último ámbito de evaluación que tie-ne una relación indirecta con la compren-sión de textos académicos. Se trata de laevaluación del uso de estrategias de apoyoal estudio, es decir, de las actividades rela-cionadas con la preparación psicofísica, elcontrol de estimular la planificación deintervalos de estudio, etc., que los estudian-tes deberían realizar a partir de secundaria.Estas estrategias tienen un efecto particularsobre las capacidades de atención sosteni-da que intervienen en la comprensión detexto expositivos. Las técnicas utilizadaspara su evaluación son sensiblemente dife-rentes a las analizadas hasta ahora. Estánsobre todo basadas en métodos de autoin-forme, donde los sujetos proporcionaninformación sobre sus hábitos de estudio apartir de una serie de preguntas.

AUTOINFORMES

Desde los años setenta han proliferadomúltiples cuestionarios e inventarios estan-

darizados que presentan un listado de acti-vidades, generalmente relacionadas contareas escolares, sobre las que el sujetodebe afirmar o negar (y en algunos casoscuantificar) su uso. Casi todos introducenademás ítems dirigidos, no sólo a evaluarestrategias de apoyo, sino también la utili-zación de algunas de las «estrategias prima-rias» de carácter metacognitivo y técnicasde estudio de textos expositivos. El proble-ma reside en que algunos componentesque posibilitan el desarrollo de estas estra-tegias metacognitivas están en parte auto-matizados, y en consecuencia, no sonconscientes o al menos no directamenteaccesibles a la propia observación del suje-to. Además, la naturaleza claramenteretrospectiva de estos cuestionarios conta-mina la objetividad de las supuestas valora-ciones de quien cumplimenta el cuestiona-rio (aunque estén previstos ítems «residua-les» como parte de una escala de sinceri-dad). En suma, las preguntas directamentedirigidas a evaluar si el individuo aplicaestrategias de comprensión constituyen unporcentaje minoritario y difícilmente per-miten discriminar entre una utilizaciónmecánica de técnicas de estudio y la coor-dinación estratégica de operaciones menta-les que posibilitan su eficacia.

REGISTROS DE OBSERVACIÓN

Los métodos de observación constituyen denuevo una interesante alternativa para eva-luar los procesos metacognitivos que inter-vienen en la comprensión de un texto. Unejemplo característico de observación direc-ta se recoge en el experimento de (Garner,Wagoner y Smith, 1983), en el que se pidióa dos grupos de alumnos de diferente capa-cidad, que explicara a otros compañeros, elmejor método para comprender un texto.La información se grabó y analizó poste-riormente. Sin embargo, al menos en estecaso, difícilmente dicha valoración podría irmás allá del conocimiento declarativo de

424

los sujetos, por lo que una vez más la téc-nica resulta limitada para valorar ciertosconocimientos estratégicos que los sujetosutilizan realmente durante el estudio de untexto. Esta limitación es más clara si cabeen el caso de la observación indirecta a tra-vés de escalas de apreciación de allegados,muy extendida en la evaluación psicopeda-gógica de los alumnos con necesidadesespeciales, en las que el profesor debeaportar esta información a partir de una

valoración retrospectiva y generalmentepoco sistemática.

En conclusión, la panorámica actualsobre la evaluación de la comprensión lec-tora ofrece una amplia diversidad de técni-cas e instrumentos, que se sintetizan en elcuadro I. La mayoría de ellas tienen, comodenominador común, el empeño en anali-zar la actividad estratégica e inferencialdurante la lectura como principal indicadordel nivel de comprensión que alcanza el

425

CUADRO I Indicadores, instrumentos y materiales para evaluar la comprensión

sujeto. A menudo, sin embargo, dichos cri-terios se manejan sin una reflexión previasobre los presupuestos teóricos que los jus-tifican. Esta limitación afecta particular-mente a la evaluación de la comprensiónprofunda de textos expositivos en la Edu-cación Secundaria, donde los lectores tie-nen que poner en juego capacidades yconocimientos sensiblemente diferentes alos que se necesitan en otro tipo de textos.Un requisito que hemos tratado de funda-mentar, en este sentido, consiste en tratarde discriminar entre las capacidades queintervienen en diferentes niveles de com-prensión e incluso entre textos de diferen-te género. Por otro lado, es necesario dedi-car más investigación a los procedimientosy análisis cualitativos que, como hemos vis-to, pueden resultar de tanta o mayor utili-dad para orientar una intervención psico-pedagógica efectiva.

BIBLIOGRAFÍA

ALONSO TAPIA, J. y CARRIEDO, N.: Leer, com-prender y pensar: desarrollo de estrate-gias y técnicas de evaluación. Madrid,Servicio de publicaciones del MEC-CIDE,1992.

� «Problemas de comprensión lectora:evaluación e intervención», en C.Monereo, I. Solé (coord.), El asesora-miento psicopedagógico: una perspecti-va profesional y constructivista .Madrid, Alianza, 1996.

ALONSO TAPIA, J. y CORRAL, C.: Evaluación dela comprensión lectora al término de laESO Test CL-4. Madrid, UAM, 1994.

ARTOLA, T.: «El procedimiento cloze comomedida procesual de comprensión lec-tora», en Revista española de Pedago-gía, 180 (1988), pp. 323-334.

BAEZA, M.: Inventario de métodos de estu-dio. Madrid, Miñón, 1979.

BOVAIR, S. y KIEBAS, D. E.: «A guide to pro-positional analysis for research ontechnical prose», en B. K. Britton y J. B.

Black (comps.), Understanding exposi-tory text. Hillsdale, LEA, 1985.

CAIN, K. y OAKHILL, J. V.: «Inference makingability and its relation to comprehen-sion failure in young children», en Rea-ding and Writing, 11 (1999), pp. 489-503.

CARRIEDO, N. y ALONSO TAPIA, J.: ¿Cómoenseñar a comprender un texto?Madrid, ICE de la Universidad Autóno-ma, 1995.

CONDEMARIN, M. y MILICIC, N.: Test de Cloze.Ap l icac iones p s icopedagógicas .Madrid, Visor, 1990.

CUETOS, F., RODRÍGUEZ, B. y RUANO, E. (PRO-LEC): Evaluación de los procesos lecto-res. Madrid, TEA, 1996.

DUTHIE, J.: «The Web: a powerful tool forteaching and evaluation of the exposi-tory essay», en The history social scien-ce teacher, 21 (1986), pp. 232-236.

FILLMORE, C. J.: «The case for case», en E.Bach, y R. T. Harms (eds.), Universalsin linguistic theory. Chicago, Holt,Rinehart and Winston, 1968.

GARCÍA VIDAL, J. y GONZÁLEZ MANJÓN, D.: EVA-LUA-4. Madrid, EOS, 1996.

GARNER, R.; WAGONER, S. y SMITH, T.: «Exter-nalizing question answering of poorand good comprehender», en ReadingResearch Quaterly, 18 (1983), pp. 437-439.

GONZÁLEZ, L. y MONTANERO, M.: Evaluacióny entrenamiento de la comprensiónlectora mediante textos «desordenados».Dos estudios preliminares en el tercerciclo de primaria. Memoria de investi-gación no publicada. Universidad deExtremadura, 2002.

INCE: Los resultados escolares. Diagnósticodel sistema educativo. 1997. Madrid,MEC, 1998.

LÁZARO, A.: Prueba de comprensión lectora.Madrid, TEA, 1982.

LEÓN, J. A. y MARTÍN, A.: «El título comorecurso didáctico», en Comunicación,lenguaje y educación, 19-20 (1993),pp. 159-170.

426

MEC: La evaluación psicopedagógica: Mode-lo, orientaciones, instrumentos .Madrid, MEC, 1996.

MEYER, B. J. F.: «Prose analysis. puposes,procedures, and problems», en K. Brit-ton y J. B. Black (Eds), Understandingexpository text. Hillsdale, LEA, 1985.

MONTANERO, M.: La instrucción de estrate-gias de comprensión en el ámbito socio-lingüístico del segundo ciclo de la ESO.Una propuesta didáctica para enseñara comprender desde el currículo. Tesisdoctoral no publicada, Universidad deExtremadura, 2000.

MONTANERO, M., BLÁZQUEZ, F. y LEÓN, J. A.:«Enfoques de intervención psicopeda-gógica para la mejora de las capacida-des de comprensión en la EducaciónSecundaria», en Infancia y aprendiza-je, 25 (2002), pp. 37-52.

NOVAK, J. D. y GOWIN, D. B.: Aprendiendo aaprender. Barcelona, Martínez Roca,1988.

ORRANTIA, J.; ROSALES, J. y SÁNCHEZ, E.: «Laenseñanza de estrategias para identifi-car y reducir la información importantede un texto. Consecuencias para laconstrucción del modelo de la situa-ción», en Infancia y aprendizaje, 83(1998), pp. 29-57 .

POZAR, F. F.: Inventario de hábitos de estu-dio. Madrid, TEA, 1972.

PRESSLEY, M. y AFFLERBACH, P.: Verbal proto-cols of reading. Hillsdale, N. J, Erl-baum, 1995.

RAMOS, J. L. y CUETOS, F.: Evaluación de pro-cesos lectores. PROLEC-SE. Madrid, TEA,1999.

ROMÁN, J. M. y GALLEGO, S.: ACRA. Madrid,TEA, 1994.

SÁNCHEZ, E.: Procedimientos para instruiren la comprensión de los textos .Madrid, CIDE, 1989.

VAN DIJK, T. A. y KINTSCH, W.: Strategies ofdiscourse comprehension. New York,Academic Press, 1983.

VIZCARRO, C.: «Development of an inven-tory to mesure learning strategies», enM. Birembaum y F. Dochy (eds.), Alter-natives in assessment of achivementslearning processes and prior knowled-ge. Boston, Kluwer Academic Press,1996.

WEINSTEIN, C.; GOEZTS, E. T. y ALEXANDER, P.A.: Learning and study strategies,issues in assessment, instruction andevaluation. New York, AcademicPress, 1983.

YUILL, N. y OAKHILL, J. V.: «Understanding ofanaphoric relatins in skilled and less-skilled comprehenders», en BritishJournal of Psychology, 79 (1988), pp.173-186.

427